Le serving des grands modèles de langage est devenu une charge de travail majeure pour les infrastructures cloud, mais les données publiques permettant de l’étudier restent rares. Dans cet article, des chercheurs s’appuient sur une trace de production couvrant une année complète chez Chutes pour mieux comprendre comment ces charges évoluent dans le temps et comment les utilisateurs interagissent avec les modèles en conditions réelles.
L’apport principal du travail tient à son périmètre. Contrairement à des études antérieures souvent limitées à des fenêtres d’observation courtes, cette analyse couvre de nombreux modèles et utilisateurs, y compris des modèles très sollicités mais aussi une longue traîne de services moins populaires. Les auteurs examinent la charge sous plusieurs angles : agrégé, temporel, au niveau des modèles et au niveau des utilisateurs.
Cette approche met en évidence des structures de trafic et des évolutions d’usage qui resteraient invisibles dans une vue trop globale. L’étude s’intéresse en particulier à des sujets clés pour l’exploitation des LLM en production, comme les effets potentiels du cache et les enjeux d’équilibrage de charge, même si le résumé disponible ne détaille pas l’ensemble des résultats quantitatifs ou des recommandations opérationnelles.
Au-delà des conclusions immédiates, le papier se distingue aussi par sa promesse de diffusion des données. Les auteurs indiquent vouloir publier avec l’article la trace complète sur un an, afin de permettre à d’autres chercheurs d’évaluer des systèmes de serving sur des données de production plus réalistes, plutôt que sur des jeux échantillonnés ou synthétiques. Pour l’écosystème, cela pourrait contribuer à améliorer la comparabilité des travaux sur la performance et la robustesse des infrastructures LLM.