L'architecture de service d'inférence pour les grands modèles de langage (LLM) a connu une transformation rapide. Les premières approches reposaient sur des passerelles API partagées qui multiplexaient les requêtes sur un pool d'instances GPU, offrant une simplicité mais souffrant d'effets de voisinage bruyants et d'une latence imprévisible. Avec la croissance de la demande, les équipes sont passées à des clusters dédiés avec ordonnancement élastique, permettant une meilleure isolation des ressources et une efficacité des coûts. Cette évolution implique des compromis : les API partagées sont plus faciles à gérer mais offrent moins de contrôle, tandis que les clusters dédiés nécessitent une orchestration plus sophistiquée mais offrent des performances constantes. Les modèles de conception clés incluent le regroupement de requêtes, le décodage spéculatif et l'allocation dynamique de GPU. L'article aborde également les approches hybrides qui combinent des ressources partagées et dédiées pour équilibrer le coût et les performances. Pour les ingénieurs d'infrastructure, comprendre cette évolution est crucial pour concevoir des systèmes de service IA évolutifs et rentables.
Cet article retrace l'évolution des architectures de service d'inférence pour les grands modèles de langage, des simples points de terminaison d'API partagés aux clusters dédiés sophistiqués avec ordonnancement élastique. Il couvre les décisions de conception clés concernant l'allocation des ressources, l'optimisation de la latence et la gestion des coûts, fournissant une référence précieuse pour les ingénieurs construisant ou faisant évoluer l'infrastructure IA.