Au cours des quatre dernières années, les percées les plus significatives dans les produits de grands modèles de langage (LLM) n'ont pas été motivées par l'augmentation des paramètres du modèle, mais par la refonte de la façon dont les tokens circulent dans le système. Cette idée, tirée d'une analyse récente, identifie des modèles clés : CoT/PAL détermine où l'incertitude est placée, ReAct/CodeAct contrôle la quantité écrite par passage avant, et Voyager/Skills gère ce qui persiste entre les exécutions. Ces choix architecturaux ont remodelé les expériences utilisateur et les capacités des produits. Pour les développeurs et les responsables de produits, comprendre cette architecture de flux de tokens est désormais plus critique que de courir après des modèles plus grands. Le passage des lois d'échelle à la conception de flux représente un changement fondamental dans la façon dont nous construisons et optimisons les applications d'IA.
Une analyse soutenant que la conception du flux de tokens, et non la taille du modèle, a conduit les percées des produits LLM sur quatre ans.