Durante los últimos cuatro años, los avances más significativos en productos de modelos de lenguaje grandes (LLM) no han sido impulsados por el aumento de los parámetros del modelo, sino por repensar cómo fluyen los tokens a través del sistema. Esta idea, extraída de un análisis reciente, identifica patrones clave: CoT/PAL determina dónde se coloca la incertidumbre, ReAct/CodeAct controla cuánto se escribe por pase hacia adelante, y Voyager/Skills gestiona lo que persiste entre ejecuciones. Estas elecciones arquitectónicas han remodelado las experiencias de usuario y las capacidades del producto. Para desarrolladores y líderes de producto, comprender esta arquitectura de flujo de tokens es ahora más crítico que perseguir modelos más grandes. El cambio de las leyes de escalado al diseño de flujo representa un cambio fundamental en cómo construimos y optimizamos las aplicaciones de IA.
Un análisis que argumenta que el diseño del flujo de tokens, no el tamaño del modelo, ha impulsado los avances en productos LLM durante cuatro años.