In den letzten vier Jahren wurden die bedeutendsten Durchbrüche bei Produkten mit großen Sprachmodellen (LLMs) nicht durch die Erhöhung der Modellparameter erzielt, sondern durch das Überdenken, wie Token durch das System fließen. Diese Erkenntnis aus einer aktuellen Analyse identifiziert Schlüsselmuster: CoT/PAL bestimmt, wo Unsicherheit platziert wird, ReAct/CodeAct steuert, wie viel pro Vorwärtspass geschrieben wird, und Voyager/Skills verwaltet, was über Läufe hinweg bestehen bleibt. Diese architektonischen Entscheidungen haben die Benutzererfahrung und die Produktfähigkeiten neu geformt. Für Entwickler und Produktleiter ist das Verständnis dieser Token-IO-Architektur jetzt entscheidender, als größeren Modellen hinterherzujagen. Der Wandel von Skalierungsgesetzen zum Flussdesign stellt eine grundlegende Veränderung dar, wie wir KI-Anwendungen bauen und optimieren.
Eine Analyse, die argumentiert, dass das Design des Tokenflusses, nicht die Modellgröße, die Durchbrüche bei LLM-Produkten über vier Jahre vorangetrieben hat.