過去4年間、大規模言語モデル（LLM）製品における最も重要なブレークスルーは、モデルパラメータの増加ではなく、システム内でのトークンの流れ方の再設計によってもたらされてきました。最近の分析から得られたこの洞察は、CoT/PALが不確実性の配置を決定し、ReAct/CodeActが1回のフォワードパスで書き込む量を制御し、Voyager/Skillsが実行間で何を保持するかを管理するという重要なパターンを特定しています。これらのアーキテクチャ上の選択は、ユーザーエクスペリエンスと製品機能を再形成しました。開発者や製品リーダーにとって、このトークンIOアーキテクチャを理解することは、より大きなモデルを追いかけることよりも重要になっています。スケーリング則からフロー設計へのシフトは、AIアプリケーションの構築と最適化の方法における根本的な変化を表しています。
モデルサイズではなく、トークンの流れの設計がLLM製品のブレークスルーを推進してきたという分析。