中国の開発者による最近の実験では、5つの大規模言語モデル（おそらくGPT-4、Claude、およびローカルモデルを含む）を標準ベンチマークではなく実際のエージェントタスクでテストしました。結果は、マルチステップ推論、ツール使用、エラー回復におけるベンチマークスコアと実際のパフォーマンスとの間に大きな不一致を示しました。例えば、あるモデルはコーディングベンチマークで優れていましたが、エージェントワークフローでの単純なAPI呼び出しに失敗しました。これは開発者にとって重要な教訓を強調しています：ベンチマークスコアはエージェント能力の信頼できる代理指標ではありません。この実験は、チームが特定のユースケースに合わせてモデルを評価するための実用的な方法論を提供し、一般的な指標よりもタスク固有のテストを重視しています。AIエージェントが普及するにつれて、このような実世界の評価は情報に基づいたモデル選択の決定を行うために不可欠です。
開発者が5つの大規模言語モデルを実際のエージェントタスクでテストした結果、ベンチマークスコアが実際のパフォーマンスを予測しないことが判明しました。この結果は、マルチステップ推論とツール使用を効果的に処理するモデルを強調し、AIエージェントを構築するチームに実用的な洞察を提供します。