中国の開発者プラットフォームでの最近の投稿は、AIエージェントに関するモデルのマーケティング主張を信じないよう警告しています。著者は、実際のタスクでテストすると、多くのモデルがベンチマークやデモで宣伝されたパフォーマンスを発揮できないと主張しています。このシグナルは、エージェントベースのシステムを構築する開発者にとって重要であり、ベンダーの誇大広告に頼るのではなく、厳格でタスク固有の評価の重要性を強調しています。
モデルのマーケティングはエージェントの能力を誇張しがちで、実際のタスクで大きなギャップが露呈する。