視覚言語モデルの強化学習（VLM-RL）は、報酬信号がしばしばスパースでノイズが多く、望ましい行動と整合しないという重大な課題に直面しています。TAPO（Task-Adaptive Policy Optimization）は、トレーニング中の報酬配分を洗練するメカニズムを導入し、サンプル効率と最終的なポリシー品質を向上させます。この手法は、タスクの難易度と学習の進捗に基づいて報酬の重みを動的に調整し、誤解を招く信号の影響を軽減します。初期の実験では、標準的なRLHFアプローチと比較して、マルチモーダル推論ベンチマークでの改善が見られます。基盤モデルのトレーニングにおけるより洗練された報酬形成へのトレンドを強調しています。
TAPOは、視覚言語モデルの強化学習における報酬配分を最適化する新しい手法で、マルチモーダルタスクのスパース報酬問題に対処します。