構成ビデオ検索とは、「歩いてから走る人」など、視覚的およびテキスト的な手がかりの組み合わせに基づいてビデオを見つけることです。従来の手法はこれを単純な類似性マッチング問題として扱うことが多く、クエリの時間的および因果的構造を無視していました。CoVR-Rは、検索プロセス内で時間的順序や因果関係などの推論ステップを明示的にモデル化することで、この問題に対処します。この手法はベンチマークデータセットで最先端の結果を達成し、推論を考慮した検索が単純な類似性ベースのアプローチを大幅に上回ることを示しています。この研究は、イベントの物語や論理的な流れの理解が重要となるビデオ検索、監視分析、コンテンツモデレーションなどのアプリケーションに影響を与えます。マルチモーダルAIの研究者にとって、CoVR-Rは検索システムに推論を統合する新しい方向性を提供します。
CoVR-Rを紹介する研究論文。時間的および因果的推論を組み込むことで精度を向上させる、推論を考慮した構成ビデオ検索手法。