Die zusammengesetzte Videoabfrage beinhaltet das Finden von Videos basierend auf einer Kombination von visuellen und textuellen Hinweisen, wie z.B. 'eine Person, die geht und dann rennt'. Traditionelle Methoden behandeln dies oft als einfaches Ähnlichkeitsabgleichproblem und ignorieren die zeitliche und kausale Struktur der Abfrage. CoVR-R adressiert dies, indem es Reasoning-Schritte wie zeitliche Reihenfolge und Ursache-Wirkungs-Beziehungen explizit im Abrufprozess modelliert. Die Methode erzielt hochmoderne Ergebnisse auf Benchmark-Datensätzen und zeigt, dass reasoning-bewusstes Abrufen naive ähnlichkeitsbasierte Ansätze deutlich übertrifft. Diese Arbeit hat Auswirkungen auf Anwendungen wie Videosuche, Überwachungsanalyse und Inhaltsmoderation, bei denen das Verständnis des narrativen oder logischen Ablaufs von Ereignissen entscheidend ist. Für Forscher im Bereich multimodaler KI bietet CoVR-R eine neue Richtung für die Integration von Reasoning in Abrufsysteme.
Ein Forschungspapier, das CoVR-R vorstellt, eine reasoning-bewusste Methode für die zusammengesetzte Videoabfrage, die die Genauigkeit durch die Einbeziehung von zeitlichem und kausalem Denken verbessert.