Auf populären Online-Videoplattformen, wie beispielsweise YouTube, werden täglich tausende Videos hochgeladen, die Musik enthalten. Neben offiziellen Musikvideos gehören dazu auch Videos mit Coverversionen oder Live-Interpretationen sowie Videos, die Musik eher als Untermalung der eigentlichen Inhalte verwenden. Eine korrekte Erkennung und Zuordnung von musikalischen Werken in Musikvideos ist Voraussetzung für eine gerechte Entlohnung der Künstler*innen, die die Musikstücke verfasst und aufgeführt haben.

Dieser Herausforderung stellt sich das Uncovr-Projekt, indem es Verfahren der künstlichen und der kollektiven Intelligenz kombiniert, um jenseits von offiziellen Musikvideos Interpretationen musikalischer Werke in Videos zu erkennen. Dazu werden bereits vorhandene Webressourcen mit Metadaten zu Werken, Interpretationen und Musikvideos miteinander verknüpft und anschließend mit Hilfe kollektiver Intelligenz ergänzt und konsolidiert, beispielsweise mit Hilfe von Serious Games oder Crowdsourcing.

Wesentliche Forschungsfragen sind dabei der Entwurf geeigneter Aufgaben(stellungen) und Anreizsysteme sowie die Auswahl geeigneter (Teil-)Datenmengen. Die Datenbasis wird schließlich zum Training maschineller Lernverfahren, insbesondere tiefer neuronaler Netze verwendet, um die automatische Erkennung und Zuordnung zu ermöglichen. Dabei liegen die Herausforderungen beispielsweise in der Wahl geeigneter Repräsentationen und in der Formulierung adäquater Tasks.

Im Projekt wird untersucht, inwiefern Ansätze aus den Bereichen Meta-Learning und Similarity Learning zur Lösung der Aufgabe geeignet sind. Ein weiteres wesentliches Ziel ist es, Verfahren zu entwickeln, die algorithmische und menschliche Erkennungsleistungen intelligent verknüpfen, um dadurch effizient große Datenmengen verarbeiten zu können.