ICMR 2020: Beitrag „Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency“ ausgezeichnet

Der Beitrag „Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency“ erhielt den Best Paper Award auf der ACM International Conference on Multimedia Retrieval (ICMR) 2020, die in diesem Jahr als digitale Konferenz stattfand. Autoren des Papers sind Eric Müller-Budack (Forschungsgruppe Visual Analytics der TIB – Leibniz-Informationszentrum Technik und Naturwissenschaften), Jonas Theiner,  Maximilian Idahl (beide Forschungszentrum L3S), Sebastian Diering (Leibniz Universität Hannover) und Ralph Ewerth (Forschungsgruppe Visual Analytics und L3S).

Der Konferenzbeitrag stellt ein automatisches System zur Erkennung und Quantifizierung von intermodalen Bezügen – das heißt zwischen Foto und Text – in Nachrichtenmeldungen vor. Es basiert auf neuronalen Netzen, die neurobiologische Vorgänge im Gehirn des Menschen nachahmen, und kombiniert geeignete Ansätze aus den Bereichen Computer Vision und Natural Language Processing. Das Ziel des Systems: Es soll abschätzen, wie wahrscheinlich es ist, dass sowohl auf dem Foto als auch im Text bestimmte Personen, Orte oder Ereignisse gezeigt beziehungsweise erwähnt werden. Hierzu wurden Ähnlichkeitsmaße vorgeschlagen, die Nutzer bei der Analyse, Beschaffung sowie der Bewertung der Glaubwürdigkeit von multimodalen Nachrichtenartikeln unterstützen.

Referenz: E. Müller-Budack, J. Theiner, S. Diering, M. Idahl, R. Ewerth: Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency. In: ACM International Conference on Multimedia Retrieval (ICMR), Dublin, Ireland (online event), 2020, 16-25. DOI: https://dl.acm.org/doi/pdf/10.1145/3372278.3390670 (PDF)