Direkt zum Inhalt

Fotorealistisches Modellieren und Nachbearbeiten von Filmsequenzen von Schauspielern sind alltägliche Aufgaben in der Film- und Spieleindustrie. Die Prozesse sind jedoch arbeitsintensiv, da vorhandene Software nur Werkzeuge für einfache Bearbeitungen bereitstellt. Ziel dieses Projekts ist es, Algorithmen und Werkzeuge für die automatische und halbautomatische Nachbearbeitung des Erscheinungsbildes von Schauspielern in herkömmlichen Videosequenzen zu erforschen. Um visuell überzeugende Resultate erzeugen zu können müssen ein digitales 3D-Modell des Schauspielers, detaillierte Szeneninformationen sowie die Beleuchtung rekonstruiert werden. Ein besonderer Augenmerk liegt hierbei auf einem realistischen Erscheinungs- und Bewegungsbild des digitalen Modells.

Motivation

Die Bereitstellung von Werkzeugen für die digitale 3D-Nachbearbeitung von herkömmlichen 2D Videosequenzen eröffnet eine Vielzahl an Nutzungsmöglichkeiten. Diese sind nicht ausschließlich in der Filmindustrie zu finden. Die immer besser werdende Rechenleistung von mobilen Endgeräten und Computern ermöglicht es auch dem Endkunden von neuesten technologischen Errungenschaften im Bereich der Szenerekonstruktion zu profitierten. Diese lassen sich etwa in Anwendungen der Virtual und Augmented Realty finden.

 

Herausforderungen  & Highlights

Ziel des Projektes ist es, zur Lösung des unterbestimmten Problems der 3D Posenschätzung von Menschen beizutragen. Anspruch ist hierbei, dass Renderings basierend auf der Schätzung visuell überzeugend sind. Abgrenzend zu anderen Projekten soll anstatt von Mulit-Kameraaufnahmen oder Laserscans lediglich eine herkömmliche 2D-Videosequenz Grundlage der Schätzung sein. Resultierend ergeben sich Probleme, wie etwa das Nichtvorhandensein von Tiefeninformationen, Mehrdeutigkeiten in der Posenschätzung, Selbstverdeckung und fehlende Information über die Rückansicht des Schauspielers. Die die menschliche Wahrnehmung extrem sensibel auf Inkonsistenzen im Aussehen oder der Bewegung von Menschen reagiert, ist es besonders wichtig, dass ein 3D Modell basierend auf der Szenenrekonstruktion einen hohen Grad an Realismus erreicht.

 

Mögliche Anwendungen & künftige Themen

Mögliche Anwendungen finden sich etwa in der Filmindustrie oder in Augmented Reality Anwendungen. Vorhergangene Projekte untersuchten bereits, wie Kleidung eines Schauspielers virtuell verändert oder ausgetauscht werden kann. Anwendungsmöglichkeiten finden sich in der Modeindustrie, im E-Commerce oder im Jugendschutz. Das Langzeitziel ist es, die Grundlage für ein Archiv von digitalen Schaupielerdoubles zu schaffen. So könnte die schauspielerische Leistung von Schauspielern der Gegenwart und der Vergangenheit für die Zukunft erhalten und jederzeit wiederverwendet werden.

Begin
End