Es ist schon erstaunlich, was heutzutage alles geht bei der Bearbeitung von Photos oder Filmen. Ein Motor aller technischen Entwicklungen ist natürlich Hollywood – das „Capturing“ von Bewegungen, auch von der Mimik menschlicher Akteure und die anschließende Übertragung auf computergenerierte 3D-Modelle ist das Geheimnis vieler Produktionen. Und das Prinzip funktioniert halt mittlerweile frappierend gut, auch wenn das Ziel der übertragenen Bewegungen kein grünes Riesenmonster, sondern wiederum ein Mensch bzw. ein menschliches Modell ist.

Ein solches Modell zu erstellen, das ist kein ganz großes Kunststück, wenn man einen 3D-Scanner zur Verfügung hat, der Körper oder Gesicht unter idealen Bedingungen abtastet – gute Beleuchtung, die Haare streng nach hinten gesteckt, neutraler Gesichtsausdruck, neutraler Hintergrund. Aber aus einem einfachen Single-Shot-Foto mehr als die 2D-Informationen herauszuholen, das ist nach wie vor eine Gratwanderung. Die Idee ist relativ klar – man braucht nicht unbedingt die 3D- oder Tiefeninformationen für die konkret abgebildete Person, auch ein 3D-Modell eines „idealen“ oder interpolierten Gesichts hilft weiter, um die Bildinformation aufzupeppen.

Und dann ist die Frage, was man eigentlich will, erläutert Ohad Fried von der Princeton-Universität – wenn es um die Übertragung von Mimik geht, reicht es, sich auf die inneren Strukturen eines Gesichtes zu beschränken, auf die Veränderung von Mund, Augen, Augenbrauen. Wenn man – wie in der aktuellen Studie der Forscher beschrieben – Verzerrungen in Portraitfotos korrigieren oder im Gegenteil simulieren will und die subtilen, aber sehr charakteristischen Veränderungen der Gesichtsgeometrie, dann braucht man auch die Außenbegrenzungen des Kopfes wie Ohren und Schädelspitze. Der Algorithmus der Computergrafik-Spezialisten baut auf Vorgängerarbeiten auf, bringt aber zum ersten Mal auch die (tatsächliche bzw. fiktive…) Kameraposition mit in das zugrundeliegende 3D-Modell.

Im Moment arbeitet das Team gerade an der Umsetzung des Programms in eine App-Version – die notwendige Rechenkraft könnten auch Smartphone-Prozessoren liefern. Und auch für viele Erweiterungen und Verbesserungen wäre noch Luft. Trotzdem, so sieht das auch Fried: Zwischen einem Demo-Programm einer Uni-Forschergruppe und einer Anwender-Software liegen noch Welten:

Wenn unser Programm etwa in 90% der Fälle gut funktioniert, ist das ein toller Erfolg. Wenn ein kommerzielles Software-Produkt in 10% der Fälle Probleme macht – das geht nicht…

Eine 3D-Darstellung, die auch hohen Ansprüchen wie im Spielfilm gerecht wird, die wird es in absehbarer Zeit auch nur mit 3D-Scans als Quelle geben, sagt Ohad Fried. Aber wenn ein bisschen Interpolation und ein paar Abstriche in den Details tolerierbar sind, dann haben die Computergrafik-Experten bald etwas sehr brauchbares anzubieten, um aus Fotos plötzlich eine Dimension mehr herauszukitzeln. Einen Markt gibt es dafür definitiv – wie man nämlich einen naturgetreuen 3D-Avatar von einem selbst oder vom Lieblings-Star produzieren könnte, (ohne als Top-Experte einen Monat lang in Programmen wie ZBrush herumzudoktern…), das ist seit Jahren die Frage Nummer eins in den entsprechenden Online-Foren.

Das wir dann irgendwann überhaupt keinem Bild mehr trauen können, ist noch mal eine ganz andere Sache.

Bildbearbeitung: Mit 3D-Modellen zum perfekten Selfie – SPIEGEL ONLINE