Lippensynchron neu definiert

In den USA startet mit "Watch the Skies" ein erster Kinofilm, bei dem dank KI die Lippenbewegungen ebenfalls synchronisiert wurden. Amerikaner schauen kaum Filme, die nicht auf Englisch gedreht wurden. Früher mochten sie  angeblich auch keine Untertitel, das hat sich in den letzten Jahren etwas verändert, zumindest im Kino akzeptieren immer mehr Zuschauer auch die Untertitel.

Während in einigen Ländern Europas eifrig fremdsprachige Filme in die jeweilige Landessprache synchronisiert werden, lehnen die Amerikaner angeblich Synchronisationen ab, weil die Lippenbewegungen nicht mit der Sprache übereinstimmen. Hierzulande versuchen die Synchronautoren, bereits bei den Textbüchern die Position der Vokale, Umlaute und Atmer im Deutschen Dialog an die jeweiligen Originale anzupassen. Und die Synchronsprecher sehen die jeweiligen Takes beim Sprechen um möglichst nah an das Original heranzukommen. Zusätzlich passt ADR Software die Stimmen von der Position und Dauer her an die Originale an.

Visuelle Synchronisation

Dank KI gibt es nun Verfahren, bei denen nicht nur die Dialogspur der Schauspieler in perfektes US-Englisch synchronisiert wird, sondern auch die Lippenbewegungen der Schauspieler. Man nennt das Verfahren Visuelle Synchronisation, im Fall von "Watch the Skies" wirkt der ursprünglich schwedische Film dadurch so, als es wäre es ein amerikanischer Film.

Dass diese Vorgehensweise nicht gegen die neuen KI-Richtlinien verstößt, welche die Gewerkschaft der Schauspieler durch ihren letzten großen Streik erkämpft haben, liegt daran, dass die schwedischen Schauspieler ihre eigenen schwedischen Stimmen auf Englisch selbst synchronisiert haben. Doch natürlich wird das Filmwerk auch dann verändert, schließlich sprechen Schauspieler ihre Dialoge allein schon beim Drehen, oft bei jedem Take ein wenig anders. Das gilt erst recht, wenn sie es Monate später noch einmal in einem Tonstudio in einer anderen Sprache tun.

Üblicherweise werden von Filmtonmischungen größerer Filme stets auch Mischversionen aufgezeichnet, bei denen die Sprache fehlt, sogenannte IT-Versionen. Diese beinhalten alle Töne, also Geräusche, Atmos, Effekte und Musik, aber eben keine Sprache. Die nachsynchronisierten Dialoge etc. werden dann einfach mit dem IT Band zusammengemischt, so bleibt der Aufwand für die Tonseite überschaubar. Nun also wurden die Gesichter der Schauspieler an die Sprache der Englischen Synchronisation angepasst.

Kritische Stimmen

Diese Vorgehensweise stößt durchaus auch auf Kritik, etwa weil damit die sprachliche und kulturelle Identität der Filme ausgelöscht und die Englische Sprache als dominierend in der Welt herausgestellt wird. Und natürlich werden auch Bedenken hinsichtlich der schauspielerischen Emotionen und der veränderten Übersetzung geäußert, doch diese kommen ja in Europa dank hervorragender Synchronsprecher und gut übersetzter Synchronbücher auch kaum zum Tragen.

Auch fragen wir uns, was die KI mit Gesichtern anstellt, die ironisch sprechen, bei denen also der Gesichtsausdruck und damit auch der Mund das Gegenteil vom gesprochenen Inhalt zum Ausdruck bringt. Aber vielleicht sind das Feinheiten, die bei solchen industriellen Nutzungen der Künstlichen Intelligenz schlicht verloren gehen.

Flawless AI, die US-Firma, bei der die Visuelle Synchronisation vorgenommen wurde, hat dazu ein "Making Of" hergestellt, in dem der Prozess am Beispiel von "Watch the Skies" erläutert wird.

Mit dem Aufkommen dieser Technologie werden nun auch in den USA grundsätzliche Fragen diskutiert, etwa was es mit der Performance macht, wenn man im Ton Dialoge hört, die gar nicht zum Zeitpunkt der Filmaufnahme von den Schauspielern gesprochen werden. Was macht es mit der Stimme und den Emotionen, wenn man nicht in der Szene in seinem Kostüm und in dem individuellen Raum ist, sondern in einer Sprecherkabine steht. Hierzulande gibt es diese Diskussion schon lange, billig und schlecht produzierte Synchronisationen bedeuten eine spürbare Verschlechterung, während sehr gute Synchonisationen mit hervorragenden Synchronsprechern und Synchronregie manchmal sogar das Original übertreffen können.

Die Studios jedenfalls erhoffen sich durch die neue Technologie Zeitersparnis und vor allem auch, dass Filme nun einem breiteren Publikum angeboten werden können. Schauspieler und Synchronsprecher jedoch fürchten, dass dies erst der Anfang einer Jobvernichtenden Umwälzung ihres Berufsstandes sein könnte. Hier sind faire Vereinbarungen absolut sinnvoll und notwendig. Die neue Technologie jedenfalls wird uns vermutlich in Zukunft immer öfter begegnen.