──„Stimme und Lippenbewegungen übersetzen“: Die Möglichkeiten und das Unbehagen dieser Ära

Laut einem Bericht von The Verge, der am 19. August (UTC) veröffentlicht wurde, hat Meta eine umfassende Einführung der „AI-Übersetzung (AI-Stimmenübersetzung + Lippensynchronisation)“ für Facebook und Instagram Reels gestartet, die es ermöglicht, mit einem einzigen Schalter vor der Veröffentlichung in eine andere Sprache automatisch synchronisiert zu werden. Die übersetzte Stimme wird der Originalstimme des Sprechers angepasst und die Lippenbewegungen werden synchronisiert. Zunächst wird Englisch⇄Spanisch unterstützt, und die übersetzten Reels werden automatisch in der Anzeigesprache der Zuschauer bereitgestellt. Bei den Beiträgen wird „Übersetzt mit Meta AI“ angegeben, und die Funktion ist schrittweise für öffentliche Instagram-Konten und für Facebook-Creators mit mehr als 1.000 Followern verfügbar.The Verge

Diese Funktion kann als „Produktversion“ der automatischen Synchronisation und Lippensynchronisations-Demo angesehen werden, die auf der Meta Connect 2024 vorgestellt wurde. Auch YouTube (Google) investiert verstärkt in automatische Synchronisation, und der globale Wettbewerb um die Betrachtung von Kurzvideos beschleunigt sich erneut mit der Prämisse „eingebaute Übersetzung“.The Verge

Was ändert sich?: Vom Untertitel zum „grenzüberschreitenden Hören“

Bisher war das grenzüberschreitende Betrachten auf Instagram und Facebook auf automatische Untertitel angewiesen. Die AI-Synchronisation gibtdie Kontrolle vom „Lesen“ zum „Hören“zurück. Besonders bei vertikalen kleinen Bildschirmen, auf denen Untertitel leicht überlagert werden, wie bei Beauty-, Koch- und Review-Videos, sowie bei Comedy und Kurzdramen, die auf Tempo angewiesen sind, ist der Nutzen groß. Zuschauer können in ihrer Muttersprache durch Videos scrollen, und Creator können ohne zusätzlichen Bearbeitungsaufwand **sprachspezifische Versionen „automatisch generieren“**.

Anwendung: Schalter vor der Veröffentlichung, endgültige Überprüfung in der Vorschau

Im Menü vor der Veröffentlichung von Reels wurde die neue Option **„Translate voices with Meta AI“ hinzugefügt, und bei Bedarf kann die Option „Lip-sync“** ergänzt werden. Vor der Veröffentlichung kann eine Vorschau überprüft werden. Nach der Veröffentlichung wird die übersetzte Version automatisch basierend auf der App-Sprache des Zuschauers ausgewählt, und es wird durch ein Label angezeigt, dass es sich um eine AI-Übersetzung handelt.The Verge

Bereitstellungsbereich: Ausgangspunkt für die globale Einführung

Der aktuelle Fokus liegt aufEnglisch⇄Spanisch als Ausgangspunkt. Allerdings berichten Medienunternehmen über Meta-Kommentare, die auf eine „globale Creator-Einführung und Erweiterung der Zielsprachen“ hinweisen, und das Interesse des Marktes hat sich darauf verlagert, „welche Sprache als nächstes kommt“.TechCrunchThe Times of India

Praktische Vorteile für Creator

• Die Reichweite erhöht sich erheblich: Allein durch das Überschreiten der englisch- und spanischsprachigen Regionen verdoppelt sich die potenzielle Reichweite. Es ist möglich, durch „Übersetzung“ in den englischsprachigen Raum mit hohen Anzeigenpreisen vorzudringen.

• Neuerfindung der Produktion: Mit einem einzigen Skript und einer einzigen Aufführung könnensprachspezifische „alternative Versionen“ automatisch in Serie produziert werden. Testveröffentlichungen→Erweiterung erfolgreicher Muster ist einfacher.

• Senkung der Kollaborationsbarrieren: Bei grenzüberschreitenden Duetten/Remixen könnenZuschauer in ihrer jeweiligen Mutterspracheerreicht werden.

Bedenken und Diskussionen: Halb Freude, halb Unbehagen

Auf sozialen Medien gibt es bereitskontroverse Meinungen.

• Befürworter: Stimmen, die es als „weniger Untertitelbelastung, mehr Immersion“ und „magisch, dass es sogar mit den Lippenbewegungen übereinstimmt“ loben.

• Skeptiker: Beiträge, die das„Verändern der Lippenbewegungen“ und die Qualität der AI-Stimmeals „unheimlich“ empfinden, sind auffällig. Ein Nutzer teilte seine Überraschung darüber, dass „ausländische Reels plötzlich auf Englisch sprechen“. In einem anderen Thread wurde darauf hingewiesen, dass „AI-Stimmen den Gesamteindruck des Videos verschlechtern“.Reddit

• Wunsch nach Kontrolle: Es gibt auch Stimmen, die fordern, dass die automatische Synchronisation und die Sprachfixierung detaillierter ausgewählt werden können.Reddit

• Kennzeichnung und Transparenz: Obwohl die Kennzeichnung obligatorisch ist, sindklare Offenlegungen bei Werbe- und PR-Beiträgen, die Rechte an Stimmen und der Umfang der Zweitnutzung,Betriebsregelnzukünftige Schwerpunkte.The Verge

Praktische Tipps zur Qualitätssteigerung (für die Verteilung)

1. Das Skript sollte „eher umgangssprachlich als schriftsprachlich“ sein: Sprachsynthese funktioniert besser mit kurzen Sätzen.

2. Hintergrundmusik leiser stellen: Wenn die Hintergrundmusik laut ist, wird die Lesbarkeit des Übersetzungsergebnisses beeinträchtigt.

3. Eigennamen mit Untertiteln unterstützen: Um Übersetzungsinkonsistenzen zu minimieren.

4. Nicht zu sehr auf Lippenbewegungen vertrauen: Die Lippensynchronisation ist nicht allmächtig. Vermeiden Sie lange Nahaufnahmen.

5. Lokalisierung von Labels und CTAs: Optimieren Sie Thumbnails/Titel/Beschreibungen für jede Sprache.

6. Zuerst „Englisch⇄Spanisch“ für A/B-Tests: Wenn die Unterstützung für Japanisch kommt,lernen Sie im Vorauserfolgreiche Muster.

Im japanischen Kontext: Bereiten Sie sich auf die Welle der Spracherweiterung vor

Noch bevor Japanisch offiziell unterstützt wird, ist die Strategie, neue Fans durch „Rückexport“ vonEnglischversion→Spanischübersetzungzu gewinnen, effektiv. Genres wie Spiele, Anime, Kochen und Reisen, diestark sprachunabhängigsind, passen besonders gut. Andererseits sollten in Bereichen, in denen **„die Stimme als Persönlichkeit“ ein Vermögenswert** ist, wie bei Talenten oder VTubern, die Nutzungsbedingungen für AI-Stimmen, Vertretungsbefugnisse und Gewinnverteilung zwischen Agenturen und Creators schriftlich festgelegt werden.

Wettbewerbslandschaft: Der umfassende Kampf der Plattformen

Auch YouTube konzentriert sich auf automatische Synchronisation, und TikTok verstärkt seine Übersetzungs- und Sprachsynthesefunktionen. Der Schwerpunkt hat sich darauf verlagert, **„wer die natürlichste, transparenteste und am leichtesten kontrollierbare Übersetzungserfahrung bietet“. Meta hatmit der „Multilingualisierung als Kernfunktion“ von Reels einen Schritt voraus gemacht.The Verge

Zusammenfassung

Metas AI-Synchronisation entwickelt das grenzüberschreitende Betrachten, das bisher auf Untertitel fokussiert war, zu einem **„grenzüberschreitenden Hören“. Während es die Normen der Produktion und Verteilung verändert, sind auchUnbehagen und Rechtefragengleichzeitig aufgetaucht. Der nächste Meilenstein istdie Erweiterung der unterstützten Sprachenunddie sorgfältige Gestaltung der Zuschauersteuerung**. Teams, die schnell auf diese Welle aufspringen und ein „Modell“ für den Betrieb etablieren, werden die Gewinner im Bereich der mehrsprachigen Kurzvideos sein.

Powered by Froala Editor