──“声音和口型同步”翻译时代的可能性与违和感

根据The Verge于8月19日（UTC）发布的报道，Meta已在Facebook和Instagram的Reels上全面推出了一项功能，允许用户在发布前通过一个切换按钮自动将视频翻译成其他语言。这项“AI翻译（AI语音翻译+口型同步）”技术会将翻译后的声音调整为与原声相似，并同步口型。首先支持英语⇄西班牙语，翻译后的Reels会根据观众的显示语言自动呈现。发布内容会标明“通过Meta AI翻译”，该功能将逐步向Instagram的公开账户和Facebook上拥有超过1,000名粉丝的创作者开放。The Verge

这一功能可以说是2024年Meta Connect上展示的自动配音和口型同步演示的“产品版”。YouTube（Google）也在加大对自动配音的投资，短视频的全球观看竞争在“内置翻译”的前提下再次加速。The Verge

有什么变化？：从字幕到“声音跨越”

过去，Instagram和Facebook的跨境观看主要依赖自动字幕。AI配音将观看的主导权从“阅读”转为“聆听”。尤其是在小屏幕上字幕容易遮挡的美容、烹饪、评论类，以及节奏至关重要的喜剧和短剧中，受益尤为显著。观众可以用母语轻松观看，创作者无需增加编辑工作量即可**“自动生成”不同语言版本**。

使用方法：发布前切换，预览中最终确认

在Reels的发布前菜单中新增了**“使用Meta AI翻译声音”选项，并在需要时添加“口型同步”**。发布前可以进行预览确认。发布后，翻译版本会根据观众的应用语言自动选择，并标明为AI翻译。The Verge

提供范围：全球推广的起点

此次的对象是英语⇄西班牙语作为起点。然而，各大媒体报道了Meta的评论，暗示“全球创作者推广和目标语言的扩展”，市场的关注点转向“下一个支持的语言是什么”。TechCrunchThe Times of India

对创作者的实际利益

• 受众数量大幅增加：仅跨越英语区/西班牙语区，潜在播放量就能成倍增长。可以通过“翻译”进入广告单价高的英语区。

• 制作的再发明：通过一个剧本和表演，不同语言的“版本”可以自动大量生产。测试发布→轻松横向扩展成功模式。

• 合作的障碍降低：即使是跨国界的二重唱/混音，也能以各自的母语传达给观众。

担忧与论点：一半欢喜，一半困惑

在SNS上，赞成与反对的声音已经涌现。

• 欢迎派：“字幕负担减少，沉浸感增加”，“口型同步如同魔法”这样的评价。

• 违和感派：“口型的改动”以及AI声音的质感让人感到“恐怖谷”效应的帖子尤为显眼。有用户分享了“外国的Reels自动用英语说话”的惊讶。在另一个帖子中，有人指出“AI声音让整个视频的印象变差”。Reddit

• 控制的需求：“希望能更细致地选择自动配音的开/关或语言固定”，有观众要求更多的控制权。Reddit

• 标识与透明性：虽然标签显示是强制的，但在广告或PR发布中明确披露、声音权利和二次利用范围等运营规则的细化将是未来的焦点。The Verge

提高质量的实践技巧（发布方）

1. 稿件应偏向“口语短句”而非“书面语”：语音合成在短句中更不易出错。

2. 降低背景音乐：背景音乐过大会降低翻译结果的可读性。

3. 专有名词用字幕辅助：减少翻译不一致。

4. 不要过度依赖口型同步：口型同步并非万能，避免长时间的特写镜头。

5. 标签和CTA的本地化：缩略图/标题/说明文字也需按语言优化。

6. 先在“英⇄西”进行AB测试：为日本语支持到来时提前学习成功模式。

在日本的背景下：准备迎接语言扩展的浪潮

在日语正式支持之前，通过英语版→西班牙语翻译的“逆向输出”策略来吸引新粉丝是有效的。游戏、动漫、烹饪、旅行等语言非依赖性强的类别尤其适合。然而，对于如艺人或VTuber等**“声音个性”是资产**的领域，AI声音的使用规定、代理权限、收益分配应在事务所/创作者之间明确化。

竞争地图：平台的全面战争

YouTube也专注于自动配音，TikTok也在继续加强翻译和语音合成。主导权转向**“谁能创造出最自然、最透明、最易控制的翻译体验”。Meta通过将Reels的“多语言化核心功能”化**领先一步。The Verge

总结

Meta的AI配音将以字幕为中心的跨境观看进化为**“声音跨越”。虽然改变了制作和发布的常识，但违和感和权利问题也同时显现。下一个分水岭是扩展支持语言和观众控制的精细设计**。尽早乘上这股浪潮并确立运营“模式”的团队，将成为多语言短视频的赢家。

Powered by Froala Editor