Day 19 完成了动漫配音二创的原声分离、新配音录制与重新混音。今天继续处理最容易让观众出戏的问题：口型同步。
口型同步并不是把整句对白拖到画面长度相同。
真正需要对齐的是发音事件、停顿、表情与动作。若只改变整段速度，人声可能产生音高、共振峰与节奏失真。
不同帧率下，一帧代表的时间不同：
嘴型差两三帧，在 24 fps 影片中可能已经超过 80 毫秒，观众通常会感觉对白偏早或偏晚。
因此，调整时应该查看时间码与画格，不要只凭波形大概拖动。
一句话开始时，角色嘴巴由闭合转为张开，可以作为对白起点。
不过，不是所有发音都会立即张大嘴巴。元音通常较明显，轻声子音则可能只有很小变化。
「P」、「B」、「M」等发音会出现明显闭唇动作。
这些位置比长元音更适合作为同步锚点。可以在波形中寻找爆破音瞬态，再对齐嘴巴闭合与释放的画格。
角色喊叫、哭泣或唱出长音时，嘴巴会维持较大开口。
长元音适合检查中段是否逐渐漂移。如果开头同步、结尾却越来越慢，通常代表台词整体节奏不合，而不是单纯起点错误。
长句建议拆成多个表演单位：
分段录制可以分别调整时间，不需要对整句进行大幅伸缩。
录音时保留每段前后空白，方便后续加入淡化、环境声与呼吸。
优先调整台词与表演。
翻译后的中文句子，音节数可能与原语言差很多。若坚持逐字直译，即使语意正确，也可能无法配合口型。
可以从以下方向改写：
技术修正应放在表演调整之后。
轻微时间差可以使用 Time Stretch 修正。
适合的情况包括：
如果需要大幅缩短或拉长，重新录制通常比强行伸缩自然。
时间伸缩过度可能造成：
Pitch 影响音高，Formant 则与声道特征和音色感受有关。
只改变速度时，部分演算法会连带改变音高；启用 Pitch Preservation 可以维持基本音高，但仍可能改变瞬态与音色。
若工具提供 Formant Preservation，也要检查角色年龄感与声音厚度是否仍然一致。
技术上音高没有变化，不代表听起来完全自然。
比较稳妥的流程是：
如果先加入大量回音，再做 AI 降噪，系统可能把混响尾巴误判成背景杂音。
如果先使用强力降噪，再大幅时间伸缩，原本轻微的数位伪影也可能被拉长。
Audio Cleaner 可以用于两个阶段。
如果只有完整混音，可以先进行人声与背景音轨分离，降低原始角色对白，并尽量保留音乐与音效。
新录音若有冷气、风扇、口腔音或房间回音，可以使用 Audio Cleaner 做影片去雜音保留人聲。
处理后再进入口型同步，避免将明显底噪一起伸缩。
口型同步完成后，还要重建空间感。
需要观察原场景：
新配音通常太近、太干净。
可以加入少量混响、EQ 与音量距离变化，但不要用过重效果掩盖同步问题。
先关闭声音，只观察角色嘴巴与动作，标记真正的开口、闭口和情绪转折。
只听声音，确认台词节奏本身自然，不是为了对口型而变得断裂。
半速播放能帮助发现：
最后必须恢复正常速度再听一次，因为半速自然不代表正常播放自然。
整句语速与画面不合，应该重新表演或分段调整。
过度追求单一音节同步，破坏了真实说话节奏。
时间伸缩或变调改变了共振峰。
缺少原场景的距离、EQ、混响与环境声。
可能是 AI 降噪与时间伸缩叠加过重，应回到中间版本重新处理。
动漫、游戏与影视配音二创仍涉及原始画面、音乐、角色、对白与表演权利。
练习时应优先使用：
技术上完成去背景音、曲茎分离或角色换声，不代表自动取得公开发布许可。
动漫配音口型同步的正确顺序是：
分析画格 → 找同步锚点 → 调整台词 → 分段录制 → 轻度降噪 → 对齐时间 → 少量时间伸缩 → 重建空间感 → 完整混音。
Audio Cleaner 可以先分离原始人声，也能处理新配音的 AI 降噪、口腔音与回音问题。
真正自然的同步，不是每个字都卡在同一帧，而是角色开口、呼吸、停顿和情绪都像来自画面里的同一个人。
iThome鐵人賽
看影片追技術