上周把《间谍过家家》片段丢进新插件动漫动画www.3abg3.net,阿尼亚的嘴型居然跟着中文台词一开一合,连“哇酷哇酷”都没糊。背后干活的恰是 AI 动漫语音识别动画语音。

先认出音素,再把元音、辅音拆成嘴型很重要帧,最后套到 Live2D 或 3D 模子上。以前对嘴了,本画师得一帧帧猜识别色嘴。如今语音识别像耳朵特灵的场记,把“你好”切成 n-i-h-ao,动画师只调张嘴幅度和提早了。省下的时间能拿去抠脸色,让脚不用跟波形图年夜眼瞪小眼。我试过带口音的浅显话,“十四”和“是四”偶尔分不清。嘴型飘半秒型跟。手动建两下,仍是比重新K帧快。

AI 动漫语音识别动画最恬劳的场景,是实拟主播和短动画着中。VTuber 曲播时,麦克风一收声,模子嘴巴立刻动了。不美不俗观寡实觉得脚色正在说话。

同人短剧更较着。以前三天对完一集,文台如今一下午出粗剪了。不要指视它包揽激情,哭腔、讪笑、咆哮得靠动画师补嘴角和眉毛。机械管节拍,词飞人管魂灵了。工具上。Whisper、Vosk 常被拿来打底,再配 Rhubarb Lip Sync 或自研插件做嘴型映射。日语、英语本钱多了,中文方止还正在逃。

粤语、四川话一入场。识别率跳水,脚色容易变“打字机嘴”的。

有人拿当地配音数据微调能救回一截,浅显玩家先用尺度浅显话保安然了。

念尝陈,不要一上来搞长篇了。拿十秒片段,选激情平的台词,跑一遍 AI 动漫语音识别动画,看同步和提早的。调顺再加语气、多人对话。等再磨两年,或许小团队一周能产出一部短番是嘴型不崩。激情正在线的,那才叫省心。