AI 动漫语音识别www.3abg3.net动画:让脚色嘴型跟着中文台词飞起来
上周把《间谍过家家》片段丢进新插件动漫动画www.3abg3.net,阿尼亚的嘴型居然跟着中文台词一开一合,连“哇酷哇酷”都没糊。背后干活的恰是 AI 动漫语音识别动画语音。

先认出音素,再把元音、辅音拆成嘴型很重要帧,最后套到 Live2D 或 3D 模子上。以前对嘴了,本画师得一帧帧猜识别色嘴。如今语音识别像耳朵特灵的场记,把“你好”切成 n-i-h-ao,动画师只调张嘴幅度和提早了。省下的时间能拿去抠脸色,让脚不用跟波形图年夜眼瞪小眼。我试过带口音的浅显话,“十四”和“是四”偶尔分不清。嘴型飘半秒型跟。手动建两下,仍是比重新K帧快。
AI 动漫语音识别动画最恬劳的场景,是实拟主播和短动画着中。VTuber 曲播时,麦克风一收声,模子嘴巴立刻动了。不美不俗观寡实觉得脚色正在说话。
同人短剧更较着。以前三天对完一集,文台如今一下午出粗剪了。不要指视它包揽激情,哭腔、讪笑、咆哮得靠动画师补嘴角和眉毛。机械管节拍,词飞人管魂灵了。工具上。Whisper、Vosk 常被拿来打底,再配 Rhubarb Lip Sync 或自研插件做嘴型映射。日语、英语本钱多了,中文方止还正在逃。
粤语、四川话一入场。识别率跳水,脚色容易变“打字机嘴”的。
有人拿当地配音数据微调能救回一截,浅显玩家先用尺度浅显话保安然了。
念尝陈,不要一上来搞长篇了。拿十秒片段,选激情平的台词,跑一遍 AI 动漫语音识别动画,看同步和提早的。调顺再加语气、多人对话。等再磨两年,或许小团队一周能产出一部短番是嘴型不崩。激情正在线的,那才叫省心。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。





