现在这条片子,每句韩语都是三样东西一起做出来的。中文只出现在字幕上,没有拿去念。
念词的那一截 用的是我们自己训的 perlica_ckpt/v4/perlica-e10.ckpt。它从软件自带的 s1v3.ckpt 出发,用佩丽卡的韩语录音学了 10 轮。那些录音来自网上的韩语语音,后来和游戏里解出来的核对过,是同一批。长句子按停顿切成大约一百来段短句,台词用游戏原句,没有用语音识别去猜。这一截只负责这句韩语怎么念、在哪断句。
发声的那一截 用的是软件原本自带的 C:\Users\Administrator\.cache\gsv\s2Gv2ProPlus.pth。作者做这个文件时,主要用的是中文语料,所以说韩语会带一点中文味。我们没有拿佩丽卡的中文录音再训它,也没有拿佩丽卡的韩语录音再训它。韩语训过的那份发声文件有电音,成片没有用。
样子 用的是一句她自己的韩语:perlica_sliced/27_信赖对话1_00.wav,台词是「관리자, 정기적으로 건강검진 받는 거 잊지 마.」。这句也是从上面那批韩语录音里切出来的第一小段。合成时每句话都先听这句,好知道要模仿谁的嗓子。它没有参与发声那一截的训练。
要念的稿子在 phil_video/serve_people/script.json,八章 85 句韩语。程序一句一句生成,句与句之间空 0.35 秒,开头空 2.2 秒,再配上对应的中文字幕,做成 perlica_base_full.mp4。
旁边还用了两个软件自带的辅助文件,只帮着听参照音、看文字,不决定嗓音:chinese-hubert-base 和 chinese-roberta-wwm-ext-large,都在同一个 .cache\gsv 目录里。