【AI】文本转语音 变声 音色克隆 数字人音视频口型同步AI应用

文本转语音

项目地址:https://github.com/coqui-ai/TTS

环境安装:

  1. 下载项目;

  2. 安装Python,安装项目依赖:

    pip install TTS

1. 下载安装AI模型:

https://github.com/facebookresearch/fairseq/tree/main/examples/mms

模型文件放到:C:\Users\Administrator\AppData\Local\tts

2. 将文本转换为语音:

tts --text "要转换的文本内容" --model_name "指定语音模型" --out_path .\outFile.wav

语音模型可通过命令tts --list_models列出

示例(使用中文语音模型):

复制代码
tts --text "你好,中文。" --model_name "tts_models/zh-CN/baker/tacotron2-DDC-GST" --out_path .\test.wav
3. 自定义人声:

就是给定一段语音,生成语音的音色就会与给定语音相似。也就是自定义人声。

自定义人声需要依赖xtts模型,下载地址:https://huggingface.co/coqui/XTTS-v2/tree/main

也可以通过以下命令行下载:

复制代码
git lfs install
git clone https://huggingface.co/coqui/XTTS-v2

下载的模型文件必须放到特定文件夹:C:\Users\Administrator\AppData\Local\tts\tts_models--multilingual--multi-dataset--xtts_v2

使用以下命令生成自定义人声的语音:

复制代码
tts --model_name tts_models/multilingual/multi-dataset/xtts_v2 --language_idx zh-cn --speaker_wav ./out/output.wav --text "感谢榜一大哥,王思春送来的一发火箭。" --out_path ./out/ai_output.wav

语音转语音(变声)

项目地址:https://github.com/voicepaw/so-vits-svc-fork

1. 环境安装:
  1. 下载项目;
  2. 安装依赖:pip install --r requirements.txt
  3. 下载语音模型:

https://huggingface.co/models?search=so-vits-svc

https://civitai.com/?query=so-vits-svc

模型存放目录结构configs/模型文件.pth;configs/44k/config.json

2. 使用方法:
  1. GUI使用:

命令: svc gui打开UI界面

选择模型文件、模型配置文件、原语音文件wav;

点击Infer按钮生成语音文件;

  1. 使用命令行:

svc infer C:\Users\Administrator\Desktop\test.wav -m "C:\Users\Administrator\Desktop\configs"

视频同步语音口型

项目地址:https://github.com/OpenTalker/video-retalking

1. 环境安装:
  1. 下载项目;
  2. 安装conda:Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
  3. 使用conda创建python环境:

conda create -n video_retalking python=3.8

conda activate video_retalking

  1. 安装依赖:

conda install ffmpeg

复制代码
pip install -r requirements.txt
  1. AI模型下载:https://drive.google.com/drive/folders/18rhjMpxK8LVVxf7PI6XwOidt8Vouv_H0?usp=share_link

在项目工程下新建checkpoints文件夹并将模型全部文件放入文件夹;

2. 使用方法:
复制代码
.\inference --face 3.mp4 --audio D:\Workspace\TTS-0.21.3\test.wav --outfile C:\Users\Administrator\Desktop\out_3.mp4
相关推荐
阿里云大数据AI技术5 分钟前
阿里云 Milvus 场景中心|一键部署你的AI应用
人工智能
京东云开发者6 分钟前
Agent 研发工作系统:面向多需求并行端到端开发的设计与实践
人工智能
IT大白鼠1 小时前
当 AI 开始自动化渗透:FBI ARTEX 警报的防守对策
运维·人工智能·自动化
进击的丸子2 小时前
1126B的Demo实操——虹软ArcFace SDK(RV1126BP ARM64 V5.0)交叉编译与运行指南
人工智能·程序员·代码规范
独隅2 小时前
Cann-Samples 实战应用与场景落地指南
人工智能·cann·cann-samples
阿里云大数据AI技术2 小时前
让 Agent 学会诊断 Elasticsearch:一套证据绑定的智能运维方法论
人工智能
十有八七2 小时前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
米小虾3 小时前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界3 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房