LLaMA-Omni 2:基于 LLM 的自回归流语音合成实时口语聊天机器人

LLaMA-Omni 2 是基于 Qwen2.5-0.5B/1.5B/3B/7B/14B/32B-Instruct 模型的一系列语音语言模型。与 LLaMA-Omni 类似,它可以同时生成文本和语音应答,从而实现高质量、低延迟的语音交互。通过新引入的流式自回归语音解码器,LLaMA-Omni 2 与 LLaMA-Omni 相比实现了更高的语音质量。

安装

bash 复制代码
git clone https://github.com/ictnlp/LLaMA-Omni2
cd LLaMA-Omni2

conda create -n llama-omni2 python=3.10
conda activate llama-omni2
pip install -e .

快手上手

下载Whisper large v3

bash 复制代码
import whisper
model = whisper.load_model("large-v3", download_root="models/speech_encoder/")

下载 CosyVoice 2

bash 复制代码
huggingface-cli download --resume-download ICTNLP/cosy2_decoder --local-dir models/cosy2_decoder

从 Hugging Face 下载 LLaMA-Omni2 系列型号。LLaMA-Omni2-0.5B/1.5B/3B/7B/14B 仅支持英文,而 LLaMA-Omni2-0.5B/1.5B/3B/7B/14B/32B-Bilingual 支持中英文

LLaMA-Omni2 LLaMA-Omni2-Bilingual
🤗 LLaMA-Omni2-0.5B 🤗 LLaMA-Omni2-0.5B-Bilingual
🤗 LLaMA-Omni2-1.5B 🤗 LLaMA-Omni2-1.5B-Bilingual
🤗 LLaMA-Omni2-3B 🤗 LLaMA-Omni2-3B-Bilingual
🤗 LLaMA-Omni2-7B 🤗 LLaMA-Omni2-7B-Bilingual
🤗 LLaMA-Omni2-14B 🤗 LLaMA-Omni2-14B-Bilingual
- 🤗 LLaMA-Omni2-32B-Bilingual

Gradio

controller

bash 复制代码
python -m llama_omni2.serve.controller --host 0.0.0.0 --port 10000

server

bash 复制代码
python -m llama_omni2.serve.gradio_web_server --controller http://localhost:10000 --port 8000 --vocoder-dir models/cosy2_decoder

worker

bash 复制代码
python -m llama_omni2.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path models/$model_name --model-name $model_name

访问 http://localhost:8000/ 并与 LLaMA-Omni2 互动!

本地推理

bash 复制代码
output_dir=examples/$model_name
mkdir -p $output_dir

python llama_omni2/inference/run_llama_omni2.py \
    --model_path models/$model_name \
    --question_file examples/questions.json \
    --answer_file $output_dir/answers.jsonl \
    --temperature 0 \
    --s2s

python llama_omni2/inference/run_cosy2_decoder.py \
    --input-path $output_dir/answers.jsonl \
    --output-dir $output_dir/wav \
    --lang en

鸣谢

  • CosyVoice 2:我们使用 CosyVoice 2 的预训练语音标记器、语流匹配模型和声码器。
  • SLAM-LLM:我们借用了语音编码器和语音适配器的一些代码。
相关推荐
jonyleek1 小时前
如何搭建一套安全的,企业级本地AI专属知识库系统?从安装系统到构建知识体系,全流程!
人工智能·安全
墨风如雪1 小时前
腾讯混元3D开源:世界生成,正式进入读秒时代
aigc
MQ_SOFTWARE1 小时前
AI驱动的金融推理:Fin-R1模型如何重塑行业决策逻辑
人工智能·金融
生医转码,四海为家2 小时前
零基础-动手学深度学习-6.6 卷积神经网络(LeNet)
人工智能·深度学习·cnn
无名工程师2 小时前
AI 学习过程中各阶段的学习重点、时间规划以及不同方向的选择与建议等内容
人工智能·学习
WXX_s2 小时前
【OpenCV篇】OpenCV——03day.图像预处理(2)
人工智能·python·opencv·学习·计算机视觉
熊猫钓鱼>_>2 小时前
文心4.5开源之路:从封闭到开放的力量
开源
有才不一定有德3 小时前
深入剖析 MetaGPT 中的提示词工程:WriteCode 动作的提示词设计
人工智能·aigc·提示词工程
花月mmc3 小时前
CanMV-K230 AI学习笔记系列
人工智能·笔记·学习