WhisperFusion:具有超低延迟无缝对话功能的AI系统

WhisperFusion 基于 WhisperLive 和 WhisperSpeech 的功能而构建,在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM)。

LLM 和 Whisper 都经过优化,可作为 TensorRT 引擎高效运行,从而最大限度地提高性能和实时处理能力。WhiperSpeech 是通过 torch.compile 进行优化的。

特征

  • 实时语音转文本:利用 OpenAI WhisperLive 将口语实时转换为文本。

  • 大型语言模型集成:添加大型语言模型 Mistral,以增强对转录文本的理解和上下文。

  • TensorRT 优化:LLM 和 Whisper 都经过优化,可作为 TensorRT 引擎运行,确保高性能和低延迟处理。

  • torch.compile:WhisperSpeech 使用 torch.compile 来加速推理,通过将 PyTorch 代码 JIT 编译到优化的内核中,使 PyTorch 代码运行得更快。

入门

  • 我们提供了一个预构建的 TensorRT-LLM docker 容器,该容器将 Whisper 和 phi 转换为 TensorRT 引擎,并且预先下载 WhisperSpeech 模型以快速开始与 WhisperFusion 交互。

    docker run --gpus all --shm-size 64G -p 6006:6006 -p 8888:8888 -it ghcr.io/collabora/whisperfusion:latest

  • 启动网页图形用户界面

    cd examples/chatbot/htmlpython -m http.server

构建 Docker 镜像

我们提供 cuda-architecures 89 和 90 的 docker 映像。如果您有具有不同 cuda 架构的 GPU。例如使用 cuda-架构 86 为 RTX 3090 构建

复制代码
bash build.sh 86-real

这应该为 RTX 3090 构建 ghcr.io/collabora/whisperfusion:latest

项目链接

https://github.com/collabora/WhisperFusion

相关推荐
杨小扩10 分钟前
第4章:实战项目一 打造你的第一个AI知识库问答机器人 (RAG)
人工智能·机器人
whaosoft-14311 分钟前
51c~目标检测~合集4
人工智能
雪兽软件11 分钟前
2025 年网络安全与人工智能发展趋势
人工智能·安全·web安全
元宇宙时间1 小时前
全球发展币GDEV:从中国出发,走向全球的数字发展合作蓝图
大数据·人工智能·去中心化·区块链
小黄人20252 小时前
自动驾驶安全技术的演进与NVIDIA的创新实践
人工智能·安全·自动驾驶
ZStack开发者社区3 小时前
首批 | 云轴科技ZStack加入施耐德电气技术本地化创新生态
人工智能·科技·云计算
X Y O3 小时前
神经网络初步学习3——数据与损失
人工智能·神经网络·学习
唯创知音4 小时前
玩具语音方案选型决策OTP vs Flash 的成本功耗与灵活性
人工智能·语音识别
Jamence4 小时前
多模态大语言模型arxiv论文略读(151)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
tongxianchao4 小时前
LaCo: Large Language Model Pruning via Layer Collapse
人工智能·语言模型·剪枝