fast-voice-assistant

首先我们来到这个据说50行代码就可以创建个人语音助手的github地址
GitHub - dsa/fast-voice-assistant: ⚡ Insanely fast AI voice assistant with <500ms response times

按照readme 完成环境的配置

but,你发现,这只是第一步,真正的难点在于完成.env中各个key的配置

1)Using the API --- Cartesia

一个最快的文本转语音模型Sonic

2)https://inference.cerebras.ai/

一个提供大模型api-key的平台,类似于altogether

这里需要申请,需要我用openai的key代替使用

assistant = VoiceAssistant(

vad=ctx.proc.userdata["vad"],

stt=deepgram.STT(),

llm=openai.LLM(

base_url="https://api.openai.com/v1/chat/completions",

api_key=os.environ.get("OPEN_API_KEY"),

model="gpt-4o-mini",

),

tts=cartesia.TTS(voice="248be419-c632-4f23-adf1-5324ed7dbf1d"),

chat_ctx=initial_ctx,

)

3)https://cloud.livekit.io/projects/p_2tdv1p4liil/settings/keys

LiveKit是一个开源的实时通信平台,基于WebRTC,主要用于构建高质量的音视频通话、实时数据传输和互动应用。

LiveKit除了方便以外的大优势就是它提供了丰富的APISDK,支持多种平台,包括WebiOSAndroid服务端

4)运行

后端python main.py dev

前端如下
https://github.com/livekit/agents-playground

扩展

linux 运行开源音视频livekit,实现html视频语音聊天。-CSDN博客

GitHub - livekit/livekit: End-to-end stack for WebRTC. SFU media server and SDKs.

相关推荐
JoannaJuanCV10 分钟前
自动驾驶—CARLA仿真(13)dynamic_weather demo
人工智能·机器学习·自动驾驶·carla
拉姆哥的小屋11 分钟前
从400维向量到160000维矩阵:基于深度学习的火焰参数预测系统全解析
开发语言·人工智能·python·深度学习·线性代数·算法·矩阵
北京耐用通信12 分钟前
工程师实战:如何以最小成本,耐达讯自动化无缝连接Profinet转DeviceNet网关
人工智能·物联网·网络协议·自动化·信息与通信
_codemonster12 分钟前
自然语言处理容易混淆知识点(三)大模型中的参数
人工智能·自然语言处理
Elwin Wong13 分钟前
本地运行LangChain Agent用于开发调试
人工智能·langchain·大模型·llm·agent·codingagent
IALab-检测行业AI报告生成16 分钟前
AI驱动万页报告审核革新:IACheck技术架构与实践价值解析
人工智能·架构
小马过河R17 分钟前
Codebuddy使用CloudBase MCP辅助AI编码基于Spec工作流开发的坦克大战小游戏
人工智能·团队开发·ai编程·codebuddy
多则惑少则明17 分钟前
AI测试、大模型测试(九)spring集成大模型(AI4J)
人工智能·ai测试·大模型测试
benxin123417 分钟前
智能压力测试代理系统:基于AI的自动化压测解决方案
人工智能·自动化·压力测试
老蒋新思维18 分钟前
创客匠人:小团队的知识变现革命 —— 超级个体 + 多智能体如何重构组织价值
服务器·网络·人工智能·重构·创始人ip·创客匠人·知识变现