fast-voice-assistant

首先我们来到这个据说50行代码就可以创建个人语音助手的github地址
GitHub - dsa/fast-voice-assistant: ⚡ Insanely fast AI voice assistant with <500ms response times

按照readme 完成环境的配置

but,你发现,这只是第一步,真正的难点在于完成.env中各个key的配置

1)Using the API --- Cartesia

一个最快的文本转语音模型Sonic

2)https://inference.cerebras.ai/

一个提供大模型api-key的平台,类似于altogether

这里需要申请,需要我用openai的key代替使用

assistant = VoiceAssistant(

vad=ctx.proc.userdata["vad"],

stt=deepgram.STT(),

llm=openai.LLM(

base_url="https://api.openai.com/v1/chat/completions",

api_key=os.environ.get("OPEN_API_KEY"),

model="gpt-4o-mini",

),

tts=cartesia.TTS(voice="248be419-c632-4f23-adf1-5324ed7dbf1d"),

chat_ctx=initial_ctx,

)

3)https://cloud.livekit.io/projects/p_2tdv1p4liil/settings/keys

LiveKit是一个开源的实时通信平台,基于WebRTC,主要用于构建高质量的音视频通话、实时数据传输和互动应用。

LiveKit除了方便以外的大优势就是它提供了丰富的APISDK,支持多种平台,包括WebiOSAndroid服务端

4)运行

后端python main.py dev

前端如下
https://github.com/livekit/agents-playground

扩展

linux 运行开源音视频livekit,实现html视频语音聊天。-CSDN博客

GitHub - livekit/livekit: End-to-end stack for WebRTC. SFU media server and SDKs.

相关推荐
中电金信10 分钟前
重构金融数智化产业版图:中电金信“链主”之道
大数据·人工智能
奋斗者1号16 分钟前
Docker 部署 - Crawl4AI 文档 (v0.5.x)
人工智能·爬虫·机器学习
陈奕昆33 分钟前
五、【LLaMA-Factory实战】模型部署与监控:从实验室到生产的全链路实践
开发语言·人工智能·python·llama·大模型微调
多巴胺与内啡肽.39 分钟前
OpenCV进阶操作:光流估计
人工智能·opencv·计算机视觉
妄想成为master1 小时前
计算机视觉----时域频域在图像中的意义、傅里叶变换在图像中的应用、卷积核的频域解释
人工智能·计算机视觉·傅里叶
NLP小讲堂1 小时前
LLaMA Factory 深度调参
人工智能·机器学习
不懂嵌入式1 小时前
基于深度学习的水果识别系统设计
人工智能·深度学习
江小皮不皮1 小时前
为何选择MCP?自建流程与Anthropic MCP的对比分析
人工智能·llm·nlp·aigc·sse·mcp·fastmcp
GIS数据转换器2 小时前
当三维地理信息遇上气象预警:电网安全如何实现“先知先觉”?
人工智能·科技·安全·gis·智慧城市·交互
网易易盾2 小时前
AIGC时代的内容安全:AI检测技术如何应对新型风险挑战?
人工智能·安全·aigc