试用ChatGPT的copilot编写一个程序从笔记本电脑获取语音输入和图像输入并调用开源大模型进行解析

借助copilot写代码和自己手写代码的开发过程是一样的。

首先要有明确的开发需求,开发需求越详细,copilot写出的代码才能越符合我们的预期。

其次,有了明确的需求,最好先做下需求拆解,特别是对于比较复杂的应用,拆解之后按照一定的顺序逐个功能点去实现,这样调测起来也比较方便。

比如,先实现从电脑麦克风获取语音输入并保存成本地语音文件;然后将语音文件转换成文本,接着把文本拿去给大语言模型做推理,然后把推理的结果使用tts服务转换成语音播放出来;

最后交由copilot不断迭代去实现我们想要的功能,每实现一个功能点要先验证一下,如果有问题,或者报错,可以直接发给copilot去优化。

copilot自己选的语音识别库,tts库,大语言模型可能并不能直接使用,这时就需要我们自己去调整。

这里语音识别库使用的是vosk-model-small-cn-0.22,tts库使用的是pyttsx3,大语言模型试用的是moonshot-v1-8k。

由于moonshot大语言模型只能解析图片文件中的文本,对于不含文本的图片会报错,所以这里图像解析试用的是多模态大模型LLAVA。

参考https://platform.moonshot.cn/docs/api/chat

调用moonshot大语言模型对文本进行推理

参考https://ollama.com/library/llava

在本地安装Ollama

本地部署之后会启动一个服务,端口号是11434,可以通过api来调用;

最后做出来的效果如下:

总结一下,copilot输出的代码基本能实现想要的功能,有些细节需要手工微调一下。

程序代码本身还可以继续优化,比如当前使用的语音识别库存在语音识别不准确的问题,特别是说话时包含中英文的,可以换用其他更有效的库,语音合成库也可以换成chattts等其他开源库,当前使用的大模型api调用存在次数限制,连续调用3次就报错,也可以换成其他的,或者本地部署一个,本地进行图片解析的LLAVA库运行非常耗时,这个也可以更换,等等。

相关推荐
陈敬雷-充电了么-CEO兼CTO1 小时前
字节跳动开源Coze,开启AI Agent开发新时代?
人工智能·gpt·chatgpt·开源·大模型·agi·coze
强德亨上校1 小时前
2025年7月21–28日AI开发周报:新模型、新战略与开源亮点
人工智能·科技·gpt·chatgpt·开源·aigc
DM今天肝到几点?1 小时前
【7.26-7.28胜算云AI日报:首个开源3D世界生成模型腾讯混元、微软预示 8 月 GPT-5 发布、Nemotron推理、商汤悟能、DM夺金】
人工智能·vscode·microsoft·3d·ai·chatgpt
vvandre1 天前
ChatGPT桌面版深度解析
chatgpt
一个处女座的程序猿3 天前
LLMs之Agent:ChatGPT Agent发布—统一代理系统将研究与行动无缝对接,开启智能助理新时代
chatgpt·agent
gptplusplus3 天前
停止“玩具式”试探:深入拆解ChatGPT Agent的技术栈与实战避坑指南
chatgpt
WSSWWWSSW3 天前
基于模拟的流程为灵巧机器人定制训练数据
人工智能·chatgpt·机器人
一休哥助手4 天前
ChatGPT Agent架构深度解析:OpenAI如何构建统一智能体系统
人工智能·chatgpt·架构
qq_417719984 天前
免费的大模型面试辅导系列课程
人工智能·深度学习·chatgpt·面试·职场和发展·求职招聘
TGITCIC4 天前
智能控制权回归:人机协创时代的极简主义编码革命
人工智能·copilot·ai编程·ai开发·ai ide·大模型辅助编程