大语言模型典型本地搭建及其应用

1 Ollama奠基及其应用

1.1 命令终端交互操控

1.2 可视窗口交互操控

1.3 自定义模型应用

1.4 U盘载体运行

2 OpenWebUI页面交互应用

3 LMStudio视窗交互应用

4 ChatBox视窗交互应用

5 CherryStudio视窗交互应用

5.1 基本对话文本应用

5.2 本地知识库构建

5.3 本地代码库构建

5.4 本地服务MCP调用

5.4.1 文件操控

5.4.2 数据库访问

基于主流大语言模型LLM高效应用CherryStudio环境,做本地模型上下文MCP快速应用,实现:AI-MCP本地SQLite数据库的灵活操控访问,所有功能可以在浏览器窗口测试。源码案例和指导文档很多,本想可以一蹴而就,可始终无果。于是,采用FastMcp库本地编码搭建简单MCP服务,服务器事件推送SSE,几经调试和完善,终于做到:浏览器可以测试,CherryStudio环境可以部署而且可以应用。

5.4.3 StreamableHTTP访问

基于主流大语言模型LLM高效应用CherryStudio环境,做本地模型上下文MCP快速应用,实现:AI-MCP本地流媒(streamableHTTP)音频服务器设计与CherryStudio部署应用。起初选用简易的cherrypy库做起MCP服务器,浏览器测试没有问题,CherryStudio环境部署但不能应用。后改用FastMCP库,终于做到:浏览器可以测试,CherryStudio环境可以部署而且可以应用。

5.4.4 高德/百度地图访问

相关推荐
微三云 - 廖会灵 (私域系统开发)28 分钟前
存量社区破局:当物业困局遇上消费返物业费,重构社区商业新生态
大数据·人工智能·重构
T型码农要学习2 小时前
开源项目5|FileBrowser:免费在线文件管理器!随时随地管控服务器文件
运维·服务器·人工智能·开源
智恒百亿3 小时前
8 卡 RTX 5090 服务器深度实测:256GB 显存能否支撑 70B 模型微调?选型参考
大数据·运维·服务器·人工智能
ai小陈5 小时前
PyTorch DataLoader数据加载性能排查:GPU利用率低的实操指南
人工智能·pytorch·python·深度学习·ai·gpu算力
测试者家园6 小时前
为什么意图驱动测试是自动化测试的下一站,而不是替代品
自动化测试·软件测试·人工智能·持续测试·ai赋能·智能化测试·软件测试变革
D202020207 小时前
TikTok Shop禁止AI语音直播落地后,跨境卖家如何通过达秘合规调整带货内容
人工智能
像风一样自由20208 小时前
20.Milvus常见问题检索不到维度错误和数据一致性
人工智能·大模型·milvus
现代野蛮人8 小时前
【深度学习实验】—— 基于 LSTM 与 Optuna 调参的丙型肝炎预测
人工智能·深度学习·lstm
支支დ8 小时前
VO by Vercel 前端特定优势:为什么它是构建 AI 应用的新范式
前端·人工智能
ZGIAI8 小时前
ZGI 让那些"等你去处理"的事,真正跑起来
人工智能·架构