好久不见啊!
自从deepseek的开源爆火,相关的应用层出不穷,目前线上已经有很多免费的deepseek版本可以使用了,但考虑到数据安全问题,有些私密数据不方便上网。
今天GIS宇宙就带大家快速部署一个自己的版本,免费的哦~
两个工具
大模型应用发展太快了,曾经需要安装docker和其他语言环境,现在开源项目的安装方式越来越简单了,一个Web页面或客户端加一个提供API的后台就能跑起来。
今天的安装很简单,5分钟就可以搞定。
Ollama
前两分钟来安装一个大模型的后台程序,它负责使唤大模型并以API的方式提供结果。
Ollama是一个大语言模型部署工具,支持在本地运行管理大型语言模型,无需依赖云端,且有mac和win应用程序。 ollama.com/
来到官网下载我们的小羊驼,直接装就完事了
装完后在官网再来花一分钟找一下我们的deepseek模型,Ollama支持很多大语言模型,下次你也可以试试别的。
links:ollama.com/library/dee...
复制图中的命令行,我是3060的显卡,显存较小就跑个7b吧,可以根据自己的设备选择模型,越大效果越好~
打开终端下载模型
下载完就可以在原来的窗口尝尝鲜:
Chatbox
最后再花两分钟配置一下调用Ollama APi的可视化工具
Chatbox是我们与大模型的交互程序,提供了界面让我们与大模型交互就像官网一样,也是直接装就完事儿。 chatboxai.app/zh#
装完打开在设置里添加模型,选择Ollama API,发现模型处已经可以选择deepseek了,这里的api域名默认就是ollama本地的接口,如果你是部署在服务器上可以改成你的服务器ip+端口。
享受你的模型
本期只是简单介绍一下教程,下期会分享怎么构建自己的个人知识库,让AI成为你的私人秘书。
OK,这里是GIS宇宙,我们下期再见!
商业合作请私信公众号
本人其他平台账号:
- 微信公众号:GIS宇宙
- CSDN:GIS_宇宙
- 知乎:GIS宇宙
- 掘金:GIS宇宙