1、Ollama:是一个开源的大型语言模型
(LLM)服务工具,旨在简化在本地运行大语言模型的过程,降低使用大语言模型的门槛。
![](https://i-blog.csdnimg.cn/direct/f8c43dd38863434980a9a4d8a4df45e7.png)
2、AnythingLLM:是由Mintplex Labs Inc.
开发的一款全栈应用程序,旨在构建一个高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM支持几乎所有的主流大模型和多种文档类型,能够通过将文档、资源或内容片段转化为大语言模型(LLM)在聊天中可以利用的相关上下文,从而构建一个专属的AI知识库。
![](https://i-blog.csdnimg.cn/direct/bb3b95966d384199a78fc19dc48153c4.png)
3、Deepseek r1:是由深度求索
(DeepSeek)研发的一款大语言模型,属于幻方量化
旗下的AI公司。DeepSeek-R1在自然语言处理、科学推理和编程任务等方面表现出色。
4、安装( 如果下载不了,可以将文件的链接地址放到迅雷里下载。):
安装之前一定要查看是否有足够的硬盘空间。
1)下载Ollama
![](https://i-blog.csdnimg.cn/direct/c59cac75bc014e1a92075b1b6c82fdde.png)
简单测试:
![](https://i-blog.csdnimg.cn/direct/d38d8f6859b94efcb51179b0b0a0027d.png)
当然也可以下载:qwen2.5:7b
![](https://i-blog.csdnimg.cn/direct/265d1baf7af54ca79b66245b3a36d077.png)
常用命令:
ollama list:显示模型列表。
ollama show:显示模型的信息
ollama pull:拉取模型
ollama push:推送模型
ollama cp:拷贝一个模型
ollama rm:删除一个模型
ollama run:运行一个模型
2)下载AnythingLLM
https://anythingllm.com/desktop
![](https://i-blog.csdnimg.cn/direct/fd49a3c5fe3e4b748a2fa0a30d0f154d.png)
3)安装
![](https://i-blog.csdnimg.cn/direct/bc594ad488534748b055c6ba3f92f8b4.png)
双击OllamaSetup.exe,这个是在windows下安装的.
只要默认安装即可。安装成功后,会弹出一个命令行提示成功。
![](https://i-blog.csdnimg.cn/direct/e80d2b70e0e54a3d9d790bba48c2ac23.png)
然后双击AnythingLLMDesktop.exe安装,默认安装即可。
下面是设置:
下载Deepseek r11.5B 作为LLM
![](https://i-blog.csdnimg.cn/direct/bd3532c8cbc44af09eddde26be4e0fc8.png)
![](https://i-blog.csdnimg.cn/direct/55f10bd5b4a7459aa884be52ea8a2a8d.png)
![](https://i-blog.csdnimg.cn/direct/de5f2af6859146918817641d61217597.png)
有一步要输入email的,可以点下面的按钮,跳过。
输入工作区名称:比如 myworkspace-1
![](https://i-blog.csdnimg.cn/direct/a6149b98aeec4e389fd26fd488812747.png)
![](https://i-blog.csdnimg.cn/direct/7b58a403f0154767b97e36727ad9be2c.png)
![](https://i-blog.csdnimg.cn/direct/31a8c5c5c3bf45eeb5073f5770bb814a.png)
选择deepseekr1:1.5b
![](https://i-blog.csdnimg.cn/direct/d6319297d3c3451980d7acc2edbfd1fe.png)
点击【设置】扳手图标:
![](https://i-blog.csdnimg.cn/direct/b5631da896124a6aaa77f7ab8c2e553e.png)
当然也可以安装其它的比如:Qwen
![](https://i-blog.csdnimg.cn/direct/6b51c778cc67436fb60b84c793b45f5b.png)
![](https://i-blog.csdnimg.cn/direct/1a48384de7ca4ba88ae2d9bec9aaee1a.png)
最后安装了二个大模型:
![](https://i-blog.csdnimg.cn/direct/4d6cf5af1db04bdeae0681be27e20cee.png)
4)提问:
![](https://i-blog.csdnimg.cn/direct/01da21574cb44245b72fcf6806df78f0.png)
比如:上面是我问的冒泡排序的几种语言的不同实现。
5)设置及训练大模型:
![](https://i-blog.csdnimg.cn/direct/ec50f31ac37641ed96ed945fb949118f.png)
点击【上传】按钮,就可以上传文本(pdf、word、txt)等等格式,只要是文本就可以了。右侧的【设置】按钮,是设置当前工作区的。
![](https://i-blog.csdnimg.cn/direct/e87dfcf15e2e42c882eecf74cf992490.png)
这里做个文档,然后上传到工作区中测试下效果:
![](https://i-blog.csdnimg.cn/direct/1e3ab305c66e4cf789ea1ffac13c8ca8.png)
保存,如果报错:documents failed add,则要进行设置:
ollama pull nomic-embed-text
![](https://i-blog.csdnimg.cn/direct/f4f9bdab6f474f3bb21338592006f42c.png)
本地库的相关设置:
![](https://i-blog.csdnimg.cn/direct/64cc36a2fe4443d6a65675b9b7f58b33.png)
聊天模式:改为【查询】。以下是文档中查询的效果:
![](https://i-blog.csdnimg.cn/direct/fca7e59aaaef4d5da97fa00bac75e2eb.png)
测试了几次,有的时候本地的查询在转圈出不来,重新新建以后,再次查询才出来以上的效果。