一、AnythingLLM 是什么?
AnythingLLM 是一款基于大语言模型(LLM)的企业级应用框架或工具,旨在帮助企业或开发者快速构建、部署和管理定制化的 AI 对话系统或知识助手。它的核心特点是高度灵活,支持多种大语言模型(如 OpenAI GPT、Anthropic Claude、开源 Llama 等),并允许用户私有化部署,确保数据安全。
主要功能与特点:
-
多模型支持
可集成开源或商业 LLM(如 GPT-4、Claude、Llama 2 等),用户能自由切换或测试不同模型的效果。
-
私有化部署
支持本地或内网部署,避免敏感数据通过第三方 API 泄露,适合企业级需求。
-
文档与知识库集成
允许上传企业文档(PDF、TXT、Word 等),构建专属知识库,AI 可基于这些内容生成精准回答(类似 RAG 技术)。
-
可定制化
提供用户界面(UI)和管理后台,支持自定义 AI 的行为、角色设定、权限控制等,适应不同场景(如客服、内部知识查询等)。
-
开源与商业版本
部分版本可能开源(如社区版),同时提供企业级付费功能(如高级支持、更多集成选项等)。
典型应用场景:
- 企业内部助手:解答员工关于公司政策、技术文档的问题。
- 客户支持:集成到网站或聊天工具中,提供自动化客服。
- 数据分析:通过自然语言查询数据库或文档库。
与其他工具的区别:
- 相比直接使用 ChatGPT 等公有云服务,AnythingLLM 更注重数据隐私和定制化。
- 类似的开源项目还有 PrivateGPT、LangChain 等,但 AnythingLLM 通常强调更友好的用户界面和端到端解决方案。
二、安装
- 这里选择安装在Linux服务器,使用浏览器进行访问,方便扩展使用场景。
docker-compose.yml
shell
version: '3.8'
services:
anythingllm:
image: mintplexlabs/anythingllm:latest
container_name: anythingllm
restart: always
ports:
- "3000:3000"
volumes:
- ./storage:/app/server/storage:rw
- ./uploads:/app/server/uploads:rw
environment:
- SERVER_PORT=3000
- STORAGE_DIR=/app/server/storage
- UPLOAD_DIR=/app/server/uploads
- JWT_SECRET=your_secure_secret_here
- ALLOW_SIGNUP=false
- 还可以安装 win 的桌面版本。
启动
shell
首次启动:
cd anything_llm
mkdir storage uploads
chmod -R 777 storage uploads
docker-compose up -d
打开页面

配置AI接口
这里选择的是 DeepSeek
用户配置
这里选团队,后续可以多人协作。
创建工作区
上传文档

这里模拟上传5份简历,方便后续对简历进行筛选。
上传成功
提问:帮我筛选一下简历,我需要2名开发人员。
可以看到 给出的答案以及引用的文档
使用AnythingLLM 结合 DeepSeek 我们可以轻松的对已有的知识以及素材进行管理,把文件夹里的文档高效的转化成生产力。
结语
效率革命,从今天开始!用 DeepSeek + AnythingLLM
搭建的本地AI
知识库,不仅是工具,更是你对抗信息混乱的"终极武器"。