Ubuntu本地部署AnythingLLM实现本地文档RAG

在企业内部，随着时间会慢慢积累大量的文档，这些文档若不能有效地利用，会造成很大的浪费。如何能够利用工具让沉淀的文档变成企业的资产，一直以来都是企业信息化的重要工作。幸好AI大模型的出现，让这一切都有了可能，今天实测一下AnythingLLM。

AnythingLLM是一款功能很强大的全栈应用程序，它能将你的文档、资源（如网址、音频、视频）或任何内容片段，转化为可供大型语言模型（LLM）在聊天时参考的上下文。简单的来说，你可以把它想象成一个高度定制化且私有部署的"ChatGPT"，但它的独特之处在于，能让AI模型基于你提供的资料进行对话和回答。

1、本地部署AnythingLLM

准备本地环境，因为是测试环境，在云环境上创建8核32G虚拟机。

系统：Ubuntu 20.04.5 LTS

内核：5.4.0-125-generic

根据官方提供的部署信息，这里采用docker的方式。先来安装一下docker环境。

bash 复制代码

# 添加Docker官方GPG密钥  
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg  
  
# 添加Docker稳定版仓库  
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null  
  
# 安装Docker引擎  
sudo apt update  
sudo apt install -y docker-ce docker-ce-cli containerd.io

可以查看一下docker的版本。

bash 复制代码

root@i-zz6dpdid:~# docker --version    
Docker version 28.1.1, build 4eba377

拉取AnythingLLM的镜像，为了快速拉到镜像，可以改一下国内docker的镜像源。或者直接到指定网站拉取。

bash 复制代码

   
root@i-zz6dpdid:~# docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm:latest  
......  
  
root@i-zz6dpdid:~# docker image ls  
REPOSITORY                                                                    TAG       IMAGE ID       CREATED        SIZE  
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm   latest    7606bb3edd61   9 months ago   2.47GB

获取到mintplexlabs/anythingllm:latest的docker镜像后，可以按照官网给出的启动方法操作，路径和镜像稍微修改一下。

bash 复制代码

#提前创建目录和env，并修改好权限  
mkdir -p /opt/anythingllm  
touch /opt/anythingllm/.env  
chown -R 1000:1000 /opt/anythingllm  
chmod -R 755 /opt/anythingllm  
  
#启动docker，记得加root，否则可能失败  
export STORAGE_LOCATION=/opt/anythingllm && \  
docker run -d -p 3001:3001 \  
--user root \  
--cap-add SYS_ADMIN \  
-v ${STORAGE_LOCATION}:/app/server/storage \  
-v ${STORAGE_LOCATION}/.env:/app/server/.env \  
-e STORAGE_DIR="/app/server/storage" \  
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm

好了，启动成功后，可以打开浏览器看下