fastGpt

参考本地部署FastGPT使用在线大语言模型

1 rockylinx

1 ollama安装

在rockylinux中安装的,ollama由1.5G,还是比较大,所有采用在windows下下载,然后安装的方式,linux安装

bash 复制代码
tar -C /usr -xzf ollama-linux-amd64.tgz
# 命令窗口启动
ollama serve
# 新开一个窗口
# 下载千问大模型
ollama run qwen:7b
# 下载词向量大模型
ollama pull shaw/dmeta-embedding-zh

dmeta-embedding-zh下载哈后,直接输入,查看运行情况

bash 复制代码
curl http://localhost:11434/api/embeddings -d '{
  "model": "shaw/dmeta-embedding-zh",
  "prompt": "天空是灰色的"
}'

出现下面的结果标识运行成功

后台启动

bash 复制代码
cat > /etc/systemd/system/ollama.service <<EOF
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
User=root
ExecStart=/usr/bin/ollama serve
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=default.target
EOF

systemctl daemon-reload
systemctl enable ollama 
systemctl start ollama 

2 安装fastGpt

搭建企业级知识库问答系统,本地、免费、私有化、离线、零成本,根据这个地址提供docker-compose文件安装

因为fastgpt依赖mysql、postgre、mongodb,直接执行不成功。

bash 复制代码
[root@bw5 ~]# cat /etc/docker/daemon.json 
{
  "registry-mirrors": ["https://你自己的.mirror.aliyuncs.com",
	  "https://docker.m.daocloud.io",
	  "https://dockerhub.timeweb.cloud"
],
"insecure-registries":["10.8.15.225", "10.101.10.200","10.101.12.200"]
}

于是换了一种方式,在docker-compose.yml中镜像的地址都改成自己私有harbor仓库,从自己的私有库下载就没有安装的烦恼。

bash 复制代码
# 将镜像一个个pull
docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 
# 打标签上传到自己私有的harbor中
docker tag registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 10.101.12.200/gpt/fastgpt:v4.8.1
docker push 10.101.12.200/gpt/fastgpt:v4.8.1

启动后,fastgpt的默认密码为:1234,默认端口3000

在fastgpt中创建本地知识库,索引模型dmeta-embedding-zh,文件处理模型采用qwen:7b

手工录入问题,出现问题,因为oneapi中渠道模型必须与shaw/dmeta-embedding-zh保证一致。从下图检测,语义检索成功

接下来创建一个带知识库的应用,保存的时候提示下面的错误。

点击关联知识库中参数,查看问题优化哪里的模型不正确,需要再调整一下

3 openapi

oneapi的默认密码是123456:默认端口为3001,两者默认用户名均是root

新建渠道,使用qwen:7b模型

点击测试,提示下面的错误,这个与视频中说的错误不一致。

通过fastgpt验证,也是同样的问题。

因为前面ollama是本地root用户安装,通过窗口启动,于是改写了一些脚本,再启动脚本中执行Environment="OLLAMA_HOST=0.0.0.0",就可以了。

成功后,调一下黑悟空,发现qwen:7b模型他并不知道。

2 windows

2.1 docker

安装docker desktop

待完善

相关推荐
灏瀚星空7 小时前
从单机工具到协同平台:开源交互式模拟环境的技术演进之路
经验分享·笔记·python·开源·oneapi
漫谈网络10 小时前
Ollama工具调用(Tool Calls)业务应用案例
linux·ai·aigc·工具调用·ollama·tool calls
漫谈网络1 天前
Ollama API 应用指南
ai·llm·aigc·api·ollama
Roc.Chang2 天前
释放 Mac 存储空间:Ollama 模型迁移到外接 NVMe 磁盘
macos·语言模型·大模型·llm·ollama
Cacciatore->3 天前
Ollama 部署与基本应用
java·人工智能·python·ollama
gblfy4 天前
DeepSeek + Dify + Ollama + Docker + Linux 私有化部署,构建你的专属私人 AI 助手
linux·docker·dify·本地部署·ollama·deepseek·私有化
追光天使5 天前
FastGPT安装前,系统环境准备工作?
fastgpt·win 系统准备工作
一起屠龙8 天前
SpringAi+milvus向量数据库实现基于本地知识问答
llm·ollama
jessezappy9 天前
记录:安装 Docker Desktop 时直接设置安装路径及容器存储路径
docker·dify·anythingllm·ollama·本地知识库·ragflow·deepseek
程序员洲洲10 天前
3款顶流云电脑与传统电脑性能PK战:START云游戏/无影云/ToDesk云电脑谁更流畅?
ai·大模型·todesk·性能·云电脑·ollama