Maxkb玩转大语言模型

影雀2024-06-12 9:40

Maxkb玩转大语言模型

随着国外大语言模型llama3的发布，搭建本地个人免费"人工智能"变得越来越简单，今天博主分享使用Max搭建本地的个人聊天式对话及个人本地知识域的搭建。

1.安装Maxkb开源应用 github

docker快速安装

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

默认的用户名：admin密码：MaxKB@123.. 想要数据持久化就需要将docker的文件挂在到本地的电脑上

复制代码

-v /maxdb/data:/var/lib/postgresql/data 1panel/maxkb

创建模型步骤如下

选择自己的模型并安装，我这边使用ollama安装

API域名不能是localhost和127.0.0.1

安装成功后如下图:

安装过程会出现API域名无效的弹窗提示 有以下原因： 1.没有正确填写域名 2.按装的ollama模型没有开启远程链接

解决方法

填写的API域名只能是服务器: ip:11434 windows下在cmd中执行

复制代码

set OLLAMA_HOST=0.0.0.0
ollama serve

再次安装大模型就成功了

2.创建自己的本地应用

3.编辑应用的信息

4.测试我们的模型

完成之后，也可以将对话的窗口植入到我们自己的网站

本文由mdnice多平台发布