搭建大语言模型

安装和配置Ollama

首先在官网上下载Ollama,同时支持window,linux,macos系统。

下载下来是一个压缩包,直接解压缩即可,然后点击安装程序开始安装。

linux下载

执行以下命令,即可自动下载安装,但是这种方式对网络要求比较高。

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

如果下载不了的话,就需要下载离线安装包

bash 复制代码
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

如果再不行,就在本地计算机中访问 https://github.com/ollama/ollama/releases 地址,然后选择 ollama-linux-amd64.tgz手动下载,然后再上传到linux系统上,然后再解压缩。

然后下载完毕后,在浏览器中输入: http://localhost:11434 ,如果页面显示 Ollama is running 就说明运行起来了。

启动ollama

window系统下,在命令提示窗口中输入:

bash 复制代码
ollama list # 查看本地安装的所有大模型
ollama run llama3.2 # 下载llama3.2模型

由于模型文件非常大,所以需要一定的时间。

等待安装完毕之后,就会自动进入人机交互的界面,然后就可以开始提问大模型了,这里依赖的是GPU,如果有的话,那基本上就可以有秒回的效果。

退出对话

bash 复制代码
/byt #退出对话

安装UI界面

MaxKB的官网

不过maxkb是需要付费的,但是有免费适用额度。

首先从官网安装MaxKB,它是基于大预言模型和RAG的知识库问答系统。

不过MaxKB 不支持windows系统和Max系统,但是可以在window系统下使用docker容器来运行。

docker安装

docker的官网

从官网下安装windows版的安装包。

安装完之后打开一个命令行终端,输入以下命令

bash 复制代码
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

# 用户名: admin
# 密码: MaxKB@123..

以上命令会从dockerhub上下载maxkb的镜像文件。

maxkb的docker镜像仓库

执行完之后,在浏览器中输入 http://localhost:8080 , 然后就会进入到登录界面,账号和密码是admin 和 MaxKB@123... 第一次登录会要求更改密码。

点击左侧菜单栏中模型设置 ,就可以在右侧界面中配置各种我们想要的大模型,比如,这里选择Ollama模型;

然后点击右侧添加模型按钮来添加模型;

模型名称随便填;

权限 就选择公用;

模型类型选择大语言模型

基础模型选择llama3:8b,API域名填入 http://host.docker.intemal:11434

API Key 就随便填写,最后点击添加按钮即可。

等待一段下载时间。

然后点击应用按钮,来创建应用

应用名称 随便写;

应用描述 选填;

选择应用类型 :简单配置

然后点击创建,就会跳转到应用的配置页面。

AI模型 参数设置 :Llama3

其他内容,可选参数,然后在右侧,就可以测试使用了。

最后在右上角,点击保存并发布按钮

在概览页面可以看到它的一些基本信息,包括它的公开访问链接和API接口地址等信息。

复制一下公开访问链接,在浏览器中访问,就可以通过浏览器来适用了。

发布到公网

在自定的域名后,添加 /ui/chat/xxxx

相关推荐
昨日之日20061 天前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper1 天前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号1 天前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha1 天前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云1 天前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊1 天前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint1 天前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨1 天前
zotero扩容
人工智能·笔记
大数据张老师1 天前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构
AKAMAI1 天前
Entity Digital Sports 降低成本并快速扩展
人工智能·云计算