[linux本地部署ai 未完成]

ollama

Ollama 是一款本地大模型运行框架,旨在帮助用户在无需云服务的情况下,利用个人设备部署并运行各种大模型。相比于依赖云计算资源,Ollama 能够直接在本地实现大模型推理,适合那些对数据隐私要求较高的场景,如医疗、金融或企业内部数据处理。

官网

点击download后

复制下面命令 终端执行即可

安装完成后我们访问127.0.0.1:11434

此时他已经运行

命令行输入ollama 会看到参数和用法

ollama list 查看本地安装的大模型

现在需要选择模型了我这里选择的是

直接复制蓝色的代码

完成

ollama list 查看模型

ollama run 模型名字

ollama rm 删除模型

docker

安装

开机自启动 和启动docker

创建docker组 并将当前用户加入docker组

重启一下

MaxKB

MaxKB - 基于大语言模型和 RAG 的知识库问答系统 - 官网

运行在线部署

完成后就访问8080端口

账号密码admin MaxKB@123..

进去后需要修改密码

首先需要

可以直接复制ollama list中name字段

相关推荐
小毛驴85014 分钟前
Linux 后台启动java jar 程序 nohup java -jar
java·linux·jar
一心0921 小时前
ubuntu 20.04.6 sudo 源码包在线升级到1.9.17p1
运维·ubuntu·sudo·漏洞升级
好好学习啊天天向上1 小时前
世上最全:ubuntu 上及天河超算上源码编译llvm遇到的坑,cmake,ninja完整过程
linux·运维·ubuntu·自动性能优化
你想考研啊2 小时前
三、jenkins使用tomcat部署项目
运维·tomcat·jenkins
tan180°2 小时前
MySQL表的操作(3)
linux·数据库·c++·vscode·后端·mysql
代码老y2 小时前
Docker:容器化技术的基石与实践指南
运维·docker·容器
典学长编程3 小时前
Linux操作系统从入门到精通!第二天(命令行)
linux·运维·chrome
wuk9983 小时前
基于MATLAB编制的锂离子电池伪二维模型
linux·windows·github
你想考研啊5 小时前
四、jenkins自动构建和设置邮箱
运维·jenkins
Code blocks5 小时前
使用Jenkins完成springboot项目快速更新
java·运维·spring boot·后端·jenkins