[linux本地部署ai 未完成]

ollama

Ollama 是一款本地大模型运行框架,旨在帮助用户在无需云服务的情况下,利用个人设备部署并运行各种大模型。相比于依赖云计算资源,Ollama 能够直接在本地实现大模型推理,适合那些对数据隐私要求较高的场景,如医疗、金融或企业内部数据处理。

官网

点击download后

复制下面命令 终端执行即可

安装完成后我们访问127.0.0.1:11434

此时他已经运行

命令行输入ollama 会看到参数和用法

ollama list 查看本地安装的大模型

现在需要选择模型了我这里选择的是

直接复制蓝色的代码

完成

ollama list 查看模型

ollama run 模型名字

ollama rm 删除模型

docker

安装

开机自启动 和启动docker

创建docker组 并将当前用户加入docker组

重启一下

MaxKB

MaxKB - 基于大语言模型和 RAG 的知识库问答系统 - 官网

运行在线部署

完成后就访问8080端口

账号密码admin MaxKB@123..

进去后需要修改密码

首先需要

可以直接复制ollama list中name字段

相关推荐
嵌入式 Linux手记1 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式
星恒随风1 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso1 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构
IT大白鼠2 小时前
eBPF 观测入门:用 bpftrace 给服务器装上“内核摄像头“
运维·服务器·ebpf
星恒随风2 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
分布式存储与RustFS2 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋3 小时前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器
江华森4 小时前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
布莱克6054 小时前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包
努力写代码的熊大5 小时前
Linux 个人复盘博客 · 第六篇 Linux 进程间五种通信:匿名管道、命名管道、共享内存、消息队列与信号量
linux·经验分享·笔记