[linux本地部署ai 未完成]

ollama

Ollama 是一款本地大模型运行框架,旨在帮助用户在无需云服务的情况下,利用个人设备部署并运行各种大模型。相比于依赖云计算资源,Ollama 能够直接在本地实现大模型推理,适合那些对数据隐私要求较高的场景,如医疗、金融或企业内部数据处理。

官网

点击download后

复制下面命令 终端执行即可

安装完成后我们访问127.0.0.1:11434

此时他已经运行

命令行输入ollama 会看到参数和用法

ollama list 查看本地安装的大模型

现在需要选择模型了我这里选择的是

直接复制蓝色的代码

完成

ollama list 查看模型

ollama run 模型名字

ollama rm 删除模型

docker

安装

开机自启动 和启动docker

创建docker组 并将当前用户加入docker组

重启一下

MaxKB

MaxKB - 基于大语言模型和 RAG 的知识库问答系统 - 官网

运行在线部署

完成后就访问8080端口

账号密码admin MaxKB@123..

进去后需要修改密码

首先需要

可以直接复制ollama list中name字段

相关推荐
万象.1 小时前
Linux网络
linux·网络
望获linux1 小时前
【Linux基础知识系列】第六十四篇 - 了解Linux的硬件架构
linux·运维·服务器·开发语言·数据库·操作系统·嵌入式软件
汐零号机1 小时前
Ubuntu启动任何应用慢(2~4秒)排查和分析
linux·ubuntu
老实巴交的麻匪1 小时前
(一)学习、实践、理解 CICD 与 DevOps
运维·敏捷开发·自动化运维
别退1 小时前
fmriprep安装与试用_附ubuntu分区大小调整
linux·运维·ubuntu
段嘉许OvO2 小时前
jangow-01-1.0.1靶机攻略
linux·运维·服务器
光电的一只菜鸡2 小时前
linux shell从入门到精通(二)——变量操作
linux·运维·chrome
程思扬2 小时前
无界设计新生态:Penpot开源平台与cpolar的云端协同创新实践
大数据·linux·服务器·前端·经验分享·ubuntu·开源
大白菜13242 小时前
Linux的基本操作以及文件的权限
linux·运维·服务器
学术小八2 小时前
第六届物联网、人工智能与机械自动化国际学术会议 (IoTAIMA 2025)
运维·人工智能·自动化