【原创】Ubuntu 24搭建Ollama+ DeepSeek局域网服务器

安装Ubuntu 服务器

通过ubuntu官网下载ubuntu 24服务器版本

刻录光盘(也可以使用U盘)

用光盘启动PC机器(必须是带显卡的PC机,包括集成Intel显卡的也行,纯CPU计算的服务器基本上不能使用)

最小化安装Ubuntu Server,使用自动分区

安装Ollama

可以到ollama官网查看信息
https://ollama.com

下载Linux版本
https://ollama.com/download/linux

切换到 root用户,执行如下指令

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

如果执行失败,则多试几次即可。

执行完毕后,基本配置好了。

修改服务

bash 复制代码
vi /etc/systemd/system/ollama.service

参考《大模型部署框架 Ollama:环境变量设置与常用 CLI 命令》
https://zhuanlan.zhihu.com/p/23824503091

添加如下内容:

//允许其它计算机访问,端口8080

Environment="OLLAMA_HOST=0.0.0.0:8080"

//允许跨域访问

Environment="OLLAMA_ORIGINS=*"

//模型存放的位置

Environment="OLLAMA_MODELS=/llm_models"

//模型在内存中存放的时间

Environment="OLLAMA_KEEP_ALIVE=10"

完成后的内容如下:

bash 复制代码
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0:8080"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/llm_models"
Environment="OLLAMA_KEEP_ALIVE=10"


[Install]
WantedBy=default.target

启动服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama
systemctl enable ollama

开放服务器8080端口,用于ollama提供服务(参考上面OLLAMA_HOST参数)

下载模型

模型务必通过ollama服务器的web Api来下载

首先创建一个目录保存模型,与/etc/systemd/system/ollama.service中的配置OLLAMA_MODELS保持一致

bash 复制代码
mkdir /llm_models

将所有者设置为ollama,否则ollama账户权限写该目录

bash 复制代码
chown ollama /llm_models

查找模型
https://ollama.com/search

当前排名第一的就是deepseek,

点击deepseek-r1

默认情况下,使用7b(70亿参数)模型,在普通的P C机上可以运行,这里我选8B的

记录复制下来的内容,这个是本地命令窗口运行的指令,我们暂时不用它,这里只是获取模型名称,接下来用。

bash 复制代码
ollama run deepseek-r1:8b

进行请求,model参数重,填入上面的模型名称。

bash 复制代码
curl -X POST http://192.168.250.115:8080/api/pull -d '{"model": "deepseek-r1:8b"}'

接下来一堆输出,直到出现{"status":"success"}后,模型下载完毕。

bash 复制代码
e7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"pulling 0cb05c6e4e02","digest":"sha256:0cb05c6e4e02614fa7f4c5d9ddcd5ae7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"pulling 0cb05c6e4e02","digest":"sha256:0cb05c6e4e02614fa7f4c5d9ddcd5ae7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"verifying sha256 digest"}
{"status":"writing manifest"}
{"status":"success"}

测试

下载工具 Cherry Studio
https://cherry-ai.com/

按照如下步骤配置

检查

在API密钥处,随便填点啥就行,然后点击检查

选择刚才添加的模型名称

测试成功

开始对话

观察回答

如果回复信息太慢的话,可以考虑换用参数比较小的模型。

相关推荐
云资源服务商3 小时前
解锁阿里云日志服务SLS:云时代的日志管理利器
服务器·阿里云·云计算
朱包林4 小时前
day45-nginx复杂跳转与https
linux·运维·服务器·网络·云计算
孞㐑¥6 小时前
Linux之Socket 编程 UDP
linux·服务器·c++·经验分享·笔记·网络协议·udp
晋阳十二夜6 小时前
【压力测试之_Jmeter链接Oracle数据库链接】
数据库·oracle·压力测试
柳鲲鹏7 小时前
WINDOWS最快布署WEB服务器:apache2
服务器·前端·windows
GDAL7 小时前
Node.js v22.5+ 官方 SQLite 模块全解析:从入门到实战
数据库·sqlite·node.js
DCTANT8 小时前
【原创】国产化适配-全量迁移MySQL数据到OpenGauss数据库
java·数据库·spring boot·mysql·opengauss
好奇的菜鸟9 小时前
如何在 Ubuntu 24.04 (Noble) 上使用阿里源
linux·运维·ubuntu
bcbobo21cn10 小时前
初步了解Linux etc/profile文件
linux·运维·服务器·shell·profile
wayuncn10 小时前
月付物理服务器租用平台-青蛙云
运维·服务器·服务器租用·服务器托管·物理机租用