Ubuntu -- 几行命令使用Ollama部署本地AI大模型, 仅调用api, 快速测试api效果

需求

  • 需要在本地快速部署一个大模型, 然后使用 局域网 的其他电脑进行 api调用
  • 为了快速测试, 大模型选择了 qwen2:0.5B 进行快速测试

开始

下载安装 ollama

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

验证安装

bash 复制代码
ollama --version

下载安装模型并运行

bash 复制代码
ollama run qwen2:0.5B

配置 api 访问

  • Ollama 默认启用端口为: 11434
  • 配置局域网其他设备 可以访问 Ollama 服务

编辑服务

bash 复制代码
sudo vim /etc/systemd/system/ollama.service

[Service] 后添加一行环境代码

bash 复制代码
Environment="OLLAMA_HOST=0.0.0.0:11434"

重启服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama

设置开机自启

bash 复制代码
systemctl enable ollama

使用局域网通过api访问

在 Windows 的 cmd 中快速测试效果

bash 复制代码
curl http://192.168.3.10:11434/api/generate -d "{\"model\": \"qwen2:0.5B\",\"prompt\": \"who are you?\",\"stream\":false}"
  • 192.168.3.10: 为你的Ollama服务器的ip
  • qwen2:0.5B: 为你刚下载的模型名称

或者使用类似的http请求工具请求

相关推荐
Deutsch.40 分钟前
负载均衡Haproxy
运维·负载均衡·haproxy
猫猫的小茶馆42 分钟前
【STM32】FreeRTOS 任务的删除(三)
java·linux·stm32·单片机·嵌入式硬件·mcu·51单片机
-XWB-1 小时前
【安全漏洞】网络守门员:深入理解与应用iptables,守护Linux服务器安全
linux·服务器·网络
不做无法实现的梦~1 小时前
mid360连接机载电脑,远程桌面连接不上的情况
运维·服务器·电脑
运维成长记2 小时前
关于linux运维 出现高频的模块认知
运维·职场和发展·云计算
kura_tsuki2 小时前
[Linux入门] Linux 远程访问及控制全解析:从入门到实战
linux·服务器·安全
lunz_fly19922 小时前
统信 UOS 安装 svn 指南
linux
Antonio9152 小时前
【Redis】Linux 配置Redis
linux·数据库·redis
IT成长日记2 小时前
【自动化运维神器Ansible】Ansible常用模块之archive模块详解
运维·自动化·ansible·常用模块·archive
晴天¥2 小时前
阶段1--域名服务器
运维·服务器·网络