Ubuntu -- 几行命令使用Ollama部署本地AI大模型, 仅调用api, 快速测试api效果

需求

  • 需要在本地快速部署一个大模型, 然后使用 局域网 的其他电脑进行 api调用
  • 为了快速测试, 大模型选择了 qwen2:0.5B 进行快速测试

开始

下载安装 ollama

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

验证安装

bash 复制代码
ollama --version

下载安装模型并运行

bash 复制代码
ollama run qwen2:0.5B

配置 api 访问

  • Ollama 默认启用端口为: 11434
  • 配置局域网其他设备 可以访问 Ollama 服务

编辑服务

bash 复制代码
sudo vim /etc/systemd/system/ollama.service

[Service] 后添加一行环境代码

bash 复制代码
Environment="OLLAMA_HOST=0.0.0.0:11434"

重启服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama

设置开机自启

bash 复制代码
systemctl enable ollama

使用局域网通过api访问

在 Windows 的 cmd 中快速测试效果

bash 复制代码
curl http://192.168.3.10:11434/api/generate -d "{\"model\": \"qwen2:0.5B\",\"prompt\": \"who are you?\",\"stream\":false}"
  • 192.168.3.10: 为你的Ollama服务器的ip
  • qwen2:0.5B: 为你刚下载的模型名称

或者使用类似的http请求工具请求

相关推荐
wuk9983 分钟前
基于MATLAB编制的锂离子电池伪二维模型
linux·windows·github
你想考研啊2 小时前
四、jenkins自动构建和设置邮箱
运维·jenkins
Code blocks2 小时前
使用Jenkins完成springboot项目快速更新
java·运维·spring boot·后端·jenkins
snoopyfly~3 小时前
Ubuntu 24.04 LTS 服务器配置:安装 JDK、Nginx、Redis。
java·服务器·ubuntu
独行soc3 小时前
#渗透测试#批量漏洞挖掘#HSC Mailinspector 任意文件读取漏洞(CVE-2024-34470)
linux·科技·安全·网络安全·面试·渗透测试
BD_Marathon3 小时前
Ubuntu下Tomcat的配置
linux·ubuntu·tomcat
饥饿的半导体3 小时前
Linux快速入门
linux·运维
BD_Marathon3 小时前
Ubuntu:Tomcat里面的catalina.sh
linux·ubuntu·tomcat
BD_Marathon3 小时前
设置LInux环境变量的方法和区别_Ubuntu/Centos
linux·ubuntu·centos
Me4神秘4 小时前
Linux国产与国外进度对垒
linux·服务器·安全