将树莓派5当做Ollama服务器,C#调用generate的API的示例

其实完全没这个必要,性能用脚后跟想都会很差。但基于上一篇文章的成果,来都来了就先简单试试吧。

先来看看这个拼夕夕上五百多块钱能达到的效果:

只要对速度没要求,那感觉就还行。

Ollama默认只在本地回环(127.0.0.1)上提供服务,树莓派下可以修改/etc/systemd/system/ollama.service,在[Service]节中加一句:

bash 复制代码
Environment="OLLAMA_HOST=0.0.0.0:11434"

注意,这可能会导致一些潜在的网络安全风险,比如未经授权的访问等,请谨慎评估。

然后重启服务:

bash 复制代码
sudo systemctl daemon-reload
sudo systemctl restart ollama

这样别的设备也能访问Ollama的API了。

C#代码很简单,本质上就是一个异步的POST调用。

cs 复制代码
using System;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Newtonsoft.Json;


namespace OllamaClient
{
    public partial class frmMain : Form
    {
        public frmMain()
        {
            InitializeComponent();
        }

        private async void btnPost_Click(object sender, EventArgs e)
        {
            string ollamaUrl = txtURL.Text.Trim();
            string modelName = txtModel.Text.Trim();
            string question = txtQuestion.Text.Trim();

            string response = await GenerateAnswer(ollamaUrl, question, modelName,false);
            txtResponse.Text = response;
        }

        private async Task<string> GenerateAnswer(string ollamaUrl, string question, string modelName,bool useStreamMode)
        {
            // 创建 HttpClient 实例
            using (HttpClient client = new HttpClient())
            {
                client.Timeout = TimeSpan.FromMilliseconds(Timeout.Infinite);

                // 构建请求的 URL
                string requestUrl = $"{ollamaUrl}/api/generate";

                // 构建请求的 JSON 数据
                var requestBody = new
                {
                    model = modelName,
                    prompt = question,
                    stream = useStreamMode
                };

                // 将请求数据序列化为 JSON 字符串
                string json = JsonConvert.SerializeObject(requestBody);

                // 创建 HttpContent 对象
                StringContent content = new StringContent(json, Encoding.UTF8, "application/json");

                // 发送 POST 请求
                HttpResponseMessage response = await client.PostAsync(requestUrl, content);

                // 确保请求成功
                response.EnsureSuccessStatusCode();

                // 读取返回的 JSON 数据
                string jsonResponse = await response.Content.ReadAsStringAsync();
                //return jsonResponse;

                // 解析 JSON 数据,提取回答内容
                dynamic jsonResponseObj = JsonConvert.DeserializeObject(jsonResponse);
                string answer = jsonResponseObj.response;

                // 返回回答内容
                // 换行符默认\n,Windows下不太友好
                return answer.Replace("\n","\r\n");
            }
        }
    }

}

需事先用NuGet工具装好Newtonsoft.Json。

RPI5表示情绪稳定。

相关推荐
2301_7943339114 分钟前
实验室服务器配置|通过Docker实现Linux系统多用户隔离与安全防控
linux·服务器·docker·实验室
荣光波比1 小时前
Nginx 实战系列(一)—— Web 核心概念、HTTP/HTTPS协议 与 Nginx 安装
linux·运维·服务器·nginx·云计算
绿箭柠檬茶4 小时前
Ubuntu 使用 Samba 共享文件夹
linux·运维·ubuntu
工藤新一¹5 小时前
Linux —— 虚拟进程地址空间
linux·运维·服务器·c/c++·虚拟进程地址空间
Aspiresky5 小时前
浅析Linux内核scatter-gather list实现
linux·dma·scatter/gather
奔跑吧 android6 小时前
【linux kernel 常用数据结构和设计模式】【数据结构 3】【模拟input子系统input_dev和input_handler之间的多对多关系】
linux·数据结构·input·kernel·input_dev·input_handler·input_handle
再难也得平6 小时前
Linux初级篇
linux·运维·服务器
小猫挖掘机(绝版)6 小时前
通过tailscale实现一台电脑上vscode通过ssh连接另一台电脑上的VMware Linux 虚拟机
linux·windows·vscode·ubuntu·ssh
ajassi20007 小时前
开源 C++ QT Widget 开发(十三)IPC通讯--本地套接字 (Local Socket)
linux·c++·qt·开源
方先森有点懒7 小时前
CentOS 7.2 虚机 ssh 登录报错在重启后无法进入系统
linux·运维·centos·ssh