先别急着喷,没好用的iOS-Ollama客户端那就自己写个然后开源吧

一、故事起因

因所在行业特殊,很多敏感数据需要使用大模型进行数据的处理和分析,无法使用公有云上的各种模型,于是在公司内部部署了 Ollama 来跑本地模型解决问题。

这会问题来了,手机端需要访问 Ollama API,可没个趁手的 App,那就花一个晚上写一个吧。

Swift + SwiftUI,问题不大。

二、功能设计

目前需要下面这几个功能:

2.1 Ollama 服务配置

需要支持 Ollama 服务的配置,包括:

  • 服务地址
  • 使用的模型
  • 系统 prompt
  • 模型参数(这个目前还没做)

2.2 Ollama API 流式调用

为了提升体验,调用的是 Ollama API 的流式调用,每次调用只返回一部分结果,然后客户端不断读取,直到全部返回。

2.3 重开会话和会话列表

支持重开会话,支持选择会话列表的历史记录接着对话。

三、实现思路

3.1 数据模型建模

为了方便调用,我们先进行数据建模

3.1.1 Ollama聊天请求对象

Swift 复制代码
struct OllamaChatRequest: Codable {
    /*
     模型名称
     */
    var model = ""
    
    /*
     消息列表
     */
    var messages: [OllamaMessage] = []
    
    /*
     流式输出
     */
    var stream = true
}

3.1.2 Ollama聊天响应对象

Swift 复制代码
struct OllamaChatResponse: Codable {
    /*
     消息对象
     */
    var message: OllamaMessage
}

3.1.3 Ollama消息流

Swift 复制代码
struct OllamaChatStream: Codable {
    /*
     是否已完成
     */
    var done: Bool
    
    /*
     响应的消息对象
     */
    var message: OllamaMessage
}

3.1.4 Ollama消息对象

Swift 复制代码
struct OllamaMessage: Codable, Identifiable {
    /*
     系统
     */
    public static let ROLE_SYSTEM = "system"
    
    /*
     AI
     */
    public static let ROLE_ASSISTANT = "assistant"
    
    /*
     用户
     */
    public static let ROLE_USER = "user"
    
    /*
     消息ID
     */
    let id = UUID()
    
    /*
     消息角色
     */
    var role:String
    
    /*
     消息内容
     */
    var content:String
}

3.1.5 Ollama 列出模型响应对象

Swift 复制代码
struct OllamaModelResponse: Codable {
    /*
     模型列表
     */
    var models:[OllamaModel]
}

3.1.6 Ollama 模型对象

Swift 复制代码
struct OllamaModel:Identifiable,Codable{
    /*
     ID
     */
    let id  = UUID()
    
    /*
     模型名称
     */
    var name:String
}

3.1.7 Ollama 服务配置对象

Swift 复制代码
struct OllamaConfig :Codable{
    public static let CONFIG_PATH = "config.json"
    
    /*
     Ollama服务地址
     */
    var url :String
    
    /*
     提示词
     */
    var prompt:String
    
    /*
     使用的模型
     */
    var model:String
    
    /*
     模型列表
     */
    var models: [OllamaModel]
}

3.2 功能展示

目前已完成的功能部分:

3.2.1 聊天页面

3.2.2 设置页面

3.2.3 重开会话

四、代码实现

代码篇幅较长,我们干脆直接开源了。

还在 Ollama 官方新闻页面偷了个图片抠出来当了 Icon

Github: github.com/HammCn/Olla...

五、自建 Ollama 服务

我们在 Cloudflare Worker 上自建了一个 Ollama 服务,每天 10w 次的免费请求量,白嫖的快乐。

当然,我们不会用这种公有云上的模型来处理敏感数据。

下一篇我们来讲讲如何白嫖一个吧。

六、最后

That's all.

因为要备案,懒得上架 AppStore 了,怪麻烦的。自己用的话,拉下去本地构建到 iPhone 上即可。

Bye.

相关推荐
哥只是传说中的小白几秒前
无需验证手机Sora2也能用!视频生成,创建角色APi接入教程,开发小白也能轻松接入
数据库·人工智能
lkbhua莱克瓦242 分钟前
参数如何影响着大语言模型
人工智能·llm·大语言模型
北京盛世宏博5 分钟前
数据可追溯 + 加密传输:以太网温湿度变送器守护涉密档案安全
大数据·运维·人工智能·档案温湿度
阿星AI工作室6 分钟前
魔改豆包输入法变电脑版,立即拥有千元AI语音输入法typeless平替
前端·人工智能
wenzhangli77 分钟前
SkillFlow:回归本质,重新定义AI时代流程管控
人工智能
m0_603888718 分钟前
Over-Searching in Search-Augmented Large Language Models
人工智能·ai·语言模型·自然语言处理·论文速览
狮子座明仔8 分钟前
GDPO:英伟达提出多奖励强化学习的“解耦归一化“策略,解决GRPO的优势崩溃问题
人工智能·gpt·语言模型·自然语言处理
rgb2gray9 分钟前
论文深度解析:基于大语言模型的城市公园多维度感知解码与公平性提升
大数据·人工智能·机器学习·语言模型·自然语言处理·数据分析·可解释
草莓熊Lotso9 分钟前
Qt 信号与槽深度解析:从基础用法到高级实战(含 Lambda 表达式)
java·运维·开发语言·c++·人工智能·qt·数据挖掘
东坡肘子12 分钟前
AT 的人生未必比 MT 更好 -- 肘子的 Swift 周报 #118
人工智能·swiftui·swift