先别急着喷,没好用的iOS-Ollama客户端那就自己写个然后开源吧

一、故事起因

因所在行业特殊,很多敏感数据需要使用大模型进行数据的处理和分析,无法使用公有云上的各种模型,于是在公司内部部署了 Ollama 来跑本地模型解决问题。

这会问题来了,手机端需要访问 Ollama API,可没个趁手的 App,那就花一个晚上写一个吧。

Swift + SwiftUI,问题不大。

二、功能设计

目前需要下面这几个功能:

2.1 Ollama 服务配置

需要支持 Ollama 服务的配置,包括:

  • 服务地址
  • 使用的模型
  • 系统 prompt
  • 模型参数(这个目前还没做)

2.2 Ollama API 流式调用

为了提升体验,调用的是 Ollama API 的流式调用,每次调用只返回一部分结果,然后客户端不断读取,直到全部返回。

2.3 重开会话和会话列表

支持重开会话,支持选择会话列表的历史记录接着对话。

三、实现思路

3.1 数据模型建模

为了方便调用,我们先进行数据建模

3.1.1 Ollama聊天请求对象

Swift 复制代码
struct OllamaChatRequest: Codable {
    /*
     模型名称
     */
    var model = ""
    
    /*
     消息列表
     */
    var messages: [OllamaMessage] = []
    
    /*
     流式输出
     */
    var stream = true
}

3.1.2 Ollama聊天响应对象

Swift 复制代码
struct OllamaChatResponse: Codable {
    /*
     消息对象
     */
    var message: OllamaMessage
}

3.1.3 Ollama消息流

Swift 复制代码
struct OllamaChatStream: Codable {
    /*
     是否已完成
     */
    var done: Bool
    
    /*
     响应的消息对象
     */
    var message: OllamaMessage
}

3.1.4 Ollama消息对象

Swift 复制代码
struct OllamaMessage: Codable, Identifiable {
    /*
     系统
     */
    public static let ROLE_SYSTEM = "system"
    
    /*
     AI
     */
    public static let ROLE_ASSISTANT = "assistant"
    
    /*
     用户
     */
    public static let ROLE_USER = "user"
    
    /*
     消息ID
     */
    let id = UUID()
    
    /*
     消息角色
     */
    var role:String
    
    /*
     消息内容
     */
    var content:String
}

3.1.5 Ollama 列出模型响应对象

Swift 复制代码
struct OllamaModelResponse: Codable {
    /*
     模型列表
     */
    var models:[OllamaModel]
}

3.1.6 Ollama 模型对象

Swift 复制代码
struct OllamaModel:Identifiable,Codable{
    /*
     ID
     */
    let id  = UUID()
    
    /*
     模型名称
     */
    var name:String
}

3.1.7 Ollama 服务配置对象

Swift 复制代码
struct OllamaConfig :Codable{
    public static let CONFIG_PATH = "config.json"
    
    /*
     Ollama服务地址
     */
    var url :String
    
    /*
     提示词
     */
    var prompt:String
    
    /*
     使用的模型
     */
    var model:String
    
    /*
     模型列表
     */
    var models: [OllamaModel]
}

3.2 功能展示

目前已完成的功能部分:

3.2.1 聊天页面

3.2.2 设置页面

3.2.3 重开会话

四、代码实现

代码篇幅较长,我们干脆直接开源了。

还在 Ollama 官方新闻页面偷了个图片抠出来当了 Icon

Github: github.com/HammCn/Olla...

五、自建 Ollama 服务

我们在 Cloudflare Worker 上自建了一个 Ollama 服务,每天 10w 次的免费请求量,白嫖的快乐。

当然,我们不会用这种公有云上的模型来处理敏感数据。

下一篇我们来讲讲如何白嫖一个吧。

六、最后

That's all.

因为要备案,懒得上架 AppStore 了,怪麻烦的。自己用的话,拉下去本地构建到 iPhone 上即可。

Bye.

相关推荐
机器之心7 分钟前
全球十亿级轨迹点驱动,首个轨迹基础大模型来了
人工智能·后端
z千鑫7 分钟前
【人工智能】PyTorch、TensorFlow 和 Keras 全面解析与对比:深度学习框架的终极指南
人工智能·pytorch·深度学习·aigc·tensorflow·keras·codemoss
EterNity_TiMe_8 分钟前
【论文复现】神经网络的公式推导与代码实现
人工智能·python·深度学习·神经网络·数据分析·特征分析
机智的小神仙儿24 分钟前
Query Processing——搜索与推荐系统的核心基础
人工智能·推荐算法
AI_小站31 分钟前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·程序人生·langchain·kubernetes·llama·知识库·rag
Doker 多克33 分钟前
Spring AI 框架使用的核心概念
人工智能·spring·chatgpt
Guofu_Liao34 分钟前
Llama模型文件介绍
人工智能·llama
思通数科多模态大模型1 小时前
10大核心应用场景,解锁AI检测系统的智能安全之道
人工智能·深度学习·安全·目标检测·计算机视觉·自然语言处理·数据挖掘
数据岛1 小时前
数据集论文:面向深度学习的土地利用场景分类与变化检测
人工智能·深度学习
龙的爹23332 小时前
论文翻译 | RECITATION-AUGMENTED LANGUAGE MODELS
人工智能·语言模型·自然语言处理·prompt·gpu算力