【开源软件】这次iPhone也是用上Claw了 | PhoneClaw

PhoneClaw 是一个运行在 iPhone 上的本地 AI Agent。使用 Gemma 4 LiteRT-LM 在设备端完成推理,不依赖云端,不上传聊天内容。

开源地址:

https://github.com/kellyvv/PhoneClaw

核心能力

图片理解(多模态):拍照或从相册选图后直接提问,识别内容、解读图表、描述场景。模型在设备端完成推理,照片不会离开手机。

基于文件的 Skill 系统:每项能力对应一个 Markdown 文件(SKILL.md),新增或修改能力不需要重新编译 App。Skill 描述语言无关,任何人都可以直接编写和分发。

完全离线与隐私保障:所有推理都在手机端完成,默认不建立任何网络连接。聊天内容、图片、个人数据均不上传,不经过任何第三方服务器。

断点续传的模型下载:Gemma 主模型和 LIVE 语音模型都支持手机端下载、取消、继续下载和失败重试。下载中间态保存在本机,不会写入半成品模型目录。

灵活的模型管理:支持 Gemma 4 E2B 和 E4B LiteRT 两个规格,可在手机端直接下载,也可以在构建时打包进 App。内置模型切换、System Prompt 编辑,针对 iPhone 内存限制做了缓存清理和历史裁剪。

中英文双语体验:配置页可选择自动、中文或 English。切换语言会同步 UI、默认系统提示词、内置 Skill、工具结果和权限文案。

内置 Skill 示例

日历:用自然语言创建日历事件,支持指定标题、时间、地点。

"明天下午两点,在高科技园区约了个会,帮我加到日历"

提醒事项:创建定时提醒,准时弹出系统通知,不会遗漏。

"提醒我今晚八点发给老板那份文件"

通讯录:保存或更新联系人,支持姓名、手机号、公司、邮箱、备注,按手机号自动去重。

"帮我存一下王总的电话 13812345678,字节跳动的"

剪贴板:读写系统剪贴板,可作为多步任务的数据中转。

"把刚才那段文字复制到剪贴板"

翻译:任意语种互译,自动识别源语言。

"把刚才那段话翻译成日语"

健康数据:读取 HealthKit 步数、距离、卡路里、心率、睡眠、运动记录。数据在本地处理,不上传。

"我今天走了多少步" "昨晚睡了多久" "本周步数怎么样" "我的静息心率是多少"

安装教程(Sideloadly 签名安装)

安装确实麻烦一点

准备工作

需要 说明
iPhone iOS 17+,推荐 iPhone 15 Pro 及以上
Mac 或 Windows 电脑 用于签名
Apple ID 免费即可,不需要开发者账号
Sideloadly 下载安装到电脑
USB 数据线 连接手机和电脑

第一步:下载 IPA

从本页面的 Assets 区域下载 PhoneClaw-unsigned.ipa 文件。

第二步:安装 Sideloadly

    1. 从 https://sideloadly.io/ 下载
    1. macOS:拖入「应用程序」
    1. Windows:运行安装程序

第三步:签名并安装到 iPhone

    1. 用 USB 连接 iPhone,在手机上点「信任此电脑」
    1. 打开 Sideloadly
    1. 拖动 PhoneClaw-unsigned.ipa 到 Sideloadly 窗口
    1. 在左边面板选择你的 iPhone
    1. 输入你的 Apple ID(首次使用需要密码 + 双因素验证码)
    1. 点击 Start,开始签名安装
    1. 等待进度条走完,PhoneClaw 会出现在主屏幕

第四步:信任开发者证书

首次启动会提示「不受信任的开发者」,需要手动信任:

    1. 打开 iPhone 设置
    1. 进入 通用 → VPN 与设备管理(或「描述文件与设备管理」)
    1. 找到你的 Apple ID 邮箱所对应的开发者描述文件
    1. 点击 → 信任 "你的 Apple ID"
    1. 弹窗确认 → 点击 信任

第五步:启动 & 下载模型

    1. 回到主屏幕,打开 PhoneClaw
    1. 首次启动后,点击右上角 ⚙️ 配置 按钮
    1. 选择模型(推荐 Gemma 4 E2B,约 2.4GB --- Sideloadly 签名下 E4B 在 GPU 会报错,只能 CPU)
    1. 点击 下载,等待下载完毕
    1. 返回对话页面,开始对话!

🔄 免费 Apple ID 限制

  • • 免费 Apple ID 签名的 App 有效期 7 天,过期后需重新用 Sideloadly 安装

  • • 每个免费 Apple ID 最多同时签 3 个 App

  • • 模型文件保存在 App 沙盒内,重装后需重新下载

后续计划

PhoneClaw 接下来的方向,不只是"多加几个工具",而是把它逐步做成一个真正可用的本地 iPhone Agent。

1. 扩展更多 iOS 原生 API

  • • 文件与目录操作

  • • 照片读取、整理、描述、检索

  • • 备忘录 / Notes

  • • 本地通知

  • • 地图 / 位置相关能力

  • • Safari / URL 打开与上下文传递

  • • 更多通讯录、日历、提醒事项的读写能力

2. 扩展更多 Skill

后续会继续把能力拆成更清晰的 Skill,而不是把所有逻辑都堆在一个大 Prompt 里。适合继续追加的方向:

  • • 文件管理

  • • 照片理解与整理

  • • 日程规划

  • • 个人信息管理

  • • 本地知识库检索

  • • 语音输入 / 语音播报

3. 串联更多本地模型

除了主聊天模型之外,后续适合接入的本地模型:

  • • OCR 模型

  • • 语音识别模型

  • • 语音合成模型

  • • Embedding / Reranker 模型

  • • 更小的工具参数提取模型

  • • 更强的规划模型或多模型协作链路

这会让 PhoneClaw 从"一个大模型做所有事",逐渐演进成"多个本地模型协同工作"的架构。

4. 跨 App 自动化

PhoneClaw 不会假设自己能像桌面系统那样任意操控所有 App,而是优先走 iOS 真正允许的能力:

  • • App Intents / Shortcuts

  • • URL Scheme / Deep Link

  • • Share Sheet / 分享扩展

  • • 剪贴板中转

  • • 系统通知与唤起

更现实的目标是:在 App 之间传递内容、拉起指定 App 到指定页面、把多步操作压缩成一条自然语言命令。

5. 外部硬件与视觉扩展

探索把外部视频输入、屏幕画面理解和本地模型串起来,让 PhoneClaw 不只是"在手机里回答问题",而是逐步具备更强的现实世界感知与调度能力。

相关推荐
龙亘川3 天前
明月照湾区,智启新赛道:从顶流文旅IP盛会看智慧文旅升级路径
人工智能·智慧城市·开源软件·数据可视化
龙亘川3 天前
一网统管AI平台民生业务实践:基于城市数字底座赋能公积金业务服务升级
大数据·安全·智慧城市·开源软件·数据可视化·政务
龙亘川3 天前
水利工程决策分析报表业务建模:从 “定时报表 + 自定义报表“ 到驾驶舱钻取闭环
人工智能·智慧城市·开源软件·数据可视化·水利水务
茶底世界之下3 天前
为什么预览、录制、离线导出不能共享同一个背压策略?
ios·swift
2501_916007473 天前
苹果商店iOS应用上架费用全面解析:开发者计划与审核费用计算
android·ios·小程序·https·uni-app·iphone·webview
2501_916008893 天前
如何实现iOS App代码混淆:SwiftShield使用指南
android·ios·小程序·https·uni-app·iphone·webview
2501_915909063 天前
移动端开发工具链怎么组合比较好,iOS、Android、跨端三套配置方案
ide·vscode·ios·objective-c·个人开发·swift·敏捷流程
2501_916008893 天前
怎么用 Godot 导出 iOS 应用并上架 App Store?签名字段该填什么?
android·ios·小程序·https·uni-app·iphone·webview
2501_915918413 天前
iOS编程用什么软件好?主流工具Xcode、AppCode、CodeRunner与新兴快蝎对比
ide·vscode·ios·objective-c·个人开发·swift·敏捷流程
终端安全笔记4 天前
iOS 27 之后「策略空转」:设备升级不报错,但旧策略不再管它
android·网络·安全·ios·智能手机