【开源软件】这次iPhone也是用上Claw了 | PhoneClaw

PhoneClaw 是一个运行在 iPhone 上的本地 AI Agent。使用 Gemma 4 LiteRT-LM 在设备端完成推理,不依赖云端,不上传聊天内容。

开源地址:

https://github.com/kellyvv/PhoneClaw

核心能力

图片理解(多模态):拍照或从相册选图后直接提问,识别内容、解读图表、描述场景。模型在设备端完成推理,照片不会离开手机。

基于文件的 Skill 系统:每项能力对应一个 Markdown 文件(SKILL.md),新增或修改能力不需要重新编译 App。Skill 描述语言无关,任何人都可以直接编写和分发。

完全离线与隐私保障:所有推理都在手机端完成,默认不建立任何网络连接。聊天内容、图片、个人数据均不上传,不经过任何第三方服务器。

断点续传的模型下载:Gemma 主模型和 LIVE 语音模型都支持手机端下载、取消、继续下载和失败重试。下载中间态保存在本机,不会写入半成品模型目录。

灵活的模型管理:支持 Gemma 4 E2B 和 E4B LiteRT 两个规格,可在手机端直接下载,也可以在构建时打包进 App。内置模型切换、System Prompt 编辑,针对 iPhone 内存限制做了缓存清理和历史裁剪。

中英文双语体验:配置页可选择自动、中文或 English。切换语言会同步 UI、默认系统提示词、内置 Skill、工具结果和权限文案。

内置 Skill 示例

日历:用自然语言创建日历事件,支持指定标题、时间、地点。

"明天下午两点,在高科技园区约了个会,帮我加到日历"

提醒事项:创建定时提醒,准时弹出系统通知,不会遗漏。

"提醒我今晚八点发给老板那份文件"

通讯录:保存或更新联系人,支持姓名、手机号、公司、邮箱、备注,按手机号自动去重。

"帮我存一下王总的电话 13812345678,字节跳动的"

剪贴板:读写系统剪贴板,可作为多步任务的数据中转。

"把刚才那段文字复制到剪贴板"

翻译:任意语种互译,自动识别源语言。

"把刚才那段话翻译成日语"

健康数据:读取 HealthKit 步数、距离、卡路里、心率、睡眠、运动记录。数据在本地处理,不上传。

"我今天走了多少步" "昨晚睡了多久" "本周步数怎么样" "我的静息心率是多少"

安装教程(Sideloadly 签名安装)

安装确实麻烦一点

准备工作

需要 说明
iPhone iOS 17+,推荐 iPhone 15 Pro 及以上
Mac 或 Windows 电脑 用于签名
Apple ID 免费即可,不需要开发者账号
Sideloadly 下载安装到电脑
USB 数据线 连接手机和电脑

第一步:下载 IPA

从本页面的 Assets 区域下载 PhoneClaw-unsigned.ipa 文件。

第二步:安装 Sideloadly

    1. https://sideloadly.io/ 下载
    1. macOS:拖入「应用程序」
    1. Windows:运行安装程序

第三步:签名并安装到 iPhone

    1. 用 USB 连接 iPhone,在手机上点「信任此电脑」
    1. 打开 Sideloadly
    1. 拖动 PhoneClaw-unsigned.ipa 到 Sideloadly 窗口
    1. 在左边面板选择你的 iPhone
    1. 输入你的 Apple ID(首次使用需要密码 + 双因素验证码)
    1. 点击 Start,开始签名安装
    1. 等待进度条走完,PhoneClaw 会出现在主屏幕

第四步:信任开发者证书

首次启动会提示「不受信任的开发者」,需要手动信任:

    1. 打开 iPhone 设置
    1. 进入 通用VPN 与设备管理(或「描述文件与设备管理」)
    1. 找到你的 Apple ID 邮箱所对应的开发者描述文件
    1. 点击 → 信任 "你的 Apple ID"
    1. 弹窗确认 → 点击 信任

第五步:启动 & 下载模型

    1. 回到主屏幕,打开 PhoneClaw
    1. 首次启动后,点击右上角 ⚙️ 配置 按钮
    1. 选择模型(推荐 Gemma 4 E2B,约 2.4GB --- Sideloadly 签名下 E4B 在 GPU 会报错,只能 CPU)
    1. 点击 下载,等待下载完毕
    1. 返回对话页面,开始对话!

🔄 免费 Apple ID 限制

  • • 免费 Apple ID 签名的 App 有效期 7 天,过期后需重新用 Sideloadly 安装

  • • 每个免费 Apple ID 最多同时签 3 个 App

  • • 模型文件保存在 App 沙盒内,重装后需重新下载

后续计划

PhoneClaw 接下来的方向,不只是"多加几个工具",而是把它逐步做成一个真正可用的本地 iPhone Agent。

1. 扩展更多 iOS 原生 API

  • • 文件与目录操作

  • • 照片读取、整理、描述、检索

  • • 备忘录 / Notes

  • • 本地通知

  • • 地图 / 位置相关能力

  • • Safari / URL 打开与上下文传递

  • • 更多通讯录、日历、提醒事项的读写能力

2. 扩展更多 Skill

后续会继续把能力拆成更清晰的 Skill,而不是把所有逻辑都堆在一个大 Prompt 里。适合继续追加的方向:

  • • 文件管理

  • • 照片理解与整理

  • • 日程规划

  • • 个人信息管理

  • • 本地知识库检索

  • • 语音输入 / 语音播报

3. 串联更多本地模型

除了主聊天模型之外,后续适合接入的本地模型:

  • • OCR 模型

  • • 语音识别模型

  • • 语音合成模型

  • • Embedding / Reranker 模型

  • • 更小的工具参数提取模型

  • • 更强的规划模型或多模型协作链路

这会让 PhoneClaw 从"一个大模型做所有事",逐渐演进成"多个本地模型协同工作"的架构。

4. 跨 App 自动化

PhoneClaw 不会假设自己能像桌面系统那样任意操控所有 App,而是优先走 iOS 真正允许的能力:

  • • App Intents / Shortcuts

  • • URL Scheme / Deep Link

  • • Share Sheet / 分享扩展

  • • 剪贴板中转

  • • 系统通知与唤起

更现实的目标是:在 App 之间传递内容、拉起指定 App 到指定页面、把多步操作压缩成一条自然语言命令。

5. 外部硬件与视觉扩展

探索把外部视频输入、屏幕画面理解和本地模型串起来,让 PhoneClaw 不只是"在手机里回答问题",而是逐步具备更强的现实世界感知与调度能力。

相关推荐
SameX5 小时前
独立开发一个把走过的路变成 km² 的 App,聊聊 25m 网格和后台 GPS 的坑
ios
XD7429716366 小时前
科技早报晚报|2026年4月30日:Agent 安全壳、浏览器 iOS 测试台与可穿戴数据 API,今天更值得看的 3 个技术机会
科技·ios·开源项目·科技新闻·开发者工具
Digitally8 小时前
不用 iCloud 备份 iPhone 短信教程
iphone
北京自在科技9 小时前
Find Hub App 小更新
android·ios·安卓·findmy·airtag
2501_915921439 小时前
HTTPS前端劫持 新一代流量劫持解决方案
前端·网络协议·ios·小程序·https·uni-app·iphone
911hzh9 小时前
Flutter WebRTC iOS 原理解析:从 getUserMedia 到 Texture,讲清视频采集、纹理渲染与远端通话链路
flutter·ios·webrtc
软泡芙10 小时前
【iOS】 开发入门指南
ios
水中加点糖10 小时前
ios中使用DockKit和CoreML实现自定义目标的自动跟随(一)
目标检测·ios·目标跟踪·硬件控制·dockkit
千桐科技11 小时前
献礼劳动节|qData 数据中台开源版 v1.3.0 正式发布:智能问数(ChatBI)来了!
开源软件·text2sql·数据中台·chatbi·问数·qdata·千桐科技