给 ComfyUI 做了一个手机助手

参加字节的 TRAE 第二期训练营时,最初想做的是一个自己的户外助手,最好还能连上我的高驰手表:平时的活动记录、出门前的准备,不必散在几个地方翻来翻去。

不过,手表当时借给朋友了,手表联动这条线先放着。我先按课程把手机 Agent 装起来,拿自己现成的工具练手。课程里先做安装和定制。我试了一下小满,觉得用着不顺手,便在它的基础上重构了咔哒。

结果作业越做越大:先装小满,再改记忆和技能,后来嫌界面和任务反馈不顺手,干脆改 App,又把自己的 ComfyUI 接了进去。

改到一半,开发用的 token 额度也不够了。我又把 Magpie 接进 TRAE,用已有账号的模型继续。一个手机助手,顺手把模型入口、MCP 和公网访问也折腾了一遍。

现在这个版本叫「咔哒」。手机上可以聊天、选技能、讨论画图需求,确认后让服务器生成,图片再回到原聊天里。

不过,过程远没有这几句话顺。第一次淘宝任务跑了一半,无障碍服务说没就没;接 MCP 时 App 闪退;好不容易后台出图了,手机还在说没完成。原本想找个助理,倒像是我在给助理当售后。

吐槽归吐槽,小满提供的开源底子确实省了不少事。下面就从第一件没办成的小事说起,再讲我是怎么把它改成现在这个样子的。

从装上小满,到第一件事没办完

手机 Agent 到底多做了什么

普通聊天里,模型给我建议,剩下的操作由我完成。手机 Agent 还会调用工具:读屏、点按钮、查资料,拿到结果以后再决定下一步。

小满的开源实现把这些基础能力搭好了:记忆保存偏好,技能描述做事方法,无障碍服务负责手机操作,独立的安全审核负责拦截或要求确认。模型在"观察、决定动作、执行、再观察"之间循环,直到结束或触及停止条件。

这也解释了为什么原版要配置两个模型:聊天模型负责理解需求,操作模型负责看截图、决定点哪里。后者需要图片输入能力;两处可以填同一个模型,但不能只测一句聊天就认定手机操作也能用。

我用的是 Redmi Note 13 Pro,电脑是 M3 芯片的 Mac。安装本身就先折腾了一轮:adb 看不到设备,切到传输文件并确认调试授权才连上;安装又被小米拦住,还要单独开"USB 安装"。这些是这台手机的安装过程,不全是 App 的问题。

这张是尚未配置的首启画面,只对比布局,不拿正常的待配置提示当故障证据。

免费额度先领,但得看实际开通了什么

课堂体验额度的领取页能打开,名额却已经没了。我后来走火山方舟,尝试批量开通模型,又遇到账户余额门槛:部分模型没开成,无门槛的 Mini 模型开通了,当时账号也显示领到了 50 万 tokens 的新用户推理额度。

最后实际使用的是 doubao-seed-2-0-mini-260428。我先测文本回复,再用一张纯红图片测看图,两项有结果后,才把它填进聊天和操作模型。

这里记的是当时账号领到的额度。它有使用范围,也会消耗,不能写成长期免费的模型服务。免费入口有了,后面配错地址、填错 Key、任务反复重试,照样会消耗时间和额度。

配置时还出了个自己的乌龙:用 adb 输入长 Key,内容被截短,聊天返回 401;滚动后仍沿用旧坐标,又把内容填进了错误字段。最后重新定位、核对再保存才过去。这种问题,换更贵的模型也没用。

最烦的是:开关开了,它还是说没开

真正让我想动手改的,是无障碍状态。

系统开关已经打开,App 仍提示"无障碍服务未开启"。我反复进设置、开关服务、重启十多轮,不知道是在等连接,还是哪里已经坏了。最难受的不是失败,而是界面给不出下一步能照着做的信息。

第一次任务是去淘宝找一本 20 元以内的 A5 笔记本,停在付款前。小满确实打开了淘宝,输入关键词,也到了商品列表。中间弹过促销窗,但轨迹里后续已经关掉;真正终止的直接报错,是执行层再次拿不到无障碍服务。

所以这次不能归结为"AI 不会关弹窗"。系统开关、服务是否实际绑定、App 当前拿不拿得到服务实例,是不同的状态。那一轮没有找到稳定根因,不能随手甩锅给省电策略。

后来续跑,我先人工打开淘宝,再让它继续搜索,最终到了商品详情页。页面写着 5.2 元起,A5 黑色、80 张/160 页。它还曾把推荐区的 7.6 元读成当前商品价,我按实际页面纠正了记录。

完成的是找候选、进详情和截图,中间有人工协助,没有加购、下单或付款。让它替我买本子,还没到可以撒手不管的程度。

先写清楚需求,再决定要不要改程序

课程把定制分成三层:记忆、技能、程序。这个区分挺有用,很多需求不必一上来就改源码。

记忆回答"我是谁、平时有什么偏好";技能回答"这类事按什么方法办";程序负责界面、权限、保存和执行机制。聊天框被键盘挡住,靠改技能救不了;只是想让回答短一点,也没必要先重编 APK。

3-2-1 档案,先存真正有用的偏好

第二节的练习是三条偏好、两件常做的事、一条底线。我没照搬购物示例,写的是自己的习惯:流程简单,只留必要截图,笔记改完同步上传包;常做课程实操和整理作业;没真实执行就不能说成功。

TRAE 把它整理成 Markdown 档案,再通过 adb 推进手机。第一次文件虽然传到了,读取却说找不到------记忆标识是 preferences/camp2-practice,我把文件放到了根目录,少了一层 preferences/。改好目录,手机才读出三条偏好。

文件存在和助手找得到,还真是两回事。

技能先回答四个问题

我觉得这节课最值得留下的是四问:什么时候开始,依次做什么,怎么检查做完了,哪一步必须交给我确认。

我先做了一个很小的 practice-close,叫"实操收口"。不用操作其他 App,也不接新服务,只读偏好,把我提供的结果整理成已完成、证据、未完成、下一步。

实际给它的内容是:淘宝商品页已打开,有截图,文档和上传包还没更新。它保留了"5.2 元起",也没有擅自把未更新写成已更新。再要求"本次只写已完成、未完成",它也照当次要求缩成两项,没有把长期档案改掉。

这张里也留着第一次"找不到记忆"的失败回复,后面才是修正后的结果。

技能本质上是一份 SKILL.md 说明书:描述让模型知道什么时候选它,正文写步骤,必要时关联记忆和工具范围。我的收口技能走纯聊天,不需要无障碍;校验、推送后还得在手机里真发一次,不能看到 lint 通过就宣布完成。

这一步也让我确定,后面要改的不是"再多写几个技能",而是让这些能力在手机上用得顺:需求能改,执行前能确认,结果找得回来。

咔哒是怎么设计出来的

先定它是什么,再起名字

前面的练习证明,记忆和技能能工作。但我日常打开手机,先碰到的是界面,不是架构图。我给改造定的方向,是自己平时愿意打开的手机助手:聊天先顺手,工具按需要接,做完的东西留得下来。

取名过程中,"随伴"和泛泛的"AI 助理"没有留下,后来选了"咔哒咔哒",手机上落成短一点的"咔哒"。

我喜欢"咔哒"这种按键落下的声音,短、好叫,也带一点事情有了回应的利落感。对这个助手,我希望的就是发出一个动作,知道它有没有接住,做到了哪一步。名字可以轻巧,事情不能只停在一句"收到"。图标后来也沿着按键和光标去做,两边能对得上。

户外助手是最初想走的方向,但我没有把名字限定成跑步或徒步工具。手表不在手边的这段时间,先把聊天、技能和外部任务接好,随画就是其中一个练手场景。App 叫咔哒,绘画技能叫随画;后面接回户外能力,也不用再给整个 App 换一次名字。

图标也来回选过,没有直接套个聊天气泡

图标出过四个对比方案:折叠的双按键和前面的光标保持,变化的是星链在左还是在右、背景用虚化键盘还是鼠标手势。我选了 A,左侧星链配虚化键盘。

双按键和光标对应输入、点击,侧边的四角星带一点 AI 协作的感觉。后面没有重新画主体,只把背景过浓的粉紫雾感收了一些,改成更浅的雾灰,保留紫色按键和暖色星链。

素材好看还不够,装到 Android 上会被启动器套不同形状的遮罩。接入时又检查了圆形和圆角方形的可见范围,调整前景缩放,避免左侧星链被裁掉。名称也集中到资源里,页头、助手消息、通知和服务显示名一起处理,不只改桌面下面那两个字。

页面按每天会做的事重新分

界面没有另外套一层网页,继续用原生 Compose。主界面用暖白底、深绿文字和按钮,辅助状态放浅灰绿;图标保留自己的浅雾紫,不要求整页都变成紫色。

导航从原来的五项整理成三项:

入口 放什么
对话 输入、回复、技能选择、当前任务;聊天记录放在侧边入口
能力 技能与 MCP 服务,按用途找到要用的东西
我的 模型配置、记忆、隐私与权限

我也看过同学们的记账版、跑步教练等作业。记账版的宽气泡、折叠处理过程和会话抽屉比较顺手,就吸收这些交互;自己的三入口和配色保留,没有照搬别人的业务。技术 ID 和路径收进详情,常用技能先告诉我它能做什么。

确认卡单独设计:最终提示词可以看、可以改,长内容能滚动,但确认和取消必须一直点得到。结果卡则要带任务归属、保留图片比例,点开能看大图。技能选择只表示"接下来用这个能力",不替我填一段固定画面,更不能直接发送。

设计不是一张效果图,而是一轮轮用坏再修

设计方向定下来,开发就按依赖关系往前走:

  1. 先整理界面、模型配置与权限,让普通聊天和 MCP 不必依附手机控制。
  2. 补文字历史、会话隔离和图片显示,确认重开后还能继续。
  3. 用随画暴露真实问题,再补完整任务号、任务卡、自动查询和结果归属。
  4. 最后冻结新功能,集中修流式、草稿、键盘和后台通知。

每段都装到手机上用,出了问题再回去修。越到后面,花在返修上的时间越多。

分工上,Codex 帮我整理设计、审查和做真机验收,ZCode 完成前期原生界面与配置,TRAE CN 接着做任务跟踪和后续返修。代码测试和 APK 构建在已有的 0.13 环境组织,最后把包安装回手机。按钮能不能点、草稿有没有丢、图片是不是这次的结果,都要实际看。

真机第一次打开横屏审批,提示词正文高度竟然是零,根本没法审核。于是取消请求,改成独立弹窗;旋转又丢编辑稿,再补状态保存;竖屏键盘又挡住确认按钮,再调整键盘避让。实际按钮能点到,才算这一处修完。竖屏开键盘和旋转保稿分别验过,最终横屏加键盘的组合还没完整复验。

升级也不能靠卸载重来。最初新包与课程包签名不同,无法直接覆盖,我保留旧小满,把咔哒作为 dev.kada.app 并行安装。之后咔哒自己的更新保持应用 ID 和签名;再迁移内部包名时,旧聊天、模型配置、图片仍要能恢复。页面显示名、内部代码名和安装身份是三件事,改个名字不能把用户数据改没了。

改着改着,token 也不够用了

来回读代码、改问题、再返修,开发额度不够用这件事也追上来了。功能还没收口,我不想因为换模型再搬一次项目、换一套工作界面,就把之前配置的 Magpie 用上了。

Magpie 是我本机的模型网关,已经接着 WorkBuddy、Qoder 等来源。我把它作为 TRAE 的自定义模型入口,项目和聊天继续留在 IDE,请求由 Magpie 转给选中的来源,消耗那个账号自己的套餐、积分或赠送额度。之前攒的赛博鸡蛋,总算有了实际用途;它没有给 TRAE 官方余额充值,也不会把别的工具的历史聊天搬过来。

接入时也不是随便填个占位密码就完了:TRAE 返回过 403,我后来给它单独建受限网关密钥,只放允许名单内的模型,不给管理和 MCP 权限。网关仍只允许本机回环访问,没有把开发用的模型池一起公开出去。后面又配了免费池、低倍率池和按任务选池,三类文字任务的分流已在 TRAE 验过;没有因此把所有模型和真实项目工具执行都说成测试通过。

这条开发链路是 TRAE → 本机 Magpie → 所选来源模型,和后面"咔哒 → 随画 MCP → ComfyUI"的出图链路分开。手机里原来的聊天模型配置也没有因为开发工具接了 Magpie 就自动更换。

接入和选池的详细过程,我另写在 Magpie 接入 TRAE 的折腾记录里。模型入口接好,我才得以继续返修手机这端。任务恢复和按钮遮挡,可不会因为换了模型就自己消失。

先让聊天像个能用的聊天

按这个方向做下来,最影响使用的仍是那些基本动作:回复等结束才出现,不知道它还在干活还是卡了;中间版本有文字却发不出去;长按重发,正在写的草稿被覆盖。这些都比多接一个模型更影响使用。

后续逐项补了真实流式、停止、复制、引用和重发。重发改为追加到已有草稿,不直接发送。下面这张,回复还没结束,表格已经出现了前三行,停止按钮也还在。

表格长内容在这一帧里仍有省略显示,所以这张只说明流式进展和布局变化,不能说所有长表格都已经显示得很舒服。

这些发送和草稿问题有些出在我自己的中间改造版,不能都算原版小满的锅。改 App 的过程就是这样:以为加完功能了,真拿手机用,又多出几个要补的洞。

记录留下来,才值得继续聊

聊天不再一直叫"新聊天",而是按内容命名;不同主题恢复各自上下文。单条聊天可以归档、移入回收站再恢复,也能多选合并,来源聊天归档保留,图片跟着走,不重新执行历史工具。

这轮还发现本地历史也被限制成最近 20 条,聊久了早期内容会丢。后来分开处理:本地完整保存,发给模型的上下文仍有限制。已经被旧版截掉、又没备份的内容,当然不能凭空找回来。

还有一次合并两张图片,恢复时显示 ID 冲突,直接触发列表崩溃。最后是在保留原记录的情况下修复、覆盖安装,再打开原聊天确认,不是清数据造一个干净演示。

技能不用靠记名字,配置也别靠猜

聊天和能力页共用技能列表,展开时重扫,常用项能置顶、上移、下移。输入 / 有候选,点候选只补全,发送才执行。我还做了中文 /画稿,绑定随画,重开 App 后仍在。裸命令只选技能,不会偷偷开始出图。

模型配置则按平台提供默认地址,获取目录后搜索选择,也保留手填和测试连接。那次手机实际拿到了 55 个条目,里面有聊天、图片等不同模型;目录能列出来,不代表每个都能用于当前聊天或看屏操作。

权限也拆开:普通聊天和 MCP 调用不依赖无障碍,需要控制手机时单独开启;通知按需申请。这次图片保存在 App 私有附件里,没有为它额外申请相机、相册、位置或共享存储权限。

最想玩的,是把自己的 ComfyUI 接到手机上

只改聊天界面还不够,我已经有 ComfyUI 和可用的模型、工作流,想在手机上讨论需求,确认以后让服务器画,别每次都去开电脑找任务。

于是我借助编码工具,自己写了随画技能和对应的 Python MCP 服务。这里用的是现成的 MCP SDK,自己补的是对接 ComfyUI 的工具逻辑:提交工作流、保存任务号、查询执行状态、取回图片。适配的就是"手机发起、服务器执行、原聊天收图"这套用法。

MCP 是让 Agent 发现并调用外部工具的协议;ComfyUI 是真正执行绘画工作流的后端。咔哒负责需求讨论、人工确认和结果展示,生图模型与工作流复用服务器上的已有资源。

text 复制代码
手机聊天:讨论需求、修改提示词、选择工作流、人工确认
    ↓
随画 MCP:提交任务,返回真实任务号,查询后台状态与图片
    ↓
ComfyUI:加载对应模型和工作流,实际执行生成
    ↓
图片经 MCP 回到原聊天,保存到手机私有附件

咔哒的文字模型和服务器里的绘画模型,是两层配置。换聊天模型,不等于换了出图模型;最早服务参数里虽然有 model,内部工作流却固定为 H3,后来才把工作流选择接到真正的执行端。

有节点,不代表这条工作流就能跑

最初试 Qwen API 节点,参数调对、任务号拿到了,执行仍报 Unauthorized。节点有自己的服务端登录要求,不能因为模型文件在服务器上就当它能用。

随后标准 SDXL 流程出了图,Qwen GGUF 也试过,但等待更久。后来复用自己 Forge 里已经用过的 H3 模板,六步出图,少走一些节点和编码器不匹配的弯路。后续手机开放了 H3、Qwen、SDXL 的有限工作流选择,没有把服务器上全部实验图都暴露出去。

我也没打算把随画写成另一个 ComfyUI 管理平台。它先把手机这端最需要的提交、查询和回图做好。

从内网接到公网,不能只多一条隧道

把工作流跑通后,接下来才是手机怎么调用。我的生图服务在局域网服务器上,手机、Mac 和服务器各做各的事:服务器跑 ComfyUI 与随画 MCP,Mac 跑 Cloudflare 隧道,手机上的咔哒是调用方。

内网先直连,MCP 和 ComfyUI 是两个地址

ComfyUI 在 192.168.0.13:15070,随画 MCP 的内网入口是 http://192.168.0.13:8899/mcp。手机 Agent 要添加的是 MCP 地址,不是 ComfyUI 网页,也不是模型平台的 Base URL。

这条服务最初部署过旧 SSE 入口,后来改成 Streamable HTTP 的 /mcp ,旧 /sse 已返回 404。这里容易混:后面排查响应时仍会遇到事件流与换行解析,但不能因此把手机连接地址又填回 /sse。

最初的三个工具各做一件事:

工具 干什么 不能据此认定什么
generate_image 提交确认过的需求,返回真实任务号 已接单不等于已出图
check_status 查同一个任务的真实状态,取回结果 查询失败不等于生成失败
list_recent 找本服务记录的近期任务 旧缓存的 submitted 不等于后台还没完成

后面增加了工作流与兼容模型目录,不能拿早期"发现 3 个工具"的截图当作最终完整目录。服务先作为 systemd 用户服务常驻,手机不用每次聊天再去手动启动 Python 进程。

按我自己的使用要求,可信内网保留免密直连。源站那轮实际检查,内网请求能通过;但早期 App 的自定义服务表单只接受 HTTPS,所以手机实际回图主要走下面的公网 HTTPS 入口。内网服务可用,不代表当时每个版本的 App 都能直接保存这个 HTTP 地址。

Cloudflare 解决入口,认证得自己加

为了给手机一个 HTTPS 地址,我在 M3 Mac 上使用已有的 cloudflared 起临时隧道。它把公网请求转给内网服务,省掉了这次配置公网 IP 和路由器端口映射的步骤。

刚接通时,手机的 Authorization 留空也能发现工具。这个"方便"后来被查出是个真问题:别人只要知道入口,也可能直接调工具占 GPU。手机上的"允许一次"只管这台手机的操作,拦不住别人绕过手机直接访问服务。

所以不能把"Cloudflare 给了 HTTPS"理解成"这个服务只有我能用"。我后来把内外网分成两个入口:

text 复制代码
可信内网调用方
  └─ http://192.168.0.13:8899/mcp
       └─ 允许内网免密 → 随画 MCP → ComfyUI :15070

咔哒访问公网 HTTPS
  └─ Cloudflare 临时隧道(cloudflared 跑在我的 M3 Mac)
       └─ http://192.168.0.13:8898/mcp
            └─ 强制校验专用 Bearer → 随画 MCP → ComfyUI :15070

8899 保留给可信内网,8898 是强制鉴权入口。隧道必须转向后者,不能拿 Host、Origin 或转发头里的"内网地址"就给公网请求免密。

当时关闭了旧的免密公网隧道,再让替代隧道转到已经部署好的鉴权入口。Mac 上的启动形式是:

bash 复制代码
cloudflared tunnel --url http://192.168.0.13:8898

这条命令只建立隧道,不会自动给后端加认证 。8898 的认证服务要先存在;如果只是把端口号照抄过去,并不会凭空得到同样的保护。ComfyUI 管理页面也没有因此直接公开。

手机怎么填,哪把 Key 放在哪

在咔哒进入"能力 → 服务 → 其他 MCP 服务",填写名称、地址和 Authorization,添加并保存,再测试连接。名称是给自己看的,地址填本次隧道提供的域名加 /mcp。

字段 我的填写方式
名称 suicookie,也就是随画服务
地址 https://<本次隧道域名>/mcp
Authorization 请求头 Bearer <专用MCP密钥>,占位内容换成自己的真实值
调用前确认 保留会修改数据时确认,提交生图仍须确认

模型设置里的 API Key 交给文字模型服务;这里的 Bearer 用来访问我自己的 MCP。两把钥匙职责不同,没有复用。测试连接只是握手和发现工具,还得再验证真实查询、回图和保存。

图里的隧道地址已打码,早期隧道也已关闭。这张图保留的是填写位置和当时的连接结果,不是现在的可用入口。那时表单写 Authorization"可选",也不代表现在的公网服务允许留空------是否必须由服务端决定。

内网能用、外网拦得住,都分别查过

加认证后,我没有只拿正确密钥测一次就收工。源站和公网分别做过检查:

访问方式 那一轮实际结果
内网入口免密 请求通过,HTTP 200
公网入口不带密钥 HTTP 401
公网入口带错误密钥 HTTP 401
公网入口带正确密钥 握手通过,能发现工具
正确密钥查询原任务 返回文字与 MCP 图片内容,没有重新生成

除了认证,随画还补了提示词长度、图片尺寸、频率和未完成任务数量等限制。查询也只能查本服务持有的任务,不能拿一个其他项目的 ComfyUI 任务号就随便取图。这仍是我个人用的静态 Bearer 接法,没有做成多用户 OAuth 授权系统。

这些限制是我自己的取舍:内网免密是为了日常直连方便,不是说所有局域网都天然可信;如果以后给别人共用,授权和任务隔离得再设计。

工具能调用,图片还得走得回来

第一版返回 127.0.0.1 图片地址,手机访问时找的是手机自己;换成服务器内网 IP,在外网又打不开。最后让图片通过带认证的 MCP 响应返回,手机保存到 App 私有附件,不再额外直连内网图片 URL,也不把 MCP 密钥随便带给一个外部图片地址。

这轮查的是已有任务,没有再次生图。先确认公网鉴权和图片通道,再往下检验自动等待和任务恢复,问题才不至于全混在一起。

接入中遇到的 App 故障也分别处理:配置解析的占位符正则少了转义,Android 报 PatternSyntaxException,修正后才不再闪退;另一次握手成功、查图超时,则用真实 HTTP 事件复现了 CRLF 换行处理不完整的问题,修复解析后才取回原机器人图片。期间部署过 Web 版绕行,最后仍回到 App,解决原聊天和图片保存的问题。

目前的公网入口仍是临时隧道,地址会随生命周期变化,Mac 上的进程退出或电脑关机就会中断,后端停机也一样。手机在 Wi-Fi 下经公网 HTTPS 回图已经实际做过;蜂窝因手机停机暂停。不能把"走了公网域名"写成"离家用移动网络也已通过"。固定域名和更长期的运行方式,留在后面的计划里。

接通以后,我在手机上怎么画

服务接好以后,手机上的操作才有了完整去处。我一般先把想画的东西说清楚,再决定让谁画。比如机器人那一轮,我说的是蓝绿机器人、红围巾、阳台、黄色向日葵和水彩风格。随画先整理成提示词,弹出确认卡,这时还没有把任务送进 ComfyUI。

卡片里的提示词可以直接手改,也可以补一句要求继续优化;觉得改偏了,可以从原始需求重写,或者退回上一版。我在手机上试过这些操作,旋转屏幕后编辑稿也能保留。润色用的是咔哒配置的文字模型,会消耗它的额度;真正点确认以后,才轮到服务器的绘画模型工作。优化失败要保留当前稿,不能把我的修改清空了。

提示词满意了,再选工作流和它支持的模型。最简单的用法就是选一个模型,确认出一张图。想看同一需求在不同模型下有什么区别,就打开"一组作品":选好模型,点"添加当前模型到本组",换另一个模型再加一项,保留同样的提示词。一组最多四项,每项的标题和提示词都能单独改,也能移除。

我用"画一只猫,水彩风格"做过 H3 和 SDXL 双模型对比。原批次最后恢复了两张图,不过 SDXL 画偏了;这次实际效果和中间的超时问题,放在后面一起说。

确认前,最后再看一遍每项提示词、模型和尺寸,删掉不想画的那张。单图确认会提交一项任务,组图则按各项计划提交;回到聊天后要能分清谁还在排队、谁完成了、谁失败了。不想画就取消,提示词留着,任务不提交。已经提交后再"停止等待",停的则是手机查询,服务器仍可能在画。

真正用起来,才发现"接单"和"完成"差这么远

上面的操作看起来并不复杂,真正难的是后半程:接口说接单了,手机却不一定拿得到结果。这也是后面改得最多的地方。

白猫请求里,先冒出了一张旧柴犬

有一次我要求画窗边睡觉的白猫,聊天里先出现上一次的宇航员柴犬。再问进度,模型只调了最近任务列表,把里面缓存的 submitted 解释为没完成。

后台实际早已完成白猫,问题在任务状态没刷新、任务号被缩短,图片也没有清楚标明归属。

后来补上完整任务号、任务卡和原聊天绑定,查询按真实后台结果更新。任务号、提示词、模型和图片一起保存;查询失败显示未知,不能替服务器宣布生成失败,更不能把旧图当新图交差。

这部分得落到程序里。只在技能里多写一句"记得保存任务号",模型还是可能忘,甚至拿历史编号说已经接单。

停止等待,不是取消服务器画图

机器人那轮是一个比较完整的实际过程:审核提示词,确认,拿到任务号;点"停止等待",再用同一任务继续,切到后台再回来,最终自动收到图片,没有重新生成,也没再手动点查询。

后台约 55 秒完成。机器人、红围巾、向日葵和浇水动作都在,重开 App 也能恢复。这里才算把"提交、等待、结果归属"串起来。

按钮也要讲人话:停止手机的查询,不会取消 GPU 上的任务。点了停止再后悔,应该继续查原任务,不是让服务器再画一遍。

两个模型一起画,完成不代表画对

前面那组水彩猫,两项都采用 512×512。

这轮手机报超时,后台却已经接单并完成。查下来,提交前重复读取模型和工作流依赖,预检约 28.4 秒,几乎撞上手机 30 秒的上限。改成整批共用目录快照,同范围读取降到约 1.7 秒。

随后补了提交前保存批次号、超时查询原批次、逐项恢复任务卡。第一次恢复还因为没有解开 SDK 的返回包装,误报"暂无记录",又按真实响应返修了一次。

最终恢复的是原来的两项任务,自动取图,重开后两张都在,没有为了演示成功再生成一组。不过结果得照实看:H3 能看出猫,SDXL 是抽象拼贴,水彩猫的要求没满足。

这不是模型能力排行榜,也不是所有设置一致的严谨评测。它证明了这组任务能恢复和保留,同时暴露了这一套 SDXL 配置对该提示词的效果问题。修复后首次新建批次的整轮流程,这次没有另跑。

Qwen 2512 的另一轮大约画了四分钟,旧版手机两分钟等待先到,我手动查原任务才拿回图;随后把有限等待延长到十分钟。SDXL 的另一项单图则在手机前台自动回图。目前不同模型的等待体验还没有完全拉齐。

最后卡住的,竟然是图片大了十几 KB

最后一轮小熊图,ComfyUI 完成了,手机还是没图。原 PNG 是 2,114,912 字节,比 2MiB 回传上限多了 17,760 字节。

这次没有把限制随手放大,而是让 MCP 对超限图片读取同一文件的受限 JPEG 预览,原图保留。又修掉"连接会话不存在"被笼统匹配成"生成失败"的错误,失败卡增加只读重查。

最后在原任务点"重查结果",回到桌面,收到真实完成通知;点通知回原聊天,小熊在,强制重开后也还在。没有重新画。

这个结果证明了这次后台取图恢复和已完成记录保留,还不能推广到所有省电策略、运行中被强杀、蜂窝网络等情况。比起再添几个按钮,我更希望先把这些边界弄清楚。

接下来,先少折腾一点"万能"

把最初的户外助手做回来

后续最想做的,还是开头那件事:手表拿回来以后,把高驰和咔哒之间的玩法认真研究一遍。

我会先查官方允许的导出或授权方式,确认到底能拿到哪些活动数据,再决定怎么接。现在没有完成手表配对、数据读取或同步,不能因为想接就写成"已支持高驰"。

第一版也不准备让它包办所有户外需求。我想先做三件具体的事:出发前根据我明确给出的行程整理装备与待确认事项,活动后根据真实记录做简短复盘,再把自己的装备和偏好慢慢留成可修改的记忆。拿不到数据就让我补,不编距离、轨迹或身体状态。

路线、实时天气和运动数据,需要各自可靠的来源,不能只靠模型聊天时的印象。以后真要用到定位或其他权限,再按具体功能单独设计。目前咔哒还没有这套户外链路,这部分留给后续实际做;先把自己的手表用起来,比再接一堆演示服务更有意思。

现有的聊天和创作,继续把底子补稳

现有链路先让远程入口长期可用:把临时隧道换成稳定入口,保留鉴权,再补蜂窝和断网重连的真实使用。目前还依赖开着的 Mac,不能把它当全天在线服务。

创作这边,我想把"一段话变成一组图"补完整:先让文字模型拆成分镜计划,我逐张改标题、提示词和模型,整组确认以后再交给 ComfyUI。目前已有组图编辑和双模型批次恢复,自动拆分镜还没接到确认卡,"闻鸡起舞"故事组图也没有实际生成。这是下一步要做的,不是现在点一下就有的功能。

之后再把确认稿、工作流、模型、原图和采用结果放到同一作品里,继续改图,再研究绘本和连续画面的一致性。能批量提交,只解决了排任务,还没解决故事连不连得上。

课程里的其他玩法,按需要慢慢接

开工卡、健康闹钟、淘宝比价、每日出题与错题本、资讯速览,课程都给了方向。我没有把它们全部实测一遍,后续会挑自己真正需要的做:提醒先确认时间,比价保留店铺和页面价格,错题不编出处,资讯能追到来源。

课程的 camp/02-skill-builder 分支还提供了手机生成技能草稿、确认后保存或删除的做法;Super Agent 则让总管拆任务、派给专项助手、汇总检查。这两条我读过方案,还没有接成咔哒的已验功能。先把单个任务做稳,再考虑把选题、写稿、排版和封面分工出去,否则只是多几个人一起猜哪里出了错。

手机控制也留着按需试。淘宝那次是在旧小满里完成的,咔哒这轮重点是聊天和 MCP,没有重新跑完整条控制流程;更不能因为绘画能用,就顺带认为购物、付款也可靠。

作业先交了,咔哒还得接着用

小满的问题我吐槽了一路,自己的改造版也没少添乱。改个横屏,草稿丢了;接上模型,图片回不来;手机说超时,服务器其实还在画。最后这份作业,花时间最多的就是把这些事一件件理清楚。开源给了我动手改的机会,剩下的还是得自己用、自己踩坑。

好在这回没有只留下一个安装包和几张交作业的截图。从手机聊需求,到改提示词、确认、让自己的 ComfyUI 出图,再回来找结果,这条线已经实际走过了。还不稳的地方继续修,自动分镜和手表联动留到后面做。有了新的实际进展,再接着写咔哒,没必要这一篇就把它说成什么都能干。

相关推荐
feasibility.2 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
智联视频超融合平台2 小时前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网
冬奇Lab3 小时前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
罗西的思考4 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
RobinDevNotes4 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV5 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
Bowen_J6 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
IT_陈寒6 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
阿里云大数据AI技术6 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能