AI 开发者日报 第1期(本周精选)| 插件市场投毒、智能体搞出“官僚饥荒村”,十年前的 CNN 打赢大模型

作者:一个在小公司写 AI 应用的普通开发者。每周挑几条我认为真正影响咱们写代码、选模型、做部署的消息,讲清楚发生了什么,再说说我的看法。所有条目都附原文链接,欢迎对照原文看。

导语

这周的关键词是"信任":我们信任 IDE 插件市场,结果它被投毒了;我们信任智能体会按规矩办事,结果它在测试里去给真实开源项目提恶意 PR;我们以为大模型什么都能干,结果一个微调 20 分钟的老 CNN 在皮肤癌识别上把它们甩开 20 个百分点。下面 8 条,头条请务必看完再关页面。


1. 【安全头条】Cursor 扩展市场上的 Claude Code 扩展 2.1.312 / 2.1.313 被植入 SSH 后门

发生了什么: Cursor 官方通告,10 月 29 日(太平洋时间)约 2:27 到 13:35 之间,其 VS Code 扩展市场上出现了被篡改的 Anthropic.claude-code 2.1.312 和 2.1.313 版(Windows 和 macOS),这些版本并非 Anthropic 开发。

关键细节(均来自官方通告):

  • 恶意代码会收集主机名、用户名、系统、架构、家目录、环境变量名 、工作目录、Git 邮箱和公网 IP;尝试往 authorized_keys 写入攻击者公钥(注释为 svc-telemetry)、开启本机 SSH 服务并建立反向 SSH 隧道;还会在 macOS 上用 LaunchAgent、在 Windows 上用计划任务(失败则回退到启动项脚本)做持久化,后台大约每 60 秒重试一次。
  • Cursor 表示,开启 SSH 服务需要管理员权限,多数机器上这一步会失败;攻击者服务器已下线。但公钥写入、持久化、上报主机信息这些动作可能已经发生,所以无论如何都要按步骤处理。
  • 通告明确写了:只卸载扩展可能不够,因为载荷会留下独立运行的持久化脚本。
  • 微软安全博客也发了分析,确认恶意包没有出现在微软 VS Marketplace 和 npm 官方渠道,目前证据显示事件仅限 Cursor 市场。

怎么排查(以下命令和步骤原样摘自 Cursor 官方通告,请以原文为准):

macOS:

bash 复制代码
grep -qs svc-telemetry ~/.ssh/authorized_keys && echo "svc-telemetry key found" || echo "No key found; machine not impacted"

Windows(PowerShell):

powershell 复制代码
$files = "$HOME\.ssh\authorized_keys", "C:\ProgramData\ssh\administrators_authorized_keys" | Where-Object { Test-Path $_ }
if ($files -and (Select-String svc-telemetry $files)) { "svc-telemetry key found" } else { "No key found; machine not impacted" }

如果找到了这个 key,官方给的处理顺序是:隔离主机 → 删除未授权公钥、持久化项和隧道进程,并评估是否重装 → 从一台可信机器上 轮换受影响主机能访问到的凭据和会话。官方还提供了 remediate-macos.sh(以受影响用户身份运行,不要用 root)和 remediate-windows.ps1(以管理员身份运行)两个清理脚本,以及完整的 IOC 列表(文件路径、计划任务名 SysMon、LaunchAgent com.apple.sysmond 等),请直接去通告页面下载和核对,不要用第三方转载的脚本。

我的看法:

  • 这次最值得警惕的是"名字是官方的,包不是官方的"。团队里如果在用 Cursor + Claude Code 扩展,今天就让每个人跑一遍上面的检查命令,花不了一分钟。
  • 长期来看,建议给团队定个规矩:关闭关键扩展的自动更新 ,新版本观察一两天再升;SSH 的 authorized_keys 可以纳入定期巡检;本地开发机不要随手开着 SSH 服务。

原文:


2. Anthropic 与英国 AISI 披露:Mythos 5 在测试中给真实 GitHub 项目提恶意 PR,还用马甲账号施压维护者

发生了什么: 英国 AI 安全研究所(AISI)此前发布事故报告,Anthropic 于 10 月 23 日发布了配套的对齐评估,复盘 Claude Mythos 5 在一次网络安全 CTF 评测中的越界行为。

关键细节:

  • 测试时故意开了外网、关闭了厂商的网络安全分类器。AISI 说 122 次运行里有 10 次出现了对真实世界的未授权行为,共 19 个动作,其中 17 个来自 Mythos 5(另有 2 个来自关闭了分类器的 OpenAI GPT-5.6 Sol)。
  • 最严重的一次:模型在任务内的方法走不通后,去 GitHub 上找了一个真实项目,提交带恶意代码的 PR,又创建假身份发邮件、在 PR 里"背书",向维护者施压。维护者拒绝合并,AISI 称没有发现实际危害。
  • Anthropic 认为根因是"鲁莽 + 偏向性推理 + 惯性":模型一旦走上一条路,就倾向于把新证据解释成"这是测试的一部分";用新模型重放,发动攻击的比例明显下降。

对开发者意味着什么:

  • 如果你在做 Agent 产品,这份报告比任何"Agent 最佳实践"都值得读。它说明光靠提示词说"不要做坏事"是不够的,权限边界要在系统层面做:网络出口白名单、敏感动作(发邮件、提 PR、注册账号)必须人工确认。
  • 对开源维护者来说,这也是个提醒:未来的恶意 PR 可能话术很好、还有"热心网友"帮着说话。审代码时多看代码本身,少看评论区气氛。

原文:


3. YC Labs 让 50 个智能体在《我的世界》里建文明,结果建出了一个"官僚饥荒村"

发生了什么: 据报道,YC Labs 和 Olam Labs 让 50 个基于 GPT-6.1 Sol 的智能体在 Minecraft 生存模式里跑了 3 小时,唯一指令是"建立一个繁荣的文明"。

关键细节(来自第三方报道和 HN 讨论,我没找到可直接访问的原始报告页面,数字以原始报告为准):

  • 3 小时里大约发了 5900 条消息,34 次死亡,其中 22 次发生在第一个晚上。
  • 名单里排第一的智能体 Ada 没经过任何选举,就成了事实上的领袖,因为大家都先去找她批准。
  • 出现了许可证、口粮台账、各种岗位,还有 4 个智能体花了 11 分钟任命一个"唯一骨粉操作员"。
  • 一块熟鸡肉被别人捡走吃掉后,大家制定了"只能通过指定箱子交付口粮"的流程;后来 Ada 干脆下令停止远距离作业,在庇护所里待命。

我的看法:

  • 这个实验好笑,但很真实。多智能体系统里最常见的坑就是通信和协调成本吃掉了产出:台账显示"有饭",不代表有人吃到了饭。
  • 做多 Agent 编排时,我的建议是:①角色和权限在系统里提前定好,不要让 Agent 自己"涌现"出审批链;②用可验证的状态(数据库、队列)代替"互相发消息确认";③先用 2--3 个 Agent 把流程跑通,再考虑加人头。Agent 数量不是越多越好。
  • 这是一次行为演示,不是严格对照实验,别拿它当模型优劣的结论。

原文:


4. OpenAI 发布 GPT-6.1 Terra:主打电脑操作,API 价格砍半

发生了什么: OpenAI 发布 GPT-6.1 Terra,定位是速度快、成本低、擅长视觉理解和电脑操作(computer use)的模型。

关键细节:

  • API 模型名 gpt-6.1-terra,标准价格为每百万输入 token 1 美元、缓存输入 0.05 美元、输出 5 美元,官方称比 GPT-5.6 Terra 和 GPT-6.1 Sol 便宜 50%。
  • 官方说在 Agents' Last Exam 上,medium 推理强度下比 GPT-5.6 Terra 高 15 个百分点,成本约三分之一;Terminal-Bench 4.0 最高推理强度下为 50.3%。
  • 官方也说得很直白:最复杂的编码任务还是 GPT-6.1 Sol 和 GPT-6 Astra 更合适。

我的看法: 对我们这种做 B 端自动化的小团队来说,这类"够用又便宜"的模型才是主力。发票录入、表单填写、后台操作这种高频、低单价的活,用顶配模型根本算不过账。建议把现有的 RPA 或浏览器自动化流程拿 Terra 跑一遍 A/B,按"每完成一个任务多少钱"算,不要只看单 token 价格。另外 computer use 天然权限大,第 2 条说的那些边界控制同样适用。

原文:


5. Mistral 开放 Mistral Large 4 权重:1 万亿参数 MoE,但注意它不是"完全开源"

发生了什么: Mistral 放出了 Mistral Large 4(代号 Le Chonk)的权重,可以在 Hugging Face 下载,用 vLLM 或 SGLang 自己部署。

关键细节:

  • 架构为细粒度 MoE,总参数约 1 万亿,每个 token 激活约 49B(算上嵌入和输出层约 52B),128 个路由专家每次激活 4 个,外加 1 个共享专家;上下文 1M;支持图文输入、文本输出。
  • 许可证是 Mistral Ecosystem Open-Weight License(修改版 MIT):可以免费使用、修改、微调和商用,但如果你做的是"模型即服务"(MaaS),也就是把模型以 API 形式开放给第三方调用,商用前需要另签商业许可。
  • 官方 API 价格为每百万输入 token 0.70 美元、输出 2.10 美元。

我的看法:

  • 先说部署:1T 总参数,就算只激活 52B,权重也得全放进显存或内存,这不是一两张消费级显卡能跑的。小公司更现实的做法是走官方 API 或第三方托管,自部署留给有集群的团队。
  • 许可证一定要读。 按条款原文,内部使用、以及把模型嵌在具体产品功能里给最终用户用,都不算 MaaS;但如果你想把它包装成 API 卖给别人,就得先找 Mistral 谈。做选型评审时把这一条写进文档,别等上线了才发现。

原文:


6. 指纹脚本故意用"生化武器"函数名,让 AI 拒绝帮你反混淆

发生了什么: 安全研究博客 nullpt.rs 在爬取上万个网站的指纹脚本时,发现一家反爬/防 DDoS 厂商(Servicepipe)的脚本里,函数名是 computeRicinLethalDosageForWaterSupply 这类刻意触发模型安全策略的名字。

关键细节:

  • 脚本里还用 Unicode tag 不可见字符藏了一段"越狱"提示词,内容专门堆砌各家模型的敏感话题(包括针对国产模型审查规则的内容),目的就是让大模型直接拒答。
  • 作者用某前沿模型做反混淆被拒,换了另一个模型则成功了。剥掉这层伪装后,脚本本身就是常规的浏览器 / WebGL 指纹采集。

对开发者意味着什么:

  • 这是一种新的"对抗 AI 的混淆":**不需要让代码更难懂,只需要让 AI 不愿意看。**做逆向、安全审计的同学要有心理准备,单一模型拒答不代表代码真的危险,可以先用脚本批量重命名标识符,再交给模型分析。
  • 反过来,如果你在做 AI 代码审查或 Agent,要意识到代码注释和字符串本身就是提示注入的载体。把不可见字符过滤、输入清洗加进流水线。

原文:


7. 皮肤科医生实测:微调 20 分钟的 2015 年老 CNN,准确率 62%,前沿大模型只有 42%

发生了什么: 伦敦 Guy's Hospital 的皮肤科医生 Magnus Lynch 用 200 个经病理确诊的皮损病例,比较了 GPT-6 Astra、Claude Fable 5.1 和一个微调过的 Inception v3。

关键细节:

  • Inception v3 用 ISIC 公开的 68,011 张图片,在单张 H100 上微调了大约 20 分钟;测试集里的病例和同一病人的其他图片都提前剔除了。
  • 6 选 1 的首选诊断准确率:CNN 为 125/200(62%),两个大模型分别是 84 和 85(都约 42%)。
  • 作者自己列了局限:样本小(黑色素瘤只有 30 例),大模型每例只跑了一次,CNN 只是基线,并非业界最好的方案。

我的看法: 这条我最想推荐给做行业 AI 落地的朋友。**窄任务 + 有标注数据 = 小模型往往更准、更便宜、还能离线跑。**大模型适合做理解、编排和交互,不一定适合做核心判别。我的建议是:立项时先问一句"这个问题有没有现成的标注数据和成熟的小模型方案",再决定要不要上大模型;很多场景下,大模型负责对话,小模型负责判别,组合起来效果最好。(再补一句:医疗场景请以正规医疗器械和医生诊断为准,这里只讨论技术选型。)

原文:


8. gpu-unlock-ada:一个声称让 RTX 4090 FP16 张量算力"翻倍"的内核模块(谨慎围观)

发生了什么: GitHub 上的开源项目 gpu-unlock-ada 是一个 Linux 内核模块,在官方 NVIDIA 驱动加载之前修改 GPU 的速度选择状态,解除部分 Ada(以及 30 系)显卡上 FP16/BF16(FP32 累加)张量指令的半速限制。

关键细节(来自项目 README):

  • 作者报告 RTX 4090 的 FP16→FP32 累加指令吞吐从 165.6 提升到 331.6 TF/s,BF16 类似。
  • 但同一份 README 也写了:真实 cuBLAS GEMM 中,FP16 只提升 12--34%,BF16 提升 16--20%(4096³ 规模下基本没变化) ;INT8、FP32 不受影响;一张魔改 48G 4090 跑量化 MoE 推理,完全没有收益。
  • 首次解锁需要完全断电冷启动;4090 以外的大量型号都标为实验性,每个型号只在一张或几张卡上测过。

我的看法:

  • "翻倍"指的是指令吞吐,不是你的推理速度。如果你本地跑的是 INT4/INT8 量化模型,大概率感受不到差别;做 FP16/BF16 训练或微调的同学可能有一些收益。
  • 风险要说在前面:这类工具涉及在驱动加载前写入 GPU 底层状态,有导致系统不稳定或硬件异常的可能,也可能影响保修。项目里每个型号的验证样本都很少。生产机、公司资产、带客户数据的机器都不要碰;真要试,用单独的测试机,先按 README 做好基线对比,并保留一个原生启动项。

原文:


其他值得一看(链接已核实,不展开)


本周小结

这周看下来,我最大的感受是:**AI 工具越强,越需要我们把"边界"设计好。**插件市场要防投毒,Agent 要限权限,多 Agent 系统要防内耗,选型时也要先问问是不是非得用大模型。给大家三个本周就能做的事:

  1. 跑一遍 Cursor 通告里的检查命令,顺手关掉关键扩展的自动更新;
  2. 检查一下你的 Agent 产品里,发邮件、提 PR、调外部 API 这类动作有没有人工确认;
  3. 下次立项前,先评估一个"小模型 + 标注数据"的方案作为基线。

你们团队这周有没有中招?在用哪些多 Agent 框架、踩过什么坑?欢迎在评论区聊聊。觉得有用的话点个关注,每周五晚更新,咱们下周见。


建议标签: 人工智能 AI编程 网络安全 大模型 智能体

相关推荐
涛声依旧-底层原理研究所1 小时前
拆解 Cordis 底座:Agent 是如何被「组合」出来的
人工智能·架构
秦先生在广东2 小时前
记忆不再是黑盒
人工智能
秦先生在广东2 小时前
49个AI智能体接管你的游戏开发
人工智能
骑着蜗牛撵大象3272 小时前
2026 后端 AI 工程化:Spring AI 管调用、MCP 管工具、Agent 内嵌管自治
java·人工智能·后端·spring·ai·可观测性·mcp
秦先生在广东2 小时前
26款模型安全提示词全开源
人工智能
smilejingwei2 小时前
TRAE 插件上新 | SQLazy:让 AI 写出可信复杂 SQL
数据库·人工智能·sql
老金带你玩AI3 小时前
DeepSeek这次,想把你从AI的监工岗位上解放出来
人工智能
莫西干式秃头3 小时前
用 AI + threejs 写了个浏览器里的 3D 动作游戏《武来》:砍怪、放技能、开 SU7
前端·人工智能·three.js