Agent 看不了视频?这个 7K Star 的开源插件一招搞定

你有没有给 Claude 丢过一个 YouTube 链接,问它「这个视频讲了什么」,然后它给你回了一堆根据标题猜的内容?

我有过。不止一次。

Claude 能读网页、能写代码、能分析图片,但它有一个巨大的盲区:它看不到视频。你给它一个链接,它最多能爬一下页面上的文字描述,至于画面里发生了什么、PPT 上写了什么、演示中出了什么 bug,它一概不知。

现在有人把这个短板补上了。

一个叫 Brad Bonanno 的开发者做了一个开源项目------claude-video。它给 Claude 装上了一个 /watch 命令。你丢一个视频链接,Claude 会自动下载、抽帧、转录,然后真正「看」完再回答你。

项目上线没多久,GitHub 6,900 星标。一堆开发者追着 star。

Github:

github.com/bradautomat...

一句话说清楚

claude-video 是一个 Claude 的插件技能(Skill),核心就是一个 /watch 命令。你给一个视频 URL 或本地文件路径,它用 yt-dlp 下载视频,用 ffmpeg 抽取关键帧,用 Whisper 做语音转文字,然后把画面+字幕一起喂给 Claude。Claude 看完之后回答你的问题。

硬指标:Star 数 6,900,Fork 数 782。协议 MIT,随便商用。主要语言 Python,占比 94.9%。维护者是 Brad Bonanno,一个做 AI 内容创作的独立开发者。11 次提交,5 个正式 Release,最新 v0.2.0(2026 年 7 月 1 日)。项目还很年轻,但核心功能已经跑通了。

它解决了一个什么问题

大模型处理视频的能力目前非常尴尬。

一边是用户的真实需求:分析师要看产品发布会、开发者要诊断录屏 bug、内容创作者要分析竞品的视频套路。视频是互联网上最丰富的信息载体,但大模型基本「看不见」。

另一边是目前的主流做法是什么?你给 AI 一个 YouTube 链接,它最多读一下页面的标题和描述。如果视频有公开字幕,它能拿到文字部分。但画面呢?PPT 里的数据、演示中的报错、Tim Cook 说话时的表情------全部丢失。

你可能会说:「那直接把视频传给 Claude 的视觉能力不行吗?」技术上可以,但视频是每秒 24-60 帧的图像序列。一段 10 分钟的 720p 视频,逐帧传给 Claude,Token 费用能顶上你一个月的咖啡钱。而且 Claude 没有原生视频处理能力,它不会自动抽帧、不会对齐字幕、不知道哪些画面是重要的。

claude-video 解决的就是这个矛盾。它在中间加了一层智能处理管道:

先下载视频 → 用场景检测只提取内容变化的帧 → 拉取字幕或语音转文字 → 把精炼后的画面+文字一起交给 Claude。

这个过程把一段 50 分钟视频的处理成本从几千块压到几乎免费(字幕模式),或者几块钱(需要 Whisper 转录时)。

你可以把它想象成一个视频摘要师:自己先看一遍,把最核心的画面和时间节点挑出来,再把精简版交给 Claude 分析。只不过这个摘要师是个脚本,跑得比你快 100 倍。

核心功能

一句话触发,全自动流程。 你只需要在 Claude 里输入 /watch youtu.be/xxx 这个视频讲了什么,剩下的全是自动的。下载、抽帧、转文字、分析,一步到位。

三种精度模式。 --detail transcript 只看字幕不看画面,最快最便宜,适合播客和对话类视频。--detail efficient 用关键帧模式抽 50 帧,几秒搞定,适合快速概览。--detail balanced 用场景检测抽最多 100 帧,覆盖最均匀。还有个 --detail token-burner 不设上限,适合你就是要穷尽每一个场景变化的情况。这个设计很聪明------用户可以根据场景在成本和精度之间做选择。

智能帧预算。 视频越长,每秒钟分配的帧数越少。30 秒短视频给 ~30 帧几乎是逐帧分析。10 分钟以上的视频控制在 100 帧以内,避免 Token 爆炸。如果你针对某个时间段提问,用 --start 2:15 --end 2:45 聚焦,帧密度会自动提高 2 倍。这个机制确保了短到一段录屏、长到一部电影,都能在合理的成本内处理。

帧去重。 这是 README 里最让我「哦」了一下的小设计。如果你的视频是屏幕录制,其中有一页 PPT 停留了 90 秒,之前的抽帧方式会产出十几张几乎一样的图,每一张都在浪费 Token。claude-video 做了一件事:每张帧被抽出来后,缩放成 16x16 的灰度缩略图,跟上一张保留的帧做像素差异比对,变化低于阈值就直接扔掉。结果是一页 PPT 只留一张,一个终端慢慢滚动的画面只留关键帧。帧预算全都花在真正不同的画面上。

支持几乎所有视频来源。 yt-dlp 支持什么它就支持什么------YouTube、Bilibili、TikTok、X/Twitter、Instagram、Loom、Vimeo,加上几百个其他平台,还有本地 mp4、mov、mkv 文件。

字幕优先,Whisper 兜底。 有字幕的视频完全免费。没有字幕的走 Whisper 转录(Groq 的 whisper-large-v3 优先,OpenAI 的 whisper-1 备用)。这种分级设计让大多数场景零成本运行。

技术架构

claude-video 本质上是一个 Python 脚本管道。整个技能包只有 6 个 Python 脚本,每个负责一个环节。

watch.py 是主入口。它接受你的命令参数,依次调用 download.py(下载视频)、rames.py(抽帧)、 ranscribe.py(转录)。最终把所有产出文件路径和字幕一起打印给 Claude。然后 Claude 用自己的 Read 工具逐帧读取图片,结合字幕进行分析。

setup.py 负责首次使用的环境检查。ffmpeg 和 yt-dlp 有没有装?没有就自动走 brew 安装(macOS),或者打印 apt/dnf/winget 命令。Groq API 密钥有没有配?没有就创建 .env 模板。整个过程不到 100ms 的检测时间,不拖慢后续使用。

帧提取用了 ffmpeg 的场景检测滤镜(select='gt(scene,0.4)'),这是关键。不是均匀抽帧(那样会漏掉关键画面),而是真正在画面内容变化时才抓取。配合帧去重算法,精度和成本的平衡做得相当扎实。

脚本完全用 Python 标准库写成,没有依赖管理噩梦。Whisper 客户端甚至只用 urllib 和 json------没有装 openai Python 包,纯 HTTP 调用。这种「够用就行」的风格,懂的开发者看了会心一笑。

社区健康度

6,900 星标对于一个上线不久的插件项目来说相当不错。782 Fork 说明很多人 fork 去做自己的定制版本。

项目还很年轻,11 次提交,5 个版本,最新 v0.2.0 发布于 2026 年 7 月 1 日。作者是独立开发者,不是公司团队,但开源协议 MIT 保证了社区可以接过维护。

Issue 处理了 7 个,PR 有 36 个。Issues 数量不大,项目复杂度也不高,所以维护压力不大。有 GitHub Actions 自动构建流程,每次打 tag 自动生成 release 包。

有一个值得关注的细节:这个项目虽然小,但它的生态连接做得很完整。同时支持 Claude Code 的插件系统、Codex 和 Cursor 的 plugin.json、Agent Skills 的 marketplace、claude.ai 网页版的 .skill 文件。项目目录结构里从 .claude-plugin/ 到 .codex-plugin/ 到 .agents/plugins/ 到 .github/workflows/,全链路部署都考虑到了。一个独立开发者能做到这个程度,很能说明他对开发者体验的理解。

同类项目对比

claude-video 在「给 AI 配上视频理解能力」这个方向上,目前几乎没有直接竞品。

Browser 自带的视频处理。 有些 AI 编程工具(如 Codex、Cursor)内置了浏览器,能打开网页看文字内容,但对于视频------它们和 Claude 一样无能为力。浏览器只能看到 HTML,看不到视频帧。

手动截图 + 上传。 最原始的方法。人肉看视频,手动截关键帧,上传给 AI。精度最高,但人力成本爆表。看一个 30 分钟视频花 30 分钟,截 20 张图再花 10 分钟。claude-video 把这些降到一句话。

直接传视频到 GPT-4o。 OpenAI 的模型支持直接传视频文件做分析。但限制很多:文件大小有限制、Token 消耗大、不支持 URL 直接抓取。Claude 没有原生视频能力,这个补丁正好补上了。

claude-video 的核心差异化是三点:完全自动化(一句话搞定)、成本分级(字幕免费/Whisper 几块钱)、覆盖所有视频来源(任何 yt-dlp 支持的链接)。

优势与不足

优势

  • 一句话触发,全自动管道,使用门槛极低
  • 字幕模式完全免费,不需要任何 API 费用
  • 帧去重 + 智能预算,有效控制 Token 消耗
  • 支持几乎所有视频平台 + 本地文件
  • 兼容多个 AI 工具(Claude Code、Codex、Cursor、Copilot、Gemini CLI、claude.ai
  • MIT 协议,随便用,随便改

不足

  • 依赖本地 ffmpeg 和 yt-dlp,不是纯云方案
  • 无字幕视频需要 Whisper API(Groq/OpenAI),有额外成本
  • 项目还在 v0.2,功能设计和 API 可能变化
  • 作者是独立开发者,维护持续性有待观察
  • 处理超长视频(1 小时+)时精度打折扣,需要手动聚焦

前景判断

成熟度: 早期。核心逻辑跑通了,但版本号 v0.2 说明还在快速迭代。

弃用风险: 中等偏低。MIT 协议保证了即使作者不再维护,代码可以继续用。最坏的情况是 ffmpeg/yt-dlp 的接口变了需要补丁,但这种风险不大。

适合谁用

  • 经常需要分析 YouTube 教程、产品发布会的开发者和产品经理
  • 用录屏报 bug 的团队------直接丢给 Claude 让它分析问题在哪
  • 内容创作者,想分析竞品的视频结构和开场套路
  • 任何想让 Claude 「看视频」而不是「猜视频」的人

不适合谁用

  • 对视频帧率有硬性要求的专业视频分析场景
  • 不想在自己电脑上装任何工具、只要纯网页服务的用户
  • 需要分析一小时以上长视频且不想用聚焦模式的场景

Github:

github.com/bradautomat...

写在最后

claude-video 做的不是技术突破。yt-dlp 和 ffmpeg 是十几年前就存在的工具。Whisper 也开源一年多了。这个项目没有发明任何新技术。

但它做了一个聪明的组合:把现有的工具按一个合理的顺序串起来,卡在 Claude 的视觉盲区上。结果是 Claude 从「只能看文字的瞎子」变成了「能看视频的观众」。

这个思路本身很有启发------很多时候,AI 的能力瓶颈不在模型本身,而在它和现实世界之间的管道。补上这些管道,往往比等下一个更强的基础模型更划算。

7K 星标,就是这个思路的认可。

如果你也经历过「Claude 你给我看看这个视频...算了你看不了」的无奈,这个项目值得你花十分钟装上试试。

关注

如果这篇文章对你有帮助,可以点个关注,我会持续更新 AI 开源工具的深度解读系列。也欢迎转发给需要的朋友。

相关推荐
程序员吕洞宾1 小时前
开源多维表格SmartTable V1.6:自动化工作流,把重复操作交给系统即可
开源·自动化·github·多维表格·飞书多维表
zqx_71 小时前
【无标题】
github
FreeBuf_2 小时前
公开GitHub Issue可诱骗AI泄露私有数据,绕过防护仅需一词
人工智能·github·issue
JavaGuide3 小时前
又一个画图 Skill 开源,再见手动画 draw.io!
前端·后端·github
小弥儿3 小时前
GitHub今日热榜 | 2026-07-09:OfficeCLI 以 92% 日增幅入围
学习·开源·github
逛逛GitHub4 小时前
GitHub 上 5 个小众但实用的开源项目,感兴趣收藏一波。
github
逛逛GitHub4 小时前
4 个最近值得收藏的 GitHub 开源项目。
github
粤M温同学6 小时前
VS Code GitHub Copilot插件中配置 DeepSeek 模型
github·copilot
AC赳赳老秦8 小时前
传感器数据自动汇总:OpenClaw 采集多类传感器数据、清洗入库、生成趋势分析
java·人工智能·python·自动化·github·php·openclaw