
你有没有给 Claude 丢过一个 YouTube 链接,问它「这个视频讲了什么」,然后它给你回了一堆根据标题猜的内容?
我有过。不止一次。
Claude 能读网页、能写代码、能分析图片,但它有一个巨大的盲区:它看不到视频。你给它一个链接,它最多能爬一下页面上的文字描述,至于画面里发生了什么、PPT 上写了什么、演示中出了什么 bug,它一概不知。
现在有人把这个短板补上了。
一个叫 Brad Bonanno 的开发者做了一个开源项目------claude-video。它给 Claude 装上了一个 /watch 命令。你丢一个视频链接,Claude 会自动下载、抽帧、转录,然后真正「看」完再回答你。
项目上线没多久,GitHub 6,900 星标。一堆开发者追着 star。
Github:
一句话说清楚
claude-video 是一个 Claude 的插件技能(Skill),核心就是一个 /watch 命令。你给一个视频 URL 或本地文件路径,它用 yt-dlp 下载视频,用 ffmpeg 抽取关键帧,用 Whisper 做语音转文字,然后把画面+字幕一起喂给 Claude。Claude 看完之后回答你的问题。
硬指标:Star 数 6,900,Fork 数 782。协议 MIT,随便商用。主要语言 Python,占比 94.9%。维护者是 Brad Bonanno,一个做 AI 内容创作的独立开发者。11 次提交,5 个正式 Release,最新 v0.2.0(2026 年 7 月 1 日)。项目还很年轻,但核心功能已经跑通了。

它解决了一个什么问题
大模型处理视频的能力目前非常尴尬。
一边是用户的真实需求:分析师要看产品发布会、开发者要诊断录屏 bug、内容创作者要分析竞品的视频套路。视频是互联网上最丰富的信息载体,但大模型基本「看不见」。
另一边是目前的主流做法是什么?你给 AI 一个 YouTube 链接,它最多读一下页面的标题和描述。如果视频有公开字幕,它能拿到文字部分。但画面呢?PPT 里的数据、演示中的报错、Tim Cook 说话时的表情------全部丢失。
你可能会说:「那直接把视频传给 Claude 的视觉能力不行吗?」技术上可以,但视频是每秒 24-60 帧的图像序列。一段 10 分钟的 720p 视频,逐帧传给 Claude,Token 费用能顶上你一个月的咖啡钱。而且 Claude 没有原生视频处理能力,它不会自动抽帧、不会对齐字幕、不知道哪些画面是重要的。
claude-video 解决的就是这个矛盾。它在中间加了一层智能处理管道:
先下载视频 → 用场景检测只提取内容变化的帧 → 拉取字幕或语音转文字 → 把精炼后的画面+文字一起交给 Claude。
这个过程把一段 50 分钟视频的处理成本从几千块压到几乎免费(字幕模式),或者几块钱(需要 Whisper 转录时)。
你可以把它想象成一个视频摘要师:自己先看一遍,把最核心的画面和时间节点挑出来,再把精简版交给 Claude 分析。只不过这个摘要师是个脚本,跑得比你快 100 倍。
核心功能

一句话触发,全自动流程。 你只需要在 Claude 里输入 /watch youtu.be/xxx 这个视频讲了什么,剩下的全是自动的。下载、抽帧、转文字、分析,一步到位。
三种精度模式。 --detail transcript 只看字幕不看画面,最快最便宜,适合播客和对话类视频。--detail efficient 用关键帧模式抽 50 帧,几秒搞定,适合快速概览。--detail balanced 用场景检测抽最多 100 帧,覆盖最均匀。还有个 --detail token-burner 不设上限,适合你就是要穷尽每一个场景变化的情况。这个设计很聪明------用户可以根据场景在成本和精度之间做选择。
智能帧预算。 视频越长,每秒钟分配的帧数越少。30 秒短视频给 ~30 帧几乎是逐帧分析。10 分钟以上的视频控制在 100 帧以内,避免 Token 爆炸。如果你针对某个时间段提问,用 --start 2:15 --end 2:45 聚焦,帧密度会自动提高 2 倍。这个机制确保了短到一段录屏、长到一部电影,都能在合理的成本内处理。
帧去重。 这是 README 里最让我「哦」了一下的小设计。如果你的视频是屏幕录制,其中有一页 PPT 停留了 90 秒,之前的抽帧方式会产出十几张几乎一样的图,每一张都在浪费 Token。claude-video 做了一件事:每张帧被抽出来后,缩放成 16x16 的灰度缩略图,跟上一张保留的帧做像素差异比对,变化低于阈值就直接扔掉。结果是一页 PPT 只留一张,一个终端慢慢滚动的画面只留关键帧。帧预算全都花在真正不同的画面上。
支持几乎所有视频来源。 yt-dlp 支持什么它就支持什么------YouTube、Bilibili、TikTok、X/Twitter、Instagram、Loom、Vimeo,加上几百个其他平台,还有本地 mp4、mov、mkv 文件。
字幕优先,Whisper 兜底。 有字幕的视频完全免费。没有字幕的走 Whisper 转录(Groq 的 whisper-large-v3 优先,OpenAI 的 whisper-1 备用)。这种分级设计让大多数场景零成本运行。
技术架构
claude-video 本质上是一个 Python 脚本管道。整个技能包只有 6 个 Python 脚本,每个负责一个环节。
watch.py 是主入口。它接受你的命令参数,依次调用 download.py(下载视频)、rames.py(抽帧)、 ranscribe.py(转录)。最终把所有产出文件路径和字幕一起打印给 Claude。然后 Claude 用自己的 Read 工具逐帧读取图片,结合字幕进行分析。
setup.py 负责首次使用的环境检查。ffmpeg 和 yt-dlp 有没有装?没有就自动走 brew 安装(macOS),或者打印 apt/dnf/winget 命令。Groq API 密钥有没有配?没有就创建 .env 模板。整个过程不到 100ms 的检测时间,不拖慢后续使用。
帧提取用了 ffmpeg 的场景检测滤镜(select='gt(scene,0.4)'),这是关键。不是均匀抽帧(那样会漏掉关键画面),而是真正在画面内容变化时才抓取。配合帧去重算法,精度和成本的平衡做得相当扎实。
脚本完全用 Python 标准库写成,没有依赖管理噩梦。Whisper 客户端甚至只用 urllib 和 json------没有装 openai Python 包,纯 HTTP 调用。这种「够用就行」的风格,懂的开发者看了会心一笑。
社区健康度
6,900 星标对于一个上线不久的插件项目来说相当不错。782 Fork 说明很多人 fork 去做自己的定制版本。
项目还很年轻,11 次提交,5 个版本,最新 v0.2.0 发布于 2026 年 7 月 1 日。作者是独立开发者,不是公司团队,但开源协议 MIT 保证了社区可以接过维护。
Issue 处理了 7 个,PR 有 36 个。Issues 数量不大,项目复杂度也不高,所以维护压力不大。有 GitHub Actions 自动构建流程,每次打 tag 自动生成 release 包。
有一个值得关注的细节:这个项目虽然小,但它的生态连接做得很完整。同时支持 Claude Code 的插件系统、Codex 和 Cursor 的 plugin.json、Agent Skills 的 marketplace、claude.ai 网页版的 .skill 文件。项目目录结构里从 .claude-plugin/ 到 .codex-plugin/ 到 .agents/plugins/ 到 .github/workflows/,全链路部署都考虑到了。一个独立开发者能做到这个程度,很能说明他对开发者体验的理解。
同类项目对比
claude-video 在「给 AI 配上视频理解能力」这个方向上,目前几乎没有直接竞品。
Browser 自带的视频处理。 有些 AI 编程工具(如 Codex、Cursor)内置了浏览器,能打开网页看文字内容,但对于视频------它们和 Claude 一样无能为力。浏览器只能看到 HTML,看不到视频帧。
手动截图 + 上传。 最原始的方法。人肉看视频,手动截关键帧,上传给 AI。精度最高,但人力成本爆表。看一个 30 分钟视频花 30 分钟,截 20 张图再花 10 分钟。claude-video 把这些降到一句话。
直接传视频到 GPT-4o。 OpenAI 的模型支持直接传视频文件做分析。但限制很多:文件大小有限制、Token 消耗大、不支持 URL 直接抓取。Claude 没有原生视频能力,这个补丁正好补上了。
claude-video 的核心差异化是三点:完全自动化(一句话搞定)、成本分级(字幕免费/Whisper 几块钱)、覆盖所有视频来源(任何 yt-dlp 支持的链接)。
优势与不足
优势
- 一句话触发,全自动管道,使用门槛极低
- 字幕模式完全免费,不需要任何 API 费用
- 帧去重 + 智能预算,有效控制 Token 消耗
- 支持几乎所有视频平台 + 本地文件
- 兼容多个 AI 工具(Claude Code、Codex、Cursor、Copilot、Gemini CLI、claude.ai)
- MIT 协议,随便用,随便改
不足
- 依赖本地 ffmpeg 和 yt-dlp,不是纯云方案
- 无字幕视频需要 Whisper API(Groq/OpenAI),有额外成本
- 项目还在 v0.2,功能设计和 API 可能变化
- 作者是独立开发者,维护持续性有待观察
- 处理超长视频(1 小时+)时精度打折扣,需要手动聚焦
前景判断
成熟度: 早期。核心逻辑跑通了,但版本号 v0.2 说明还在快速迭代。
弃用风险: 中等偏低。MIT 协议保证了即使作者不再维护,代码可以继续用。最坏的情况是 ffmpeg/yt-dlp 的接口变了需要补丁,但这种风险不大。
适合谁用
- 经常需要分析 YouTube 教程、产品发布会的开发者和产品经理
- 用录屏报 bug 的团队------直接丢给 Claude 让它分析问题在哪
- 内容创作者,想分析竞品的视频结构和开场套路
- 任何想让 Claude 「看视频」而不是「猜视频」的人
不适合谁用
- 对视频帧率有硬性要求的专业视频分析场景
- 不想在自己电脑上装任何工具、只要纯网页服务的用户
- 需要分析一小时以上长视频且不想用聚焦模式的场景
Github:
写在最后
claude-video 做的不是技术突破。yt-dlp 和 ffmpeg 是十几年前就存在的工具。Whisper 也开源一年多了。这个项目没有发明任何新技术。
但它做了一个聪明的组合:把现有的工具按一个合理的顺序串起来,卡在 Claude 的视觉盲区上。结果是 Claude 从「只能看文字的瞎子」变成了「能看视频的观众」。
这个思路本身很有启发------很多时候,AI 的能力瓶颈不在模型本身,而在它和现实世界之间的管道。补上这些管道,往往比等下一个更强的基础模型更划算。
7K 星标,就是这个思路的认可。
如果你也经历过「Claude 你给我看看这个视频...算了你看不了」的无奈,这个项目值得你花十分钟装上试试。
关注
如果这篇文章对你有帮助,可以点个关注,我会持续更新 AI 开源工具的深度解读系列。也欢迎转发给需要的朋友。