简介说明
当AI遇上视频，尴尬才刚刚开始
你有没有试过把一段软件报错的录屏发给Claude或Cursor，希望它帮你找出问题出在哪一秒？结果它只能读懂字幕——但字幕里没有按钮怎么点，也没有界面卡在哪一页，更不知道报错是从哪一帧开始的。
这不是AI不够聪明，而是它天生缺一双“眼睛”。
Agent能读网页、能跑脚本、能翻遍整个代码仓库。但把一个YouTube链接丢给它，它要么靠标题瞎猜，要么只能拉一段字幕——而字幕里缺失了屏幕上90%的信息。按钮长什么样、界面跳转到了哪里、报错弹窗出现在哪一帧——这些画面信息，传统Agent统统看不到。
Claude Video 这个刚破9000星的开源项目，要解决的就是这件事：让Claude Code、Codex、Cursor这些Agent，真正“看懂”视频里说了什么，也“看见”画面是怎么变的。
它到底做了什么？
简单说，你把一个YouTube链接或本地视频丢给Claude Video，再问一句“报错从哪一秒开始”，它不会像普通Agent那样只读个标题就敷衍你。
它的工作流程分三步：
第一步，拆字幕。 用yt-dlp先找视频自带的字幕——大部分公开视频都有免费字幕。如果视频没有字幕，就调用Whisper API把音频转写成文字。
第二步，抽关键帧。 用ffmpeg从视频里抽画面。它不是傻乎乎地每秒抽一张——那样长视频能抽几千张，上下文根本装不下。它只抽有意义的画面：长时间不变的重复画面会被删掉，只保留镜头切换或画面变化的关键帧。默认模式按镜头变化抽帧，最多保留100张；快速模式最多保留50张。每张保留下来的图都带着精确的时间戳。
第三步，对齐信息。 把同一时间点的字幕和画面对起来，一起塞进Agent的上下文。Agent拿到的不再是孤零零的文字，而是“在3分15秒，屏幕上出现了这个报错弹窗，同时字幕里说了这样一句话”——时间、画面、声音，三条线索对齐了。
实际能用来干什么？
项目README里列了几个真实的使用场景，我在Windows上实测之后觉得确实实用：
诊断录屏里的Bug。 别人发来一段软件报错的录屏，你不需要自己盯着屏幕一帧帧找。直接让Claude Video看，它能找到问题出现的那个画面，描述屏幕上发生了什么，很多时候直接就把原因抓住了。
分析热门视频的“钩子”。 想知道一个爆款视频开头几秒为什么能留住观众？Claude Video会看开头几帧的画面、读开头的台词，然后告诉你标题、人物、节奏是怎么配合的。
把更新视频里的“水分”挤掉。 那些十分钟的“颠覆性更新”视频，真正有用的新功能可能就两三句话。直接让Claude Video把水分挤掉，只告诉你真正的新东西。
把整个播放列表变成笔记。 跑一遍系列视频，每个视频生成一份摘要，一个频道或一套课程就变成了可搜索的笔记库，不用再一集一集硬啃。
几个值得注意的细节
抽帧密度是可以调的。 画面变化很多的时候可以取消数量限制，但抽得越密，消耗的上下文越多。视频越长，默认的100张画面要铺满整段视频，超过10分钟以后很多短暂变化会被跳过。它每秒最多抽两帧，高速操作和一闪而过的弹窗仍然可能漏掉。
长视频最好分两次处理。 先读字幕找出关键时间点，再挑那一小段重新抽帧，画面会比从头扫到尾更完整。
只看某个瞬间也可以。 你可以指定一个时间点，单独抓一张图——特别适合看按钮、小字和变化不明显的静态页面。
它不会生成视频，也不会帮你剪时间线。 本地脚本完成下载、抽帧和字幕整理，你正在用的Agent读取这些材料再回答问题。
安装和兼容性
Claude Code用户可以直接从插件市场安装：
/plugin marketplace add bradautomates/claude-video /plugin install watch@claude-video
Codex、Cursor、Copilot、Gemini CLI，以及50多个支持Agent Skills的宿主，可以用一行命令搞定：
npx skills add bradautomates/claude-video -g
claude.ai网页版可以下载watch.skill文件，在Settings → Capabilities里上传。
零配置启动——yt-dlp和ffmpeg在第一次运行时会自动安装，macOS走brew，Linux和Windows会打印对应的安装命令。
不过有个坑要注意： 我在Windows上实测时，旧版ffmpeg虽然能通过检查，抽帧时却会报错。换成新版以后同一段视频就能正常处理了。如果你遇到类似问题，先检查一下ffmpeg版本。
一句话总结
Claude Video做的事其实不复杂——它给Agent装了一双眼睛。视频不再只是一段字幕文本，而是带有时间戳的画面序列。Agent可以“看见”按钮在哪里、“看见”界面跳到了哪一页、“看见”报错出现在哪一帧。
项目当前版本是0.2.0，还在快速迭代中。如果你经常需要让AI分析视频内容——不管是Debug录屏、竞品分析还是课程整理——这个项目值得一试。
功能
html报告生成
视频预览跳转
视频字幕提取
字幕关键帧图片定位截图
关键帧跳转查看
图片预览
预览界面
视频预览跳转
视频字幕提取
视频字幕关键帧定位
关键帧跳转
下载地址
https://github.com/bradautomates/claude-video
https://pan.baidu.com/s/1K5FSrDG8yyB8aqUIer3oww?pwd=2i5x 提取码: 2i5x
评论抢沙发