视频不用再一张张截图:ClipSketch AI 把关键画面转成漫画,还能顺手生成文案

前言

把一段视频重新整理成适合小红书发布的图文内容,真正麻烦的往往不是写几句话,而是前面的素材处理。

先完整看一遍视频,再找到值得保留的画面,一张张截图、裁切、整理顺序;如果还想统一视觉风格,又得重新做封面和配图。十分钟的视频最后可能只需要五六张图,但为了找到这几张图,前面的重复操作一点都不少。

ClipSketch AI 把这套流程集中到了一个页面里。

导入 B 站、小红书等视频后,可以直接在播放过程中用快捷键标记需要保留的关键帧。选完以后,再交给 Gemini 分析视频内容,根据这些画面生成统一风格的手绘分镜。你还可以调整提示词改变画风、上传固定角色形象做融合,并按照最终需要的图片数量重新组织分镜。

图片处理完成以后,连发布时需要的图文文案也可以继续在同一个流程里生成。

这篇文章会先在 Windows 上通过 Docker 部署 ClipSketch AI,完成关键帧选择、AI 绘图、角色融合、分镜整理和文案生成的实际测试。

最后再通过 cpolar 把本地 3000 端口增加公网入口。

这样部署在电脑上的这套"视频转图文"工具,也可以从手机或者其他设备继续使用。

1 关于【ClipSketch AI】

ClipSketch AI是什么?简单来说,它是你的"在线视频转绘机 + 爆款文案生成器 + 顶级漫画师"!这个AI应用能将B站和小红书的视频瞬间变成精致的手绘漫画故事板。你只需要复制视频链接,粘贴到ClipSketch AI里,它就能帮你完成剩下的工作。

2 windows部署安装【ClipSketch AI】

部署之前我们需要先去获取一个Gemini的API key:https://aistudio.google.com,然后我们把这个APIkey复制下来备份

【AIzaSyBxQ3k1-xOFHwE_40xfF4L_zQxVt_Le2xI】

打开终端,执行这行代码,一键启动

shell 复制代码
docker run -d -p 3000:3000 --name clipsketch-ai tannic666/clipsketch-ai:latest

最后打开浏览器访问localhost:3000,就可以看到我们的ClipSketch AI的主界面啦!

3 简单使用ClipSketch AI

我们随便找一个视频导入进去,加载成功后就可以操作了!

左侧是视频预览,右侧是截取的关键帧,关键帧需要大家自己手动截取

比如我们想导入这一帧,就点击T键,以此类推

大家可以理解为,截取的每一个关键帧,之后都会对应的生成一张图片,大家想呈现什么样的画面内容,就在视频对应的画面截取关键帧就行。只需要五秒钟就标记了五个最精华的瞬间!

当你将所有想要的画面全部截取之后,就可以点右上角的AI绘图按钮,进入下一步了。

然后在这个界面你就能看到你之前截取的所有关键帧,

这时候你需要在右上角填入你刚才备份的 Gemini API Key

接着AI 就会像个课代表一样,把你刚才选的那几个片段分析一遍,理解这几个步骤到底在干嘛。

第一步:左侧先分析一下原视频的文案。

分析这个文案的主要目的,就是更进一步分析原视频的主要内容是什么,然后更确定你之后要生成什么样内容的图片。

这个文案是由工具自动拉取原视频的,不用自己填写。如果你对文案不满意,也可以自己修改。

第二步:填写图片提示词。

截取关键帧,是为了确定每一张图片的具体内容是什么。而这一步,是为了确定图片最终的风格。

这款工具默认就已经填写了一套比较不错的提示词,出来的效果就是开头展示的那样。

如果想要其他画风的图片,也可以自己写一套别的提示词,然后选择你想要的画面比例,最后点击生成就行。生成的图片会在页面右侧显示

第三步:角色融合。

如果你长期运营一个某品类的账号,那有一个固有形象也是挺重要的,

可以加强读者对你账号品牌的认知度。所以这里可以上传你的品牌形象,可以是一只小猫,或者皮套人,甚至是你本人都可以。

之后AI会智能将你的形象融合到图片中去。会智能根据你上传的形象,来自定义角色的动作和表情,可以说是非常智能了。

这简单的操作背后,作者一定提前嵌入了丰富的提示词,才能将前台的操作简化成一步搞定。而如果你不需要融合IP形象,那么直接跳过这一步就可以了。

第四步:分镜修饰。

这其实就是将之前生成的图片,一副一副分割成你要求的图片数量。只用根据你之前截取的关键帧数量来填写数字,或者根据你想要的图片数量来填数字就行。

然后AI会智能合并步骤或者扩展步骤,以你的图片数量为准来产出多张图片。

最后一步:文案生成。

发小红书,一个优质的文案也很重要。

这里也可以交给AI,它会自己根据你的主题和小红书这个平台的风格,

生成一篇还算不错的文案。

AI出的文案有很多种风格,有讲解了详细步骤的纯粹攻略, 也有专注提供情绪价值的小甜文,大家可以根据自己的需求选择~

最后点击生成,能看到它完美地融合成了一张封面!

线条流畅,风格可爱,而且重点突出!

以前是选主题、写文案、画草稿,现在是复制链接、按T、点生成!这效率,简直是开了挂!

4 介绍以及安装cpolar内网穿透

它的应用场景简直无敌!知识分享UP主可以快速把你的硬核代码教程变成漫画笔记,让小白也能看懂!

美食博主可以把你的30分钟做饭Vlog,变成5张图的"懒人食谱",发到小红书上,流量暴涨!或者二创大神可以快速截取番剧/电影的经典瞬间,生成手绘梗图,二创速度比别人快十倍!

ClipSketch AI有多牛,你们都看到了。但是目前我们只能在本地的电脑上使用

如果我在外面,用我的手机玩部署在电脑上的ClipSketch AI,或者想分享给我的美食博主闺蜜,怎么操作呢?

别担心我们还有cpolar内网穿透工具!他可以给你一个固定的公网地址,搞定所有远程访问和分享需求!

跟着我继续操作吧!

cpolar安装与配置:

cpolar 是一款简单易用的端口转发工具,它可以将你的本地端口映射到公网,让你的应用能够被外网访问。

访问cpolar官网:击免费使用注册一个账号,并下载最新版本的Cpolar。

登录成功后,点击下载Cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

Cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

5 使用cpolar内网穿透ClipSketch AI

登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理------创建隧道:

  • 隧道名称:可自定义,注意不要与已有的隧道名称重复
  • 协议:http
  • 本地地址:3000
  • 域名类型:我为了长期使用所以选择二级子域名,如果只是测试可以选择随机隧道
  • 地区:选择China Top

然后我们需要保留一下二级子域名,登录cpolar官网,点击预留:

选择保留二级子域名,地区选择china top,名称自定义,点击保留

保留成功后把这个子域名复制下来,回到cpolar配置界面,粘贴到域名上,点击创建:

创建成功后,打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了两个公网地址,接下来就可以在其他电脑或者移动端设备(异地)上,使用任意一个地址在浏览器中访问即可。

随便复制一个地址,使用任何设备的浏览器打开!都能成功访问我们部署的ClipSketch AI了!

结尾

ClipSketch AI 最适合的场景,并不是把整段视频完全自动地"变成漫画"。

实际操作里,关键帧仍然需要自己选择。

但我反而觉得这一点比较合理,因为真正知道哪几个画面最值得留下来的,通常还是内容创作者自己。工具负责的是后半段:理解这些画面之间的关系、统一视觉风格、重新组织分镜,再根据主题生成适合图文平台使用的文字内容。

于是原来的流程:

看视频 → 截图 → 整理 → 做图 → 排版 → 写文案

可以缩短成:

导入视频 → 选关键帧 → 调整风格 → 生成。

如果经常需要把教程、Vlog、美食视频或者其他长视频重新整理成图文内容,这种工作方式会比单纯使用截图工具省事很多。

通过 cpolar 增加公网入口以后,本地部署也不必局限在那台电脑前使用。人在外面可以从其他设备打开页面继续处理素材,如果需要长期使用,再配置固定二级子域名即可。

当然,公网使用时要特别注意 Gemini API Key、生成内容以及原始视频素材的访问权限,不要把包含敏感配置的页面直接公开出去。

所以 ClipSketch AI 真正减少的,并不是创作者对内容的判断。

它省掉的是判断完成以后,那一大段重复的素材整理工作:

你负责决定哪些画面值得留下,剩下的转换、统一和包装,再交给 AI。

相关推荐
星辰徐哥1 小时前
本地视频预览别只自己看:把Remotion动效项目发给客户远程验收
docker·ai·node.js·html·音视频·react·remotion
小小测试开发1 小时前
LLM 结构化输出测试:Schema 契约 + 故障注入,让工具调用的 JSON 不再靠重试赌运气
人工智能·json
阿里云大数据AI技术1 小时前
淘宝直播 AI 分身:基于阿里云 Milvus 的商品知识召回实践
人工智能
猎头南楼1 小时前
大模型后训练与 Agent 自迭代:两类工程能力的观察
人工智能·深度学习·机器学习
镜像视界(浙江)科技有限公司1 小时前
《视频孪生之上:二维展示终结,三维空间计算重构城市逻辑》——跨摄像连续表达 × 三角测量厘米级定位 × 动态轨迹建模,构建新一代城市空间
大数据·人工智能·算法·矩阵·音视频·空间计算
你不是我我1 小时前
【AI 测评】想用自己的声音给视频配音?Index-TTS本地部署这样做
人工智能·音视频
IT_陈寒1 小时前
Java Stream处理大集合,我的内存怎么就炸了
前端·人工智能·后端
Captaincc2 小时前
AI 用量桌面端-桌面宠物自定义指南
前端·人工智能
悟空码字2 小时前
四轮对话两张配图:用 WorkBuddy 优化公众号发文配图的实战指南
人工智能·后端·腾讯