重磅开源!sweety-handdraw-video:目前市面最强手绘视频管线,ChatGPT 完美运行

重磅开源!sweety-handdraw-video:目前市面最强手绘视频管线,ChatGPT 完美运行

准备好淘汰掉你手里那些死板的"PPT式"填色工具了吗?手绘口播视频的终极形态------sweety-handdraw-video,今天正式开源。

这不仅仅是一个让你图个新鲜的 Skill,而是一套拥有独立 AI 导演、碾压级物理手绘引擎、以及发烧级拟真配音的工业化视频制作管线。只需输入一篇文案,它就能全自动完成从分镜策划、画面生成、逐笔绘制到声画同步的全部工作。

先睹为快

《那条死于愤怒的蛇》,49 秒。

视频点此查看

蛇被锯子划伤,越生气,缠得越紧。这个寓言适合用很短的篇幅讲完:发生了什么,错误怎么一步步扩大,最后怎么收回来。

降维打击的手绘引擎:无限接近真实人类绘制

目前敢说,这是市面上最佳的绘制逻辑。

对比其他手绘视频工具生硬的"全局扫光"效果,我们重构了底层的绘制分块、路径规划和绘制顺序,将过去的实战经验全部写进了底层代码。程序会真正"看懂"每一张生成的插画,精准拆解头部、身体、背景和道具,按真实的物理逻辑进行起笔、线条描摹与填色,线条感和顿挫感无限接近真实人类绘制。

你可以手动指定画风,也可以让模型全自动推理。内置 6 款高精度手臂与画笔组合(马克笔、彩铅、毛笔、钢笔等),未来还会加入极简的"无手臂,仅保留画笔"模式。最绝的是:你甚至可以在这根转动的画笔上,直接添加你的专属文字水印和品牌广告!

满血 AI 导演:你不给分镜,它替你包揽

做视频没有分镜感?没关系。

如果你有一套完整的故事逻辑,它会严丝合缝地执行;如果你只给一个宽泛的主题或一段干瘪的文案,内置的强大 AI 导演将全面接管。它会自动为你匹配特定动画的固定分镜,判断哪里该铺垫情绪,哪里该展示核心画面,用最专业的视听语言把你的文案翻译成极具观赏性的视觉流。

你也能干预这些判断。比如"开头直接进入冲突,先别解释道理""按老师讲题的方式,把两个结果放在一起比较""结尾收在原文,不要替我升华"。这些要求比一句"做得有电影感"更容易落到画面里。已有定稿并要求原文时,导演规划围绕原稿安排,不擅自改剧情。

极致听感:为什么我们死磕 VoxCPM 2?

画得再好,机器音一出,瞬间出戏。为了达到"完美人声",我们在这套 Skill 中深度整合了目前极具统治力的 VoxCPM 2 语音模型。

为什么选它?因为我们要的是连真人也无法区分的拟真度。为了这套声音,我们在底层做了大量的调优,保留了最自然的换气、停顿和情绪起伏,彻底摆脱了机械朗读的平淡感。现在的成片,不仅旁白极其自然,克隆你自己的专属音色也堪称完美,几乎达到了以假乱真的地步。

当然,必须交代一句实话:为了极其极致的听感,VoxCPM 2 确实有些"重"。对于部分本地算力有限的机器,跑起来可能会有压力。但这绝对是目前技术能给到你的天花板级听觉体验。

环境依赖与平台支持:ChatGPT 用户的狂欢

很多神级视频工具都绑定了特定的非公开大模型,但 sweety-handdraw-video 目前在 ChatGPT (Codex) 环境下测试完美通过! 之前用不了 Claude 的小伙伴可以狂喜了。

你可以无限畅想未来的上限------如果后续接入 Opus 5.5 配合 GPT Image 2.5,这套管线的视觉表现力将直接拉爆。

但要驾驭这台性能怪兽,你需要扎实的本地环境:

  • Agent 大脑:具备图像生成调用能力的 Agent(实测 Codex 完美)。
  • 本地渲染引擎:Python 3.9+,以及 Pillow、NumPy、SciPy 等图像处理库。
  • 视频合成核心:FFmpeg / ffprobe 及其系统环境变量。
  • 发烧级配音支持:能够跑起 VoxCPM 2 的本地算力,或兼容的本地 TTS 服务。

我们不调用任何外部昂贵的视频生成 API。这就意味着,你的修改成本几乎为零。字幕错了?一键替换文本;单张插画不好看?单独重绘一张,所有素材完全解耦,本地零成本重新渲染。

多久一条,花多少钱

额度方面,我自己的 200 美元订阅环境,看起来用掉不到 1%

当前流程不需要额外购买一个图生视频服务来把画面动起来。已经认可的图片和声音还能复用,字幕和布局的修改,不必重走全部生成步骤。这些是能解释清楚的成本优势。

开源的是代码和制作方法,运行成本仍取决于你怎么获得推理、生图和配音能力。

开源承诺与后续计划

最后交个底。当前这套基于 Codex 的版本,我们将持续开源并免费维护!

开源版本的性能,对于绝大多数自媒体、知识博主和开发者来说,已经处于绝对的"性能过剩"状态,绝对足够大家在日常生产中畅快使用。后期,我们会考虑推出结合 Opus + 自研闭源手绘引擎 + 更多顶级生图模型矩阵的终极版本,可能会采用收费订阅制,但开源版的打磨绝不会停止。

项目已开源至 GitHub:

github.com/threerocks/sweety-handdraw-video

一键安装指令:

css 复制代码
npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video

安装之后把这段发给 Agent 做检查:

css 复制代码
检查 sweety-handdraw-video 的实际版本和运行环境。
确认生图、Python 依赖、FFmpeg、中文字体、Bun、ExifTool,
以及一条真实可用的配音路径。缺什么先说明,不自动下载大模型。

然后,建议用一个短主题开跑:

bash 复制代码
使用 $sweety-handdraw-video,把"为什么越生气越容易做错决定"
做成约一分钟的手绘讲解,面向普通成年人。
讲清一个机制,画风、手部、声音和字幕根据内容自动选择。
不加广告、水印和背景音乐。先检查一个代表场景,再完成整片。

最后拿到的是 MP4、封面、字幕文件、口播稿和检查记录。默认横屏 1920×1080、30fps;想做别的尺寸、帧率均可以提出。

如果你觉得这个硬核工具帮你省下了大把熬夜剪视频的时间,请务必帮我点个赞、收藏,并转发给身边做自媒体和内容开发的朋友!也请各位极客移步 GitHub 顺手点亮 ⭐️ Star,点击关注账号,后续的逆天神级更新,我们这里见!

最后,使用过程中有任何的疑问、建议欢迎在评论区留言讨论,我会及时改进。

相关推荐
柳杉1 小时前
借助 Codex 和可视化工作流,从调研到完整实现,3D 大屏竟然可以这么简单
前端·ai编程·数据可视化
孟健2 小时前
从5000亿Token到83%字节匹配:AI逆向工程与重构的工程闭环实践
后端·架构·ai编程
后端小肥肠2 小时前
做公众号漫画还在纯手搓?这套工具从选题到复刻任意热门漫画一键搞定
人工智能·aigc·agent
程序员老刘4 小时前
Flutter你看看人家RN
flutter·react native·ai编程
林壮Allen4 小时前
用 Go 从零实现多 Agent 协作框架:两个让我踩坑的设计问题
go·ai编程
god_cvz4 小时前
第三章:1、Tool Calling(工具调用)
后端·ai编程
AIGCmagic社区5 小时前
多模态Jev专题:FastJEV剪掉45.83%候选层,0.8B平均分还留97.52%
人工智能·aigc·jev模型
DO_Community7 小时前
AI Agent 运行环境难搭、空闲还收费?MicroVMs 正式公测
人工智能·agent·ai编程·agi
OpsEye7 小时前
企业 AI 管理新需求:不仅要接入模型,还要看懂每一次调用
javascript·ai编程