LLM实现视频切片&合成 前沿知识调研

1.相关产品

产品 链接
腾讯智影 https://zenvideo.qq.com/
可灵 https://klingai.kuaishou.com/
即梦 https://jimeng.jianying.com/ai-tool/home/
Runway https://aitools.dedao.cn/ai/runwayml-com/
Descript https://www.descript.com/?utm_source=ai-bot.cn/
Opus Clip https://www.opus.pro/not-available?utm_source=ai-bot.cn/
Wondershare Filmora https://www.wondershare.com
AI Podcast Clips https://app.simplified.com/social-media
Vadoo AI https://ai.vadoo.tv/
WUI.AI https://www.wui.ai/zh-CN/clip-settings
FunClip https://github.com/modelscope/FunClip
AutoCut https://github.com/mli/autocut

2. 功能

产品 功能
腾讯智影 支持在线剪辑、素材库比较多、文生视频、视频解说、数字人播报
可灵 文本生成视频、图片生成视频、文字生成图片
即梦 文本生成视频、图片生成视频、文字生成图片
Runway 图片生成视频、文本生成视频、文本转语音(提供大量音色)、文本生成图片
Descript 基于文本剪辑视频
Opus Clip 视频切片 :自动从长视频中提取精彩片段,生成短视频。AI分析 :使用人工智能技术分析视频内容,识别亮点和重要时刻。一键生成短视频 :提供快速生成短视频的选项,简化编辑流程。片段选择:允许用户手动选择或调整Al挑选的片段,以确保最多视频符合预期。视频编辑:提供基本的视频编辑功能,如裁剪、排序和调整片段。
Wondershare Filmora AI助手剪辑 :使用个人AI助理编辑视频(分段,有点短),改善编辑流程。AI文字型编辑 :将视频转换成文字,并使用基于文字的AI编辑,像编辑文件一样方便。AI缩略图制作 :使用有效的缩略图吸引观众目光。AI音乐生成器 :立即创作各种风格、情感和节奏的音乐。10,000+高质视频模板 :告别枯燥的编辑工作,提升影片品质。创意资源拓展:超过1,500万个文字、音频、转场、特效和贴纸等资源。跨平台支持:在电脑、iPad和手机上编辑、存储和分享内容。
AI Podcast Clips 自动分析视频 :识别关键时刻和说话人变化。长视频变短视频(精华) :自动生成带有字幕的短视频剪辑。 提供视频编辑器以调整视频比例和分辨率预测 视频剪辑在社交媒体上的潜在表现(分数) 。支持最大500MB的视频文件。
Vadoo AI 长视频变短视频
WUI.AI 长切短、总结、拆分章节、增加字幕
FunClip 阿里开源的基于LLM的智能剪辑
AutoCut 基于Markdown的可视化剪辑

3. 使用体验

目前国内大多数聚焦于大模型实现文生图文生视频很少 有基于LLM实现智能剪辑 的应用。国外关于LLM实现智能剪辑的产品较多 ,如WUI.AIOpus Clip (国内不能访问),智能剪辑体验 起来比较丝滑 ,但存在剪辑视频断头断尾技术不开源 的问题。国内阿里开源的FunClip 提供了智能视频剪辑的解决方案,但同样存在剪辑视频断头断尾文字和时间戳不在同一轨道的情况。

4. FunClip底层技术

阿里开源的Funclip技术如下:

1)将视频转化为音频(ffmpeg);

2)使用ASR模型完成音频的转录;

3)基于转录的字幕使用LLM完成精华的提取;

4)根据LLM提取的内容,使用movie完成基于时间戳实现视频的剪辑。

5. Autocut底层技术

AutoCut 对你的视频自动生成字幕。然后你选择需要保留的句子,AutoCut 将对你视频中对应的片段裁切并保存。你无需使用视频编辑软件,只需要编辑文本文件即可完成剪切。采用的ASR 模型是Open AI 开源的whisper 模型。

在使用AutoCut的时候,剪辑需要基于Markdown进行点击(费时费眼),且需要自己对视频理解的十分透彻 。为此我们可以基于LLM完成精彩片段 的提炼,然后编写正则表达式对Markdown内容进行自动点击。

6.未完待续

1)使用OCR实现ASR识别字幕的不准确性。

参考内容 https://zhuanlan.zhihu.com/p/10856868833

2)编写长变短、按照主题提取的Prompt模版。

参考

相关推荐
Humbunklung24 分钟前
PySide6 GUI 学习笔记——常用类及控件使用方法(常用类矩阵QRectF)
笔记·python·学习·pyqt
蹦蹦跳跳真可爱58936 分钟前
Python----深度学习(基于DNN的吃鸡预测)
python·深度学习·dnn
JJ1M81 小时前
Git技巧:Git Hook,自动触发,含实战分享
git·python·自动化
拓端研究室TRL2 小时前
PyMC+AI提示词贝叶斯项目反应IRT理论Rasch分析篮球比赛官方数据:球员能力与位置层级结构研究
大数据·人工智能·python·算法·机器学习
小白用python2 小时前
pycharm无法创建venv虚拟环境
ide·python·pycharm
ImAlex2 小时前
开开心心放假回家,结果忘记老家wifi密码新买的手机连不上WiFi?不用慌,pywifi来拯救你。
python
带娃的IT创业者2 小时前
《AI大模型应知应会100篇》第39篇:多模态大模型应用:文本、图像和音频的协同处理
人工智能·microsoft·音视频
fantasy_43 小时前
LeetCode238☞除自身以外数组的乘积
java·数据结构·python·算法·leetcode
Tech Synapse3 小时前
零基础搭建AI作曲工具:基于Magenta/TensorFlow的交互式音乐生成系统
人工智能·python·tensorflow
纪元A梦3 小时前
华为OD机试真题——阿里巴巴找黄金宝箱Ⅰ(2025A卷:100分)Java/python/JavaScript/C/C++/GO最佳实现
java·c语言·javascript·c++·python·华为od·go