根据语义切分视频

背景

现在有个需求,拿到一个完整视频,然后需要将视频切分成2min左右的段落,然后总结每一段的内容。

需求点

1.切分要完整,切完了之后的所有视频还能拼回一个完整视频

2.切分要有完整性,切分点要选择一句说刚好说完的位置。

3.最好有逻辑性,每段都能表达一个完整意思。

解决方案

第一版;

1.通过whisper提取视频字幕。

2.将字幕扔给chatgpt,要求他根据我的需求切分

3.拿到chatgpt的回复,提取出切分建议

4.切分视频

5.切分字幕

6.将小段字幕发给chatgpt,要求进行总结

总的来说,流程是跑通了,但是最大的问题是第二步,chatgpt的回复不尽如人意,要么答非所问,要么回答的格式不合适。

猜测是输入文本太长,指令不能很好的遵守,所以切分点会非常的飘,每次的结果都是一次惊吓。

第二版

目前不带满意的地方其实就是第二步,所以只改进第二步,不使用大模型去切分,直接根据句子数量切分,基本没有智能,但是因为提取的字幕直接就是完整的句子作为一行,所以句子拼接段落也挺丝滑,最大的问题可能就是切分点不太合适,但是这种办法非常稳定,不会出现不需要的内容。

第三版

还是想试试人工智能能不能干这事儿,所以先把所有字幕提取出来,拼接成完整文本,不带时间戳那种,扔给人工智能直接分段,这一步,不同的大模型表现千差万别,gpt-4o表现的比国产的好一些,返回的结果也能用,缺点是一次不能给过多文本,优点是比第二种切分点更合适。

总结

目前尝试了能跑通的是这三种方法,其他一些跑不通的没记录,之后如果有更好的方案再记录。

相关推荐
小洛~·~1 天前
多模态RAG与LlamaIndex——1.deepresearch调研
人工智能·python·深度学习·神经网络·chatgpt
Narutolxy2 天前
大模型数据分析破局之路20250512
人工智能·chatgpt·数据分析
AIWritePaper智能写作探索2 天前
高质量学术引言如何妙用ChatGPT?如何写提示词?
人工智能·chatgpt·prompt·智能写作·aiwritepaper·引言
江鸟19982 天前
AI日报 · 2025年05月11日|传闻 OpenAI 考虑推出 ChatGPT “永久”订阅模式
人工智能·gpt·ai·chatgpt·github
知来者逆2 天前
AI 在模仿历史语言方面面临挑战:大型语言模型在生成历史风格文本时的困境与研究进展
人工智能·深度学习·语言模型·自然语言处理·chatgpt
AI Echoes3 天前
大模型(LLMs)强化学习——RLHF及其变种
人工智能·深度学习·算法·机器学习·chatgpt
没有梦想的咸鱼185-1037-16634 天前
【大语言模型ChatGPT4/4o 】“AI大模型+”多技术融合:赋能自然科学暨ChatGPT在地学、GIS、气象、农业、生态与环境领域中的应用
人工智能·python·机器学习·arcgis·语言模型·chatgpt·数据分析
yibuapi_com4 天前
Embedding 的数学特性与可视化解析
chatgpt·架构·langchain·embedding·claude·向量数据库·中转api
鸿蒙布道师5 天前
ChatGPT深度研究功能革新:GitHub直连与强化微调
人工智能·深度学习·神经网络·自然语言处理·chatgpt·数据挖掘·github
没有梦想的咸鱼185-1037-16635 天前
【大模型ChatGPT+ArcGIS】数据处理、空间分析、可视化及多案例综合应用
人工智能·arcgis·chatgpt·数据分析