根据语义切分视频

背景

现在有个需求,拿到一个完整视频,然后需要将视频切分成2min左右的段落,然后总结每一段的内容。

需求点

1.切分要完整,切完了之后的所有视频还能拼回一个完整视频

2.切分要有完整性,切分点要选择一句说刚好说完的位置。

3.最好有逻辑性,每段都能表达一个完整意思。

解决方案

第一版;

1.通过whisper提取视频字幕。

2.将字幕扔给chatgpt,要求他根据我的需求切分

3.拿到chatgpt的回复,提取出切分建议

4.切分视频

5.切分字幕

6.将小段字幕发给chatgpt,要求进行总结

总的来说,流程是跑通了,但是最大的问题是第二步,chatgpt的回复不尽如人意,要么答非所问,要么回答的格式不合适。

猜测是输入文本太长,指令不能很好的遵守,所以切分点会非常的飘,每次的结果都是一次惊吓。

第二版

目前不带满意的地方其实就是第二步,所以只改进第二步,不使用大模型去切分,直接根据句子数量切分,基本没有智能,但是因为提取的字幕直接就是完整的句子作为一行,所以句子拼接段落也挺丝滑,最大的问题可能就是切分点不太合适,但是这种办法非常稳定,不会出现不需要的内容。

第三版

还是想试试人工智能能不能干这事儿,所以先把所有字幕提取出来,拼接成完整文本,不带时间戳那种,扔给人工智能直接分段,这一步,不同的大模型表现千差万别,gpt-4o表现的比国产的好一些,返回的结果也能用,缺点是一次不能给过多文本,优点是比第二种切分点更合适。

总结

目前尝试了能跑通的是这三种方法,其他一些跑不通的没记录,之后如果有更好的方案再记录。

相关推荐
新加坡内哥谈技术1 小时前
Google推出Data Commons解决AI“幻觉”
人工智能·语言模型·自然语言处理·chatgpt
写程序的小火箭6 小时前
如何评估一个RAG(检索增强生成)系统-上篇
人工智能·gpt·语言模型·chatgpt·langchain
Ztop6 小时前
OpenAI发布o1预览模型:推理能力更强可达理科博士生水准
人工智能·chatgpt
芙蓉姐姐陪你写论文13 小时前
别再为创新点发愁了!ChatGPT助你快速搞定!
大数据·论文阅读·人工智能·chatgpt·ai写作·论文笔记·aipapergpt
AI大模型训练家14 小时前
大模型 LLM(Large Language Models)如今十分火爆,对于初入此领域的新人小白来说,应该如何入门 LLM 呢?是否有值得推荐的入门教程呢?
人工智能·语言模型·自然语言处理·chatgpt·aigc·agi
草莓屁屁我不吃1 天前
200美元/月的ChatGPT Pro版上线?OpenAI草莓模型曝两周内发布,但模型表现要打个问号?
人工智能·chatgpt
AI-入门1 天前
AI 产品经理:2024 年职场新航标 ——AI 产品经理的未来与契机
人工智能·chatgpt·prompt·产品经理·agi
DA树聚1 天前
ChatGPT的底层逻辑
人工智能·深度学习·语言模型·自然语言处理·chatgpt·数据挖掘
AI大模型知识分享1 天前
概念科普|ChatGPT是什么
人工智能·深度学习·机器学习·chatgpt·数据挖掘·gpt-3
DA树聚1 天前
大语言模型:AI 时代的文字计算器?
人工智能·程序人生·ai·语言模型·chatgpt·产品经理·easyui