VidGo-一个基于LLM的本地视频管理服务,集合字幕生成&工作流翻译&自定义合集&字幕编辑,导出

为自己的项目做一些宣传~

1.使用场景

视频相较于图片,传递信息和经验更加生动直观,因此B站,油管抖音等视频平台远比知乎和贴吧火热。

会议音频被压缩成文字和结构化的笔记,可以轻松地浏览会议概要,但当时的音频无法通过概要复原,后续开展工作时,信息的不明确有时也会助长人的拖延。

在笔记中也是这样,有时一篇长文记载一个服务部署的技巧,其直观性远不如录制一个视频,放到网上,自己记录时只留下一个链接,例如

【一学就会】35分钟教你搭建私有 Git 仓库 - OceanLearn

本项目就是针对这一场景的解决方案,希望能在保留原始音视频的同时,提供字幕和结构化的笔记以供速览。

图1.项目截图:左侧播放视频(后端流媒体优化,4K,16G电影也能在10M/s的网速下流畅播放),右上字幕列表,可以点击列表跳转;右下为合集,可自定义

用户部署后,不仅可以在网页中观看视频,也可以将其嵌入笔记软件。

使用Typora时,有些人倾向于通过图床的形式嵌入图片,从而保证纯文字项目在git管理下的直观和容易迁移,本项目提供的视频嵌入功能可以类似的形式嵌入视频至笔记。

图2.在Typora中嵌入本项目管理的视频

理论上腾讯云等云存储服务也可以实现,但他们的OSS是按流量计费的,用来存储视频成本相当高。

这里以思维导图的形式展示项目的主要功能:


图3.项目的主要功能

图4.项目工作流

2.项目介绍

VidGo是一个专为NAS,个人用户和小型团队设计的本地视频管理平台,提供完整的视频内容管理解决方案。

  • 项目提供【示例网站】供用户测试和小规模使用,见 #3.快速开始
  • 部署和使用中的问题可参考项目文档

项目采用前后端分离的架构,前端语言为javascript,采用Vue + Element UI构建响应式界; 后端语言为Python,采用django框架提供服务。

3.快速开始

项目提供示例网站 ,需要输入用户名&密码。

用户名:user,

密码:User123.

示例网站支持项目的大部分服务,包括基于本地/云服务的字幕识别&翻译,视频观看,字幕编辑,视频管理&导出等功能。 示例网站的内容和设置为所有用户共享,每日4:00恢复默认,修改配置后请及时清除以避免密钥泄漏。

项目支持直接git clone部署和Docker镜像部署两种方式,可以参考github链接 VidGo: 一个基于LLM的本地视频管理系统,部署和使用中的问题可以参考项目文档.

未来会增加exe下载,运行即部署的功能。

4.项目优势

1.灵活的Collection管理

例如我希望了解最新sota的编程Coding Agent Claude Code,有如下三种视频:

  1. 自己的使用经验,

  2. 油管上有创始人团队对Claude Code的介绍,Mastering Claude Code in 30 minutes

  3. B站上有基于抓包的原理解析,独家首发:基于 LLM 逆向分析 Claude Code 工作原理|精简版_哔哩哔哩_bilibili

使用本项目提供的Collection和流媒体下载功能,无需分别收藏,可以避免流媒体平台造成知识管理上的的障碍,项目的字幕翻译功能也可以提供媒体文件速览。

图5.项目提供Collection功能,收纳同一主题,不同平台的内容。

2.基于LLM优化的字幕识别,支持VAD识别人声。

3.双语字幕与高级编辑器

图6.双语字幕

图7.字幕编辑器,支持时间,原文/译文编辑

5.未来规划

  • 增加模糊搜索,匹配与用户搜索内容相近的项目。
  • 优化字幕编辑页面的"音频展示",使UI更现代化。
  • 增加Ai生成视频笔记,视频思维导图,视频章节的功能。
  • 支持更多的WSR模型,包括剪映提供的高准确度模型。
  • 支持更多的LLM模型。
  • 实时笔记,用户可以在会议中实时看到文字,并做要点记录,点击"优化"按钮,用户记录的要点会根据识别出的字幕补全和优化,不满意时可以回退版本。
  • 构建同声传译,录制后的外文可以结合index-tt2等先进语音生成模型,生成中文音频以优化视听体验。

6.项目地址

github.com/JaceJu-frog...

项目还在不断完善中,如果在使用过程遇到的Bug,欢迎提交 Issue 或者评论区说明。会积极改善的。

相关推荐
console.log('npc')3 小时前
前端性能优化,给录音播放的列表加个播放按键,点击之后再播放录音。减少页面的渲染录音文件数量过多导致加载缓慢
前端·javascript·vue.js·算法
努力往上爬de蜗牛3 小时前
文件下载 针对安卓系统
前端·javascript·vue.js
正义的大古4 小时前
OpenLayers地图交互 -- 章节十二:键盘平移交互详解
javascript·vue.js·openlayers
老华带你飞4 小时前
寝室快修|基于SprinBoot+vue的贵工程寝室快修小程序(源码+数据库+文档)
java·数据库·vue.js·spring boot·小程序·毕设·贵工程寝室快修
正义的大古4 小时前
OpenLayers地图交互 -- 章节十一:拖拽文件交互详解
javascript·vue.js·microsoft·openlayers
艾小码4 小时前
告别复制粘贴!掌握这7个原则,让你的Vue组件复用性翻倍
前端·javascript·vue.js
知识分享小能手14 小时前
React学习教程,从入门到精通,React 前后端交互技术详解(29)
前端·javascript·vue.js·学习·react.js·前端框架·react
许___14 小时前
基于 @antv/x6 实现流程图
vue.js·antv/x6
青柠编程16 小时前
基于 Spring Boot 与 Vue 的前后端分离课程答疑平台架构设计
vue.js·spring boot·后端