VidGo-一个基于LLM的本地视频管理服务,集合字幕生成&工作流翻译&自定义合集&字幕编辑,导出

为自己的项目做一些宣传~

1.使用场景

视频相较于图片,传递信息和经验更加生动直观,因此B站,油管抖音等视频平台远比知乎和贴吧火热。

会议音频被压缩成文字和结构化的笔记,可以轻松地浏览会议概要,但当时的音频无法通过概要复原,后续开展工作时,信息的不明确有时也会助长人的拖延。

在笔记中也是这样,有时一篇长文记载一个服务部署的技巧,其直观性远不如录制一个视频,放到网上,自己记录时只留下一个链接,例如

【一学就会】35分钟教你搭建私有 Git 仓库 - OceanLearn

本项目就是针对这一场景的解决方案,希望能在保留原始音视频的同时,提供字幕和结构化的笔记以供速览。

图1.项目截图:左侧播放视频(后端流媒体优化,4K,16G电影也能在10M/s的网速下流畅播放),右上字幕列表,可以点击列表跳转;右下为合集,可自定义

用户部署后,不仅可以在网页中观看视频,也可以将其嵌入笔记软件。

使用Typora时,有些人倾向于通过图床的形式嵌入图片,从而保证纯文字项目在git管理下的直观和容易迁移,本项目提供的视频嵌入功能可以类似的形式嵌入视频至笔记。

图2.在Typora中嵌入本项目管理的视频

理论上腾讯云等云存储服务也可以实现,但他们的OSS是按流量计费的,用来存储视频成本相当高。

这里以思维导图的形式展示项目的主要功能:


图3.项目的主要功能

图4.项目工作流

2.项目介绍

VidGo是一个专为NAS,个人用户和小型团队设计的本地视频管理平台,提供完整的视频内容管理解决方案。

  • 项目提供【示例网站】供用户测试和小规模使用,见 #3.快速开始。
  • 部署和使用中的问题可参考项目文档。

项目采用前后端分离的架构,前端语言为javascript,采用Vue + Element UI构建响应式界; 后端语言为Python,采用django框架提供服务。

3.快速开始

项目提供示例网站 ,需要输入用户名&密码。

用户名:user,

密码:User123.

示例网站支持项目的大部分服务,包括基于本地/云服务的字幕识别&翻译,视频观看,字幕编辑,视频管理&导出等功能。 示例网站的内容和设置为所有用户共享,每日4:00恢复默认,修改配置后请及时清除以避免密钥泄漏。

项目支持直接git clone部署和Docker镜像部署两种方式,可以参考github链接 VidGo: 一个基于LLM的本地视频管理系统,部署和使用中的问题可以参考项目文档.

未来会增加exe下载,运行即部署的功能。

4.项目优势

1.灵活的Collection管理

例如我希望了解最新sota的编程Coding Agent Claude Code,有如下三种视频:

  1. 自己的使用经验,

  2. 油管上有创始人团队对Claude Code的介绍,Mastering Claude Code in 30 minutes

  3. B站上有基于抓包的原理解析,独家首发:基于 LLM 逆向分析 Claude Code 工作原理|精简版_哔哩哔哩_bilibili

使用本项目提供的Collection和流媒体下载功能,无需分别收藏,可以避免流媒体平台造成知识管理上的的障碍,项目的字幕翻译功能也可以提供媒体文件速览。

图5.项目提供Collection功能,收纳同一主题,不同平台的内容。

2.基于LLM优化的字幕识别,支持VAD识别人声。

3.双语字幕与高级编辑器

图6.双语字幕

图7.字幕编辑器,支持时间,原文/译文编辑

5.未来规划

  • 增加模糊搜索,匹配与用户搜索内容相近的项目。
  • 优化字幕编辑页面的"音频展示",使UI更现代化。
  • 增加Ai生成视频笔记,视频思维导图,视频章节的功能。
  • 支持更多的WSR模型,包括剪映提供的高准确度模型。
  • 支持更多的LLM模型。
  • 实时笔记,用户可以在会议中实时看到文字,并做要点记录,点击"优化"按钮,用户记录的要点会根据识别出的字幕补全和优化,不满意时可以回退版本。
  • 构建同声传译,录制后的外文可以结合index-tt2等先进语音生成模型,生成中文音频以优化视听体验。

6.项目地址

github.com/JaceJu-frog...

项目还在不断完善中,如果在使用过程遇到的Bug,欢迎提交 Issue 或者评论区说明。会积极改善的。

相关推荐
知野小兔2 小时前
Vuex和Pinia状态管理
vue.js
VX_bysjlw9853 小时前
数码设备销售网站设计与实现39138-计算机毕设原创(免费领源码+带部署教程)
java·vue.js·spring boot·mysql·tomcat·mybatis·idea
whi8 小时前
一个小工具,解决了一个困扰 Vue 开发者多年的类型检查难题
vue.js·typescript
xcs1940519 小时前
前端 vue 的前端页面debugger 进不去
前端·javascript·vue.js
雪芽蓝域zzs1 天前
第 5 节:Marker 点击弹出 InfoWindow 信息窗口
vue.js
大包子1 天前
structuredClone vs lodash.cloneDeep:核心差异与选型指南
javascript·vue.js
雪芽蓝域zzs1 天前
第 3 节:地图点击事件,点击获取经纬度
vue.js
WayneX1 天前
开源 Vue 3 组件库 Morya UI:把组件、文档、AI 工具链一起做进一个包
前端·vue.js·前端框架
hai_android1 天前
Chat 聊天模块功能总结
前端·javascript·vue.js
志尊宝1 天前
Vue3 零基础每日笔记(076):防抖节流的正确使用——搜索框、按钮防重复提交、滚动监听
javascript·vue.js·笔记