hunyuan 混元学习

使用了5个subset,也是用了text-image和text-video进行训练的

也是进行了复杂的视频选择。同movie gen.

也进行了模型切断,用拉普拉斯算子找到最清晰的一帧作为训练的起始

训练了不同的模型去选择数据,比如用Dover去选择美观度比较好的数据,用其他模型去选择清晰度高的模型等。判断motion大小(比如静止的)把不合适的视频去掉。用OCR模型把带有很多字的视频拿掉。用YOLOX把一些敏感信息拿掉。虽然拿掉了很多数据,但是数据多样性高也好,所以用个小模型去测试那个去掉视频的操作好。图4

最后的finetune数据又是人工标注,大概一百万。用的JSON保存信息

加强版的dense description

background\style等关键词,还用了dropout设置多样性更多的captions使得描述格式不会太固定。

数据对于machine learning很重要

相关推荐
Chef_Chen15 分钟前
从0开始学习语言模型--Day02-如何最大化利用硬件
人工智能·学习·语言模型
LuLaLuLaLeLLLLLL1 小时前
Elastic Search 学习笔记
笔记·学习
Jack魏1 小时前
React学习001-创建 React 应用
前端·学习·react.js
武昌库里写JAVA2 小时前
【微服务】134:SpringCloud
java·开发语言·spring boot·学习·课程设计
暗离子跃迁2 小时前
达梦数据库单机部署dmhs同步复制(dm8->kafka)
linux·运维·数据库·分布式·学习·kafka·达梦数据库
Chef_Chen2 小时前
从0开始学习R语言--Day24--稀疏建模
学习
sealaugh322 小时前
docker(学习笔记第一课) 使用nginx +https + wordpress
笔记·学习·docker
逝水如流年轻往返染尘3 小时前
CSS基础学习1
前端·css·学习
运维小杨3 小时前
linux云计算学习第八周,第九周
linux·学习·云计算
nenchoumi31194 小时前
UE5 学习系列(八)材质基础认知
学习·游戏·ue5·机器人·材质