hunyuan 混元学习

使用了5个subset,也是用了text-image和text-video进行训练的

也是进行了复杂的视频选择。同movie gen.

也进行了模型切断,用拉普拉斯算子找到最清晰的一帧作为训练的起始

训练了不同的模型去选择数据,比如用Dover去选择美观度比较好的数据,用其他模型去选择清晰度高的模型等。判断motion大小(比如静止的)把不合适的视频去掉。用OCR模型把带有很多字的视频拿掉。用YOLOX把一些敏感信息拿掉。虽然拿掉了很多数据,但是数据多样性高也好,所以用个小模型去测试那个去掉视频的操作好。图4

最后的finetune数据又是人工标注,大概一百万。用的JSON保存信息

加强版的dense description

background\style等关键词,还用了dropout设置多样性更多的captions使得描述格式不会太固定。

数据对于machine learning很重要

相关推荐
帅得不敢出门5 分钟前
Android Framework学习二:Activity创建及View绘制流程
android·java·学习·framework·安卓·activity·window
Charlotte's diary17 分钟前
虚拟局域网(VLAN)实验(Cisco Packet Tracer)-路由器、交换机的基本配置
经验分享·学习·计算机网络
帅云毅27 分钟前
文件操作--文件包含漏洞
学习·web安全·php·xss·印象笔记
向風而行1 小时前
HarmonyOS NEXT第一课——HarmonyOS介绍
学习·华为·harmonyos
李匠20244 小时前
C++负载均衡远程调用学习之TCP连接封装与TCPCLIENT封装
c++·网络协议·学习·tcp/ip
不太可爱的叶某人5 小时前
【学习笔记】深入理解Java虚拟机学习笔记——第2章 Java内存区域与内存溢出异常
java·jvm·笔记·学习
李匠20246 小时前
C++学习之shell高级和正则表达式
c++·学习
李匠20247 小时前
C++负载均衡远程调用学习之QPS性能测试
c++·学习
2301_797604247 小时前
学习记录:DAY22
学习
zelonggao18 小时前
机器学习、监督学习、无监督学习、强化学习与深度学习
深度学习·学习·机器学习