【论文复现】摩尔线程版AnimateAnyone

code:MooreThreads/Moore-AnimateAnyone (github.com)

paper:Animate Anyone (humanaigc.github.io)

1. Inference

Inference没啥难度,按照readme来就行,就是分开下载权重比较慢,注意权重文件严格按照文档目录树来放。

python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 784 -L 64

默认的参数我cuda.OutOfMemoryError了(服务器12G显存),调小为-W 256 -H 392 -L 32就可以了,但是测试出来的demo效果非常差,视频放不上来

2. Training

Data Preparation

用MEAD数据集试一下

Extract keypoints from raw videos:

python tools/extract_dwpose_from_vid.py --video_root /path/to/your/video_dir

Extract the meta info of dataset:

python tools/extract_meta_info.py --root_path /path/to/your/video_dir --dataset_name anyone 

Stage1

Stage2

相关推荐
涩即是Null22 分钟前
如何构建LSTM神经网络模型
人工智能·rnn·深度学习·神经网络·lstm
本本的小橙子25 分钟前
第十四周:机器学习
人工智能·机器学习
学步_技术44 分钟前
自动驾驶系列—自动驾驶背后的数据通道:通信总线技术详解与应用场景分析
人工智能·机器学习·自动驾驶·通信总线
SEU-WYL1 小时前
基于深度学习的视频摘要生成
人工智能·深度学习·音视频
sp_fyf_20242 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-05
人工智能·深度学习·神经网络·算法·机器学习·语言模型·自然语言处理
EterNity_TiMe_2 小时前
【机器学习】智驭未来:探索机器学习在食品生产中的革新之路
人工智能·python·机器学习·性能优化·学习方法
知来者逆2 小时前
探索大型语言模型在文化常识方面的理解能力与局限性
人工智能·gpt·深度学习·语言模型·自然语言处理·chatgpt·llm
Python极客之家3 小时前
基于深度学习的乳腺癌分类识别与诊断系统
人工智能·深度学习·分类
吃什么芹菜卷3 小时前
深度学习:词嵌入embedding和Word2Vec
人工智能·算法·机器学习
萱仔学习自我记录5 小时前
PEFT库和transformers库在NLP大模型中的使用和常用方法详解
人工智能·机器学习