FineDance:细粒度编舞3D数据集 学习笔记

目录

关于数据集

创新点

数据处理:

motion可视化代码


FineDance:细粒度编舞数据集用于 3D 全身舞蹈生成

关于数据集

目前,最流行的 3D 编舞数据集是 AIST++ [24],它提供 5 小时的舞蹈,但没有手部动作。AIST++通过多视角视频进行重构。因此,由于重建误差,生成的3D舞蹈动作与真实动作之间不可避免地存在偏差

FineDance 是最大的音乐-舞蹈配对数据集,拥有最多的舞蹈流派

创新点

提出一个 Genre&Coherent aware 检索模块。此外,我们提出了一种新的指标,称为流派匹配分数
最近的方法采用了生成网络,如VAE[37]、GAN[33]、归一化流网络[44]、扩散[42]。但他们只关注身体部位,而忽略了手部动作,导致不自然或单调的手部动作,即使用注释良好的身体和手部标签进行训练。此外,基于生成的方法受到网络长期建模能力的限制,使其难以生成长期的舞蹈序列。
因此,我们提出了FineNet,一个两阶段的生成合成网络,解决了以前舞蹈生成方法的局限性。在第一阶段,我们提出了一个基于扩散的全身舞蹈生成网络(FDGN)。FDGN的关键是设计两个专家网络,专门用于生成身体和手部动作,并使用Refine Net将它们协调组装。在第二阶段,我们提出了一个类型与连贯感知检索模块(GCRM)这确保了舞蹈片段的连贯性

长时:生成长期的新运动具有挑战性,因为神经网络往往会随着时间的推移而累积错误。为了解决这些问题,我们提出了FineNet,它包括一个基于扩散的全身多样化舞蹈生成网络(FDGN)和一个流派和连贯感知检索模块(GCRM)。FDGN专注于创造具有表现力的动作的细节舞蹈,而GCRM则考虑舞蹈的整体编排。FineNet巧妙地结合了生成和合成方法,使它们互补,就像人类编舞的过程一样。此外,FineNet允许通过在初始时间步选择不同的舞蹈片段来生成多个不同的舞蹈片段。此功能为用户提供了广泛的创意可能性。

我们方法的整体框架如图3所示。首先,将输入音乐 X 拆分为 4 秒的片段 {X},不重叠,N 是给定音乐的片段数。对于每个 X,我们使用 Librosa 工具箱 [30] 提取时间特征 ̄X∈ R 和 mel-spectrogram 图像 eX∈ R,其中 T 是剪辑的时间长度,Cis 通道维度。W 和 H 分别是图像的宽度和高度,3 表示 RGB 通道数。FineNet在每个时间步生成并检索最佳舞蹈片段,

在 FDGN 中,我们构建了 3 个 MLP 层来编码音乐和身体特征。我们使用变压器层作为身体/手专家网络的骨干。细化网络由一维卷积层和可学习的权重参数组成。总纪元、学习率和批处理大小设置为 200、2e、2048。在 GCRM 中,α、β分别设置为 1.0 和 0.5。评估指标。(1)FID评分。Fr'echet成立

数据处理:

标签motion数据集,312维,转成smplx格式数据集,319维。

SMPL学习笔记_smplx 如何描述人体-CSDN博客

motion可视化代码

python 复制代码
import argparse
import os
from pathlib import Path
import smplx, pickle
import torch
import sys

from pytorch3d.transforms import rotation_6d_to_matrix, matrix_to_quaternion
from tqdm import tqdm
import glob
import numpy as np

sys.path.append(os.getcwd()) 
from dataset.quaternion import ax_to_6v, ax_from_6v
from dataset.preprocess import Normalizer, vectorize_many

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from matplotlib.animation import FuncAnimation


connections = [
    (0, 1),  # 头部到颈部
    (1, 2), (2, 3), (3, 4),  # 右臂
    (1, 5), (5, 6), (6, 7),  # 左臂
    (1, 8),  # 颈部到身体中心
    (8, 9), (9, 10), (10, 11),  # 右腿
    (8, 12), (12, 13), (13, 14),  # 左腿
    (11, 15),  # 右脚到右脚尖
    (14, 16),  # 左脚到左脚尖
]

def motion_feats_extract(inputs_dir, outputs_dir):
    device = "cuda:0"
    print("extracting")
    raw_fps = 30
    data_fps = 30
    data_fps <= raw_fps
    os.makedirs(outputs_dir,exist_ok=True)
    # All motion is retargeted to this standard model.

    motions = sorted(glob.glob(os.path.join(inputs_dir, "*.npy")))
    for motion in tqdm(motions):
        name = os.path.splitext(os.path.basename(motion))[0].split(".")[0]
        print("name is", name)
        data = np.load(motion, allow_pickle=True)
        print(data.shape)
        pos = data[:,:3]   # length, c
        q = data[:,3:]
        root_pos = torch.Tensor(pos).to(device) # T, 3
        length = root_pos.shape[0]
        local_q_rot6d = torch.Tensor(q).to(device)    # T, 312
        print("local_q_rot6d", local_q_rot6d.shape)
        local_q = local_q_rot6d.reshape(length, 52, 6).clone()

        mat = rotation_6d_to_matrix(local_q)
        quaternions=matrix_to_quaternion(mat)

        norms = torch.norm(quaternions[..., 1:], p=2, dim=-1, keepdim=True)
        half_angles = torch.atan2(norms, quaternions[..., :1])
        angles = 2 * half_angles
        eps = 1e-6
        small_angles = angles.abs() < eps
        sin_half_angles_over_angles = torch.empty_like(angles)

        sin_half_angles_over_angles[~small_angles] = (torch.sin(half_angles[~small_angles]) / angles[~small_angles])

        sin_half_angles_over_angles[small_angles] = (0.5 - (angles[small_angles] * angles[small_angles]) / 48)

        # 这里返回规范化的旋转轴向量
        rotation_axis_normalized = quaternions[..., 1:] / sin_half_angles_over_angles

        # norms = torch.norm(quaternions[..., 1:], p=2, dim=-1, keepdim=True)
        # half_angles = torch.atan2(norms, quaternions[..., :1])
        # angles = 2 * half_angles
        # eps = 1e-6
        # small_angles = angles.abs() < eps
        # sin_half_angles_over_angles = torch.empty_like(angles)
        # sin_half_angles_over_angles[~small_angles] = (torch.sin(half_angles[~small_angles]) / angles[~small_angles])
        # # for x small, sin(x/2) is about x/2 - (x/2)^3/6
        # # so sin(x/2)/x is about 1/2 - (x*x)/48
        # sin_half_angles_over_angles[small_angles] = (0.5 - (angles[small_angles] * angles[small_angles]) / 48)
        # local_q= quaternions[..., 1:] / sin_half_angles_over_angles


        # local_q = ax_from_6v(local_q).view(length, 156)           # T, 156

        rotation_axis_normalized=rotation_axis_normalized.cpu().numpy()*10
        def update_pose(frame, pose,lines):

            pose=rotation_axis_normalized[frame]
            # pose[:, 1] = pose[:, 1] + np.sin(frame / 10.0) * 0.02  # 左右摆动
            # 更新线段以连接关键点
            for line, (i, j) in zip(lines, connections):
                line.set_data([pose[i, 0], pose[j, 0]], [pose[i, 1], pose[j, 1]])
                line.set_3d_properties([pose[i, 2], pose[j, 2]])
            return lines

        # 创建动画
        fig = plt.figure()
        ax = fig.add_subplot(111, projection='3d')

        # 设置坐标轴的显示范围
        ax.set_xlim((0, 10))
        ax.set_ylim((-6, 6))
        ax.set_zlim((-5, 20))

        # pose = np.asarray(init_poses).astype(np.float32)
        pose = rotation_axis_normalized[0]
        lines = [ax.plot([pose[s, 0], pose[e, 0]], [pose[s, 1], pose[e, 1]], [pose[s, 2], pose[e, 2]])[0] for s, e in connections]

        ani = FuncAnimation(fig, update_pose, frames=np.arange(0, rotation_axis_normalized.shape[0]), fargs=(pose,lines), interval=20)

        plt.show()

        


if __name__ == "__main__":

    in_dir=r"E:\迅雷下载\data\finedance\motion"
    out_dir=r"E:\迅雷下载\data\finedance\/motion_fea319"

    motion_feats_extract(in_dir, out_dir)
相关推荐
新加坡内哥谈技术几秒前
Mistral推出“Le Chat”,对标ChatGPT
人工智能·chatgpt
风尚云网4 分钟前
风尚云网前端学习:一个简易前端新手友好的HTML5页面布局与样式设计
前端·css·学习·html·html5·风尚云网
GOTXX8 分钟前
基于Opencv的图像处理软件
图像处理·人工智能·深度学习·opencv·卷积神经网络
IT古董13 分钟前
【人工智能】Python在机器学习与人工智能中的应用
开发语言·人工智能·python·机器学习
CV学术叫叫兽28 分钟前
快速图像识别:落叶植物叶片分类
人工智能·分类·数据挖掘
熙曦Sakura38 分钟前
完全竞争市场
笔记
WeeJot嵌入式1 小时前
卷积神经网络:深度学习中的图像识别利器
人工智能
脆皮泡泡1 小时前
Ultiverse 和web3新玩法?AI和GameFi的结合是怎样
人工智能·web3
机器人虎哥1 小时前
【8210A-TX2】Ubuntu18.04 + ROS_ Melodic + TM-16多线激光 雷达评测
人工智能·机器学习
码银1 小时前
冲破AI 浪潮冲击下的 迷茫与焦虑
人工智能