分类：动作捕捉
github地址：https://github.com/HW140701/VideoTo3dPoseAndBvh
所需环境：
Windows10，CUDA11.6，conda 4.13.0；
目录
环境搭建
bash
# 创建环境
conda create -n VideoTo3dPoseAndBvh python=3.8
conda activate VideoTo3dPoseAndBvh
# 代码项
git clone https://github.com/HW140701/VideoTo3dPoseAndBvh
cd VideoTo3dPoseAndBvh-master
# 安装pytorch
pip install "torch-1.13.1+cu116-cp38-cp38-win_amd64.whl"# 离线安装 需要预先下载
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
# 安装torchsample
pip install -e git+https://github.com/ncullen93/torchsample.git#egg=torchsample
pip install visdom -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install nibabel -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install h5py -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装其余项
pip install tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simpleconda list
powershell
# packages in environment at D:\Anaconda3\envs\VideoTo3dPoseAndBvh:
#
# Name Version Build Channel
ca-certificates 2023.05.30 haa95532_0
certifi 2023.7.22 pypi_0 pypi
charset-normalizer 3.2.0 pypi_0 pypi
colorama 0.4.6 pypi_0 pypi
contourpy 1.1.0 pypi_0 pypi
cycler 0.11.0 pypi_0 pypi
fonttools 4.42.1 pypi_0 pypi
h5py 3.9.0 pypi_0 pypi
idna 3.4 pypi_0 pypi
imageio 2.31.3 pypi_0 pypi
importlib-resources 6.0.1 pypi_0 pypi
jsonpatch 1.33 pypi_0 pypi
jsonpointer 2.4 pypi_0 pypi
kiwisolver 1.4.5 pypi_0 pypi
libffi 3.4.4 hd77b12b_0
matplotlib 3.7.2 pypi_0 pypi
networkx 3.1 pypi_0 pypi
nibabel 5.1.0 pypi_0 pypi
numpy 1.24.4 pypi_0 pypi
opencv-python 4.8.0.76 pypi_0 pypi
openssl 3.0.10 h2bbff1b_2
packaging 23.1 pypi_0 pypi
pandas 2.0.3 pypi_0 pypi
pillow 10.0.0 pypi_0 pypi
pip 23.2.1 py38haa95532_0
pyparsing 3.0.9 pypi_0 pypi
python 3.8.17 h1aa4202_0
python-dateutil 2.8.2 pypi_0 pypi
pytz 2023.3.post1 pypi_0 pypi
requests 2.31.0 pypi_0 pypi
scipy 1.10.1 pypi_0 pypi
setuptools 68.0.0 py38haa95532_0
six 1.16.0 pypi_0 pypi
sqlite 3.41.2 h2bbff1b_0
torch 1.13.1+cu116 pypi_0 pypi
torchaudio 0.13.1+cu116 pypi_0 pypi
torchsample 0.1.3 dev_0 <develop>
torchvision 0.14.1+cu116 pypi_0 pypi
tornado 6.3.3 pypi_0 pypi
tqdm 4.66.1 pypi_0 pypi
typing-extensions 4.7.1 pypi_0 pypi
tzdata 2023.3 pypi_0 pypi
urllib3 2.0.4 pypi_0 pypi
vc 14.2 h21ff451_1
visdom 0.2.4 pypi_0 pypi
vs2015_runtime 14.27.29016 h5e58377_2
websocket-client 1.6.2 pypi_0 pypi
wheel 0.38.4 py38haa95532_0
zipp 3.16.2 pypi_0 pypi配置内容
1.手动创建outputs\outputvideo文件夹
2.VideoTo3dPoseAndBvh-master\joints_detectors\Alphapose\fn.py 第9行注释掉
3.VideoTo3dPoseAndBvh-master\joints_detectors\Alphapose\gene_npz.py 第100 104 107 按以下修改分隔符
4.VideoTo3dPoseAndBvh-master\videopose.py 第332行 按以下修改分隔符及视频名称
5.下载原始依赖文件
演示
原始VideoTo3dPoseAndBvh-master\outputs\inputvideo下的视频 (已替换原始cxk视频 个人不喜欢跟风玩烂梗)
只需执行推理程序即可
bash
python videopose.py
参数修改请修改videopose.py脚本
生成文件说明
-
VideoTo3dPoseAndBvh-master\outputs\inputvide\outputvideo\alpha_pose_kunkun_cut_one_second\3dpoint的txt文件 ------每帧的3D关节点坐标
-
-
VideoTo3dPoseAndBvh-master\outputs\inputvide\outputvideo\alpha_pose_kunkun_cut_one_second\bvh的bvh文件------mocap文件可与其他程序共用
-
-
比如用MB和unity处理bvh驱动动画角色 但是效果并不好
-
-
VideoTo3dPoseAndBvh-master\outputs\outputvideo\alpha_pose_kunkun_cut_one_second\vis的jpg文件------每一帧的姿态估计结果 可用im2gif.py(自己写的)脚本生成为gif
-
-
VideoTo3dPoseAndBvh-master\outputs的test_3d_output.npy文件------所有的3D关节点坐标
-
其余功能尚未发现 虽然捕捉效果不好 深度估计的不好并且抖动严重 但是方法值得借鉴