快速、简单的2D-6D位姿估计:Gen6D算法复现 (pytorch 1.12.1 + cu113)

​

摘要

记录一下复现Gen6D的过程,主要记录其中遇到的一些bug,主要参考了博主牙牙要健康、Fate-Sky-CSDN博客这两位博主的博客。

参考文章:

【6D位姿估计】【深度学习】windows10下Gen6D代码Pytorch实现

6D姿态估计网络【Gen6D复现】CUDA11.3+cuDNN8.2.1-CSDN博客

主要步骤

clone源代码库

配置环境,这个我就不重复了

快速运行

分割视频 改文件夹名字 视频名字

python prepare.py --action video2image --input data/custom/video/support_2.mp4 --output data/custom/support_2/images --frame_inter 5 --image_size 960 --transpose

生成点云 改文件加名字 时间很长

python prepare.py --action sfm --database_name custom/support_2 --colmap \COLMAP3.8\lib\colmap.exe

分割点云--手动

保存切割点云 object_point_cloud.ply,保存XZ方向文件 meta_info.txt

执行推理 测试视频可以多弄几个

python predict.py --cfg configs/gen6d_pretrain.yaml --database custom/support --video data/custom/video/support2.mp4 --resolution 960 --transpose --output data/custom/support/test --ffmpeg ffmpeg.exe

主要bug1

复制代码
port --colmap colmap.exe
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or cause incorrect results. The best thing to do is to ensure that only a single OpenMP runtime is linked into the process, e.g. by avoiding static linking of the OpenMP runtime in any library. As an unsafe, unsupported, undocumented workaround you can set the environment variable KMP_DUPLICATE_LIB_OK=TRUE to allow the program to continue to execute, but that may cause crashes or silently produce incorrect results. For more information, please see http://www.intel.com/software/products/support/.

关于OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.错误解决方法 - 知乎 (zhihu.com)

删除了当前环境内 bass_gen 文件夹的 C:\Users\StealMoon.conda\envs\bass_gen\Lib\site-packages\torch\lib libiomp5md.dll 文件,报错解决了

主要Bug2

colmap报错

复制代码
F20240429 20:43:06.975742 42028 cache.h:132] Check failed: max_num_elems > 0 (0 vs. 0)
*** Check failure stack trace: ***
    @   00007FFBD6B16E5B  public: void __cdecl google::LogMessage::Flush(void) __ptr64
    @   00007FFBD6B15739  public: __cdecl google::LogMessageFatal::~LogMessageFatal(void) __ptr64
    @   00007FF6583B7B1A  (unknown)
    @   00007FF6583C8E0E  (unknown)
    @   00007FF6583BF99B  (unknown)
    @   00007FF6583AC130  (unknown)
    @   00007FF6583AA9CF  (unknown)
    @   00007FFC63E31BB2  _configthreadlocale
    @   00007FFC642E7344  BaseThreadInitThunk
    @   00007FFC661226B1  RtlUserThreadStart
Traceback (most recent call last):
  File "F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\Gen6D\prepare.py", line 98, in <module>
    build_colmap_model_no_pose(parse_database_name(args.database_name),args.colmap_path)
  File "F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\Gen6D\colmap_script.py", line 99, in build_colmap_model_no_pose
    extract_and_match_sift(colmap_path, database_path, image_path)
  File "F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\Gen6D\colmap_script.py", line 69, in extract_and_match_sift
    subprocess.run(cmd, check=True)
  File "C:\Users\StealMoon\.conda\envs\bass_gen\lib\subprocess.py", line 528, in run
    raise CalledProcessError(retcode, process.args,
subprocess.CalledProcessError: Command '['F:\\ZXRworkSpace\\PythonProject\\BlindAss_Gen6D\\COLMAP3.8\\lib\\colmap.exe', 'exhaustive_matcher', '--database_path', 'data\\custom\\support\\colmap\\database.db']' returned non-zero exit status 3221226505.
  • 当 COLMAP 无法找到姿势时,通常会出现此错误。它可能是由许多问题引起的,例如运动模糊过多、图像不足或场景中动态对象过多。

unity里面截的虚拟图像 不能用 ,下载了作者的数据集,运行了一个小时左右

Writing output: data\custom\mouse\colmap\pointcloud.ply

执行成功的命令,针对博主的数据集能够成功执行

shell 复制代码
python prepare.py --action sfm --database_name custom/mouse --colmap F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\COLMAP3.8\COLMAP.bat
shell 复制代码
python prepare.py --action sfm --database_name custom/support --colmap F:\ZXRworkSpace\COLMAP3.8\lib\colmap.exe
问题依旧存在

This error typically arrises when COLMAP fails to find poses. It can be cause by a number of issues such as too much motion blur, not enough images, or too many dynamic objects in the scene.

看来问题确实是数据集,无法识别到物体的位姿。

python prepare.py --action sfm --database_name custom/support --colmap colmap.exe
需要注意的就是一定要准备一个合适的 能偶识别出位姿的数据集

报错

加载模型、数据都没问题,读取数据库的时候出错了

复制代码
Traceback (most recent call last):
  File "F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\Gen6D\predict.py", line 97, in <module>
    main(args)
  File "F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\Gen6D\predict.py", line 32, in main
    estimator.build(ref_database, split_type='all')
  File "F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\Gen6D\estimator.py", line 140, in build
    object_center = get_object_center(database)
  File "F:\ZXRworkSpace\PythonProject\BlindAss_Gen6D\Gen6D\dataset\database.py", line 377, in get_object_center
    return database.center
AttributeError: 'CustomDatabase' object has no attribute 'center'

出错原因

这里应该要找数据库的center ,但是说找不到

我看了 CustomDatabase 的定义,里面是有 center 属性的

调试了一下

发现影响 self.poses的属性其实是 img_fns.pkl 文件,这个文件生成的有错误,删除掉之后,它会自动创建一个文件。

运行正常了

相关推荐
数字融合11 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
知行产研12 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士12 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师12 小时前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
AI前端工程狮12 小时前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员
黑科技iOS上架13 小时前
iOS游戏换皮上架困境:4.3同质化拒审
人工智能·ios·审核
咕泡科技13 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
Java后端的Ai之路13 小时前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
oil欧哟13 小时前
AI 编程与写作高效工作流:语音输入、反问采访与多话题并行
人工智能
翰墨之道13 小时前
黄仁勋回归传闻升温:英伟达领导层风波牵动AI产业
人工智能·数据挖掘·回归