通过UE制作segment和depth数据

安装

先安装epic games,注册登录,在里面安装引擎:

再安装xcodeSign In - Apple

在UE卡片旁边的选项中安装MetaHuman Creator Core Data

MetaHuman

MetaHuman是UE自带的人物制作工具。

安装 MetaHuman Creator Core Data

  1. 关闭 UE 编辑器。
  2. 打开 Epic Games Launcher → Unreal Engine → 库(Library)。
  3. 找到 UE 5.8 的引擎卡片,点击"启动"旁的 ▼ → 选项(Options)。
  4. 勾选 MetaHuman Creator Core Data。
  5. 点击 应用(Apply),等待下载完成。

启用 MetaHuman Creator 插件:

  • 打开你的 BE_Dataset 工程。
  • 顶部菜单选择 编辑(Edit)→ 插件(Plugins)。
  • 在搜索框输入 MetaHuman Creator。
  • 找到同名插件,勾选 启用(Enabled)。
  • 如果提示需要启用依赖插件,点击确认。
  • 点击窗口下方的 立即重启(Restart Now),重启前保存工程。
  • 重启后,在内容浏览器空白处右键 → MetaHuman → MetaHuman Character,即可创建人物资产。

在fab插件或者fab网站,可以下载metahuman类型的资产,如服装,鞋子,眼镜,发型等。需要组装成可用的人物。

除了人物模型本身,UE还提供了一些常见的动作。下载好Game Animation Sample工程,UE中打开这个工程,按播放就可以预览:

动作可以通过迁移赋能给自己的工程中的人物。

BEDLAM​​​​​​

BEDLAM2

主要目的是3D human pose and shape estimation (HPS),支持多种body shapes, skin tones, and motions。without using any real training images就可以达到 state-of-the-art HPS accuracy

depth maps and segmentation masks也可以得到

BEDLAM2 的自动渲染流程主要通过 Python 脚本调用 Unreal Engine 的 Python API,完成加载资产、装配人物、设置相机、创建动画序列以及提交批量渲染任务。实际渲染由 UE 执行。

再下载提供的基础资产BEDLAM2

文件 内容
BE_Core 核心资产和工具,放入/Users/Shared/Epic Games/UE_5.8/Engine/Content/PS/Bedlam/Core
BE_IBL 示例 Unreal 工程,工程位置可以自定义。里面有 BE_IBL/Content/Bedlam/IBLMap.umap,就是场景/关卡,其余还有关卡序列,蓝图
BE_EnginePlugin 引擎插件 Plugins 列表中可以通过enable控制BEDLAM 插件是否开启
BE_MRQ 渲染队列插件,如Perlin 噪声相机抖动,放入 BE_IBL/Plugins/MovieRenderPipeline

在Unreal engine的左下角

  • 「内容侧滑菜单」,打开内容浏览器。
  • 在文件夹列表里进入 Content(内容)→ Bedlam。
  • 双击 IBLMap,打开示例地图。

下载人体模型之后,得到:

文件夹 内容
SMPLX_LH 已烘焙的人体动画网格,BEDLAM 渲染主要使用它 一共51个人体,每个文件夹下面第一个是T-pose,其余是若干个动作动画,每个文件内部包含一段逐帧变化的人体网格,即 Geometry Cache。
SMPLX_LH_animations 骨骼模型和动画,用于相机跟踪身体关节等功能。是相同体型、相同动作的两种表示。 固定相机 matting 流程,主要使用 SMPLX_LH 中的 Geometry Cache;如果后续要让相机自动跟随头部或手部,就会用到 SMPLX_LH_animations。

移动到engine目录之后,然后重新打开engine,导入

例如 it_4481_L,将一个资产拖进 IBLMap:

选中人体,添加细节,groom,得到不同的发型

更换不同的backdrop

替换皮肤

保存高清图,鼠标放到画面中按 G,隐藏辅助图标,底部cmd输入:HighResShot 1920x1080

使用BEDLADM提供的core可以调用UE的API,然后可以自动化地得到RGB图和Mask:

衣服:

步骤 解决的问题
制作服装 衣服是什么样:版型、缝合、面料、纹理
适配体型 这个人能否穿上:肩宽、胸围、腰围、衣服松紧
适配动作 人动起来后,衣服怎样跟随、产生褶皱,并避免穿进身体

BEDLAM提供的40G的clothing资产已经适配了不同的体形和动作。

在UE的窗口->fab可以下载更多素材,很多素材既有场景,又有人物,又有道具。

渲染的时候天空光的光追阴影采样过低可能带来噪声:

对应的分割图和景深图:

相关推荐
一只鹿鹿鹿1 小时前
智算算力、AI-芯片与产品解析(PPT文件)
大数据·运维·网络·人工智能·物联网·1024程序员节
stormzhangV1 小时前
科普下 AI 降智
人工智能·aigc
懿路向前1 小时前
唤醒工作台全实录(一):立项——化性起伪与三条设计原则
人工智能·华为
维克兜率天2 小时前
【维克】指数调整:哪些股票会被“强制买入“?
人工智能·python·算法
梧桐1682 小时前
14天、31个缺陷、28个测试脚本—用 Claude Code 完成第三方软件测试
人工智能·测试工具
罗西的思考2 小时前
【轻量化复刻大模型】线性注意力交互式演示
人工智能·算法·机器学习
美狐美颜sdk2 小时前
视频美颜SDK中的YUV与RGBA格式有什么区别?直播APP开发解析
人工智能·计算机视觉·音视频·美颜sdk·直播美颜sdk·视频美颜sdk