通过UE制作segment和depth数据

安装

先安装epic games,注册登录,在里面安装引擎:

再安装xcodeSign In - Apple

在UE卡片旁边的选项中安装MetaHuman Creator Core Data

MetaHuman

MetaHuman是UE自带的人物制作工具。

安装 MetaHuman Creator Core Data

  1. 关闭 UE 编辑器。
  2. 打开 Epic Games Launcher → Unreal Engine → 库(Library)。
  3. 找到 UE 5.8 的引擎卡片,点击"启动"旁的 ▼ → 选项(Options)。
  4. 勾选 MetaHuman Creator Core Data。
  5. 点击 应用(Apply),等待下载完成。

启用 MetaHuman Creator 插件:

  • 打开你的 BE_Dataset 工程。
  • 顶部菜单选择 编辑(Edit)→ 插件(Plugins)。
  • 在搜索框输入 MetaHuman Creator。
  • 找到同名插件,勾选 启用(Enabled)。
  • 如果提示需要启用依赖插件,点击确认。
  • 点击窗口下方的 立即重启(Restart Now),重启前保存工程。
  • 重启后,在内容浏览器空白处右键 → MetaHuman → MetaHuman Character,即可创建人物资产。

在fab插件或者fab网站,可以下载metahuman类型的资产,如服装,鞋子,眼镜,发型等。需要组装成可用的人物。

除了人物模型本身,UE还提供了一些常见的动作。下载好Game Animation Sample工程,UE中打开这个工程,按播放就可以预览:

动作可以通过迁移赋能给自己的工程中的人物。

BEDLAM​​​​​​

BEDLAM2

主要目的是3D human pose and shape estimation (HPS),支持多种body shapes, skin tones, and motions。without using any real training images就可以达到 state-of-the-art HPS accuracy

depth maps and segmentation masks也可以得到

BEDLAM2 的自动渲染流程主要通过 Python 脚本调用 Unreal Engine 的 Python API,完成加载资产、装配人物、设置相机、创建动画序列以及提交批量渲染任务。实际渲染由 UE 执行。

再下载提供的基础资产BEDLAM2

文件 内容
BE_Core 核心资产和工具,放入/Users/Shared/Epic Games/UE_5.8/Engine/Content/PS/Bedlam/Core
BE_IBL 示例 Unreal 工程,工程位置可以自定义。里面有 BE_IBL/Content/Bedlam/IBLMap.umap,就是场景/关卡,其余还有关卡序列,蓝图
BE_EnginePlugin 引擎插件 Plugins 列表中可以通过enable控制BEDLAM 插件是否开启
BE_MRQ 渲染队列插件,如Perlin 噪声相机抖动,放入 BE_IBL/Plugins/MovieRenderPipeline

在Unreal engine的左下角

  • 「内容侧滑菜单」,打开内容浏览器。
  • 在文件夹列表里进入 Content(内容)→ Bedlam。
  • 双击 IBLMap,打开示例地图。

下载人体模型之后,得到:

文件夹 内容
SMPLX_LH 已烘焙的人体动画网格,BEDLAM 渲染主要使用它 一共51个人体,每个文件夹下面第一个是T-pose,其余是若干个动作动画,每个文件内部包含一段逐帧变化的人体网格,即 Geometry Cache。
SMPLX_LH_animations 骨骼模型和动画,用于相机跟踪身体关节等功能。是相同体型、相同动作的两种表示。 固定相机 matting 流程,主要使用 SMPLX_LH 中的 Geometry Cache;如果后续要让相机自动跟随头部或手部,就会用到 SMPLX_LH_animations。

移动到engine目录之后,然后重新打开engine,导入

例如 it_4481_L,将一个资产拖进 IBLMap:

选中人体,添加细节,groom,得到不同的发型

更换不同的backdrop

替换皮肤

保存高清图,鼠标放到画面中按 G,隐藏辅助图标,底部cmd输入:HighResShot 1920x1080

使用BEDLADM提供的core可以调用UE的API,然后可以自动化地得到RGB图和Mask:

衣服:

步骤 解决的问题
制作服装 衣服是什么样:版型、缝合、面料、纹理
适配体型 这个人能否穿上:肩宽、胸围、腰围、衣服松紧
适配动作 人动起来后,衣服怎样跟随、产生褶皱,并避免穿进身体

BEDLAM提供的40G的clothing资产已经适配了不同的体形和动作。

在UE的窗口->fab可以下载更多素材,很多素材既有场景,又有人物,又有道具。

渲染的时候天空光的光追阴影采样过低可能带来噪声:

对应的分割图和景深图:

相关推荐
7177771 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn2 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健2 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道2 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9963 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队4 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术4 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream5 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴6 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区6 小时前
豆包工作,3 个月,800 万,20 亿
人工智能