【UE5.3】使用Live Link Face给vrm角色添加表情和头部动作

目录

效果

步骤

[一、准备Live Link Face](#一、准备Live Link Face)

二、UE项目准备

三、给角色添加表情

四、给角色添加头部转动

五、生成动画序列

六、手动添加表情


效果

步骤

苹果手机下载软件"Live Link Face",让苹果手机和电脑连接同一个WiFi。

打开"Live Link Face",点击左上角设置按钮

点击【Live Link】

点击【添加目标】

输入电脑端的IP地址

捕捉模式设置为"ARKit"

二、UE项目准备

开启插件"Live Link"

开启插件"Apple ARKit"和"Apple ARKit Face Support"

点击"Window-》Virtual Production-》Live Link"

如果如下图标显示为绿色表示连接成功

三、给角色添加表情

添加一个蓝图,父类为"LiveLinkRemapAssert"

这里命名为"BPRemap_NaNa"

打开"BPRemap_NaNa",重载"获取重映射的曲线名称"

添加如下节点,将苹果 iPhone 的 ARKit 面部捕捉数据驱动到一个拥有自己独特命名规则的 3D 模型上。

|-------------------------|-------------|--------------------------|
| 名称 | 含义 | 来源 |
| Fcl_EYE_Close_L / R | 左/右眼闭合 | EyeBlinkLeft / Right |
| Fcl_MTH_A | 口型 A (啊) | JawOpen |
| Fcl_MTH_O | 口型 O (欧) | MouthFunnel |
| Fcl_MTH_U | 口型 U (乌/嘟嘴) | MouthPucker |
| Fcl_BRW_Angry | 眉毛生气 | BrowDownLeft + NoseSneer |
| Fcl_BRW_Sorrow | 眉毛悲伤 | BrowInnerUp |
| Fcl_BRW_Surprised | 眉毛惊讶 | BrowOuterUp |
| Fcl_MTH_Joy | 嘴巴高兴 (笑) | MouthSmile |

如果不知道上图中名称是怎么来的,可以通过打印Curve Name来确定Switch分支名称,然后可以查看vrm骨骼的"变形目标名称"来对应上图中右半部分输出的名称

新建一个动画蓝图

指定骨骼后点击【创建】

这里命名为"ABP_NaNa"

打开"ABP_NaNa",添加一个"Live Link Pose"节点,参数"Live Link Subject Name"设置为"iPhone"

"重定向资产"设置为刚制作的"BPRemap_NaNa"

在"预览场景设置中"中,设置预览动画蓝图、预览控制器、LiveLink主题名、重定向资产

此时我们就能在动画蓝图的预览窗口中看到角色的面部表情会跟随我们面部变化而变化

在动画图表中添加一个"Modify Curve"节点,参数值设置为0.8

四、给角色添加头部转动

首先找到角色的骨骼

打开骨骼文件,显示所有骨骼

找到控制头部旋转的骨骼,这里是"J_Bip_C_Head"

回到动画蓝图"ABP_NaNa",关闭骨骼显示。在动画图表中添加"Transform(Modify)Bone"节点,然后将参数"Rotation"提升为变量,这里变量命名为"Head Rotation"

在事件图表中添加如下节点来设置变量"Head Rotation"的值

在动画图表中选中节点"Transform(Modify)Bone",然后设置旋转模式为"替换现有项"

手机中开启头部旋转

将预览控制器改回默认

此时可以就看到头部转动效果了:

如果希望边做动作边做表情,我们可以在"Live Link Pose"之前加上动画序列

五、生成动画序列

如果我们想把这段边走路边做表情制作成动画序列,可以点击录制按钮

在录制期间内做相应的表情,然后关闭录制,就会生成这一段时间的动画序列

效果如下

如果要调节表情细节,可以双击对应的曲线(这里双击"MouthClose")来打开曲线编辑器

可以通过调节关键帧来修改表情

曲线名称对应的意义如下表所示:

1. 眼睛区域 (Eyes)

这些控制眼皮的开合以及眼球的朝向。

|-----------------------------|----------|-----------------------|
| 名称 (Name) | 中文解释 | 详细作用 |
| EyeBlinkLeft / Right | 左/右眼 眨眼 | (截图未列出但通常有) 控制眼皮闭合。 |
| EyeLookDownLeft / Right | 左/右眼 向下看 | 眼球向下转动。 |
| EyeLookInLeft / Right | 左/右眼 向内看 | 斗鸡眼方向(左眼向右看,右眼向左看)。 |
| EyeLookOutLeft / Right | 左/右眼 向外看 | 也就是向侧面看。 |
| EyeLookUpLeft / Right | 左/右眼 向上看 | 眼球向上转动。 |
| EyeSquintLeft / Right | 左/右眼 眯眼 | 下眼睑向上提,表现疑惑或微笑时的眼部挤压。 |
| EyeWideLeft / Right | 左/右眼 瞪大 | 上眼睑向上提,表现惊讶或惊恐。 |

2. 眉毛区域 (Brows)

这些控制眉毛的情绪表达。

|-----------------------------|----------|--------------------|
| 名称 (Name) | 中文解释 | 详细作用 |
| BrowDownLeft / Right | 左/右眉 下压 | 生气或专注时的眉毛动作。 |
| BrowInnerUp | 眉头 上扬 | 悲伤时的眉毛动作(八字眉)。 |
| BrowOuterUpLeft / Right | 左/右眉梢 上扬 | 惊讶或挑眉时的动作。 |

3. 嘴巴与下巴 (Mouth & Jaw) - 最复杂的部分

ARKit 把嘴巴拆分得很细,而二次元模型通常只用几个口型概括。

|------------------------------|--------|------------------|--------------------|
| 名称 (Name) | 中文解释 | 详细作用 | 常见重定向目标 |
| JawOpen | 张下巴 | 整个下颚骨张开。 | Fcl_MTH_A (张嘴) |
| JawForward | 下巴前突 | 地包天动作。 | (通常不映射) |
| JawLeft / Right | 下巴左/右移 | 咬合错位动作。 | (通常不映射) |
| MouthClose | 闭嘴 | 强行闭合嘴唇(即使下巴张开)。 | Fcl_MTH_Close |
| MouthLeft / Right | 嘴巴左/右移 | 整个嘴歪向一边。 | (通常不映射) |
| MouthFrownLeft / Right | 嘴角 下撇 | 悲伤或不满,嘴角向下拉。 | (配合Sorrow表情) |
| MouthSmileLeft / Right | 嘴角 上扬 | 微笑,嘴角向上拉。 | Fcl_MTH_Joy |
| MouthDimpleLeft / Right | 嘴角 后缩 | 露出酒窝的动作,也是假笑。 | (可映射到笑) |
| MouthStretchLeft / Right | 嘴角 横拉 | 像是发"一"音,嘴巴变宽。 | (可映射到笑或E音) |
| MouthRollLower / Upper | 嘴唇 内卷 | 抿嘴动作(把嘴唇包住牙齿)。 | (通常不映射) |
| MouthShrugLower / Upper | 嘴唇 前噘 | 类似嘟嘴,但主要是嘴唇翘起。 | Fcl_MTH_U |
| MouthPressLeft / Right | 嘴唇 挤压 | 嘴唇紧闭并按压。 | (通常不映射) |
| MouthLowerDown... | 下唇 下移 | 下嘴唇张开。 | (辅助张嘴) |
| MouthUpperUp... | 上唇 上移 | 上嘴唇张开(露上牙)。 | (辅助张嘴) |
| MouthPucker | 嘟嘴 | 像亲吻或吹口哨的动作。 | Fcl_MTH_U |
| MouthFunnel | 漏斗嘴 | 嘴巴呈O型,像吹气。 | Fcl_MTH_O |
| TongueOut | 伸舌头 | 舌头伸出。 | (如果有舌头骨骼则映射) |

4. 脸颊与鼻子 (Cheek & Nose)

|-----------------------------|-------|-------------------------|
| 名称 (Name) | 中文解释 | 详细作用 |
| CheekPuff | 鼓腮 | 嘴里含气,脸颊鼓起。 |
| CheekSquintLeft / Right | 脸颊 上提 | 微笑时苹果肌向上推挤眼睛的动作。 |
| NoseSneerLeft / Right | 皱鼻 | 鼻子两侧肌肉收缩,通常用于生气或嫌弃。 |

5. 头部与眼球骨骼 (Transform / Rotation)

注意:这些通常直接驱动骨骼,不需要重定向到 Morph Target(变形目标)。

|----------------------------|-------|----------------|
| 名称 (Name) | 中文解释 | 详细作用 |
| HeadYaw | 摇头 | 头部左右旋转(否定的动作)。 |
| HeadPitch | 点头 | 头部上下旋转(肯定的动作)。 |
| HeadRoll | 歪头 | 头部左右倾斜(卖萌的动作)。 |
| LeftEyeYaw/Pitch/Roll | 左眼球旋转 | 直接控制眼球骨骼转动。 |
| RightEyeYaw/Pitch/Roll | 右眼球旋转 | 直接控制眼球骨骼转动。 |

六、手动添加表情

大部分动画序列没有表情的编辑曲线

我们可以手动添加一些控制面部表情的曲线。点击"曲线-》添加曲线"

这里添加一个"Fcl_All_Fun"曲线

双击该曲线进入曲线编辑器,然后添加关键帧

此时播放效果如下:

相关推荐
会思考的猴子7 小时前
UE5 接口 使用
ue5
平行云1 天前
实时云渲染支持在网页上运行UE5开发的3A大作Lyra项目
unity·云原生·ue5·webgl·虚拟现实·实时云渲染·像素流送
AA陈超1 天前
虚幻引擎5 GAS开发俯视角RPG游戏 P07-18.生成火球术
c++·游戏·ue5·游戏引擎·虚幻
曼巴UE51 天前
UE 运行时编辑效果。Gizom使用增强输入改写
c++·ue5
Deveuper1 天前
UE5 暂停蓝图失效方法
ue5
zhangzhangkeji1 天前
UE5 材质-38-节点:GeneratedBand 生成条带 节点
ue5
AA陈超2 天前
LyraStarterGame_5.6 Experience系统加载流程详细实现
c++·笔记·学习·ue5·虚幻引擎·lyra
AA陈超2 天前
LyraStarterGame_5.6 Experience系统分析
开发语言·c++·笔记·学习·ue5·lyra
zhangzhangkeji3 天前
UE5 蓝图-游老师-21-22-组件:组件构成了角色 actor
ue5