搜维尔科技:Faceware面部捕捉最佳实践!

视频源和分辨率

  • 我们的软件针对 RGB 彩色素材进行了优化,不支持使用红外摄像机。

  • 我们建议视频分辨率为 720p 和 1080p。低于 720p 的分辨率可能会对跟踪质量产生负面影响,而高于 1080p 的分辨率会导致存储要求和传输时间增加,而不会带来明显的跟踪优势。

文件格式:

  • 首选视频格式是 .mp4 和 .mov,首选编解码器是 h.264 和 ProRes。

  • 我们建议帧速率为 60 fps,以实现高跟踪精度并减少运动模糊。

  • 我们还接受标准帧速率,包括 24、25、29.97、30 和 59.94 fps。不建议帧速率超过 60 fps。

时间码:

  • 我们的相机不记录时间码。为此,您将需要一个外部解决方案。

  • 我们的数字录音机具有用于外部时间码解决方案的 LTC 输入。请确保时间码帧速率是相机帧速率的偶数倍。


准备 Mark IV 捕获会话

您的表演者:

  • 确保表演者没有佩戴眼镜等遮挡物品。避免深色眼影、假睫毛和某些面部纹身。

  • 有胡须的表演者应修剪面部毛发,以增强嘴部和下巴的可见度,以便有效跟踪。或者,如果修剪不可行,可以使用胡须蜡露出嘴唇。

  • 让所有头发远离表演者的脸部;长发可以从头盔后面的马尾孔穿过。

  • 为了便于跟踪,软件必须识别不同的面部群体。例如,浅肤色表演者的眉毛非常浅且细,可能无法很好地跟踪。

  • 化妆可用于增强眉毛和嘴唇等面部特征的对比度。使用毛巾或粉末来减少油斑和汗水。

  • 如果客户需要,可以在面部涂抹点。虽然 Faceware 的跟踪软件不需要面部点,但一些工作室选择将它们作为动画师参考。使用面部标记时,使其尽可能小。详情请参阅下图。

配件

  • 使用套件中提供的泡沫垫来实现紧密贴合,优先考虑表演者的舒适度。

  • 让表演者使用头盔后部的收紧机构来调整其贴合度,确保其不会太紧。

  • 通过让表演者测试到位的快速动作来确认稳定性。

取景

  • 安装杆应始终从头盔向下延伸,Faceware 徽标朝上。

  • 首先调整安装杆,将摄像机放置在表演者视线下方,使鼻孔可见。

  • 确保脸部的杠铃不要太低,因为眉毛和眼睛的清晰可见度至关重要。拧紧铝块以固定杆的位置。

  • 接下来,调整相机的位置和旋转。保持表演者的脸部在画面中呈方形,相机大致指向正前方。

  • 保持表演者的额头和下巴之间的平面一致,避免靠近镜头。

  • 确保眉毛和头盔边缘之间有足够的空间,以防止跟踪程序造成混淆。

  • 要求表演者短暂张开下巴,以确保其保持在画面内。

  • 保持所有录制会话中的帧一致性。建议配备 HMC 技术人员在场,以确保生产范围内的一致性。

相机设置

  • 确认相机配置了正确的分辨率和帧速率。

  • 利用 QC 显示器上的对焦辅助功能来实现精确的相机对焦。

  • 对相机进行白平衡,尤其是在拍摄区域中使用蓝色和绿色屏幕时。始终在主要拍摄空间内进行白平衡。

灯光

  • 实现 HMC 光线在所有面部特征上的均匀分布。

  • 确保相机的灯光作为主要或关键光源。

  • 在整个录制过程中保持一致的照明条件。

  • 避免在打开的窗户或自然光源附近录制。

  • 录制之前,测试表演捕捉环境,以确保通过适当的照明实现均匀的面部曝光。


捕捉良好的中性表达

记录中性表情在离线和实时捕捉工作流程中都至关重要。中性框架用作校准参考,尤其是在跟踪阶段。校准可帮助系统了解您独特的面部特征,以实现准确跟踪。

为什么用中性面进行校准

  • Faceware 的技术可以识别通用人脸,但需要针对您的特定脸部进行校准。

  • 捕获的中性帧的质量直接影响跟踪和动画数据的质量。

  • 在 Faceware Portal 中,良好的中性框架对于 JSON 和 FWR Autosolve 工作流程至关重要。

捕捉中性表达

  • 在每次会话中以及重新连接 HMC 后,记录每位表演者的中性表情。

  • 要捕捉良好的中性表达:

    • 指导表演者面朝前方,表情放松,闭上嘴。

    • 要求表演者保持这个表情至少3秒。

    • 确保表演者在此过程中不会张嘴或触摸脸部。

  • 请记住遵循其他拍摄指南,尤其是有关取景和照明的指南。请参阅下图,了解良好的中性表达的示例:


绩效捕获清单

预拍摄

❏ 讨论客户接收素材的首选方法(例如,驱动器可用性)。

❏ 与音频团队协调与 Kipro 的任何硬件集成(如果适用)。

❏ 与客户确认命名约定。

❏ 验证硬盘驱动器上的可用空间。

❏ 确保手边有额外的充满电的电池和充电站。

❏ 确定是否需要运动范围 (ROM) 或面部点。

❏ 检查您的工作站是否有命名约定软件。

❏ 如果使用 PC 工作站,请准备好适用于 AJA Ki Pro 硬盘驱动器(Mac 格式)的 Mac 阅读器软件。

拍摄硬件设置

❏ 确保良好的照明,尤其是 VO 展位。

❏ 如果使用 VO 展位或有线表演采集 (pcap),请通过 pcap 皮带正确系住 BNC 电缆。

❏ 确认显示器显示网格覆盖和居中框架。

❏ 设置相机的白平衡。

❏ 验证相机的帧速率和分辨率(除非另有说明,否则为 720p)。

❏ 检查电池寿命。

❏ 确保 Shepherd 系统可运行,测试和回放已完成。

❏ 如果录制音频,请通过 Kipro 检查声音/音频表并验证音频质量。

❏ 管理 Faceware 站的电缆以防止危险。

❏ 在 Kipro 上设置并检查音频设置(例如线路电平要求)。

❏ 确认时间码接收 (LTC)(如果适用)。

❏ 在 Kipro 上监视 Super Out 以在监视器上查看录制状态/TC。

拍摄演员清单

❏ 确保演员已被取景并对焦(使用对焦辅助)。

❏ 如果需要,可以在演员的面部点上点。

❏ 组装后拧紧所有 HMC 设备。

❏ 如果需要,记录中性表达式(必要的)或 ROM。

❏ 确保演员了解电灯开关的位置以及何时打开。

❏ 管理演员的 HMC 电缆以防止它们松动。

拍摄后

❏ 对文件名进行必要的更正。

❏ 开始将文件下载到客户端的硬盘上。

❏ 安全地拆除人员身上的硬件,并在需要时提供化妆湿巾。

❏ 收拾好录音站。

❏ 仔细检查客户端的所有文件是否已正确存储。

❏ 确保所有 Faceware 硬件均已包装好。

回到办公室后,准备下一次拍摄的工具包。


使用静态摄像头进行工作室/实时面部捕捉

校准/中性文件

校准对于实现最佳跟踪结果至关重要。校准时,面向摄像头或跟踪设备,将面部放松至中立位置,同时看着摄像头或略低于摄像头。这为表达值建立了基线。校准不当可能会导致面部动画不准确或出现故障,因此建议在需要时重新校准。校准还可以补偿独特的面部特征。例如,如果您的眼睑比平均水平更遮盖,则通过轻微眯眼进行校准可以调整眨眼值。

闭塞

遮挡是指面部特征被遮挡而无法看到。当我们的跟踪技术能够清晰地看到眼睛、鼻子、嘴巴和下巴时,它的性能最佳。阻塞的常见来源包括:

  • **面部毛发:**跟踪可能会混淆上唇的胡须、抓住鼻子而不是嘴巴,或者校准失败。

  • **眼镜:**跟踪可能会将眼镜的顶部误认为是眉毛,或者由于反射而显示不正确的眼睛位置。

  • **长发或刘海:**眉毛前面的头发会阻碍跟踪,可能导致校准失败。

  • **帽子:**跟踪可能会将帽檐误认为是眉毛,而帽子投射的阴影会降低跟踪效果。

为了获得最佳效果,请修剪覆盖嘴唇的胡须或胡须,避免戴眼镜,并使长发远离面部特征。

肤色和色彩

肤色单色的人,例如白皙皮肤配浅色头发或深色皮肤配深色头发,可能会因对比度有限而面临跟踪挑战。化妆可以强调嘴唇、眼睛和眉毛。在这些情况下,调整照明也可能有所帮助。

取景(静态相机)

正确的取景对于准确的面部跟踪和动画至关重要。为了获得最佳效果,请确保您的脸部从上到下填满画面,留出空间让您的下巴完全张开,同时仍从前额顶部到下巴底部进行拍摄。过度转动头部(>30 度)可能会导致跟踪丢失。将大多数面部特征保留在框架内,以确保准确、自然的动画。

照明/环境

使用 Faceware 的跟踪时,适当的照明至关重要。虽然理想的场景涉及自然光,甚至是日光,但实际限制通常需要遵循以下最佳实践才能获得适当的照明:

  • **自动曝光灵敏度:**某些静态摄像机的自动曝光功能可能过于敏感。图像成分的快速变化会对跟踪产生负面影响,导致结果不稳定。如果抖动变得明显,请考虑禁用自动曝光。

  • **弱光环境:**跟踪依赖于面部的清晰可见度。漆黑的房间效果不佳。虽然最小的照明可能就足够了,但它可能会导致抖动增加或跟踪不准确。一般来说,监控灯不足以进行跟踪,可以从额外的照明中受益。

  • **半阴影和定向照明:**避免将强光聚焦在脸部的一侧,因为投射在另一侧的阴影会扰乱跟踪,导致错误的结果。自上而下的直接照明可能会在眼睛、眉毛和鼻子下方产生阴影,从而对跟踪质量产生负面影响。

  • **后方照明:**用户身后的明亮光源照射到相机的框架中会降低跟踪质量。只要有可能,将照明放置在用户前面,最好在脸部两侧提供均匀的照明。

  • **明亮的窗户和灯光:**极亮的灯光可能会导致"井喷",无法准确跟踪皮肤上的亮白色反射。为了保持跟踪质量,请考虑调暗或改变任何过亮的定向灯的方向。

请记住,为了正确跟踪,您的脸部必须保持其自然外观。扭曲面部特征的灯光或阴影可能会导致意外或不可靠的跟踪结果,包括抖动动画。

相关推荐
像污秽一样15 分钟前
动手学深度学习-深度学习计算-1层和块
人工智能·深度学习
迪小莫学AI19 分钟前
精准识别花生豆:基于EfficientNetB0的深度学习检测与分类项目
人工智能·深度学习·分类
编程迪32 分钟前
自研PHP版本AI口播数字人系统源码适配支持公众号H5小程序
人工智能·数字人系统源码·口播数字人·数字人小程序·数字人开源
Anna_Tong36 分钟前
人工智能的视觉天赋:一文读懂卷积神经网络
人工智能·神经网络·cnn
ZHOU_WUYI1 小时前
adb 安装教程
人工智能·adb
weixin_443042651 小时前
信息系统管理师试题-转型升级
人工智能·信息系统项目管理师
CV-King2 小时前
旋转框目标检测自定义数据集训练测试流程
人工智能·目标检测·计算机视觉
无问社区2 小时前
无问社区-无问AI模型
人工智能·web安全·网络安全
Jacen.L3 小时前
探究音频丢字位置和丢字时间对pesq分数的影响
人工智能·语音识别
DashVector3 小时前
如何通过HTTP API插入或更新Doc
大数据·数据库·数据仓库·人工智能·http·数据库架构·向量检索