[PICO VR眼镜]眼动追踪串流Unity开发与使用方法,眼动追踪打包报错问题解决(Eye Tracking)

前言

最近在做一个工作需要用到PICO4 Enterprise VR头盔里的眼动追踪功能,但是遇到了如下问题:

  1. 在Unity里面没法串流调试眼动追踪功能,根本获取不到Device,只能将整个场景build成APK,安装到头盔里,才能在代码里调用眼动追踪功能。这使得每次修改代码都要打包一次apk安装到头盔里,十分不方便,难以调试。
  2. PICO VR 官方提供的Eye Tracking教程里,获取到的眼睛朝向和位置是相对于Head这个位置的,而不是相对于XR Origin下的Camera的位置,这使得API不能直接拿来使用。
  3. Unity在引入PICO VR眼动跟踪代码后,编译时点击"build and run"后,会报错"NullReferenceException: Object reference not set to an instance of an object"

鉴于以上问题网络上均没有人进行解答,以及个人没能得到PICO官方的技术支持情况下(三周内发了2封技术工单邮件+2次催线上客服),遂打算自己捣鼓一下写篇教程。

(点名批评PICO官方的技术支持不回复邮件的问题,明明就几个特别简单的问题,但是官方承诺的3-5个工作日内回复并没有做到,等了三周一封邮件也没回,这个过程还问了客服,客服表示会催技术人员回复,但等了一周半也没看到,放弃了orz)

更新补充:据说在PICO企业版官网提交企业版工单能得到官方较快的回复。

1. 如何在代码里使用眼动跟踪,并转换成世界坐标 或 摄像机坐标系

首先,检查眼动追踪是否能正常工作:

c 复制代码
void Start()
{
	CheckEyeTracking();

}
private void CheckEyeTracking()
{
    //Start PICO Eye Tracking Service
    TrackingStateCode trackingState;
    trackingState = (TrackingStateCode)PXR_MotionTracking.WantEyeTrackingService();
    Debug.Log("告知PICO想要眼动跟踪服务 trackingState: " + trackingState.ToString());

    //Check Eye Tracking able or not
    EyeTrackingMode eyeTrackingMode = EyeTrackingMode.PXR_ETM_NONE;
    bool supported = false;
    int supportedModesCount = 0;
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingSupported(ref supported, ref supportedModesCount, ref eyeTrackingMode);
    Debug.Log("检查是否有眼动跟踪功能 trackingState: "+ trackingState.ToString()+"  code  "+ supported);

    // Get Eye Tracking State
    bool tracking = true;
    EyeTrackingState eyeTrackingState = new EyeTrackingState();
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingState(ref tracking, ref eyeTrackingState);
    Debug.Log("获取当前眼动跟踪状态 trackingState: " + trackingState.ToString());

    // Start Eye Tracking
    //这里要严谨点的话,应该要加上if条件判断是否有眼动跟踪功能,再选择开启该功能
    EyeTrackingStartInfo info = new EyeTrackingStartInfo();
    info.needCalibration = 1;
    info.mode = eyeTrackingMode;
    trackingState = (TrackingStateCode)PXR_MotionTracking.StartEyeTracking(ref info);
    Debug.Log("开始眼动跟踪状态 trackingState: " + trackingState.ToString());

    //Get Eye Tracking Data
    //获取眼动跟踪数据
    EyeTrackingDataGetInfo eyeData = new EyeTrackingDataGetInfo();
    eyeData.displayTime = 0;
    eyeData.flags = EyeTrackingDataGetFlags.PXR_EYE_DEFAULT
    | EyeTrackingDataGetFlags.PXR_EYE_POSITION
    | EyeTrackingDataGetFlags.PXR_EYE_ORIENTATION;
    EyeTrackingData eyeTrackingData = new EyeTrackingData();
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingData(ref eyeData, ref eyeTrackingData);
    Debug.Log("eyeData:  "+ eyeData.ToString() + " TrackingData:  " + eyeTrackingData.ToString());

  
}

接下来,每帧都获取眼动数据,并将眼睛位置和眼睛朝向数据转换成世界坐标

c 复制代码
public Transform origin;//在Unity主界面把XR Origin拖进来即可
private Matrix4x4 headPoseMatrix,originPoseMatrix;
private Vector3 combineEyeGazeVector, combineEyeGazeOriginOffset, combineEyeGazeOrigin;
private Vector3 combineEyeGazeVectorInWorldSpace, combineEyeGazeOriginInWorldSpace;
void Update()
{
	GetEyeTrackingData();
}

private void GetEyeTrackingData()
{
		//获取head的局部转世界矩阵,该矩阵点乘head局部坐标系下坐标,则能转换为世界坐标系下的坐标
        PXR_EyeTracking.GetHeadPosMatrix(out headPoseMatrix);	
        //获取双眼(取中间位置)位于Head坐标系下的朝向信息GazeVector
        PXR_EyeTracking.GetCombineEyeGazeVector(out combineEyeGazeVector);
        //获取双眼(取中间位置)位于Head坐标系下的位置信息GazePoint
        PXR_EyeTracking.GetCombineEyeGazePoint(out combineEyeGazeOrigin);
        
        //获取眼睛的世界坐标
        combineEyeGazeOriginInWorldSpace = originPoseMatrix.MultiplyPoint(headPoseMatrix.MultiplyPoint(combineEyeGazeOrigin));
        //获取眼睛的朝向信息
        combineEyeGazeVectorInWorldSpace = originPoseMatrix.MultiplyVector(headPoseMatrix.MultiplyVector(combineEyeGazeVector));
		
		//highlighArea是我添加的一个手电筒高亮区域,能让用户更直观地查看眼睛看向位置
        highlighArea.transform.position = combineEyeGazeOriginInWorldSpace ;
        //LookRotation默认是以z轴旋转,如果要以y轴旋转的话可以在后面加上 ,Vector3.up
        highlighArea.transform.rotation = Quaternion.LookRotation(combineEyeGazeVectorInWorldSpace);
/*        RaycastHit hit;
        if (Physics.Raycast(highlighArea.transform.position, combineEyeGazeVectorInWorldSpace, out hit, 1000f))
        {
            highlighArea.transform.LookAt(hit.point);
        }*/
}

简易效果图(透明圈处是一个作为highlighArea的圆锥区域):

至此,便已经能获取到PICO VR里眼动追踪的位置和朝向信息。

2. "Build and Run"报错

引入EyeTracking代码后,发现Build and Run时会报以下错误:

这是因为run的话会导致Unity找不到可供眼动追踪的设备,导致编译报错。

解决方法,只点击Build,而不是Build and Run:

Build完后,打开Pico Developer Center,依次点击"应用管理"->"安装包"->"安装本地应用":

选择build好的apk即可,后续便能直接在眼镜里运行:

3.眼镜内调试的Trick

对于这种要build到眼镜里才能调试的功能,可以利用Unity提高的UI->Text组件进行调试。

即,在Unity场景下创建一个UI->Text对象,然后把对象拖到下面脚本的GazeDebugText变量上,便能在眼镜里看到相应数据输出了

c 复制代码
public TMP_Text GazeDebugText;
private void GetEyeTrackingData()
{
	GazeDebugText.text = combineEyeGazeOrigin.ToString("F3");//F3是指精确到小数点后3位
}

效果:

4.如何在Unity里串流调用眼动追踪功能

B站视频:使用PICO头显在VR串流环境下进行眼动追踪

我个人是在看了这个视频后才知道PICO VR也能在Unity下串流使用眼动跟踪功能,但我没有进一步深入探究,据该视频UP主表示,PICO neo3 pro eye是可以串流的,该方法理应也适用于其他头盔。

在此处也表达下对UP主的感谢,在后台私信耐心细致替我解答问题。

原理:串流使用pico的眼动追踪功能,需要下载特定的串流软件和PICO系统版本,电脑端上用的是PICO企业版串流工具(普通版的串流工具不知道可不可以):

在PICO端上则是自动保持串流软件更新到最新版本。

build成apk安装包之后,调用的SDK是正常使用的;串流时候的SDK会随business streaming一起安装,和apk的SDK不一样

business streaming安装后,sdk里会有一个用qt写的测试程序,可以试试看串流后眼动跟踪是否正常,测试程序不需要用steam;但是对头显的固件版本有要求:

如果经过测试后,eye tracking data什么的没有问题,后续可以串流Unity基于OpenXR进行开发。

相关推荐
MediaTea3 小时前
Pr 视频过渡:沉浸式视频 - VR 色度泄漏
音视频·vr
charon87789 小时前
UE ARPG | 虚幻引擎战斗系统
游戏引擎
MediaTea10 小时前
Pr 视频过渡:沉浸式视频 - VR 默比乌斯缩放
vr
道可云10 小时前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
MediaTea10 小时前
Pr 视频过渡:沉浸式视频 - VR 球形模糊
vr
小春熙子10 小时前
Unity图形学之Shader结构
unity·游戏引擎·技术美术
Sitarrrr12 小时前
【Unity】ScriptableObject的应用和3D物体跟随鼠标移动:鼠标放置物体在场景中
3d·unity
极梦网络无忧13 小时前
Unity中IK动画与布偶死亡动画切换的实现
unity·游戏引擎·lucene
逐·風20 小时前
unity关于自定义渲染、内存管理、性能调优、复杂物理模拟、并行计算以及插件开发
前端·unity·c#
_oP_i1 天前
Unity Addressables 系统处理 WebGL 打包本地资源的一种高效方式
unity·游戏引擎·webgl