Hololens2远程音视频通话与AR远程空间标注,基于OpenXR+MRTK3+WebRTC实现

Hololens2远程音视频通话与AR远程空间标注

使用Unity2021.3.21版本开发,基于OpenXR+MRTK3.0+WebRTC实现。

(1)通过视频获取视频帧的矩阵的方法可以参考:https://learn.microsoft.com/zh-cn/windows/mixed-reality/develop/advanced-concepts/locatable-camera-overview

复制代码
 通过MediaCapture类可以进行MR视频捕捉,当然也可以通过微软的第三方插件进行捕捉视频。通过改视频获取到视频帧对应的矩阵即可。

(2)视频坐标到空间坐标,根据(1)里面的视频帧对应的矩阵就可以了将视频上面的坐标转换到空间Hololens空间中

下面展示一些 内联代码片

复制代码
                /// <summary>
    /// 将屏幕上的坐标转换到世界坐标(将视频上的坐标转换成0到1的坐标,坐标原点为视频左下角,即为相对MR捕捉相机的屏幕坐标)
    /// </summary>
    /// <param name="x">(0~1)</param>
    /// <param name="y">(0~1)</param>
    /// <returns></returns>
    public Vector3 ScreenPointToWorldPoint(float x, float y)
    {

        Vector4 clipPos = Vector4.zero;

        clipPos.x = 2 * x  - 1;
        clipPos.y = 2 * y- 1;
        clipPos.z = -0;


        Vector3 cameraPosinv =cam.projectionMatrix.inverse.MultiplyPoint(clipPos);
      

        return cam.cameraToWorldMatrix.MultiplyPoint(cameraPosinv);
    }

## 

(3)附上一些学习视频:

复制代码
视频一:https://www.bilibili.com/cheese/play/ss16358
视频二:https://www.bilibili.com/video/BV12J4m1j7XS/
相关推荐
源码_V_saaskw5 小时前
JAVA图文短视频交友+自营商城系统源码支持小程序+Android+IOS+H5
java·微信小程序·小程序·uni-app·音视频·交友
huoyingcg6 小时前
武汉火影数字|数字党建展厅制作 VR红色数字纪念馆 党史馆数字化打造
科技·ar·vr·虚拟现实·增强现实
肥or胖14 小时前
【音视频协议篇】WebRTC 快速入门
ffmpeg·音视频·webrtc
aqi0015 小时前
FFmpeg开发笔记(七十八)采用Kotlin+Compose的NextPlayer播放器
android·ffmpeg·音视频·直播·流媒体
oneMonthOneBook17 小时前
sssss
ar
tang_jian_dong19 小时前
springboot + vue3 拉取海康视频点位及播放
spring boot·后端·音视频
青牛科技-Allen21 小时前
GC8871刷式直流电机驱动器深度解析:3.6A驱动与内置电流检测技术
单片机·嵌入式硬件·音视频·音响·电动工具·散热风扇·电脑散热风扇
守城小轩1 天前
WebRTC指纹识别——未来展望(下篇)
chrome·webrtc·chrome devtools·指纹浏览器·浏览器开发
守城小轩1 天前
WebRTC指纹——技术背景(上篇)
webrtc·chrome devtools·指纹浏览器·浏览器开发·超级浏览器
Tracy9731 天前
HF83311_VB1/HF83311Q_VB1:高性能USB HiFi音频解码器固件技术解析
音视频·xmos 模组·xmos 模组固件