GMSL 实例1:当 MAX96717 遇上 MAX96724,打通 Camera 视频数据传输

新年伊始,继 Deepseek 在 AI 圈掀起风波之后。比亚迪在2月10日发布会上重磅官宣:全系车型将搭载自研的高阶智驾系统"天神之眼",覆盖从10万元级入门车型到高端豪华车型的所有范围。此举如一颗重磅炸弹投向当前一卷再卷的新能源汽车赛道,但同时也正式进入了智能驾驶技术规模化、普及大众的时代。

据说 天神之眼 系统精心打造了 A/B/C 三个版本:

  • 天神之眼 A - 高阶智驾三激光版(DiPilot
    600):主要用于高端仰望品牌,配置超豪华,像仰望U8就配备3颗激光雷达、5颗毫米波雷达、12颗超声波雷达及12颗高清摄像头,还有双Orin
    X芯片提供 508TOPS 算力。
  • 天神之眼 B - 高阶智驾激光版(DiPilot 300):适用于腾势及比亚迪部分车型,是激光雷达(1/2 颗)+OrinX 的版本。
  • 天神之眼 C - 高阶智驾三目版(DiPilot 100):广泛搭载于比亚迪品牌车型,采用 5R12V
    感知方案,5R是毫米波雷达,12V是12个摄像头

也就是说,在天神之眼的三个版本中,均使用了 12 个摄像头 ------ 也就是 12 条 GMSL 链路:我们知道,每个摄像头中都有一颗 MAX96717 加串器,如果解串器以四通道 GMSL MAX96724 为例,那么整车上至少有三个 MAX96724。

今天我们就以单条 GMSL 链路为例(MAX96717 + MAX96724),介绍下摄像头采集的视频流究竟是如何通过 GMSL 进行传输的:

MAX96717 官方 EVK:MAX96717/F/R EVKit 评估套件 | 亚德诺半导体

MAX96724 官方 EVK:MAX96724/F/R EVKIT 评估套件 | 亚德诺半导体

加串器,如 MAX96717,通常都包含在摄像头内部,外部大家能看到的是一个 FAKRA 连接器:它不仅承载了数据传输的作用,同时也担负起了电力提供(PoC 供电)。

笔者采购了一款 300w 像素(1920*1535),输出数据格式为 YUV422 的摄像头,搭配 MAX96724 EVK 进行摄像头数据传输的验证,系统框图如下:

  • 摄像头模组内部包含了 Camera Image Sensor 和 MAX96717 加串器
  • 摄像头模组为 300W, 1920x1536 pixels, 数据格式 YUV422。上电即工作:boot 时通过加载自身内部存储在
    flash 的参数进行配置,无需外部 SoC 进行配置
  • GMSL Link 配置为 3G, pixel mode, 2m cable
  • MAX96724 解串器,输出 video 数据到 MIPI Port A,速率 4x1000Mbps
  • MAX96724 解串器输出的数据通过 MIPI 分析仪进行抓取,确认抓到的图像无误

这里强烈安利 ADI 提供的 GMSL 调试工具:GMSL GUI, 用于评估和调试 GMSL 器件。不仅可以在线调试,导出寄存器配置,还能对 GMSL 链路进行眼图(EOM)和 Link Margin 测试,以及诸多其他强大而有用的功能。后续将会多写几篇文章一一介绍。

对 MAX96717 和 MAX96724 的寄存器配置,通过 GMSL GUI - Tools - CSI Configuration Tool 进行配置后,导出!(下一篇文章我们将会详细介绍 CSI Configuration Tool 的使用!

硬件链路搭建完成之后,通过 GMSL GUI 加载 CSI Configuration Tool 导出的配置。先确认下 MAX96724 的 Video Lock 是否置位(0x1DC.bit0 = 1)。如果 VIDEO_LOCK= 1, 则代表该链路的 video 数据正确的传输到了 MAX96724。

如下,是通过 MIPI 分析仪抓取到的摄像头图片。至此,这一条 GMSL 链路已经彻底打通了。

笔者已经完成了 GMSL device 在 Nvidia Orin 平台上的移植。

目前打算在 Raspberry-pi-5 进行移植。有兴趣的小伙伴可以一起交流、学习。

相关推荐
wwlsm_zql1 小时前
「赤兔」Chitu 框架深度解读(十四):核心算子优化
人工智能·1024程序员节
Jonathan Star3 小时前
用Python轻松提取视频音频并去除静音片段
开发语言·python·音视频
AKAMAI3 小时前
Fermyon推出全球最快边缘计算平台:WebAssembly先驱携手Akamai云驱动无服务器技术新浪潮
人工智能·云计算·边缘计算
给大佬递杯卡布奇诺4 小时前
FFmpeg 基本数据结构 AVInputFormat 分析
数据结构·c++·ffmpeg·音视频
给大佬递杯卡布奇诺4 小时前
FFmpeg 基本数据结构 AVCodecContext分析
数据结构·c++·ffmpeg·音视频
云雾J视界4 小时前
TMS320C6000 VLIW架构并行编程实战:加速AI边缘计算推理性能
人工智能·架构·边缘计算·dsp·vliw·tms320c6000
想ai抽4 小时前
基于AI Agent的数据资产自动化治理实验
人工智能·langchain·embedding
小马过河R5 小时前
AIGC视频生成之Deepseek、百度妙笔组合实战小案例
人工智能·深度学习·计算机视觉·百度·aigc
june-Dai Yi5 小时前
免费的大语言模型API接口
人工智能·语言模型·自然语言处理·chatgpt·api接口
DIY机器人工房5 小时前
要解决 ESP32 与 STM32 之间 LoRa 通信无应答的问题,可从以下硬件、软件、参数匹配三个维度逐一排查:
stm32·单片机·嵌入式硬件·lora·嵌入式·diy机器人工房