在 2024 年全国大学生物联网设计竞赛中，火山引擎作为支持企业，不仅参与了赛道的命题设计，还为参赛队伍提供了相关的硬件和软件支持。以边缘智能和扣子的联合应用为核心，参赛者们在这场竞赛中的方案展现出了卓越的创新性和实用性，将边缘智能与扣子的技术巧妙地应用于机器人、家庭陪护、智慧康养、智慧座舱等多个领域，为未来行业应用结合大模型的 AIoT 解决方案探索出更多可能性。
本文将聚焦智慧座舱领域，详细介绍"队名好难起"队伍，基于火山引擎边缘智能，打造的智能驾驶训练舱解决方案。
道路建设发展推动智能驾驶训练舱解决方案
随着我国道路建设事业的快速发展，道路交通安全成为重大社会问题之一。据《"十四五"全国道路交通安全规划》显示，预计到 2025 年，我国机动车保有量、驾驶人数量、公路通车里程将超过 4.6 亿辆、5.5 亿人和 550 万公里。同时，车路协同、自动驾驶、共享出行等新技术新业态的快速涌现带来的交通流量、出行方式变化，对美好交通出行的向往和追求等，会对道路交通安全工作提出更高要求。
目前的道路交通安全纠察手段主要是交警现场执法、电子警察系统、移动执法设备、大数据分析等。这些纠察手段虽然在一定程度上提升了道路安全管理水平，但是也存在着电子警察系统覆盖面有限、反应速度慢，电子监控具备技术局限性、执法效率无法保证等不足。
如何完善道路交通安全纠察手段，降低交通事故发生的可能性？如何进一步保障道路交通的安全？来自大连理工大学的"队名好难起"队伍另辟蹊径，从驾驶者视角提升安全驾驶意识、识别安全风险，为道路交通安全提供新的解决方案，即通过火山引擎边缘智能打造的智能驾驶训练舱解决方案 。智能驾驶训练舱解决方案，集成了模拟驾驶系统、情绪与紧张度检测系统以及人工智能辅助系统 3 项关键技术，创造逼真驾驶环境，可以实现训练新手驾驶员、分析驾驶员状态并及时提醒、语音交互辅助驾驶的效果。
特别是在保障道路交通安全方面，智能驾驶训练舱解决方案可以分析车辆驾驶员的驾驶行为，预估其出现危险驾驶行为的概率，并采用有效的干预措施，减少交通事故的发生。
智能驾驶训练舱演示图
基于边缘智能的智能驾驶训练舱解决方案
整体方案介绍
智能驾驶训练舱采用火山引擎边缘智能平台，绑定 Jetson Orin Nano 开发板，构建了一套高效解决方案。该方案通过边缘智能平台的接口，创建设备模板，并连接摄像头，部署了用于识别驾驶员情绪和行为的模型。训练舱具备以下功能：
-
情绪与紧张度检测：搭载高清摄像头，智能驾驶训练舱能够精准捕捉驾驶员表情，运用先进智能算法实时监测驾驶员情绪和紧张程度，实现提前预警，有效提升驾驶安全。
-
模拟驾驶训练：专为新手驾驶员设计的模拟驾驶训练环境，基于 Carla 模拟器构建，模拟真实道路环境，包括多变天气、非机动车和行人等。通过模拟训练，新手驾驶员能够提升应对复杂天气的能力，积累驾驶经验，降低实际驾驶风险。此外，系统还设有驾驶行为评分功能，助力驾驶员改进驾驶技巧。
-
语音助手：智能驾驶训练舱配备的语音助手支持实时对话，适应不同驾驶员的语音习惯，以真实语音互动，增强驾驶体验。在驾驶员面临复杂交通情况时，语音助手能够提供及时的建议和指导，帮助新手驾驶员快速熟悉道路环境，安全地进行驾驶训练。
整体方案当中，模型的选择与训练十分重要：
- 多源图像处理： 采用光照均衡化、多光源成像技术，提高图像质量，同时，使用双侧引导上采样（bgu）方法来处理高分辨率的图像，调整输入测试图像的大小，使用模型处理，使用双边网格进行快速上采样，以解决高分辨率图像处理问题。对于低分辨率图像，选用 SRLUT 模型进行必要性处理。
- 情绪识别： 基于 ResNet-50 + EAC 算法以及 RAF-DB 数据集，接入摄像头，读取摄像头的画面，进行人脸检测，将识别到的人脸进行剪裁，使用训练好的模型进行预测，得出人脸微表情时对应的心情。
- 紧张度识别： 采用 ShuffleNet V2 模型用于识别驾驶员紧张度。驾驶环境复杂多变，识别驾驶员的紧张状态需快速响应、准确无误，这对模型的运行效率和准确性提出了极高要求。ShuffleNet V2 通过其独特的通道混洗（channel shuffle）和分组卷积（group convolution）技术，实现了计算资源的有效利用，能够在较低的计算成本下，保持较高的特征表达能力，对于实时分析驾驶员的面部表情、驾驶行为等多维度数据，进而准确判断其紧张程度至关重要。
- 行为识别： 利用 DMS_MD 数据集针对性采集了超过 19 种驾驶员的典型危险交互行为，分别标注了人脸区域、人头区域及交互物品区域，采用 ResNet50 和 YOLOv5 两种网络结构进行驾驶行为识别。
边缘智能创新应用
通过火山引擎边缘智能，构建了高效、准确、实时的智能驾驶训练系统。
在感知层，通过在一体机中安装边缘智能组件，并在火山引擎边缘智能平台上创建项目、绑定节点，实现了与 Jetson Orin Nano 开发板、高分辨率摄像头、传感器等设备的连接，方便采集和处理现场设备的数据。火山引擎边缘智能平台支持多种设备接入、转换数据格式，确保了数据的准确性和实时性。
在传输层，现场设备采集的数据将通过边缘智能平台进行初步处理，完成数据的边缘聚合及视频数据结构化。同时，将训练完备的模型部署到边缘智能平台，通过 Jetson Orin Nano 开发板接收摄像头捕获的驾驶员面部数据，并将其转换成特征向量，结合边缘智能的数据处理能力，对视频数据流实例和时间序列数据流实例进行处理，获取模型输出结果，并将结果传回开发板进行进一步数据处理，便于后续数据汇总和对识别出的不良驾驶反应发出预警。
在控制层，当火山引擎边缘智能对感知层采集的数据进行分析并得出结果后，控制层根据分析结果将采取相应的行动。比如，情绪识别分析结果显示，驾驶员当前处于紧张或焦虑状态，控制层会立即生成控制指令，降低车载娱乐系统的音量，同时播放预设的舒缓音乐，以缓解驾驶员的紧张情绪。
通过边缘智能平台，智能驾驶训练舱实现：
- 边云协同：火山引擎边缘智能平台支持边缘端与云端的双向通信，"队名好难起"队伍将 Jetson Orin Nano 开发板与边缘智能绑定，利用平台提供的接口创建设备模板以连接接摄像头，将情绪识别及紧张度识别模型部署在平台上，实现了边云协同。
- 实时分析与决策： 借助火山引擎边缘智能平台强大的云计算能力，通过部署在边缘智能平台的深度学习模型，精准地识别驾驶员的情绪状态，判断其紧张程度。这些信息不仅有助于理解驾驶员的心理和生理状态，更能为驾驶安全提供有力支持------在识别到高度紧张时，系统能够及时发出提醒，显著提升驾驶的安全性。
- 高效数据传输与分析反馈： 边缘智能平台支持实时数据处理、分析，通过对采集到的数据进行初步处理，将其转化为特征向量，减小传输数据的体量，提高数据传输速度。同时，边缘计算节点位于数据源附近，大大缩短了数据从采集到处理再到响应的延迟，能够做到提供高效传输与分析反馈。
解决方案效果展示
实时检测，提前预警
智能驾驶训练舱搭载高清摄像头，能够精准捕捉驾驶员表情，运用先进智能算法实时监测驾驶员情绪和紧张程度，实现提前预警，有效提升驾驶安全。
专为新手驾驶员设计的模拟驾驶训练环境
基于 Carla 模拟器构建，模拟真实道路环境，包括多变天气、非机动车和行人等。通过模拟训练，新手驾驶员能够提升应对复杂天气的能力，积累驾驶经验，降低实际驾驶风险。此外，系统还设有驾驶行为评分功能，助力驾驶员改进驾驶技巧。
实时对话，提供建议指导
支持实时对话，面临复杂交通情况时，语音助手能够提供及时的建议和指导，帮助新手驾驶员快速熟悉道路环境，安全地进行驾驶训练。
END
随着技术的发展，智能驾驶训练舱将向更高仿真度、个性化教学、云端数据分析等方向创新，提供逼真的驾驶体验。它将帮助驾驶员安全高效地提升驾驶技能，降低交通事故风险，同时为驾校培训提供便捷，改善人们的出行安全和生活质量。未来，火山引擎边缘智能将持续为智能驾驶训练舱带来更多可能性。