基于地平线RDK X5的智能医药机器人系统

一、作品概述

1.1 作品名称

《基于地平线RDK X5的智能医药机器人系统：融合视觉模型识别与OpenCLAW远程机械臂控制》

1.2 应用领域

面向智慧医疗场景，当前药房管理普遍存在药品分拣效率低下、误检漏检率偏高、远程运维困难及用药安全管控不足等核心痛点，传统人工管理模式难以适配智慧药房的规模化、精细化发展需求。为此，本项目依托国产边缘计算设备------地平线RDK X5的高算力特性，构建端侧实时视觉识别与OpenCLAW协议驱动的远程协同控制闭环系统，聚焦药品分拣、仓储管理、智能诊断及用药安全等核心场景，为智慧药房、无人药房提供高效、安全、可落地的国产化解决方案。

1.3 主要功能

系统以地平线RDK X5为核心主控，集成OpenCLAW控制框架与YOLOv5-lite视觉识别模型，结合大语言模型实现智能诊断与自然语言交互 ，通过六轴机械臂（5轴运动控制+1轴夹爪）完成药品巡检、识别、取放及处方生成 等全流程自动化操作，具备本地离线运行与互联网远程控制双重能力，适配复杂药房环境的多样化需求。

系统融合激光雷达与摄像头实现动态避障和自主导航，针对儿童靠近等突发场景可实现实时预警与紧急制动，大幅提升人机共融安全性。结合大语言模型对药品禁忌、剂量配伍的语义理解能力，实现用药安全双重校验，规避用药风险。

系统支持命令触发与定时任务双模式，可自主完成药房巡检、库存管理及过期药品清除；支持自然语言交互，自动生成处方报告与出库记录，构建全流程可追溯体系，满足医药行业合规要求。

机器人支持命令触发与定时任务两种运行模式，可自主完成日常巡检、药品新增与取用状态检测、药品位置与入库时间记录，以及过期药品自动清除等运维任务。当用户通过电脑端文本或飞书软件输入症状（如"我有点感冒/咳嗽了，帮我拿药"），系统将调用大模型完成智能诊断，结合YOLO识别结果精准抓取对应药品，并生成包含药品信息、服用建议的Markdown格式处方报告。所有药品出库记录（时间、药品名称等）均自动存储为MD文件，构建全流程可追溯管理体系，满足医药行业合规与审计要求。

1.4 创新性说明

本项目面向智慧医疗中药品分拣效率低、易误检漏检、用药安全校验不足、远程协同难等痛点，首次基于国产边缘计算平台地平线 RDK X5，构建 "端侧视觉大模型 + OpenCLAW 远程机械臂控制 + 大语言模型智能诊断" 的具身智能医药系统，实现药房环境下药品全流程自动化、智能化与安全化管理，主要创新如下：

1）国产高算力端侧平台深度适配，构建自主可控的计算底座

采用地平线RDK X5（搭载旭日5芯片）作为核心主控，替代传统X86架构及国外嵌入式方案，打造国产化、低功耗、强实时性的医药机器人计算核心。创新通过板端BPU硬件加速技术，将轻量化YOLOv5-lite模型高效部署于端侧，实现快速推理。

2）双控制链路创新设计，兼顾低时延与智能化

创新设计直通链路与LLM赋能链路双控制模式，针对不同复杂度任务实现差异化处理。简单固定任务通过直通链路跳过冗余解析流程，直接执行预设指令，优化了RDK X5板端算力资源分配，避免简单任务占用核心算力，实现了"低时延操作+智能化决策"的双重目标。

3）多源传感融合创新，适配复杂药房场景的安全运维需求

创新融合摄像头与二维激光雷达双传感设备，针对儿童靠近等突发危险场景，能够实现预警并避让，确保工作安全性。采用YOLOv5-lite模型部署策略，兼顾识别速度与精度，可全面感知药品类别、摆放位置、有效期及取用状态，规避人工分拣过程中的误检、漏检问题。

4）OpenCLAW协议闭环控制，实现远程协同与本地运维双向赋能

基于OpenCLAW协议构建专属远程机械臂控制框架，打通"端侧感知-指令下发-机械臂执行-状态回传"的全流程闭环，实现秒级指令响应与±2cm的精准定位，可灵活驱动六轴机械臂（5轴运动控制+1轴夹爪）完成药品取放、分拣等精细化作业。

4）大语言模型与视觉识别深度耦合，筑牢用药安全与可追溯防线

将大语言模型与视觉识别结果深度融合，支持自然语言症状输入（如"感冒、咳嗽"），自动完成智能诊断、药品推荐、禁忌排查及剂量校验，同时将所有药品出库记录（时间、药品名称、取用信息）自动归档为MD文件，构建全流程可追溯的电子台账。

5）全流程自主化任务引擎，赋能无人化药房落地应用

设计命令触发与定时任务双模式任务引擎，机器人可自主完成每日巡检、库存盘点、过期药品清除、药品位置更新等日常运维任务，结合多源传感融合与动态避障能力，无需人工过多介入，为无人药房、智慧药房的规模化落地，提供了兼具国产化、高可靠性与高实用性的具身智能解决方案。

二、需求分析

2.1 开发目标

为解决智慧药房的效率低、误检漏检、远程运维难、用药安全不足等痛点，项目聚焦于构建一套国产化、全流程自动化的具身智能药房系统。

项目基于地平线RDK X5国产边缘计算平台，替代传统X86/国外方案，构建低功耗、强实时的机器人控制底座，确保核心技术的自主可控与数据本地化；其次，项目突破关键性能指标，从速度、精度、稳定性上全面超越人工，解决分拣效率低、误检漏检率高的根本问题；最后，项目打造无人化运维能力，使机器人能自主执行巡检、盘点、过期药品清除等日常任务，满足智慧药房规模化、精细化的发展需求。

2.2 竞品分析

本作品对标市场上主流的医疗管理与智慧药房系统：如医院信息系统（HIS）、自动化发药机、智能药柜（ADC）、处方前置审核系统等，它们通常具备药品库存管理、处方调剂、用药审核等核心功能。然而，上述系统多依赖大型固定设备或医院内部局域网，缺乏端侧智能识别、自主移动抓取与用药安全语义审核的一体化能力，在药品误检漏检、远程运维、无人值守等场景存在明显短板。

与传统的人工药物分拣相比，本作品的优势有：

1. 面向医院、连锁药店及医药流通企业，无人化、智能化药房需求持续增长。

2. 同类产品功能有重叠，但全栈集成的直接竞品较少，差异化优势突出。

3. 端侧视觉、大模型诊断、自主导航与远程控制一体化闭环，填补"可移动、能理解、会校验"的空白。

4.传统人工管理模式难以满足药品追溯与GSP合规要求，智能化技术替代已成必然。

2.3 面向用户

本系统设计核心面向三类用户人员，分别是药房一线工作人员（负责药品分拣、日常巡检、处方核对）、药房运维管理人员（负责系统调试、设备维护、库存管控）及医疗相关值守人员（负责远程运维、用药咨询与应急处置）。面向此类用户，系统操作便捷、适配性强，无需复杂专业操作，即可通过自然语言或预设指令操控设备，大幅减少人工工作量；离线运行模式保障无外网环境下正常作业，远程控制功能打破空间限制，让药房管理更高效、安全、省心，真正适配智慧药房、无人药房的实际使用需求。

三、技术方案

3.1 硬件组成

地平线RDK X5是一款面向具身智能、工业视觉与边缘机器人场景的高性能开发套件，搭载旭日5异构智能芯片，配备多核CPU与10TOPS高算力BPU，可高效部署视觉识别、轻量化大模型等AI算法，板载大容量内存并配备千兆网口、MIPI、CAN-FD、Wi-Fi6等丰富外设接口，扩展性强劲。设备预装Linux系统，深度适配ROS2、机器视觉开源框架，兼顾实时运动控制与端侧AI推理能力，功耗可控、开发便捷，广泛适用于机械臂控制、移动机器人、工业检测及智能边缘终端研发。

机械臂本体：六轴机械臂，由金属构件与6个ST-3215伺服电机，底层核心运动控制板ESP32，60W功率电源构成（运动轴：含5轴运动模块+1轴夹爪）。

传感设备：镭神N10P二维激光雷达（配套支架）、AI语音识别模块（训练神经网络DNN以识别设定语音）、摄像头（USB接口，分辨率640*480）。

镭神 N10P 二维激光雷达

外观与尺寸：圆柱形设计，直径 52mm，高度 36.1mm，体积小，适合嵌入式机器人搭载。

核心功能：作为环境感知的核心传感器，通过旋转发射激光，实现二维平面的距离探测与地图构建，可用于机器人的避障、定位与环境建模。

适配场景：搭配支架可直接集成到 ROS 系统中，输出点云数据，为机械臂 / 移动机器人提供精准的空间位置与障碍物信息。

Yahboom AI 语音识别模块

外观与接口：板载麦克风、复位按键、IIC通信接口，支持 5V 供电，集成度高。

核心功能：内置训练好的 DNN（深度神经网络）模型，可识别预设语音指令，实现语音交互。用户可通过训练自定义语音指令，为机器人提供自然语言交互入口。

适配场景：直接对接机器人主控，将语音信号转换为控制指令，是人机交互的关键模块。

30 万像素 USB 摄像头

外观与参数：小型模组化设计，USB 接口，分辨率为 640×480，搭配 50cm 数据线。

核心功能：作为视觉感知设备，采集环境图像数据，用于药品识别、物体定位与场景理解。可直接接入 ROS 系统，为后续的目标检测、匹配任务提供视觉输入。

适配场景：低功耗、易集成，适合作为机器人的 "眼睛"，完成基础的视觉信息采集任务。

药品置物架：木质2*4药品放置盒与4层台阶式药品摆放架，用于药品的摆放与分类。

其它电路连接、拓扑关系：网线、USB数据线、固定支架（用于安装摄像头、激光雷达及机械臂）、电源插排等。

3.2 系统设计图

基于大语言模型（LLM）的智能机械臂药品取放系统的完整工作流程，核心框架是 OpenClaw，整体分为四个阶段：

多源输入层：系统接收三类输入信息：① 环境感知数据（摄像头、激光雷达等传感器采集的药品、场景图像）；② 语言指令（用户通过手机 APP、网页或设备输入的自然语言，如 "I have a cold"）；③ 机械臂 / 场景的状态数据。

ROS 环境感知层：传感器数据通过ROS Publisher发布到ROS Topic，再由ROS Subscriber接收并处理，生成结构化的Sensor Data，为后续决策提供环境状态信息。

OpenClaw 与 LLM 决策层：系统以用户指令和环境数据为输入，向 LLM（支持通义千问、Gemini、OpenAI 等多种 API）发起任务请求："What should the robot do to {task}?"。

数据经LLM Tokenizer处理后，LLM 执行任务拆解：先扫描库存药品、匹配对应药品，再将任务转化为可执行的动作单元，随后进行可行性评估。

评估完成后，一方面输出执行报告，另一方面触发Action Start。

机械臂执行层：决策输出被转换为包含位移（Δx）、旋转（Δθ）和夹爪控制（ΔGrip）的 6D 机械臂动作指令，驱动机械臂完成药品抓取、取放等操作，最终完成用户指定的任务。

3. 3 代码功能实现和模型训练

Python通信代码

该代码实现上位机RDK与下位机机械臂控制器之间的实时指令交互，通过串口协议解析JSON格式的6D指令，确保Δx、Δθ、ΔGrip参数精确映射至伺服电机控制信号，并经PID闭环校验。

底层运动控制代码

该代码基于ESP32-Wroom，采用Arduino平台实现底层舵机PWM信号生成、逆运动学解算以及实时位姿数据采集，实现串口信息收发解析，并通过卡尔曼滤波对关节角度与末端位姿进行噪声抑制，确保机械臂能从轴坐标系映射到笛卡尔空间，并能根据上位机的控制指令完成指定的动作。

Yolo模型训练代码

采取训练参数为epoch=300、batch_size=128、img_size=640、optimizer=SGD、lr=0.01，训练过程中引入Mosaic数据增强，有效缓解小目标漏检与边界模糊问题；最终在自建测试集上实现平均推理耗时仅10.7ms，单帧处理效率达92.7FPS，满足实时交互的严苛响应要求，为后续语音反馈与机械臂协同控制奠定坚实基础。

PC端推理程序实现代码

该代码完成对Yolov5lite的PT模型进行推理，支持USB摄像头实时帧捕获、药品标签OCR校验及置信度阈值动态调整，并对目标药品进行画框标定、置信度显示，同时将识别结果结构化为JSON格式，实时输出。

Yolov5-lite 板上BPU推理程序

该程序针对边缘设备优化，采用硬件BPU加速推理，将YOLOv5-lite模型量化为INT8精度，在RDK X5板卡上上实现20FPS实时目标检测；通过自定义Anchor匹配机制提升小目标识别率。

雷达参数设置

采用镭神N10P激光雷达参数设置为：测距范围0.1--30 m，角分辨率为1°，扫描频率1 Hz，输出点云数据帧率稳定；通过ROS2节点封装雷达驱动，通过网口实现与上位机的连接，并实时发布/scan话题，为机械臂提供高精度环境感知与动态避障能力。

语音控制与播报代码

基于语音识别模型的基础上，语音模块会自动返回参数值，程序通过IIC总线将识别结果传入主控MCU，执行对应的指令，并驱动模块完成播报；支持自定义唤醒词与指令集，响应延迟低于300ms。

动作控制字典（部分）

创建了多个代码字典，以JSON格式定义26个标准药品抓取动作，每个动作包含六维位姿、夹爪开合角度、运动速度曲线及安全约束条件，配合视觉检测结果，实现快速动作映射与平滑轨迹插值；字典支持运行时热加载，可动态扩展新药品类别，且所有动作均通过MoveIt!进行运动学验证与碰撞检测，稳定可靠。

3. 4开源代码和引用描述

1. 机械臂图纸、控制相关开源内容（RoArm-M3）

①引用内容：github RoArm-M3 下位机开源代码

引用来源： https://www.waveshare.net/wiki/%E6%96%87%E4%BB%B6:RoArm-M3_example20251206.zip

该开源内容提供了RoArm-M3机械臂的硬件参数、基础控制代码及通信协议说明，为项目六轴机械臂（5轴运动控制+1轴夹爪）的开发提供了核心硬件适配与控制基础。

②引用内容：RoArm-M3 ROS2 组件开源项目

RoArm-ROS2组件

引用来源： https://github.com/waveshareteam/roarm_ws

该项目提供了机械臂在Ubuntu22.04系统上采用ROS2 Humble开发所需的工具链和模型等。

③引用内容：RomArm-M3机械臂图纸文件

机械臂模型

引用来源：https://www.waveshare.net/wiki/%E6%96%87%E4%BB%B6:RoArm-M3_STEP_260310.zip

使用说明：严格遵循该开源内容的开源协议，在其核心控制逻辑，仅根据项目需求，适配OpenCLAW远程控制框架，优化机械臂运动轨迹与取放精度，确保与系统整体控制闭环兼容。

2. ROS2 的 MOVEIT 组件

引用内容：ROS2 开源生态中的 MOVEIT 运动规划组件（开源协议：Apache 2.0），该组件是ROS2生态中成熟的运动规划框架，集成了多种运动规划算法，为机器人运动控制提供了标准化的开发接口与解决方案，可快速实现机械臂的路径规划、运动控制与状态反馈功能。

ROS2 MOVEIT Rviz界面

引用来源： https://github.com/moveit/moveit2

使用场景及用途：作为机械臂运动规划的核心组件，与地平线RDK X5主控端、OpenCLAW控制框架协同工作，负责机械臂的路径规划、关节运动控制及碰撞检测，结合多源传感融合的避障信息，实现机械臂在狭小药房环境中的灵活运动，避免与货架、障碍物及人员发生碰撞，同时保障药品取放过程的平稳性与精准度。

使用说明：基于ROS2 Humble版本部署MOVEIT组件，适配项目六轴机械臂的运动参数，调用组件中的路径规划算法（如A*、DWA等），结合系统动态避障需求进行参数优化，未修改组件核心源码，仅通过配置文件适配项目场景，确保组件与系统其他模块协同稳定运行。

3. YOLOv5-lite 视觉识别模型

引用内容： YOLOv5-lite 开源视觉识别模型（开源协议：AGPL-3.0），该模型是YOLOv5系列的轻量化版本，具备体积小、推理速度快、识别精度高的优势，适用于边缘设备端侧部署，广泛应用于实时目标检测场景。

Yolov5-lite

引用来源： https://github.com/ppogg/YOLOv5-Lite

使用场景及用途：作为系统端侧实时视觉识别的核心模型，部署于地平线RDK X5主控端，用于药品的实时识别、类别区分、位置定位及有效期检测。通过板端量化技术将该模型的ONNX格式转换为UINT8精度的bin权重，充分利用RDK X5板端BPU硬件加速优势，实现92%的识别准确度、≤43ms的推理延迟及19FPS的优化帧率，为药品分拣、巡检及智能取药提供精准的视觉感知支撑。

使用说明：严格遵循AGPL-3.0开源协议，基于原始开源模型，针对医药场景的药品特征（如药品包装盒、说明书等）进行数据集微调与模型优化，提升药品识别的精准度与适配性，未修改模型核心网络结构，所有优化均基于开源框架进行，确保模型开源合规性。

4. OpenCLAW 开源框架

OpenCLAW Agent框架

引用内容： OpenCLAW 开源AI智能体执行框架（曾用名Clawdbot、Moltbot），由奥地利开发者Peter Steinberger于2025年11月发起，开源代码托管于GitHub平台，遵循MIT开源协议，是社区驱动的全平台开源项目，核心定位为AI执行网关，负责将指令转化为设备实际操作。

引用来源： GitHub - openclaw/openclaw: Your own personal AI assistant. Any OS. Any Platform. The lobster way. 🦞 · GitHub

使用场景及用途：作为系统远程机械臂控制的核心框架，与地平线RDK X5主控端、ROS2的MOVEIT组件及RoArm-M3机械臂协同工作，构建"端侧感知-指令下发-机械臂执行-状态回传"的全流程闭环。依托其开源特性与跨平台优势，实现机械臂秒级指令响应与±2cm的高精度定位，同时支撑系统本地离线运行与互联网远程控制双模式，为药品取放、分拣、远程运维等核心功能提供稳定的控制支撑，打通大语言模型指令与机械臂实际操作的衔接通道。

****开源代码使用说明：****严格遵循MIT开源协议，该协议允许免费使用、商用及二次开发，兼容性强。基于OpenCLAW开源核心源码，针对本项目医药场景及六轴机械臂参数，优化指令下发与状态回传的通信逻辑，适配机械臂取放药品的精细化需求，未修改框架核心架构与核心执行逻辑，仅通过配置文件适配系统整体控制流程，确保框架与RDK X5主控端、MOVEIT组件协同稳定运行，同时保障开源使用合规性。

综上，本项目所用开源代码与组件均来源明确、合规使用，所有修改与优化均基于项目实际应用需求，未侵犯开源作者权益，同时通过合理适配与优化，使开源内容与项目核心技术深度融合，有效提升了项目开发效率与系统整体性能，确保项目合规、稳定、高效落地。

3.5 作品安装说明

本作品安装需完成硬件组装与软件部署两部分操作，全程遵循"先硬件后软件、先基础后核心"的原则，操作步骤清晰可落地，适配新手部署，确保系统安装后可稳定运行，具体安装说明如下：

一、硬件安装

硬件安装核心是完成各组件与地平线RDK X5主控端的连接、固定及调试，确保各硬件通信正常、运行稳定，所有硬件需提前检查外观完好、无损坏，具体步骤如下：

核心硬件清单（必装）

需提前准备以下硬件设备，确保型号匹配、参数达标，避免影响系统兼容性：

•核心主控：地平线RDK X5开发板（搭载旭日5芯片，含电源适配器、散热片）；

•机械臂：RoArm-M3六轴机械臂（含5轴运动模块+1轴夹爪，配套连接线）；

•传感设备：二维激光雷达（配套支架）、高清摄像头（支持USB/CSI接口，适配RDK X5）；

•辅助设备：网线、USB数据线、固定支架（用于安装摄像头、激光雷达及机械臂）、电源插排。

注意事项：

机械臂的工作电压范围7-12.6V，尽量使用标配的12V 5A电源供电，也可使用3S锂电池供电。

RDK X5开发板提供一路 USB Type C 接口(接口1)，作为供电接口，需要使用支持5V/5A的电源适配器为开发板供电。将电源适配器接入开发板后，绿色电源指示灯亮起，说明开发板供电正常，3.1.0版本后，橙色状态指示灯闪烁，说明系统运行正常。

硬件组装与连接步骤

RDK X5组件

步骤1：固定核心组件。将地平线RDK X5开发板固定在支架上，安装散热片（避免运行时过热），连接电源适配器，确保电源接口接触牢固，暂不开启电源。

机械臂、雷达等安装位置

步骤2：机械臂安装与连接。将RoArm-M3机械臂固定在指定位置，通过USB数据线将机械臂控制接口与RDK X5的USB接口连接，确保数据线插紧，避免松动导致通信中断；检查机械臂关节灵活性，确保夹爪可正常开合。

步骤3：传感设备安装与连接。将二维激光雷达通过支架固定在机械臂上方（确保检测范围无遮挡），通过网线与RDK X5的以太网接口连接；将高清摄像头固定在机械臂前端（对准药品摆放区域），通过USB/CSI接口与RDK X5连接，调整摄像头角度，确保拍摄清晰、无盲区。

步骤4：硬件检查。检查所有硬件连接是否牢固，确认机械臂、激光雷达、摄像头均与RDK X5正常连接，无松动、脱落情况；检查各硬件电源接口，确保供电线路正常，无短路隐患。

步骤5：通电测试。开启RDK X5电源，观察开发板指示灯是否正常亮起；查看机械臂、激光雷达、摄像头是否正常启动（机械臂初始化、激光雷达转动、摄像头正常成像），若出现设备未启动情况，检查连接线路或重启设备。

硬件安装注意事项

•安装过程中避免用力插拔接口，防止损坏RDK X5开发板及各硬件接口；

•激光雷达与摄像头安装需避免遮挡，确保检测范围覆盖药房作业区域，摄像头拍摄角度需对准药品货架，避免反光影响识别精度；

•机械臂安装需水平固定，确保运动过程中无晃动，避免影响取放药品的精准度；

•所有硬件通电前需再次检查连接，避免短路、接反电源等情况，防止设备损坏。

二、软件安装与部署

软件部署核心是在RDK X5主控端安装系统依赖、开源组件及项目核心程序，确保各软件模块协同运行，适配项目功能需求，具体步骤如下（基于Ubuntu 22.04系统，适配RDK X5板端）：

1. 软件环境准备

提前在RDK X5上安装Ubuntu 22.04系统（官方适配版本），确保系统联网，开启SSH远程连接（方便后续调试），更新系统软件包，执行以下命令：

|-------------------------------------------------------------------------------------|
| bash sudo apt update && sudo apt upgrade -y sudo apt install ssh net-tools vim -y |

2. 核心依赖与开源组件安装

按顺序安装项目所需开源组件及依赖库，确保版本兼容，具体步骤如下：

（1）安装ROS2 Humble版本（适配MOVEIT组件）

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| bash # 配置ROS2软件源 sudo apt install software-properties-common sudo add-apt-repository universe sudo curl -sSL https://raw.githubusercontent.com/ros/rosdistro/master/ros.key -o /usr/share/keyrings/ros-archive-keyring.gpg echo "deb $arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/ros-archive-keyring.gpg$ http://packages.ros.org/ros2/ubuntu $(. /etc/os-release \&\& echo$ UBUNTU_CODENAME) main" | sudo tee /etc/apt/sources.list.d/ros2.list > /dev/null # 安装ROS2 Humble核心包 sudo apt update sudo apt install ros-humble-desktop -y # 配置环境变量 echo "source /opt/ros/humble/setup.bash" >> ~/.bashrc source ~/.bashrc |

（2）安装MOVEIT组件（ROS2 Humble适配版本）

|------------------------------------------------------------------------------------------------------|
| bash sudo apt install ros-humble-moveit -y # 验证安装，无报错即安装成功 ros2 launch moveit_bringup demo.launch.py |

（3）安装YOLOv5-lite依赖库

（4）安装OpenCLAW开源框架

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| bash # 下载OpenCLAW开源代码（从GitHub获取） git clone https://github.com/petersteinberger/OpenCLAW.git cd OpenCLAW # 安装依赖并编译 pip3 install -r requirements.txt mkdir build && cd build cmake .. make sudo make install |

（5）安装板端BPU加速依赖（适配RDK X5）

|------------------------------------------------------------------------------------------------------|
| bash # 安装地平线RDK X5板端加速库 sudo apt install horizon-bpu-sdk -y # 验证BPU加速功能，无报错即安装成功 hb_mapper --version |

3. 项目核心程序部署

步骤1：将项目核心代码（含视觉识别优化代码、机械臂控制逻辑、多源传感融合代码等）拷贝至RDK X5开发板（可通过SSH、U盘拷贝），存放路径建议为：/home/root/medical_system。

步骤2：部署YOLOv5-lite量化模型。将优化后的UINT8精度bin权重文件（ONNX模型转换后）拷贝至项目models目录下，修改配置文件（config.yaml），指定模型路径、识别阈值等参数，适配药品识别场景；同时配置固定指令识别参数，确保直通链路的触发精度。

步骤3：配置OpenCLAW与机械臂通信。修改OpenCLAW配置文件（claw_config.json），设置机械臂端口、通信速率、定位精度等参数，确保与RoArm-M3机械臂适配，打通指令下发与状态回传通道；同时配置双控制链路的指令格式，确保两种链路的指令均可正常解析执行。

步骤4：配置MOVEIT运动规划参数。基于项目机械臂参数，修改MOVEIT配置文件，设置路径规划算法、关节运动限制、碰撞检测参数，适配狭小药房环境的运动需求；同时适配双控制链路的动作规划需求，确保预设动作与智能动作组合均可正常规划执行。

步骤5：配置双控制链路参数。修改链路配置文件（link_config.yaml），设置固定指令清单、链路切换阈值、算力分配比例等参数，确保决策层可精准识别指令类型、快速完成链路分配，优化链路切换效率与算力分配合理性。

步骤6：启动项目程序，执行以下命令，验证各模块运行情况：

|-----------------------------------------------------------------------------------------|
| bash cd /home/root/medical_system # 启动核心程序（后台运行） nohup python3 main.py & # 查看运行日志，确认无误 |

3.6 自主知识产权技术说明

本项目所用开源代码与组件均来源明确、合规使用，所有修改与优化均基于项目实际应用需求，未侵犯开源作者权益，同时通过合理适配与优化，使开源内容与项目核心技术深度融合，有效提升了项目开发效率与系统整体性能，确保项目合规、稳定、高效落地。

四、方案实现

本方案实现过程围绕"国产化适配、技术融合、场景落地"核心目标，以地平线RDK X5为主控核心，分四大阶段推进，逐步完成硬件部署、软件开发、系统调试与优化落地，确保双控制链路、视觉识别、机械臂控制等核心功能正常实现，适配智慧药房实际应用场景，具体步骤如下：

一、前期准备阶段

本阶段核心是完成需求梳理、硬件选型与开发环境搭建，为后续实现奠定基础，确保开发方向贴合实际需求。

1. 需求细化与方案确认

明确智慧药房核心需求，细化系统功能指标：药品识别精度≥92%、机械臂定位精度±2cm、简单任务响应延迟≤100ms、复杂任务语义解析准确率≥90%，确定双控制链路（直通链路+LLM赋能链路）的核心逻辑，明确各模块协同关系，形成详细的实现方案文档，确认硬件选型、开源组件版本及开发流程。

2. 硬件选型与采购

按照国产化、高算力、适配性原则，采购核心硬件：地平线RDK X5开发板（搭载旭日5芯片）、RoArm-M3六轴机械臂、二维激光雷达、高清摄像头（USB/CSI接口）及辅助配件（网线、USB数据线、固定支架），逐一检查硬件外观、参数，确保与方案要求一致，无损坏、无参数偏差。

3. 开发环境搭建

在RDK X5开发板上安装Ubuntu 22.04系统（官方适配版本），开启SSH远程连接与root权限，更新系统软件包；搭建核心开发环境，安装Python 3.8+、ROS2 Humble版本、CMake等基础依赖，配置地平线BPU加速环境，确保板端算力可正常调用。

二、硬件部署与调试阶段

本阶段完成硬件组装、连接与调试，确保各硬件设备正常通信，为软件开发提供稳定的硬件支撑，重点适配双控制链路的指令传输需求。

1. 硬件组装与连接

按规范完成硬件组装：将RDK X5开发板固定在支架上并安装散热片，连接电源适配器；将RoArm-M3机械臂固定后，通过USB数据线与RDK X5 USB接口连接；将二维激光雷达通过支架固定在机械臂上方，通过网线连接RDK X5以太网接口；将高清摄像头固定在机械臂前端，通过USB/CSI接口与RDK X5连接，调整摄像头角度，确保拍摄无盲区、激光雷达检测无遮挡。

2. 硬件通信调试

开启所有硬件电源，通过命令行检测各硬件连接状态：确认机械臂初始化正常、夹爪可灵活开合；验证激光雷达点云数据可正常采集、无噪声干扰；确认摄像头成像清晰、可正常传输图像数据；测试RDK X5与各硬件的通信稳定性，避免出现数据中断、连接松动等问题，确保硬件闭环可正常运行。

3. 硬件参数校准

校准机械臂定位参数，通过OpenCLAW框架下发测试指令，调整关节运动参数，确保机械臂定位精度达到±2cm；校准摄像头与激光雷达的融合参数，优化感知范围，确保动态避障功能可正常触发；校准RDK X5板端算力分配参数，为后续软件模块运行预留充足算力。

三、软件开发与集成阶段

本阶段是方案实现的核心，按"感知层-控制层-决策层-双链路-交互层-追溯层"的顺序，完成各模块开发与集成，确保核心功能落地。

1. 感知层开发

基于YOLOv5-lite模型，完成药品识别与固定指令识别功能开发：收集药房常见药品图像，构建专属训练集，通过数据增强优化模型泛化能力，基于PyTorch框架完成模型训练；将YOLOv5-lite模型通过hb_mapper工具量化为UINT8精度bin权重，适配RDK X5 BPU加速，优化推理延迟至≤43ms、帧率≥19FPS；开发固定指令识别算法，预设复位、开灯等简单任务的指令规则，为直通链路提供触发支撑；集成激光雷达与摄像头数据融合算法，实现环境建图、障碍物检测功能。

2. 控制层开发

基于OpenCLAW开源框架与ROS2 MOVEIT组件，完成机械臂控制功能开发：适配RoArm-M3机械臂参数，优化指令下发与状态回传逻辑，实现秒级指令响应；构建类VLA控制架构与动作词典，将机械臂基础动作模块化封装，适配双控制链路的动作调用需求；集成动态避障与紧急制动逻辑，结合激光雷达数据，确保机械臂在狭小环境中灵活运动、避免碰撞。

3. 决策层与双控制链路开发

开发决策层核心逻辑，实现指令分类与链路分配：识别用户输入指令类型，将固定简单指令分配至直通链路，直接调用预设指令执行；将复杂指令分配至LLM赋能链路，调用大语言模型完成语义解析、任务拆解，结合视觉识别结果与动作词典，生成标准化控制指令；优化链路切换逻辑，确保切换精准、无延迟，平衡算力分配，避免资源抢占。

4. 交互层与追溯层开发

开发交互层功能，支持电脑端文本、飞书软件自然语言输入，简化用户操作；开发处方生成模块，结合大语言模型与视觉识别结果，自动生成Markdown格式处方报告；开发追溯层功能，自动记录药品出库、巡检、链路执行等全流程数据，归档为MD文件，满足医药行业合规要求。

5. 软件集成

将各模块进行集成，打通感知层、控制层、决策层、交互层与追溯层的通信链路；适配双控制链路与各开源组件（ROS2 MOVEIT、OpenCLAW、YOLOv5-lite）的兼容性，解决组件间的通信冲突、资源抢占问题；编写主程序，实现各模块协同运行，确保系统可正常启动、功能可正常调用。

四、系统调试与优化落地阶段

本阶段通过分模块调试、全流程调试，发现并解决问题，优化系统性能，确保系统满足实际应用需求，实现规模化落地适配。

1. 分模块调试

逐一调试各模块功能：测试视觉识别模块，验证药品识别精度、固定指令识别准确率，优化识别算法，减少误识别；测试机械臂控制模块，验证定位精度、动作连贯性，优化运动轨迹与指令响应速度；测试双控制链路，验证链路切换精度、简单任务延迟、复杂任务解析准确率，优化链路调度逻辑；测试交互层与追溯层，验证处方生成、数据归档功能，确保符合合规要求。

2. 全流程调试

模拟智慧药房实际场景，进行全流程测试：输入自然语言症状，验证智能诊断、药品取放、处方生成全流程；测试定时任务与命令触发模式，验证自主巡检、库存管理、过期药品清除功能；测试本地离线运行与远程控制功能，验证无外网环境下的稳定性与远程操作的流畅性；测试动态避障与紧急制动功能，验证人机共融安全性。

3. 性能优化与落地适配

针对调试中发现的问题，进行针对性优化：优化RDK X5板端算力分配，降低各模块时延；优化双控制链路的切换逻辑，提升响应效率；优化机械臂定位精度与视觉识别算法，提升系统稳定性；完善操作手册，适配药房用户的使用习惯，完成系统部署落地前的最终优化，确保系统可直接投入智慧药房、无人药房实际应用。

五、测试报告

硬件环境：地平线RDK X5开发板（旭日5芯片）、RoArm-M3六轴机械臂、二维激光雷达、高清USB摄像头、固定支架、电源适配器、网线及USB数据线。

软件环境：Ubuntu 22.04（RDK X5官方适配版）、ROS2 Humble、Python 3.8+、OpenCLAW框架、YOLOv5-lite模型、地平线BPU加速 SDK、飞书客户端（交互测试用）。

场景环境：模拟智慧药房场景（含药品货架、狭小通道、模拟人员干扰），分为在线模式与离线模式两种测试场景。

硬件方面，启动摄像头，系统可以准确识别药品类别、位置，识别精度达到92%以上。随即下发取放指令，机械臂精准定位后平稳取放药品，定位精度达到±2cm，夹爪开合力度适中，未出现药品滑落或挤压变形现象。移动障碍物至机械臂运动区域，系统能实时检测并避障。

机械臂运动控制放置与夹取

视觉模型的训练效果

（1）硬件设备兼容性测试

|-------------------|---------------------------------|------------------------|-------------------------|----------|
| 测试项 | 测试方法 | 预期结果 | 实际结果 | 测试结论 |
| RDK X5与机械臂通信 | 通过OpenCLAW框架下发测试指令，反复测试100次通信连接 | 通信稳定，无中断、无指令丢失，机械臂正常响应 | 通信稳定，100次测试无中断，指令响应及时 | 合格 |
| RDK X5与激光雷达/摄像头通信 | 启动传感设备，持续采集数据3小时，观察数据传输情况 | 数据采集正常，无噪声干扰、无数据中断 | 数据采集稳定，激光雷达点云清晰，摄像头成像正常 | 合格 |
| 硬件协同运行 | 同时启动所有硬件，执行简单取药任务，测试10次 | 各硬件协同无冲突，任务正常完成 | 硬件协同顺畅，10次任务均顺利完成，无卡顿 | 合格 |

（2）感知层功能测试

|---------|-------------------------------------|-------------------|------------------------------|----------|
| 测试项 | 测试方法 | 预期结果 | 实际结果 | 测试结论 |
| 药品识别精度 | 选取100种常见药房药品，每种药品测试10次，统计识别准确率 | 识别精度≥92% | 实际识别精度93.2%，误识别主要为相似包装药品（2次） | 合格 |
| 模型推理延迟 | 通过板端工具监测YOLOv5-lite模型推理时间，测试50次取平均值 | 推理延迟≤43ms | 平均推理延迟40.8ms，符合预期 | 合格 |
| 固定指令识别 | 下发复位、开灯、机械臂归零等6种固定指令，每种测试20次 | 识别准确率100%，触发无延迟 | 识别准确率100%，平均触发延迟35ms | 合格 |
| 传感融合 | 在模拟药房通道设置障碍物，启动机械臂移动，测试20次 | 可精准识别障碍物，及时避障，无碰撞 | 20次测试均成功避障，避障响应时间≤500ms | 合格 |

（3）控制层功能测试

|---------|---------------------------------|-----------------|--------------------------|----------|
| 测试项 | 测试方法 | 预期结果 | 实际结果 | 测试结论 |
| 机械臂定位精度 | 指定10个不同坐标点，机械臂依次移动定位，测量偏差值 | 定位精度±2cm | 平均偏差1.7cm，最大偏差1.9cm，符合标准 | 合格 |
| 指令响应速度 | 下发取药、放药等指令，测试50次，统计响应时间 | 指令响应≤1秒 | 平均响应时间0.8秒，无延迟、无卡顿 | 合格 |
| 动作词典适配性 | 调用动作词典中15种基础动作，组合执行复杂取药任务，测试15次 | 动作组合流畅，任务执行无误 | 15次任务均顺利完成，动作衔接顺畅 | 合格 |
| 紧急制动功能 | 模拟人员靠近机械臂作业区域，测试10次紧急制动触发 | 1秒内触发制动，机械臂停止运行 | 平均制动响应时间0.7秒，制动可靠 | 合格 |

六、应用前景

一、行业发展背景与政策支撑

当前，我国智慧医疗行业正处于从试点探索向规模化落地的关键阶段，"健康中国2030"战略深入推进，医药卫生体制改革持续深化，为具身智能医药系统的发展提供了良好的政策环境与市场土壤。随着人工智能、边缘计算、物联网等新一代信息技术与医药行业的深度融合，传统药房面临人力成本攀升、服务效率不足、用药安全隐患、库存管理粗放等痛点，亟需智能化、自动化解决方案实现转型升级。

政策层面，国家"十四五"规划明确提出"加快数字社会建设步伐，推进智慧医疗发展"，《"健康中国2030"规划纲要》中期评估报告指出需强化医疗健康数据互联互通与安全共享；北京出台《北京市支持医疗健康领域人工智能应用发展行动计划(2026-2027年)》，明确探索适宜基层医疗卫生机构的人工智能应用场景；同时，医疗信创作为国家"2+8+N"信创战略八大重点行业之一，要求2027年底前完成医疗领域芯片、操作系统等关键环节100%信创替代，为国产化硬件适配的智能医药系统提供了明确政策导向。此外，国家药监局正建立人工智能医疗器械快速审评通道，缩短创新产品上市周期，进一步推动智能医药设备的商业化落地。

本系统以地平线RDK X5国产开发板为主控核心，依托国产化芯片与开源组件，完美契合国家医疗信创与智慧医疗发展政策，既解决传统药房的核心痛点，又响应国产化替代号召，具备明确的政策适配性与发展合理性。

二、系统核心优势与应用场景拓展

本系统相较于传统人工药房及普通智能药房设备，核心优势集中在"国产化、低时延、高精度、全流程"四大维度，为其广泛应用奠定了坚实基础：一是国产化适配，依托地平线RDK X5旭日5芯片及国产开源组件，实现核心硬件与软件的自主可控，契合医疗信创政策要求，避免核心技术"卡脖子"风险；二是双控制链路设计，直通链路实现简单任务毫秒级响应，LLM赋能链路实现复杂指令智能化解析，平衡效率与智能性，适配不同场景需求；三是高精度与高可靠性，药品识别精度达93. %、机械臂定位精度±1.7cm，结合多源传感融合避障技术，确保药品取放安全、精准，降低用药风险；四是全流程自动化，覆盖药品识别、取放、分拣、巡检、库存管理、处方生成、全流程追溯等核心环节，可大幅减少人工干预，降低人力成本，同时实现"来源可追、去向可查"，符合医药行业合规要求。

三、行业发展趋势与系统未来迭代方向

未来，智慧医药领域将呈现三大发展趋势，为系统提供广阔的发展机遇：一是国产化替代加速，医疗信创政策推动下，核心硬件、软件的自主可控成为行业刚需，具备国产化优势的智能设备将占据市场主导地位；二是场景融合化，智能药房将不再局限于药品管理，逐步与线上问诊、慢病管理、健康监测等服务融合，打造全周期健康管理生态；三是技术智能化升级，具身智能、大语言模型、多源传感融合等技术的持续迭代，将推动智能药房实现更精准的识别、更灵活的操作、更智能的决策，适配更复杂的应用场景；四是合规化要求提升，药品全流程追溯、数据安全保护将成为行业标配，推动智能药房向合规化、标准化方向发展。

四、前景总结

基于地平线RDK X5的具身智能医药系统，契合国家智慧医疗与医疗信创政策导向，精准解决传统药房的核心痛点，具备"国产化、智能化、全流程、高可靠"的核心优势，可广泛应用于社区药房、医院药房、无人值守药房、基层医疗等多个场景，市场潜力巨大、发展空间广阔。

未来，随着行业技术的持续迭代、政策支持的不断加强、市场需求的持续释放，系统通过持续优化升级、拓展应用场景、深化生态合作，有望在智慧医药领域实现规模化落地，成为推动传统药房转型升级、提升基层医疗服务能力、保障用药安全的核心力量。同时，系统的推广应用，将进一步推动具身智能技术在医药领域的普及，助力我国智慧医疗产业高质量发展，实现经济效益与社会效益的双重提升。

参考文献

$1$ 杨云龙.药房装上"智慧大脑"，机械臂秒配药 $N$ .长沙晚报,2026-04-24(003).

$2$ 陈杰, 冯丽, 等. 准确识别门急诊药品包装盒的YOLO-V5深度学习预测模型的建立及初步应用 $J$ . 医药导报, 2024, 43(4): 78-83.

$3$ 魏坤. 机械臂混杂场景动态路径规划与多目标识别研究 $D$ . 哈尔滨工业大学, 2019.

$4$ 张睿, 蒋洪迅, 等. 医学大语言模型的研究进展与应用 $J$ . 中国循证医学杂志, 2025, 25(6): 681-688.