【RK摄像头使用指南】

RK摄像头使用指南

任务目的

使用RK开发板识别摄像头中的apriltag标签位置姿态。在机械臂程序中通过lebai_sdk使用信号量读取RK开发板的识别结果。

前置知识

路由器及网络配置、Linux使用、AprilTag测距原理、Lua编程、lebai sdk开发

配置RK开发板

摄像头安装

将摄像头固定到手臂末端，将USB线沿手臂固定好并将USB插头接入RK开发板。

网络配置

需要准备好一个路由器，并登录路由器的后台管理系统，确保其正常工作。

准备3根网线,一根有网的网线接入路由器wan口，另一根网线路由器和RK板连接，最后一根分别接入手臂控制箱与路由器。

在路由器的后台管理系统中分别找到手臂控制箱和RK开发板的 IP地址，文档后续假设手臂控制箱的IP为 192.168.22.200 ，RK开发板的IP为 192.168.22.201 /ui/plugin，需要根据实际情况进行修改。

摄像头配置

安装插件

在浏览器中打开RK开发板的控制系统 http://192.168.22.201/ui/plugin

点击左上角的安装插件，选中cameracamera_calibraterapriltag共3个插件，点击"确定"安装插件。安装完成后，点击右侧开关，操作使能打开这3个插件

配置摄像头插件

点击camera插件的"前往插件"按钮，填写摄像头的序号index、画面的宽度width、画面的高度height，画面翻转，填写完成后点击"save"保存参数

配置视觉标定插件

准备标定板，放在摄像头显示范围内。

点击camera_calibrater插件的"前往插件"按钮，填写网络配置时获取到的手臂控制箱的IP、相机位置选择眼在手上、标定板的角点行数、标定板的角点列数、相邻角点之间的间隔长度，格子长度填写完成后点击"save"保存参数

进行视觉标定

通过示教手臂到不同位置，待摄像头画面稳定不晃动后，点击"记录点位"按钮。

持续上述步骤，直到记录的点位数量足够多，点位数量越多，结果越精准，通常需要6~20个点位。

点位采集完成后，点击标定按钮，待下方出现标定结果记录点位变为0，即为标定完成。

配置apriltag插件

点击apriltag插件的"前往插件"按钮，填写标签类型tag_family、标签尺寸tag_size、信号量signal，填写完成后点击"save"保存参数。

完成配置

恭喜，至此已完成对RK开发板的配置。

配置手臂

在浏览器中打开手臂的控制系统 http://192.168.22.200/dashboard/

点击"场景" "导入"，将上方的apriltag.zip导入进去，即可得到如图所示3个场景。

配置RK开发板参数

打开名为apriltag的场景，即上图第1个。

第1步修改变量way为signal，使用进行通信，第2步将RK开发板的IP地址赋值给camera_ip变量，第3步将配置RK开发板的apriltag插件时设置的信号量signal赋值给sid变量。

第四步可以将run_test置为true后，点击右上角的运行，会打印出找到的所有标签，并打印耗费的时间。测试完后务必将run_test置为false，后续场景中均需要以此场景为基础调用该场景里的函数。

csharp 复制代码

import cv2
import apriltag
import numpy as np

# 初始化摄像头
cap = cv2.VideoCapture(0)

# 初始化AprilTag检测器
detector = apriltag.Detector()

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # 转换为灰度图像
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 检测AprilTag
    tags = detector.detect(gray)

    for tag in tags:
        # 获取标签的中心位置
        center = tag.center
        print(f"Tag ID: {tag.tag_id}, Center: {center}")

        # 获取标签的姿态
        pose = tag.pose
        print(f"Pose: {pose}")

    # 显示图像
    cv2.imshow('frame', frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

示教获取抓取点与标签的相对位置

打开名为apriltag-offset的场景，即上图第3个。

配置tag_id为目标标签的ID。

点击右上角的运行，会打印出识别到的所有标签的位置信息，然后工具中心点TCP会移动到标签上方200mm的位置，并自动进入示教模式，将手臂拖拽到理想的抓取位后，按下手臂肩部灯板的按钮，会打印出位置信息，首先检验一下good_pose和verify是否相差2mm以内，确认数据无误后复制offset的值

csharp 复制代码

-- 初始化lebai_sdk
local lebai = require("lebai_sdk")

-- 读取信号量
local tag_position = lebai.read_signal("tag_position")
local tag_pose = lebai.read_signal("tag_pose")

-- 根据标签位置和姿态控制机械臂
-- 示例：移动机械臂到标签位置
lebai.move_to(tag_position)

运行抓取示例

打开名为"抓标签"的场景，即上图第2个，该场景为使用示例，可自由更改使用。

将上一步得到的offset赋值给cell2tag，配置tag_id为目标标签的ID。

将手臂示教到一个合适的位置后，点击右上角的运行，会运动到抓取点进行抓取，并返回到起始位置。