基于 RealSense D435相机实现手部姿态检测

基于 RealSense D435i相机进行手部姿态检测，其中采用 Mediapipe 进行手部检测，以下是详细步骤：

Mediapipe 是一个由 Google开发的开源框架，专门用于构建多媒体处理管道，特别是计算机视觉和机器学习任务。它提供了一系列预训练的模型和工具，可以用于实时处理图像和视频流。

主要功能：

1. 手部检测：可以检测并跟踪手部的位置和姿态。
2. 面部检测：识别面部特征点，用于表情识别和面部跟踪。
3. 姿态估计：检测人体的关键点，用于运动分析和健身应用。
4. 物体检测：实现物体检测和识别，适用于各种场景。
5. 语音识别：支持音频处理和语音识别功能。

主要特点：

• 高效性：能够在移动设备和边缘设备上运行，具备良好的性能。
• 跨平台：支持多种操作系统和设备，包括 Android、iOS 和桌面环境。
• 易于使用：提供简单的 API，方便开发者快速集成和使用。

使用场景：

Mediapipe 被广泛应用于增强现实、游戏开发、健康监测、安防监控等领域。

可以访问 Mediapipe的官方文档了解详细内容和使用示例。

一、手部姿态检测

步骤 1: 安装所需库

首先，请确保您已经安装了 Python 和 pip。然后，通过以下命令安装所需库：

pip install pyrealsense2 opencv-python mediapipe numpy

步骤 2: 设置 RealSense D435i

确保您的 RealSense D435 相机已正确连接，并安装了 RealSense SDK。

可以从 Intel 的 RealSense SDK 页面获取更多信息。

步骤 3: 演示代码

以下是一个整合了 RealSense D435i 和 Mediapipe 手部检测的 Python 脚本示例。具体的实现细节可能需要根据需求进行调整。

import cv2
import numpy as np
import pyrealsense2 as rs
import mediapipe as mp

# 初始化 Mediapipe 手部模块
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(static_image_mode=False, max_num_hands=2, min_detection_confidence=0.7)
mp_drawing = mp.solutions.drawing_utils

# 配置 RealSense 流
pipeline = rs.pipeline()
config = rs.config()
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)

# 启动流
pipeline.start(config)

try:
    while True:
        # 等待获取新的帧
        frames = pipeline.wait_for_frames()
        color_frame = frames.get_color_frame()

        if not color_frame:
            continue

        # 将图像转换为 NumPy 数组
        image = np.asanyarray(color_frame.get_data())

        # 转换颜色空间
        image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
        image_rgb.flags.writeable = False

        # 使用 Mediapipe 检测手部
        results = hands.process(image_rgb)

        # 绘制手部标记
        image_rgb.flags.writeable = True
        if results.multi_hand_landmarks:
            for hand_landmarks in results.multi_hand_landmarks:
                mp_drawing.draw_landmarks(image_rgb, hand_landmarks, mp_hands.HAND_CONNECTIONS)
                # 在这里可以调用 Dex-Retargeting 算法，处理 hand_landmarks
                # dex_retargeting_function(hand_landmarks)

        # 显示结果
        cv2.imshow('Hand Tracking', image_rgb)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

finally:
    # 停止流
    pipeline.stop()
    cv2.destroyAllWindows()

步骤 4: 运行代码

将上述代码保存为 hand_tracking.py，然后在终端中运行：

python hand_tracking.py

二、记录/打印手指关节姿态

1、修改上述步骤 3的演示代码

# 定义手指的关键点索引范围
finger_indices = {
    "thumb": range(0, 5),
    "index": range(5, 9),
    "middle": range(9, 13),
    "ring": range(13, 17),
    "pinky": range(17, 21)
}

try:
    while True:
        # 等待新帧
        frames = pipeline.wait_for_frames()
        color_frame = frames.get_color_frame()
        depth_frame = frames.get_depth_frame()

        if not color_frame or not depth_frame:
            continue

        # 转换为 numpy 数组
        img = cv2.cvtColor(np.asanyarray(color_frame.get_data()), cv2.COLOR_RGB2BGR)
        
        # 处理手部检测
        results = hands.process(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))

        if results.multi_hand_landmarks:
            for hand_landmarks in results.multi_hand_landmarks:
                # 绘制手部关键点
                mp_drawing.draw_landmarks(img, hand_landmarks, mp_hands.HAND_CONNECTIONS)

                # 提取并打印每个手指的关键点空间姿态
                for finger, indices in finger_indices.items():
                    keypoints = [(hand_landmarks.landmark[i].x, 
                                  hand_landmarks.landmark[i].y, 
                                  hand_landmarks.landmark[i].z) 
                                 for i in indices]
                    print(f"{finger} keypoints: {keypoints}")

                    # 将手指关节姿态信息写入文件
                    with open('hand_landmarks.txt', 'a') as f:
                        f.write(f"{finger}: {keypoints}\n")

2、结果显示和分析

thumb: [(0.9687821865081787, 0.6210590600967407, 3.910763268777373e-07), (0.9071911573410034, 0.6109362840652466, -0.03194861114025116), (0.8624528646469116, 0.554160475730896, -0.04743020609021187), (0.8405251502990723, 0.49807286262512207, -0.06013686582446098), (0.8232850432395935, 0.4591226577758789, -0.0727970078587532)]
index: [(0.9149847626686096, 0.4301099479198456, -0.02639639377593994), (0.9145824909210205, 0.3440428376197815, -0.04998774453997612), (0.9162378907203674, 0.2871255874633789, -0.07186762243509293), (0.9200422763824463, 0.23657603561878204, -0.08782264590263367)]
middle: [(0.9503715634346008, 0.4127236604690552, -0.02441730722784996), (0.9643440246582031, 0.31598132848739624, -0.042417172342538834), (0.9733370542526245, 0.2534366846084595, -0.05844615772366524), (0.9829654097557068, 0.19702278077602386, -0.07070045918226242)]
ring: [(0.9794745445251465, 0.41305306553840637, -0.026965150609612465), (0.9923086762428284, 0.3207796812057495, -0.04289492592215538), (1.0009437799453735, 0.2619915306568146, -0.05437065660953522), (1.0100406408309937, 0.21127769351005554, -0.06270640343427658)]
pinky: [(1.0050956010818481, 0.42907220125198364, -0.033185433596372604), (1.018389105796814, 0.3570478856563568, -0.046027250587940216), (1.024712324142456, 0.31118300557136536, -0.0520443469285965), (1.030387043952942, 0.2696005702018738, -0.05643028765916824)]

上述代码打印的信息表示了拇指各个关节在三维空间中的位置坐标。具体来说，每个元组代表一个关节的 (x)、(y) 和 (z)坐标，解释如下：

1. 拇指的关节列表：

   • thumb：表示这是拇指的关键点信息。
   • 里面的每个元组均表示拇指某个关节的空间坐标。

2. 坐标含义：

   • 每个元组包含三个值：
     • (x): 表示该关节在图像宽度方向上的相对位置，值范围为 0 到 1。
     • (y): 表示该关节在图像高度方向上的相对位置，值范围为 0 到 1。
     • (z): 表示关节相对于手掌的深度值（通常是负值表示离相机更远，正值则表示更近）。

对于拇指的五个关节，上述打印的坐标信息分别是：

1. 第一个关节（根部）: ((0.9688, 0.6211, 0))
2. 第二个关节: ((0.9072, 0.6109, -0.0319))
3. 第三个关节: ((0.8625, 0.5542, -0.0474))
4. 第四个关节: ((0.8405, 0.4981, -0.0601))
5. 第五个关节（指尖）: ((0.8233, 0.4591, -0.0728))
   这些数据可以用于分析拇指的姿态和运动，帮助实现手势识别或其他与手部交互相关的应用。

三、注意事项

1. 确保 RealSense D435i 相机已连接并正常工作。
2. 若有其他依赖项或运行环境问题，请根据错误提示进行调试。
3. 调整 min_detection_confidence 和 min_tracking_confidence 以提高检测效果。

通过这些步骤，可以实现手部姿态检测，并将每个手指的关节空间姿态信息保存到文件中。