语音识别与语音控制

硬件平台

机器硬件:OriginBot(导航版/视觉版)PC主机:Windows(>=10)/Ubuntu(>=20.04)扩展硬件:X3语音版

运行案例

首先进入OriginBot主控系统,运行一下指令。请注意,部分操作OriginBot内暂未放入,请根据内容进行适当处理。

复制代码
cd /userdata/dev_ws/
# 配置TogetheROS环境
source /opt/tros/setup.bash

# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/lib/hobot_audio/config/ .

# 加载音频驱动,设备启动之后只需要加载一次
bash config/audio.sh

#启动launch文件
ros2 launch speech speech_recongnition_launch.py 

其中speech_recongnition_launch.py 文件内容如下:

复制代码
from launch import LaunchDescription
from launch.actions import DeclareLaunchArgument
from launch.substitutions import LaunchConfiguration
from launch_ros.actions import Node

def generate_launch_description():

# 启动音频采集pkg
audio_get = Node(
        package='hobot_audio',
        executable='hobot_audio',
        output='screen',
        parameters=[
            {"config_path":"./config"},
            {"audio_pub_topic_name": "audio_smart"}
        ],
        arguments=['--ros-args', '--log-level', 'error']
    )

return LaunchDescription([
    audio_get
])

​ 此时出现如下报错是因为没有语音唤醒,说出"地平线你好"后,即可唤醒

​ 当人依次在麦克风旁边说出"地平线你好"、"向左转"、"向右转"、"向前走"、"向后退"命令词,语音算法sdk经过智能处理后输出识别结果,log显示如下

​ 识别到语音命令词"向前走"、"向左转"、"向右转"、"向后退",并且输出DOA的角度信息,如recv hrsc sdk doa data: 110字段表示DOA角度为110度。

语音控制

SSH连接OriginBot成功后,配置智能语音模块:

复制代码
#从TogetheROS的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/lib/hobot_audio/config/ .

#加载音频驱动,设备启动之后只需要加载一次
bash config/audio.sh

启动机器人底盘在终端中输入如下指令,启动机器人底盘:

复制代码
ros2 launch originbot_bringup originbot.launch.py

启动语音控制以下是口令控制功能的指令:

复制代码
ros2 launch audio_control audio_control.launch.py

此时即可看到小车运动的效果了

相关推荐
WWZZ20256 分钟前
快速上手大模型:深度学习3(实践:线性神经网络Softmax)
人工智能·深度学习·神经网络·机器人·大模型·slam·具身感知
兩尛8 分钟前
神经网络补充知识
人工智能·神经网络·机器学习
焦点链创研究所8 分钟前
x402支付协议:促AI资产从概念走向落地
人工智能
寒秋丶9 分钟前
AutoGen多智能体协作、人机交互与终止条件
人工智能·python·microsoft·ai·人机交互·ai编程·ai写作
达芬奇科普1 小时前
俄罗斯全面禁止汽油出口对俄、欧、中能源市场的多维影响分析
大数据·人工智能
AI量化投资实验室1 小时前
年化398%,回撤11%,夏普比5,免费订阅,5积分可查看参数|多智能体的架构设计|akshare的期货MCP代码
人工智能·python
电鱼智能的电小鱼1 小时前
基于电鱼 ARM 工控机的煤矿主控系统高可靠运行方案——让井下控制系统告别“死机与重启”
arm开发·人工智能·嵌入式硬件·深度学习·机器学习
OAFD.1 小时前
深度学习之图像分割:从基础概念到核心技术全解析
人工智能·深度学习
武子康1 小时前
AI研究-116 特斯拉 HW3.0 与 HW4.0 区别详解:摄像头分辨率、FSD算力、雷达与Vision泊车
人工智能·深度学习·计算机视觉·ai·自动驾驶·汽车·视觉检测
Mrliu__1 小时前
Opencv(六) : 颜色识别
人工智能·opencv·计算机视觉