语音识别与语音控制

硬件平台

机器硬件:OriginBot(导航版/视觉版)PC主机:Windows(>=10)/Ubuntu(>=20.04)扩展硬件:X3语音版

运行案例

首先进入OriginBot主控系统,运行一下指令。请注意,部分操作OriginBot内暂未放入,请根据内容进行适当处理。

cd /userdata/dev_ws/
# 配置TogetheROS环境
source /opt/tros/setup.bash

# 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/lib/hobot_audio/config/ .

# 加载音频驱动,设备启动之后只需要加载一次
bash config/audio.sh

#启动launch文件
ros2 launch speech speech_recongnition_launch.py 

其中speech_recongnition_launch.py 文件内容如下:

from launch import LaunchDescription
from launch.actions import DeclareLaunchArgument
from launch.substitutions import LaunchConfiguration
from launch_ros.actions import Node

def generate_launch_description():

# 启动音频采集pkg
audio_get = Node(
        package='hobot_audio',
        executable='hobot_audio',
        output='screen',
        parameters=[
            {"config_path":"./config"},
            {"audio_pub_topic_name": "audio_smart"}
        ],
        arguments=['--ros-args', '--log-level', 'error']
    )

return LaunchDescription([
    audio_get
])

​ 此时出现如下报错是因为没有语音唤醒,说出"地平线你好"后,即可唤醒

​ 当人依次在麦克风旁边说出"地平线你好"、"向左转"、"向右转"、"向前走"、"向后退"命令词,语音算法sdk经过智能处理后输出识别结果,log显示如下

​ 识别到语音命令词"向前走"、"向左转"、"向右转"、"向后退",并且输出DOA的角度信息,如recv hrsc sdk doa data: 110字段表示DOA角度为110度。

语音控制

SSH连接OriginBot成功后,配置智能语音模块:

#从TogetheROS的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/lib/hobot_audio/config/ .

#加载音频驱动,设备启动之后只需要加载一次
bash config/audio.sh

启动机器人底盘在终端中输入如下指令,启动机器人底盘:

ros2 launch originbot_bringup originbot.launch.py

启动语音控制以下是口令控制功能的指令:

ros2 launch audio_control audio_control.launch.py

此时即可看到小车运动的效果了

相关推荐
图扑软件14 分钟前
掌控物体运动艺术:图扑 Easing 函数实践应用
大数据·前端·javascript·人工智能·信息可视化·智慧城市·可视化
newxtc26 分钟前
【商汤科技-注册/登录安全分析报告】
人工智能·科技·安全·web安全·机器学习·行为验证
TechubNews32 分钟前
Vitalik 新文丨以太坊可能的未来:The Splurge
大数据·人工智能·机器学习·web3·区块链
hai4058735 分钟前
卷积、卷积操作、卷积神经网络原理探索
人工智能·神经网络·cnn
熙丫 1338148238642 分钟前
央国企信创替代,2027年目标百分达成!信创人才评价成标配?
人工智能·物联网
幻风_huanfeng1 小时前
神经网络与深度学习
人工智能·深度学习·神经网络
懒惰才能让科技进步1 小时前
从零学习大模型(十一)-----Lottery Ticket Hypothesis剪枝
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
武子康1 小时前
大数据-197 数据挖掘 机器学习理论 - scikit-learn 泛化能力 交叉验证
大数据·人工智能·python·机器学习·数据挖掘·scikit-learn
jndingxin1 小时前
OpenCV视觉分析之目标跟踪(5)目标跟踪类TrackerMIL的使用
人工智能·opencv·目标跟踪
.信.2 小时前
书生实战营第四期-第三关 Git+InternStudio
linux·人工智能·git·python