Jetson 本月最佳项目:利用预训练模型探索人机交互

这篇文章最初发表在 NVIDIA 技术博客上。

他们说"模仿是最真诚的恭维。"嗯,在波兰开发者托马斯托马内克的机器人项目中,模仿或模仿是他的机器人马里奥拉的目标。

在此最新版本中 Jetson 当月最佳项目 , Tomanek 开发了一个时髦的小机器人,使用预训练的机器学习模型,使人机交互变得生动。该机器人的主控制器是 Jetson Nano 2GB .

使用 PoseNet models 使 Mariola 能够识别人的姿势和动作,然后使用这些模型使机器人模拟或复制这些人类动作。正如托马内克所指出的那样,"使用 Jetson 纳米使实现这一目标变得非常简单和直接。"

开发者在 YouTube 视频中提供了关于 Mariola 的概述:

视频 1 。带有 Jetson Nano 的 Mariola 正如你们所见,马里奥拉能够用轮子驾驶,移动手臂,转动头部,做鬼脸。嵌入机器人身体每个部分的单独 Arduino 控制器可以实现这些动作。伺服电机的单独控制器控制手臂和头部的运动。该机器人有四个机械轮,因此可以全方位移动。

马里奥拉的面部表情使用由 Neopix LED 构建的单独微控制器、一组 每只眼睛两个 和一组 八张嘴巴 。雏菊链在一起,它们由一个单独的 Arduino 纳米板驱动,该板管理颜色变化和眨眼的外观。

根据 Tomanek 的说法, Mariola 构建的一个关键思想是将每个子系统作为一个单独的单元,并让它们通过内部总线进行通信。有一个 UART / BT 接收器 Arduino nano ,它的作用是从用户那里获取命令,解码它需要去的子载波,并通过 CAN BUS 发送。

每个子控制器从 CAN 总线获取其命令,并为车轮、伺服(手和头部移动)或面部(新像素)创建相应的动作。

Tomanek 在 NVIDIA 开发者论坛 中指出,机器人后面的 Jetson 纳米级是大脑,通过 resnet18 身体运行自定义的 Python 脚本,当它检测到人的关节时,返回关节的平面坐标。通过 IK 模型重新计算这些坐标以获得伺服位置,结果通过 UART 发送给主 Arduino 。剩下的动作由阿杜伊诺人完成。

目前,马里奥拉将一次检测并模仿一个人的动作。如果机器人看不到任何人,或者检测到多人,则不会发生任何动作。

为什么 Tomanek 为这个项目选择了[of the Jetson 纳米?正如他所指出的," Jetson 可用的预训练模型的潜在威力,以及 Jetson Nano 的可负担性,让我使用 2GB 版本来学习和了解它的工作原理。"

"这对我来说是一个正在进行的工作和学习项目," Tomanek notes 。虽然马里奥拉没有明确的目标,但他认为这是一个实验和学习使用这项技术可以实现什么的机会。"到目前为止,最好的结果是,通过机器学习模型驱动这些行为,这个小机器人具有某种自主性。"

当人们第一次与马里奥拉互动时,托马内克( Tomanek ) says "它总是会产生微笑。这是人机互动中一个非常有趣的方面。"很容易理解为什么会发生这种情况。只要看看马里奥拉的表演------我们不敢让你笑

视频 2 。 Arduino 和 Jetson Nano 机器人项目演示

Mariola project 仍在积极开发中,并定期进行修改和更新。正如托马内克在他的概述视频 中总结的那样,"我们将看到未来会带来什么。"

有关该项目的更多详细信息,请参阅 GitHub repository

阅读原文

相关推荐
fleaxin7 小时前
统信服务器操作系统V20(1070)安装过程
docker·操作系统·nvidia·统信
安全二次方security²4 天前
CUDA C++编程指南(7.31&32&33&34)——C++语言扩展之性能分析计数器函数和断言、陷阱、断点函数
c++·人工智能·nvidia·cuda·断点·断言·性能分析计数器函数
安全二次方security²5 天前
CUDA C++编程指南(7.25)——C++语言扩展之DPX
c++·人工智能·nvidia·cuda·dpx·cuda c++编程指南
安全二次方security²10 天前
CUDA C++编程指南(7.19&20)——C++语言扩展之Warp投票函数和Warp匹配函数
c++·人工智能·nvidia·cuda·投票函数·匹配函数·vote
安全二次方security²11 天前
CUDA C++编程指南(7.15&16)——C++语言扩展之内存空间谓词和转化函数
c++·人工智能·nvidia·cuda·内存空间谓词函数·内存空间转化函数·address space
安全二次方security²11 天前
CUDA C++编程指南(7.5&6)——C++语言扩展之内存栅栏函数和同步函数
c++·人工智能·nvidia·cuda·内存栅栏函数·同步函数·syncthreads
安全二次方security²12 天前
CUDA C++编程指南(7.2)——C++语言扩展之变量内存空间指定符
c++·人工智能·nvidia·cuda·内存空间指定符·__shared__·__device__
安全二次方security²12 天前
CUDA C++编程指南(7.1)——C++语言扩展之函数执行空间指定符
c++·人工智能·nvidia·cuda·cuda编程·global·函数执行空间指定符
云雾J视界13 天前
AI服务器供电革命:为何交错并联Buck成为算力时代的必然选择
服务器·人工智能·nvidia·算力·buck·dgx·交错并联
4032407316 天前
【2026最新】Jetson全系列安装支持CUDA加速的OpenCV 4.10保姆级教程(适配Jetpack 6/5及Orin/Xavier/Nano等)
linux·opencv·计算机视觉·nvidia·cuda·jetson