Jetson 本月最佳项目:利用预训练模型探索人机交互

这篇文章最初发表在 NVIDIA 技术博客上。

他们说"模仿是最真诚的恭维。"嗯,在波兰开发者托马斯托马内克的机器人项目中,模仿或模仿是他的机器人马里奥拉的目标。

在此最新版本中 Jetson 当月最佳项目 , Tomanek 开发了一个时髦的小机器人,使用预训练的机器学习模型,使人机交互变得生动。该机器人的主控制器是 Jetson Nano 2GB .

使用 PoseNet models 使 Mariola 能够识别人的姿势和动作,然后使用这些模型使机器人模拟或复制这些人类动作。正如托马内克所指出的那样,"使用 Jetson 纳米使实现这一目标变得非常简单和直接。"

开发者在 YouTube 视频中提供了关于 Mariola 的概述:

视频 1 。带有 Jetson Nano 的 Mariola 正如你们所见,马里奥拉能够用轮子驾驶,移动手臂,转动头部,做鬼脸。嵌入机器人身体每个部分的单独 Arduino 控制器可以实现这些动作。伺服电机的单独控制器控制手臂和头部的运动。该机器人有四个机械轮,因此可以全方位移动。

马里奥拉的面部表情使用由 Neopix LED 构建的单独微控制器、一组 每只眼睛两个 和一组 八张嘴巴 。雏菊链在一起,它们由一个单独的 Arduino 纳米板驱动,该板管理颜色变化和眨眼的外观。

根据 Tomanek 的说法, Mariola 构建的一个关键思想是将每个子系统作为一个单独的单元,并让它们通过内部总线进行通信。有一个 UART / BT 接收器 Arduino nano ,它的作用是从用户那里获取命令,解码它需要去的子载波,并通过 CAN BUS 发送。

每个子控制器从 CAN 总线获取其命令,并为车轮、伺服(手和头部移动)或面部(新像素)创建相应的动作。

Tomanek 在 NVIDIA 开发者论坛 中指出,机器人后面的 Jetson 纳米级是大脑,通过 resnet18 身体运行自定义的 Python 脚本,当它检测到人的关节时,返回关节的平面坐标。通过 IK 模型重新计算这些坐标以获得伺服位置,结果通过 UART 发送给主 Arduino 。剩下的动作由阿杜伊诺人完成。

目前,马里奥拉将一次检测并模仿一个人的动作。如果机器人看不到任何人,或者检测到多人,则不会发生任何动作。

为什么 Tomanek 为这个项目选择了[of the Jetson 纳米?正如他所指出的," Jetson 可用的预训练模型的潜在威力,以及 Jetson Nano 的可负担性,让我使用 2GB 版本来学习和了解它的工作原理。"

"这对我来说是一个正在进行的工作和学习项目," Tomanek notes 。虽然马里奥拉没有明确的目标,但他认为这是一个实验和学习使用这项技术可以实现什么的机会。"到目前为止,最好的结果是,通过机器学习模型驱动这些行为,这个小机器人具有某种自主性。"

当人们第一次与马里奥拉互动时,托马内克( Tomanek ) says "它总是会产生微笑。这是人机互动中一个非常有趣的方面。"很容易理解为什么会发生这种情况。只要看看马里奥拉的表演------我们不敢让你笑

视频 2 。 Arduino 和 Jetson Nano 机器人项目演示

Mariola project 仍在积极开发中,并定期进行修改和更新。正如托马内克在他的概述视频 中总结的那样,"我们将看到未来会带来什么。"

有关该项目的更多详细信息,请参阅 GitHub repository

阅读原文

相关推荐
Panesle21 小时前
英伟达开源253B语言模型:Llama-3.1-Nemotron-Ultra-253B-v1 模型情况
人工智能·语言模型·llama·nvidia
Panesle3 天前
英伟达Llama-3.1-Nemotron-Ultra-253B-v1语言模型论文快读:FFN Fusion
人工智能·语言模型·llama·nvidia
mortimer10 天前
5090 装机后无法使用 GPU 加速?别急,这里有解决办法!
github·gpu·nvidia
kcarly10 天前
TensorRT 有什么特殊之处
ai·ai绘画·nvidia·tensorrt
天朝八阿哥18 天前
Debian安装Nvidia驱动
debian·nvidia
扫地的小何尚22 天前
NVIDIA TensorRT 深度学习推理加速引擎详解
c++·人工智能·深度学习·gpu·nvidia·cuda
放羊郎1 个月前
英伟达消费级RTX显卡配置表
网络·nvidia·英伟达·游戏显卡·rtx
nuczzz1 个月前
NVIDIA k8s-device-plugin源码分析与安装部署
kubernetes·k8s·gpu·nvidia·cuda
Damon小智1 个月前
探索高性能AI识别和边缘计算 | NVIDIA Jetson Orin Nano 8GB 开发套件的全面测评
深度学习·ai·边缘计算·树莓派·nvidia·开发板·orin nano
东锋1.31 个月前
NVIDIA(英伟达) GPU 芯片架构发展史
gpu·nvidia