Jetson 本月最佳项目:利用预训练模型探索人机交互

这篇文章最初发表在 NVIDIA 技术博客上。

他们说"模仿是最真诚的恭维。"嗯,在波兰开发者托马斯托马内克的机器人项目中,模仿或模仿是他的机器人马里奥拉的目标。

在此最新版本中 Jetson 当月最佳项目 , Tomanek 开发了一个时髦的小机器人,使用预训练的机器学习模型,使人机交互变得生动。该机器人的主控制器是 Jetson Nano 2GB .

使用 PoseNet models 使 Mariola 能够识别人的姿势和动作,然后使用这些模型使机器人模拟或复制这些人类动作。正如托马内克所指出的那样,"使用 Jetson 纳米使实现这一目标变得非常简单和直接。"

开发者在 YouTube 视频中提供了关于 Mariola 的概述:

视频 1 。带有 Jetson Nano 的 Mariola 正如你们所见,马里奥拉能够用轮子驾驶,移动手臂,转动头部,做鬼脸。嵌入机器人身体每个部分的单独 Arduino 控制器可以实现这些动作。伺服电机的单独控制器控制手臂和头部的运动。该机器人有四个机械轮,因此可以全方位移动。

马里奥拉的面部表情使用由 Neopix LED 构建的单独微控制器、一组 每只眼睛两个 和一组 八张嘴巴 。雏菊链在一起,它们由一个单独的 Arduino 纳米板驱动,该板管理颜色变化和眨眼的外观。

根据 Tomanek 的说法, Mariola 构建的一个关键思想是将每个子系统作为一个单独的单元,并让它们通过内部总线进行通信。有一个 UART / BT 接收器 Arduino nano ,它的作用是从用户那里获取命令,解码它需要去的子载波,并通过 CAN BUS 发送。

每个子控制器从 CAN 总线获取其命令,并为车轮、伺服(手和头部移动)或面部(新像素)创建相应的动作。

Tomanek 在 NVIDIA 开发者论坛 中指出,机器人后面的 Jetson 纳米级是大脑,通过 resnet18 身体运行自定义的 Python 脚本,当它检测到人的关节时,返回关节的平面坐标。通过 IK 模型重新计算这些坐标以获得伺服位置,结果通过 UART 发送给主 Arduino 。剩下的动作由阿杜伊诺人完成。

目前,马里奥拉将一次检测并模仿一个人的动作。如果机器人看不到任何人,或者检测到多人,则不会发生任何动作。

为什么 Tomanek 为这个项目选择了[of the Jetson 纳米?正如他所指出的," Jetson 可用的预训练模型的潜在威力,以及 Jetson Nano 的可负担性,让我使用 2GB 版本来学习和了解它的工作原理。"

"这对我来说是一个正在进行的工作和学习项目," Tomanek notes 。虽然马里奥拉没有明确的目标,但他认为这是一个实验和学习使用这项技术可以实现什么的机会。"到目前为止,最好的结果是,通过机器学习模型驱动这些行为,这个小机器人具有某种自主性。"

当人们第一次与马里奥拉互动时,托马内克( Tomanek ) says "它总是会产生微笑。这是人机互动中一个非常有趣的方面。"很容易理解为什么会发生这种情况。只要看看马里奥拉的表演------我们不敢让你笑

视频 2 。 Arduino 和 Jetson Nano 机器人项目演示

Mariola project 仍在积极开发中,并定期进行修改和更新。正如托马内克在他的概述视频 中总结的那样,"我们将看到未来会带来什么。"

有关该项目的更多详细信息,请参阅 GitHub repository

阅读原文

相关推荐
量子位10 天前
黄仁勋子女成长路径曝光:一个学烘焙一个开酒吧,从基层做到英伟达高管
ai编程·nvidia
Ray Song18 天前
CUDA杂记--nvcc使用介绍
nvidia·cuda·nvcc
吾鳴19 天前
网信办约谈英伟达,H20芯片后门风波震动中国AI产业
人工智能·nvidia·芯片
mpr0xy1 个月前
编译支持cuda硬件加速的ffmpeg
ai·ffmpeg·nvidia·cuda
GitLqr1 个月前
一周AI | 国际:NVIDIA、OpenAI、MidJourney 等行业巨头的创新与布局
openai·nvidia·lovable
GitLqr1 个月前
一周AI | 国内:黄仁勋访华,宇树上市辅导,12306 MCP,Kimi K2 赶超 DeepSeek ...
nvidia·deepseek·mcp
云上小朱1 个月前
软件安装-在ubuntu24安装nvidia driver和cuda toolkit
nvidia
羊八井1 个月前
使用 Earth2Studio 和 AI 模型进行全球天气预测:太阳辐照
pytorch·python·nvidia
神也佑我橙橙1 个月前
Ubuntu 22.04 安装英伟达驱动
linux·ubuntu·nvidia
cnbestec2 个月前
UR机器人解锁关节扭矩控制:利用英伟达Isaac Lab框架,推动装配自动化的Sim2Real迁移
机器人·nvidia·协作机器人·优傲机器人·关节扭矩控制·ur机器人