Jetson 本月最佳项目:利用预训练模型探索人机交互

这篇文章最初发表在 NVIDIA 技术博客上。

他们说"模仿是最真诚的恭维。"嗯,在波兰开发者托马斯托马内克的机器人项目中,模仿或模仿是他的机器人马里奥拉的目标。

在此最新版本中 Jetson 当月最佳项目 , Tomanek 开发了一个时髦的小机器人,使用预训练的机器学习模型,使人机交互变得生动。该机器人的主控制器是 Jetson Nano 2GB .

使用 PoseNet models 使 Mariola 能够识别人的姿势和动作,然后使用这些模型使机器人模拟或复制这些人类动作。正如托马内克所指出的那样,"使用 Jetson 纳米使实现这一目标变得非常简单和直接。"

开发者在 YouTube 视频中提供了关于 Mariola 的概述:

视频 1 。带有 Jetson Nano 的 Mariola 正如你们所见,马里奥拉能够用轮子驾驶,移动手臂,转动头部,做鬼脸。嵌入机器人身体每个部分的单独 Arduino 控制器可以实现这些动作。伺服电机的单独控制器控制手臂和头部的运动。该机器人有四个机械轮,因此可以全方位移动。

马里奥拉的面部表情使用由 Neopix LED 构建的单独微控制器、一组 每只眼睛两个 和一组 八张嘴巴 。雏菊链在一起,它们由一个单独的 Arduino 纳米板驱动,该板管理颜色变化和眨眼的外观。

根据 Tomanek 的说法, Mariola 构建的一个关键思想是将每个子系统作为一个单独的单元,并让它们通过内部总线进行通信。有一个 UART / BT 接收器 Arduino nano ,它的作用是从用户那里获取命令,解码它需要去的子载波,并通过 CAN BUS 发送。

每个子控制器从 CAN 总线获取其命令,并为车轮、伺服(手和头部移动)或面部(新像素)创建相应的动作。

Tomanek 在 NVIDIA 开发者论坛 中指出,机器人后面的 Jetson 纳米级是大脑,通过 resnet18 身体运行自定义的 Python 脚本,当它检测到人的关节时,返回关节的平面坐标。通过 IK 模型重新计算这些坐标以获得伺服位置,结果通过 UART 发送给主 Arduino 。剩下的动作由阿杜伊诺人完成。

目前,马里奥拉将一次检测并模仿一个人的动作。如果机器人看不到任何人,或者检测到多人,则不会发生任何动作。

为什么 Tomanek 为这个项目选择了[of the Jetson 纳米?正如他所指出的," Jetson 可用的预训练模型的潜在威力,以及 Jetson Nano 的可负担性,让我使用 2GB 版本来学习和了解它的工作原理。"

"这对我来说是一个正在进行的工作和学习项目," Tomanek notes 。虽然马里奥拉没有明确的目标,但他认为这是一个实验和学习使用这项技术可以实现什么的机会。"到目前为止,最好的结果是,通过机器学习模型驱动这些行为,这个小机器人具有某种自主性。"

当人们第一次与马里奥拉互动时,托马内克( Tomanek ) says "它总是会产生微笑。这是人机互动中一个非常有趣的方面。"很容易理解为什么会发生这种情况。只要看看马里奥拉的表演------我们不敢让你笑

视频 2 。 Arduino 和 Jetson Nano 机器人项目演示

Mariola project 仍在积极开发中,并定期进行修改和更新。正如托马内克在他的概述视频 中总结的那样,"我们将看到未来会带来什么。"

有关该项目的更多详细信息,请参阅 GitHub repository

阅读原文

相关推荐
驱动探索者3 小时前
[缩略语大全]之[NVIDIA]篇
ai·nvidia
扫地的小何尚1 天前
NVIDIA CUDA-Q QEC权威指南:实时解码、GPU解码器与AI推理增强
人工智能·深度学习·算法·llm·gpu·量子计算·nvidia
玄德公笔记9 天前
GPU节点接入k8s集群的处理
docker·kubernetes·gpu·containerd·nvidia·runtime·fabricmanager
腾飞开源12 天前
23_Spring AI 干货笔记之 NVIDIA 聊天
人工智能·nvidia·spring ai·聊天模型·llm api·openai客户端·配置属性
TYUT_xiaoming12 天前
NVIDIA DGX Spark
nvidia
tomeasure14 天前
INTERNAL ASSERT FAILED at “/pytorch/c10/cuda/CUDACachingAllocator.cpp“:983
人工智能·pytorch·python·nvidia
破烂pan14 天前
NVIDIA 显卡架构清单
gpu·nvidia
社会零时工15 天前
NVIDIA Jetson开发板使用记录——开发环境搭建
qt·opencv·nvidia
伟大的大威18 天前
NVIDIA Jetson Orin Nano 刷机避坑指南:NVMe启动 + SDK Manager + 解决卡启动/红字报错
nvidia·jetson·orin nano
伟大的大威18 天前
NVIDIA Jetson Orin Nano 大模型量化与部署指南 (Fara-7B)
nvidia·fara