AI视野·今日CS.Robotics 机器人学论文速览
Daily Robotics Papers
|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning Authors Jingyun Yang, Max Sobol Mark, Brandon Vu, Archit Sharma, Jeannette Bohg, Chelsea Finn 机器学习中的预训练和微调范式在广泛的领域取得了巨大的成功，因为使用互联网上的现有数据或预训练模型可以快速轻松地学习新任务。我们的目标是在机器人强化学习中实现这种范式，让机器人通过利用互联网上的数据和模型，以很少的人类努力来学习新任务。然而，强化学习通常需要大量的人力，以手动奖励规范或环境重置的形式，即使策略是预先训练的。我们推出了 RoboFuME，这是一种无需重置的微调系统，可以根据先前经验的不同数据集来预训练多任务操作策略，并在线进行自我改进，以最少的人为干预来学习目标任务。我们的见解是利用校准的离线强化学习技术来确保在存在分布变化的情况下对预先训练的策略进行有效的在线微调，并利用预先训练的视觉语言模型 VLM 来构建强大的奖励分类器，以便在在线微调期间自主提供奖励信号调整过程。在五种真实的机器人操作任务中，我们证明了我们的方法可以整合在不同机构收集的现有机器人数据集中的数据，并在短短 3 小时的自主现实世界经验内改进目标任务。我们还在模拟实验中证明，我们的方法优于使用不同 RL 算法或不同方法来预测奖励的先前工作。 |
| Fusion-Driven Tree Reconstruction and Fruit Localization: Advancing Precision in Agriculture Authors Kaiming Fu, Peng Wei, Juan Villacres, Zhaodan Kong, Stavros G. Vougioukas, Brian N. Bailey 水果配送对于塑造农业和农业机器人的未来至关重要，为简化供应链铺平道路。这项研究引入了一种创新方法，利用 RGB 图像、LiDAR 和 IMU 数据的协同作用，实现复杂的树木重建和水果的精确定位。这种集成不仅提供了对水果分布的洞察，从而提高了农业机器人和自动化系统的指导精度，而且还为模拟不同树木结构的合成水果模式奠定了基础。为了验证这种方法，在受控环境和实际桃园中进行了实验。 |
| RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments Authors Jinyu Li, Xiaokun Pan, Gan Huang, Ziyang Zhang, Nan Wang, Hujun Bao, Guofeng Zhang 对于视觉或视觉惯性里程计系统来说，处理动态场景和纯旋转的问题通常具有挑战性。在这项工作中，我们设计了一种新颖的视觉惯性里程计 VIO 系统（称为 RD VIO）来处理这两个问题。首先，我们提出了一种 IMU PARSAC 算法，该算法可以在两阶段过程中稳健地检测和匹配关键点。在第一种状态下，使用视觉和 IMU 测量将地标与新的关键点进行匹配。我们从匹配中收集统计信息，然后指导第二阶段的内部关键点匹配。其次，为了处理纯旋转问题，我们在数据关联过程中检测运动类型并采用延迟三角测量技术。我们将纯旋转框架制成特殊的副框架。在求解视觉惯性束平差时，它们为纯旋转运动提供了额外的约束。我们在公共数据集上评估拟议的 VIO 系统。 |
| Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models Authors Iman Nematollahi, Kirill Yankov, Wolfram Burgard, Tim Welschehold 在现实世界场景中运行的机器人操纵系统面临的一个长期挑战是如何适应和推广其获得的运动技能以适应看不见的环境。我们采用整合模仿和强化范式的混合技能模型来应对这一挑战，探索技能的学习和适应，以及通过学习的关键点在场景中的核心基础，如何促进这种泛化。为此，我们开发了关键点集成软演员评论家高斯混合模型 KIS GMM 方法，该方法学习将场景内动态系统的参考预测为 3D 关键点，利用机器人在技能学习期间的物理交互获得的视觉观察结果。通过在模拟和现实环境中进行综合评估，我们表明，我们的方法使机器人能够对新环境获得显着的零样本泛化，并比从头开始学习更快地改进目标环境中的技能。重要的是，这是在不需要新的地面实况数据的情况下实现的。 |
| Shareable Driving Style Learning and Analysis with a Hierarchical Latent Model Authors Chaopeng Zhang, Wenshuo Wang, Zhaokun Chen, Jian Zhang, Lijun Sun, Junqiang Xi 驾驶风格通常用来表征一个驾驶员或一组驾驶员的驾驶行为。然而，目前尚不清楚一个人的驾驶风格如何与其他驾驶员有某些共同点。我们的见解是，驾驶行为是对个体内部和个体之间可共享的潜在驾驶风格的加权组合的一系列反应。为此，本文开发了一种分层潜在模型来学习驾驶行为和驾驶风格之间的关系。我们首先提出一种基于片段的方法来表示复杂的顺序驾驶行为，从而能够在低维特征空间中充分表示驾驶行为。然后，通过引入狄利克雷分配机制，我们通过分层潜在模型提供了驾驶行为和共享驾驶风格相互作用的分析公式。我们开发的模型最终经过 100 名驾驶员在城市和高速公路自然驾驶环境中的验证和验证。实验结果表明，个体内部和个体之间的驾驶风格是相同的。我们还分析了年龄、性别和驾驶经验等性格对驾驶风格的影响，发现天生具有攻击性的驾驶员不会总是保持攻击性驾驶，即有时表现得很冷静，但攻击性比例高于其他类型的驾驶员 |
| AutoTrans: A Complete Planning and Control Framework for Autonomous UAV Payload Transportation Authors Haojia Li, Haokun Wang, Chen Feng, Fei Gao, Boyu Zhou, Shaojie Shen 机器人界对自主空中运输越来越感兴趣。与其他系统相比，具有悬挂有效载荷的无人机具有机械简单性和敏捷性等优势，但在规划和控制方面提出了巨大的挑战。为了实现完全自主的空中运输，本文提出了解决这些困难的系统解决方案。首先，我们提出了一种实时规划方法，考虑到系统的时变形状和非线性动力学，生成平滑轨迹，确保全身安全性和动态可行性。此外，还设计了具有分层扰动补偿策略的自适应 NMPC，以克服未知的外部扰动和不准确的模型参数。大量的实验表明，我们的方法即使在高度受限的环境中也能够在线生成高质量的轨迹，并且即使在很大的不确定性下也能够准确地跟踪攻击性的飞行轨迹。 |
| Invariance is Key to Generalization: Examining the Role of Representation in Sim-to-Real Transfer for Visual Navigation Authors Bo Ai, Zhanxin Wu, David Hsu 数据驱动的机器人控制方法一直在迅速加快步伐，但对未知任务领域的泛化仍然是一个严峻的挑战。我们认为泛化的关键是表征足够丰富以捕获所有任务相关信息并且对训练域和测试域之间多余的可变性保持不变。我们通过实验研究了这种包含用于视觉导航的深度和语义信息的表示，并表明它使得完全在模拟室内场景中训练的控制策略能够推广到室内和室外的不同现实世界环境。此外，我们表明我们的表示减少了训练域和测试域之间的 A 距离，从而改善了泛化误差范围。 |
| Efficient Causal Discovery for Robotics Applications Authors Luca Castri, Sariah Mghames, Nicola Bellotto 使用机器人在与人类共享的环境（例如仓库、购物中心或医院）中自动执行任务，要求这些机器人理解附近代理和物体之间的基本物理交互。具体来说，创建模型来表示这些元素之间的因果关系可以帮助预测不可预见的人类行为并预测特定机器人动作的结果。为了适合机器人，因果分析必须既快速又准确，满足实时需求和大多数机器人应用中典型的有限计算资源。在本文中，我们展示了快速准确的因果分析方法（称为 Filtered PCMCI F PCMCI ）的实际演示，以及现实世界的机器人应用。 |
| Martian Lava Tube Exploration Using Jumping Legged Robots: A Concept Study Authors J rgen Anker Olsen, Kostas Alexis 近年来，机器人探索在行星探索中变得越来越重要。火星熔岩管是人们特别感兴趣的探索领域之一，它具有几个独特的有趣特征。首先，理论上它们含有更容易获取的资源，例如火星上就地利用所需的水冰。其次，巨大的熔岩管可以为未来可能的人类火星任务提供辐射和撞击庇护所。第三，熔岩管可以为火星地质和可能的生物历史提供受保护和保存的视图。然而，由于这些熔岩管的巨大尺寸、几何复杂性、不平坦的地形、陡坡、塌陷部分、重大障碍物和不稳定的表面，对这些熔岩管的勘探提出了重大挑战。这些挑战可能会阻碍传统轮式漫游车的探索。为了克服这些挑战，腿式机器人，特别是跳跃系统被认为是潜在的解决方案。跳跃腿机器人利用腿来行走和跳跃。与轮式或履带式系统相比，这使它们能够更轻松地穿越不平坦的地形和陡坡。在火星熔岩管探索的背景下，跳跃腿机器人将特别有用，因为它们能够跳过大石块、间隙和障碍物，以及下降和攀爬陡坡。这将使他们能够探索和绘制此类洞穴的地图，并可能从其他无法进入的区域收集样本。本文介绍了为太空探索量身定制的最先进的腿式机器人的规格、设计、功能和可能的任务概况。 |
| Adaptive Tuning of Robotic Polishing Skills based on Force Feedback Model Authors Yu Wang, Zhouyi Zheng, Chen Chen, Zezheng Wang, Zhitao Gao, Fangyu Peng, Xiaowei Tang, Rong Yan 获得人类技能提供了一种有效的方法来应对复杂的任务规划挑战。当为连续接触任务执行学习的技能模型时，例如在不确定的环境中进行机器人抛光，机器人需要能够自适应地修改技能模型以适应环境并执行所需的任务。抛光任务的环境扰动主要体现在接触力的变化上。因此，通过提供接触力偏差反馈来调整任务技能模型是满足任务要求的有效方法。在本研究中，提出了一种相位调制对角递归神经网络 PMDRNN，用于机器人抛光任务中的力反馈模型学习。抛光任务中工具和工件之间的接触可以被认为是一个动态系统。与现有的前馈神经网络相位调制神经网络 PMNN 相比，PMDRNN 将对角循环网络结构与相位调制神经网络层相结合，提高了动态系统反馈模型的学习性能。具体来说，来自现实世界机器人抛光实验的数据用于学习反馈模型。与 PMNN 相比，PMDRNN 证明反馈模型的训练误差显着降低。在此基础上，PMDRNN与动态运动基元DMP相结合，可以实时调整打磨任务的技能，有效提高任务技能模型的鲁棒性。 |
| Generalized Multi-Level Replanning TAMP Framework for Dynamic Environment Authors Tao Lin, Chengfei Yue, Ziran Liu, Xibin Cao 任务和运动规划 TAMP 算法可以生成结合机器人逻辑和运动方面的计划。然而，这些计划对干扰和控制错误很敏感。为了使 TAMP 更适用于现实世界，我们提出了广义多级重新规划 TAMP 框架 GMRF，将基于采样的 TAMP 算法的概率完整性与反应性重新规划的鲁棒性相结合。 GMRF从初始状态生成一个名义计划，然后实时动态地重建这个名义计划，重新排序机器人操作。在逻辑级别调整之后，GMRF将尝试重新规划新的运动路径，以确保更新的计划在运动级别是可行的。最后，我们进行了涉及堆栈和重新排列任务域的现实世界实验。 |
| End-to-End Learning of Behavioural Inputs for Autonomous Driving in Dense Traffic Authors Jatan Shrestha, Simon Idoko, Basant Sharma, Arun Kumar Singh Frenet 道路对齐框架中的轨迹采样是自动驾驶车辆运动规划最流行的方法之一。它通过对一组行为输入（例如车道偏移和前进速度）进行采样来进行操作，然后再解决以采样输入为条件的轨迹优化问题。采样是基于简单启发式手工制作的，不适应驾驶场景，并且不考虑下游轨迹规划器的功能。在本文中，我们提出了从专家演示或以自我监督的方式进行行为输入分布的端到端学习。我们的核心新颖之处在于将自定义可微轨迹优化器作为神经网络中的一层嵌入，使我们能够通过考虑优化器的反馈来更新行为输入。此外，我们的端到端方法还确保学习到的行为输入有助于优化器的收敛。我们在以下方面改进了现有技术。首先，我们表明，学习的行为输入大大降低了碰撞率，同时比手工方法提高了驾驶效率。 |
| Robot-Assisted Navigation for Visually Impaired through Adaptive Impedance and Path Planning Authors Pietro Balatti 1 , Idil Ozdamar 1,2 , Doganay Sirintuna 1,2 , Luca Fortini 1 , Mattia Leonori 1 , Juan M. Gandarias 3 , Arash Ajoudani 1 1 HRI2 Lab, Istituto Italiano di Tecnologia, Genoa, Italy, 2 Dept. of Informatics, Bioengineering, Robotics, and System Engineering. University of Genoa, Genoa, Italy, 3 Robotics and Mechatronics lab, Systems Engineering and Automation Department, University of Malaga, Malaga, Spain 本文提出了一个框架，通过移动操纵器引导视障人士穿过陌生的环境。人类机器人系统由三个关键组件组成：移动底座、机械臂以及通过将手与协作机器人末端执行器物理耦合而受到机械臂引导的人类主体。这些组件接收用户的目标后，以协调的方式穿越一组无碰撞的路径点，同时通过避障单元和新颖的人类引导规划器避开静态和动态障碍物。为此，我们还提出了一种腿部跟踪算法，该算法利用集成到移动底座中的 2D LiDAR 传感器来监测人体姿势。此外，我们引入了一个自适应拉动规划器，负责在个人偏离路线时引导他们返回预期路径。这是通过建立目标臂末端执行器位置并通过阻抗调谐单元实时动态调整阻抗参数来实现的。 |
| Denoising Opponents Position in Partial Observation Environment Authors Aref Sayareh, Aria Sardari, Vahid Khoddami, Nader Zare, Vinicius Prado da Fonseca, Amilcar Soares RoboCup比赛举办各种联赛，足球模拟2D联赛是其中的一个主要项目。足球模拟2D SS2D比赛涉及两支球队，每支球队有11名球员和一名教练，相互竞争。玩家只能在比赛期间与足球模拟服务器进行通信。公开发布多个代码库以简化团队开发。因此研究人员可以轻松地专注于决策和实施机器学习方法。由于不同的挑战，例如噪声和部分观察，SS2D 动作和行为仅部分准确。因此，一种策略是实施替代的去噪方法来解决观测不准确的问题。我们的想法是使用机器学习方法在有限数量的周期内预测对手的位置，以做出更准确的动作，例如传球。我们将解释由长短期记忆模型 LSTM 和深度神经网络 DNN 支持的位置预测想法。 |
| Robotic Arm Manipulation to Perform Rock Skipping in Simulation Authors Nicholas Ramirez, Michael Burgess 跳岩是一项高度动态且相对复杂的任务，人类可以轻松完成。该项目旨在利用我们在机器人操作中学到的经验教训，将跳石带入机器人环境中。具体来说，该项目实现了一个由机械臂和动态环境组成的系统，以在模拟中执行岩石跳跃。通过改变释放速度等重要参数，我们希望使用我们的系统来深入了解最大化跳跃总数的最重要因素。此外，通过模拟实施系统，我们对这些不同的测试参数有了更严格、更精确的测试方法。 |
| Intelligent Escape of Robotic Systems: A Survey of Methodologies, Applications, and Challenges Authors Junfei Li, Simon X. Yang 智能逃生是一个跨学科领域，它采用人工智能AI技术，使机器人能够在动态、复杂和不可预测的场景中对潜在危险做出智能反应。随着对安全的重视变得越来越重要以及机器人技术的不断进步，近年来已经开发了多种智能逃生方法。本文对机器人系统智能逃生的最新研究工作进行了全面的调查。回顾了智能逃生的四种主要方法，包括基于规划的方法、基于分区的方法、基于学习的方法和生物启发方法。总结了现有方法的优点和局限性。此外，还讨论了智能逃生在搜救、疏散、军事安全和医疗保健等各个领域的潜在应用。 |
| A generalized likelihood-weighted optimal sampling algorithm for rare-event probability quantification Authors Xianliang Gong, Yulin Pan 在这项工作中，我们引入了一种新的顺序采样采集函数，可以在给定的输入概率和昂贵的函数评估下有效地量化响应 ItR 系统输入的罕见事件统计数据。我们的采集是似然加权 LW 采集的概括，最初是为相同目的而设计的，然后扩展到许多其他应用。我们的采集的改进来自于带有两个附加参数的广义形式，通过改变哪个参数可以瞄准并解决原始 LW 采集的两个弱点 1 与罕见事件响应相关的输入空间在采样中没有得到足够的压力 2根据样本生成的模型可能与真实的 ItR 函数存在显着偏差，特别是对于 ItR 函数复杂且样本数量有限的情况。此外，我们在采集函数的蒙特卡罗离散优化中开发了一个关键程序，与此类问题的现有方法相比，该程序实现了数量级的加速。我们的新采集相对于原始 LW 采集的优越性能在许多测试案例中得到了证明，包括一些旨在显示原始 LW 采集有效性的案例。 |
| Value of Assistance for Grasping Authors Mohammad Masarwy, Yuval Goshen, David Dovrat, Sarah Keren 在许多现实环境中，机器人的任务是在不知道物体确切姿势的情况下抓取物体。相反，机器人依靠姿势的概率估计来决定如何尝试抓取。我们提供了一种新颖的 VOA 辅助价值测量方法，用于评估特定观察对机器人成功完成抓取的能力的预期效果。因此，美国之音支持决定哪种传感动作对抓取任务最有利。 |
| Learning to bag with a simulation-free reinforcement learning framework for robots Authors Francisco Munguia Galeano, Jihong Zhu, Juan David Hern ndez, Ze Ji 套袋是人类在日常活动中执行的一项基本技能。然而，可变形物体（例如袋子）对于机器人来说操作起来很复杂。本文提出了一种基于学习的高效框架，使机器人能够学习装袋。该框架的新颖之处在于它能够在不依赖模拟的情况下执行装袋操作。学习过程是通过本工作中引入的强化学习算法完成的，该算法旨在基于一组紧凑的状态表示找到包的最佳抓握点。该框架利用一组原始操作并以五种状态表示任务。在我们的实验中，在现实世界中经过大约三个小时的训练后，当从折叠和展开状态开始装袋任务时，框架分别达到了 60 和 80 的成功率。 |
| Learning Generalizable Manipulation Policies with Object-Centric 3D Representations Authors Yifeng Zhu, Zhenyu Jiang, Peter Stone, Yuke Zhu 我们引入了 GROOT，一种模仿学习方法，用于学习具有以对象为中心和 3D 先验的稳健策略。 GROOT 制定的政策超越了基于视觉的操作的初始训练条件。它构建了以对象为中心的 3D 表示，这些表示对背景变化和摄像机视图具有鲁棒性，并使用基于转换器的策略对这些表示进行推理。此外，我们引入了分段对应模型，允许策略在测试时泛化到新对象。通过全面的实验，我们验证了 GROOT 策略针对模拟和现实环境中感知变化的稳健性。 GROOT 的性能在背景变化、相机视点移动和新对象实例的存在方面表现出色，而最先进的端到端学习方法和基于对象提议的方法都存在不足。我们还广泛评估了真实机器人上的 GROOT 策略，并展示了在设置发生非常大的变化下的有效性。 |
| Motion Planning for Autonomous Ground Vehicles Using Artificial Potential Fields: A Review Authors Aziz ur Rehman, Ahsan Tanveer, M. Touseef Ashraf, Umer Khan 自主地面车辆系统在现代世界中发现了广泛的潜力和实际应用。自动地面车辆的开发提出了重大挑战，特别是在根据安全裕度、最短时间和能耗等定义的性能指标确定最佳路径计划方面。研究人员提出了各种运动规划技术，其中之一是使用人工势场。在过去的二十年里，一些作者提出了人工势场算法的各种修改版本。传统 APF 方法的变化已经解决了先前的缺点。这有可能引发对该算法改进版本的战略调查。本研究回顾了使用人工势场的自主地面车辆的运动规划。每篇文章的评估标准都涉及环境类型（可以是静态的或动态的）、评估场景（可以是实时的或模拟的）以及用于提高算法搜索性能的方法。所有规划模型的定制设计均经过分析和评估。 |
| APP-RUSS: Automated Path Planning for Robotic Ultrasound System Authors David Liu, Jerome Charton, Xiang Li, Quanzheng Li 自主机器人超声系统 RUSS 已被广泛研究。然而，全自动超声图像采集仍然具有挑战性，部分原因是缺乏将超声探头引导至扫描目标并覆盖扫描表面或体积的路径规划的两个阶段相结合的研究。本文提出了一个用于 RUSS APP RUSS 的自动路径规划系统。我们的重点是自动化的第一阶段，该阶段强调将超声波探头的路径引导到远距离的目标。具体来说，我们的 APP RUSS 系统由用于 UR5e 机械臂视觉引导的 RealSense D405 RGB D 相机和定制的三次贝塞尔曲线路径规划模型组成，用于将探针传送到识别的目标。 |
| Detrive: Imitation Learning with Transformer Detection for End-to-End Autonomous Driving Authors Daoming Chen, Ning Wang, Feng Chen, Tony Pipe 本文提出了一种新颖的基于 Transformer 的端到端自动驾驶模型，名为 Detrive。该模型解决了过去端到端模型无法检测交通参与者的位置和大小的问题。 Detrive 使用基于端到端变压器的检测模型作为其感知模块，多层感知器作为其特征融合网络，具有用于路径规划的门循环单元的循环神经网络以及用于车辆前进速度和转向角度的两个控制器。该模型采用在线模仿学习方法进行训练。为了获得更好的训练集，使用可以直接从 Carla 模拟器获取地面实况鸟瞰图作为感知输出的强化学习代理作为模仿学习的教师。训练好的模型在 Carla 的自动驾驶基准上进行测试。 |
| Learning to Discern: Imitating Heterogeneous Human Demonstrations with Preference and Representation Learning Authors Sachit Kuhar, Shuo Cheng, Shivang Chopra, Matthew Bronars, Danfei Xu 实用模仿学习 IL 系统依赖于大型人类演示数据集来实现成功的政策学习。然而，挑战在于维持所收集数据的质量并解决某些演示的次优性质，这可能会损害整体数据集的质量，从而影响学习结果。此外，人类行为的内在异质性可以产生同样成功但不同的演示，进一步加剧了辨别演示质量的挑战。为了应对这些挑战，本文引入了 Learning to Discern L2D，这是一种离线模仿学习框架，用于从不同质量和风格的演示中学习。给定一小批具有稀疏质量标签的演示，我们学习了时间嵌入轨迹段的潜在表示。在这个潜在空间中的偏好学习训练了一个质量评估器，该评估器可以推广到展示不同风格的新演示者。 |
| FGO-ILNS: Tightly Coupled Multi-Sensor Integrated Navigation System Based on Factor Graph Optimization for Autonomous Underwater Vehicle Authors Jiangbo Song, Wanqing Li, Ruofan Liu, Xiangwei Zhu 多传感器融合是增强自主水下航行器AUV定位性能的有效途径。然而，水下多传感器融合面临着传感器频率异构、动态可用性等挑战。当传感器不可用时，基于过滤器的传统算法的准确性和鲁棒性较低。无论数据频率如何，因子图优化 FGO 都可以实现多传感器即插即用。因此，我们提出了一种基于FGO的捷联惯导系统SINS和长基线定位LBL系统紧耦合导航系统FGO ILNS。多普勒速度计程仪DVL、磁罗经导频MCP、压力传感器PS、全球导航卫星系统GNSS等传感器可以与FGO ILNS紧密耦合，以满足不同的导航场景。在该系统中，我们提出了一种与IMU预积分因子紧密耦合的浮动LBL倾斜距离差异因子模型，以实现水上和水下全球位置的统一。此外，为了解决融合过程中传感器测量与 LBL 不同步的问题，我们采用前向后向 IMU 预积分来构建 GNSS 和 DVL 等传感器因子。此外，我们利用边缘化方法来减少因子图优化的计算量。 |
| Computational Approaches for Modeling Power Consumption on an Underwater Flapping Fin Propulsion System Authors Brian Zhou, Jason Geder, Alisha Sharma, Julian Lee, Marius Pruessner, Ravi Ramamurti, Kamal Viswanath 过去几十年来，针对仿生无人水下航行器 UUV 推进和控制系统的研究兴起，这些系统为水下任务中的传统 UUV 提供了更具机动性的替代方案。推进效率对于扑翼无人潜航器来说至关重要，以扩大其基本操作的航程和续航时间。为了优化不同的步态性能指标，我们开发了一种无量纲品质因数 FOM，它源自推进效率的测量，能够评估不同的鳍设计和运动学，并允许与其他生物启发平台进行比较。我们使用实验数据创建和训练计算模型，并使用这些模型来预测不同鳍运行状态下的推力和功率，从而提供效率曲线。然后，我们使用开发的 FOM 来分析最佳步态并比较不同鳍材料之间的性能。 |
| Accelerating Aquatic Soft Robots with Elastic Instability Effects Authors Zechen Xiong, Jeong Hun Lee, Hod Lipson 正弦波动长期以来一直被认为是鱼类和仿生水生机器人最成功的游泳模式 1 。然而，发夹机构 HCM（第三部分，图 1A 2 5）生成的游泳模式可能会挑战这一知识。 HCM 是一种平面内预应力双稳定机构，可存储弹性能量并通过屈曲快速释放所存储的能量。当用于鱼类机器人时，HCM 充当鱼体并创建独特的游泳模式，我们称之为 HCM 波动。在相同的能耗 3 下，HCM 鱼优于传统设计的软鱼，巡航速度提高了两倍。我们使用 Aquarium 6 在单链接模拟中重现了这种现象。 HCM波动产生的平均推进力为16.7 N·m，是参考波动6.78 N·m、正弦模式5.34 N·m·s和弧形正弦模式6.36 N·m的2 3倍，并实现了接近正弦模式的效率。 |
| Learning Reward for Physical Skills using Large Language Model Authors Yuwei Zeng, Yiqing Xu 由于技能范围广泛、状态和动作空间的高维性以及细致入微的感官反馈，学习身体技能的奖励函数具有挑战性。这些任务的复杂性使得获取专家演示数据既昂贵又耗时。大型语言模型法学硕士包含有价值的任务相关知识，可以帮助学习这些奖励函数。然而，直接应用法学硕士提出奖励函数有其局限性，例如数值不稳定和无法纳入环境反馈。我们的目标是利用环境反馈从法学硕士中提取任务知识，为身体技能创建有效的奖励函数。我们的方法由两个部分组成。我们首先使用 LLM 提出奖励函数的特征和参数化。接下来，我们通过迭代自对齐过程更新该奖励函数的参数。特别是，这个过程最大限度地减少了法学硕士和我们基于新观察的学习奖励函数之间的排名不一致。 |
| Unsupervised Sim-to-Real Adaptation of Soft Robot Proprioception using a Dual Cross-modal Autoencoder Authors Chaeree Park, Hyunkyu Park, Jung Kim 软机器人是一种现代机器人范例，通过形态灵活性与周围环境进行灵巧的交互。对自主操作的渴望要求软机器人能够进行本体感知，因此有必要设计一个校准过程。通过采用数值模拟来提高计算效率，可以极大地满足这些要求。然而，模拟域和真实域之间的差距限制了该方法的准确、普遍应用。在此，我们提出了一种无监督域适应框架，作为这些异构传感器域的数据高效、通用对齐。双交叉模态自动编码器旨在在特征级别上匹配传感器域，而无需任何广泛的标记过程，从而促进计算高效地转移到各种任务。作为概念验证，该方法被应用于著名的软机器人设计、多步态软机器人以及自主机器人操作的两个基本感知任务，包括高保真形状估计和碰撞检测。由此产生的感知展示了模拟域和真实域中的数字孪生校准过程。所提出的设计优于这两项感知任务的现有流行基准。 |
| POVNav: A Pareto-Optimal Mapless Visual Navigator Authors Durgakant Pushp, Zheng Chen, Chaomin Luo, Jason M. Gregory, Lantao Liu 无地图导航已成为一种有前途的方法，使自主机器人能够在现有地图可能不准确、过时或不可用的环境中进行导航。在这项工作中，我们提出了一种基于图像的机器人周围环境的局部表示，以解析可导航性。我们进一步开发了一个本地规划和控制框架，即帕累托最优无地图视觉导航器 POVNav ，以使用这种表示形式并在各种具有挑战性的现实世界环境中实现自主导航。在 POVNav 中，我们通过评估所有可导航像素、找到安全视觉路径并使用视觉伺服控制生成遵循该路径的动作来选择图像中的帕累托最优子目标。除了提供无碰撞运动之外，我们的方法还可以通过仅更改本地表示中的导航性定义来实现选择性导航行为，例如将导航限制为选择地形类型。 POVNav 仅使用单目摄像头而不依赖地图即可将机器人导航至目标的能力使其计算量轻且易于在各种机器人平台上实现。 |
| Concept-based Anomaly Detection in Retail Stores for Automatic Correction using Mobile Robots Authors Aditya Kapoor, Vartika Sengar, Nijil George, Vighnesh Vatsal, Jayavardhana Gubbi, Balamuralidhar P, Arpan Pal 跟踪库存和重新排列放错地方的物品是零售环境中劳动力最密集的任务。虽然已经尝试使用基于视觉的技术来完成这些任务，但他们大多使用货架图合规性来检测任何异常，但人们发现这种技术缺乏稳健性和可扩展性。此外，现有系统依赖人工干预在检测后执行纠正措施。在本文中，我们提出了 Co AD，这是一种基于概念的异常检测方法，使用 Vision Transformer ViT，能够在不使用货架图等先验知识库的情况下标记放错位置的对象。它使用自动编码器架构，然后在潜在空间中进行异常值检测。 Co AD 在从 RP2K 数据集提取的零售对象的异常检测图像集上的峰值成功率为 89.90，而标准 ViT 自动编码器的最佳性能基线为 80.81。为了展示其实用性，我们描述了一个机器人移动操纵管道，用于自动纠正 Co AD 标记的异常情况。 |
| Risk-Aware Wasserstein Distributionally Robust Control of Vessels in Natural Waterways Authors Juan Moreno Nadales, Astghik Hakobyan, David Mu oz de la Pe a, Daniel Limon, Insoon Yang 在海上运输领域，由于不可预测的自然因素，自然内河航道的自主航行面临着持续的挑战。现有的调度算法在处理这些不确定性方面存在不足，从而损害了安全性和效率。此外，这些算法主要是为非自主船舶设计的，导致劳动密集型操作容易出现人为错误。为了解决这些问题，本研究提出了一种船舶风险意识运动控制方法，以分布稳健的方式解释潮汐岛的动态和不确定性。具体来说，采用模型预测控制方法来遵循时空图中的参考轨迹，同时结合风险约束来防止接地事故。为了解决潮汐岛的不确定性，一种新颖的建模技术将它们表示为随机多胞体。此外，通过风险约束来解决水道深度的潜在不准确性，该风险约束考虑围绕经验分布的 Wasserstein 模糊度内最坏情况的不确定性分布。使用在瓜达尔基维尔河收集的传感器数据，我们通过在船上进行模拟来实证证明所提出方法的性能。因此，即使观测数据集有限，该船也能成功在水道上航行，同时避免搁浅事故。 |
| Visual Tracking Nonlinear Model Predictive Control Method for Autonomous Wind Turbine Inspection Authors Abdelhakim Amer, Mohit Mehndiratta, Jonas le Fevre Sejersen, Huy Xuan Pham, Erdal Kayacan 使用空中机器人对陆上和海上风力涡轮机进行自动目视检查具有多种好处，即无需将工人悬挂在高空，从而提供安全的工作环境、减少检查时间、预防性维护以及进入难以到达的区域。提出了一种新颖的非线性模型预测控制 NMPC 框架以及全局风力涡轮机路径规划器，以实现风力涡轮机检查的距离最佳覆盖范围。与传统 MPC 公式不同，视觉跟踪 NMPC VT NMPC 旨在跟踪检查表面，而不是位置和航向轨迹，从而避免了为无人机提供准确的预定义轨迹的需要。所提出的 VT NMPC 方法的另一个功能是，通过将检查要求纳入视觉跟踪成本以最小化，它自然成功地完成了检查任务，同时尊重无人机的物理约束。多次仿真运行和现实世界测试证明了所提出的自动检测框架的效率和功效，该框架通过提供目标风力涡轮机叶片的全面覆盖及其对不断变化的风力条件的鲁棒性，优于传统的 MPC 设计。 |
| Equivariant Map and Agent Geometry for Autonomous Driving Motion Prediction Authors Yuping Wang, Jier Chen 在自动驾驶领域，深度学习支持的运动预测是一个热门话题。传统运动预测方法的一个关键差距在于确保欧几里德几何变换下的等变性并保持不变的交互关系。这项研究引入了一种突破性的解决方案，采用 EqMotion（一种理论上的几何等变和交互不变的粒子和人类运动预测模型），并集成代理等变高清高清地图功能，用于自动驾驶中的上下文感知运动预测。使用 EqMotion 作为骨干，通过严格确保运动等变性和交互不变性，标志着与现有方法的重大背离。这里的等变性意味着输出运动必须在与输入运动相同的欧几里得变换下进行同等变换，而交互不变性保留了代理在变换的情况下交互的方式。这些属性使网络对任意欧几里德变换具有鲁棒性，并有助于更准确的预测。此外，我们引入了一种等变方法来处理高清地图，以丰富网络的空间理解，同时保留整体网络的等变性。 |
| Cold Diffusion on the Replay Buffer: Learning to Plan from Known Good States Authors Zidan Wang, Takeru Oba, Takuma Yoneda, Rui Shen, Matthew Walter, Bradly C. Stadie 从示范中学习 LfD 已成功训练机器人展现出卓越的泛化能力。然而，许多强大的模仿技术并没有优先考虑它们生成的机器人行为的可行性。在这项工作中，我们探讨了 LfD 制定的计划的可行性。与之前的工作一样，我们采用具有固定开始和目标状态的时间扩散模型，以促进绘画中的模仿。与之前的研究不同，我们应用冷扩散来确保优化过程是通过代理先前访问过的状态的重播缓冲区来引导的。这种路由方法增加了最终轨迹主要占据机器人状态空间的可行区域的可能性。 |
| FHT-Map: Feature-based Hierarchical Topological Map for Relocalization and Path Planning Authors Kun Song, Wenhang Liu, Gaoming Chen, Xiang Xu, Zhenhua Xiong 与几何图相比，拓扑图因其存储空间小而有利。然而，它们的重定位和路径规划能力有限。为了解决这个问题，提出了一种基于特征的分层拓扑图 FHT Map 以及用于机器人探索的实时地图构建算法。具体来说，FHT Map同时利用RGB相机和LiDAR信息，由主节点和支持节点两类节点组成。主节点将存储卷积神经网络压缩的视觉信息和本地激光扫描数据，以增强后续的重定位能力。支持节点保留最少量的数据，以保证存储效率，同时便于路径规划。通过机器人探索构建地图后，其他机器人可以使用 FHT 地图进行重新定位和路径规划。在Gazebo模拟器中进行了实验，结果表明，与其他拓扑图相比，所提出的FHT图可以有效提高重定位和路径规划能力。 |
| An Experimental Study of Model-based Control for Planar Handed Shearing Auxetics Robots Authors Maximilian St lzle, Daniela Rus, Cosimo Della Santina 基于手动剪切 Auxetics HSA 的并联机器人可以使用标准电动机实现复杂的运动，同时保持结构的完全柔软性，这要归功于专门设计的超材料。然而，由于驱动模型中的变化和耦合刚度、剪切、非仿射项以及欠驱动，它们的控制尤其具有挑战性。在本文中，我们提出了一种基于模型的平面 HSA 机器人控制策略，可实现任务空间的调节。我们制定了运动方程，证明它们具有并置形式，并设计了具有弹性力和重力补偿的 P satID 反馈控制器。 |
| Transformers for Trajectory Optimization with Application to Spacecraft Rendezvous Authors Tommaso Guffanti, Daniele Gammelli, Simone D Amico, Marco Pavone 可靠、高效的轨迹优化方法是自主动力系统的基本需求，可有效实现火箭着陆、高超音速再入、航天器交会和对接等应用。在此类安全关键应用领域，新兴轨迹优化问题的复杂性促使人们应用基于人工智能的技术来提高传统方法的性能。然而，当前基于人工智能的方法要么试图完全取代传统控制算法，从而缺乏约束满足保证并导致昂贵的模拟，要么旨在通过监督学习仅仅模仿传统方法的行为。为了解决这些限制，本文提出了自主交会变压器 ART，并从预测和控制的角度评估了现代生成模型解决复杂轨迹优化问题的能力。具体来说，这项工作评估了 Transformers 从之前收集的数据中学习接近最优策略的能力，以及热启动顺序优化器来解决非凸最优控制问题，从而保证硬约束满足。从预测的角度来看，结果凸显了 ART 在预测已知燃料最佳轨迹方面如何优于其他基于学习的架构。从控 |
| LanPose: Language-Instructed 6D Object Pose Estimation for Robotic Assembly Authors Bowen Fu, Sek Kun Leong, Yan Di, Jiwen Tang, Xiangyang Ji 理解自然语言指令是机器人与人类有效合作的一项关键技能。在本文中，我们的目标是通过自然语言指令学习机器人装配的 6D 姿势。为此，提出了语言指导的6D姿势回归网络LanPose来联合预测观察对象的6D姿势和相应的装配位置。我们提出的方法基于几何和语言特征的融合，这使得我们能够精细地集成多模态输入，并分别通过交叉注意机制和语言集成的 6D 姿态映射模块将其映射到 SE 3 空间中的 6D 姿态。为了验证我们方法的有效性，建立了一个集成机器人系统，可以通过语言命令精确而稳健地感知、抓取、操作和组装块。 ADD S 0.1d 中的 98.09 和 93.55 分别用于预测 6D 物体姿态和 6D 装配姿态。 |
| Enhanced Low-Dimensional Sensing Mapless Navigation of Terrestrial Mobile Robots Using Double Deep Reinforcement Learning Techniques Authors Linda Dotto de Moraes, Victor Augusto Kich, Alisson Henrique Kolling, Jair Augusto Bottega, Ricardo Bedin Grando, Anselmo Rafael Cukla, Daniel Fernando Tello Gamarra 在这项研究中，我们在深度强化学习深度强化学习领域提出了两种不同的方法，旨在增强地面移动机器人的无地图导航。研究方法主要涉及基于基础 Deep Q Network DQN 算法的 Deep RL 策略与基于 Double Deep Q Network DDQN 算法的替代方法之间的比较分析。这些方法中的代理利用激光距离采样的 24 个测量值，再加上代理相对于目标的位置差异和方向。这种数据的合并会影响代理关于导航的决定，最终决定机器人的速度。通过采用所提出的这种简约的感觉框架，我们成功地展示了对代理的训练，以熟练地执行导航任务并熟练地绕过障碍。值得注意的是，这一成就的实现并不依赖于复杂的感官输入，例如以图像为中心的方法所固有的那些。 |
| RoboDepth: Robust Out-of-Distribution Depth Estimation under Corruptions Authors Lingdong Kong, Shaoyuan Xie, Hanjiang Hu, Lai Xing Ng, Benoit R. Cottereau, Wei Tsang Ooi 单目图像的深度估计对于现实世界的视觉感知系统至关重要。虽然当前基于学习的深度估计模型在精心策划的数据上进行训练和测试，但它们经常忽略分布外的 OoD 情况。然而，在实际环境中，尤其是像自动驾驶这样对安全至关重要的环境中，可能会出现常见的腐败现象。为了解决这一疏忽问题，我们引入了全面的稳健性测试套件 RoboDepth，其中包含 18 个损坏，涵盖三个类别：i 天气和照明条件；ii 传感器故障和移动；iii 数据处理异常。随后，我们对室内和室外场景的 42 个深度估计模型进行了基准测试，以评估它们对这些损坏的恢复能力。我们的研究结果强调，在缺乏专门的稳健性评估框架的情况下，许多领先的深度估计模型可能容易受到典型损坏的影响。我们深入研究了设计更强大的深度估计模型的考虑因素，涉及预训练、增强、模态、模型容量和学习范例。 |
| Open-Ended Instructable Embodied Agents with Memory-Augmented Large Language Models Authors Gabriel Sarch, Yue Wu, Michael J. Tarr, Katerina Fragkiadaki 预先训练和冻结的 LLM 可以通过适当的少量镜头示例提示，有效地将简单的场景重新布置指令映射到机器人视觉运动功能的程序。为了解析开放域自然语言并适应用户在提示工程期间未知的特殊过程，固定提示是不够的。在本文中，我们介绍了HELPER，一种配备有语言程序对外部存储器的实体代理，它通过检索增强的LLM将自由形式的人类机器人对话解析为动作程序，提示根据当前对话、指令、纠正或VLM检索相关记忆描述，并用作 LLM 查询的上下文提示示例。内存在部署过程中进行扩展，以包含成对的用户语言和行动计划，以帮助未来的推理并根据用户的语言和例程对其进行个性化。 HELPER 在 Dialog History EDH 的执行和 Dialogue TfD 的轨迹中为 TEACh 基准设定了新的技术水平，比之前的 TfD SOTA 提高了 1.7 倍。 |
| SONIC: Sonar Image Correspondence using Pose Supervised Learning for Imaging Sonars Authors Samiran Gode, Akshay Hinduja, Michael Kaess 在本文中，我们通过一种使用学习特征进行声纳图像对应的新颖方法来解决水下 SLAM 数据关联的挑战性问题。我们引入了 SONIC SONar Image Correspondence，这是一种姿态监督网络，旨在产生能够承受视点变化的鲁棒特征对应。水下环境固有的复杂性源于动态且经常受限的能见度条件，将视野限制在几米通常毫无特征的区域。这使得基于摄像头的系统在大多数开放水域应用场景中都不是最佳的。因此，多波束成像声纳成为感知传感器的首选。然而，它们也并非没有局限性。虽然与相机相比，成像声纳提供了卓越的远距离可视性，但从不同的角度来看，它们的测量结果可能会有所不同。这种固有的可变性给数据关联带来了巨大的挑战，特别是对于基于特征的方法。我们的方法在生成声纳图像对应关系方面表现出明显更好的性能，这将为更准确的闭环约束和基于声纳的位置识别铺平道路。 |
| Converting Depth Images and Point Clouds for Feature-based Pose Estimation Authors Robert L sch 1 , Mark Sastuba 2 , Jonas Toth 1 , Bernhard Jung 1 1 Technical University Bergakademie Freiberg, Germany, 2 German Centre for Rail Traffic Research at the Federal Railway Authority, Germany 近年来，深度传感器变得越来越便宜，并且已进入越来越多的机器人系统中。然而，单模态或多模态传感器配准通常是进一步处理的必要步骤，在原始深度图像或点云上面临着许多挑战。本文提出了一种将深度数据转换为能够可视化基本上隐藏在传统深度图像中的空间细节的图像的方法。去除噪声后，点的邻域形成两个法向量，其差异被编码到这个新的转换中。与方位角图像相比，我们的方法产生更明亮、对比度更高的图像，具有更明显的轮廓和更多细节。我们测试了视觉里程计任务和 RGB D SLAM 中基于特征的姿态估计转换。对于所有测试的特征，AKAZE、ORB、SIFT 和 SURF，我们的新 Flexion 图像比方位角图像产生更好的结果，并显示出弥合深度数据和经典计算机视觉之间差距的巨大潜力。 |
| BM2CP: Efficient Collaborative Perception with LiDAR-Camera Modalities Authors Binyu Zhao, Wei Zhang, Zhaonian Zou 协作感知使代理能够与附近的代理共享互补的感知信息。这将提高感知性能并缓解单视图感知的问题，例如遮挡和稀疏。大多数现有方法主要集中于单一模态尤其是激光雷达，并没有充分发挥多模态感知的优势。我们提出了一种协作感知范式 BM2CP，它采用 LiDAR 和摄像头来实现高效的多模态感知。它利用激光雷达引导模态融合、协作深度生成和模态引导中间融合来获取不同智能体模态之间的深度交互，此外，它能够应对任何智能体的相同或不同类型的传感器之一的特殊情况不见了。大量实验验证了我们的方法优于最先进的方法，在模拟和现实世界的自动驾驶场景中通信量降低了 50 倍。 |
| DICE: Diverse Diffusion Model with Scoring for Trajectory Prediction Authors Younwoo Choi, Ray Coden Mercurius, Soheil Mohamad Alizadeh Shabestary, Amir Rasouli 对于自动驾驶等各种应用来说，动态环境中的道路用户轨迹预测是一项具有挑战性但至关重要的任务。该领域的主要挑战之一是未来轨迹的多模态性质，这源于代理未知但不同的意图。扩散模型已被证明在捕捉预测任务中的这种随机性方面非常有效。然而，这些模型涉及许多计算成本高昂的降噪步骤和采样操作，这使得它们成为实时安全关键应用不太理想的选择。为此，我们提出了一个新颖的框架，利用扩散模型以计算有效的方式预测未来的轨迹。为了最大限度地减少迭代采样中的计算瓶颈，我们采用了一种高效的采样机制，使我们能够最大限度地增加采样轨迹的数量，以提高准确性，同时保持实时推理时间。此外，我们提出了一种评分机制，通过分配相对排名来选择最合理的轨迹。 |
| Revisiting Implicit Differentiation for Learning Problems in Optimal Control Authors Ming Xu, Timothy Molloy, Stephen Gould 本文提出了一种使用隐函数定理 IFT 来区分非凸约束离散时间最优控制 COC 问题的最优轨迹的新方法。之前的工作解决了轨迹导数的微分 Karush Kuhn Tucker KKT 系统，并通过解决辅助线性二次调节器 LQR 问题有效地实现了这一点。相比之下，我们直接评估通过对微分 KKT 系统中的拉格朗日乘子项应用变量消除而产生的矩阵方程。通过适当地考虑所得方程中的项的结构，我们表明轨迹导数与时间步数成线性比例。此外，与之前的工作相比，我们的方法可以轻松并行化，显着提高模型大小的可扩展性，直接计算矢量雅可比积，并提高数值稳定性。作为额外的贡献，我们统一了之前的工作，解决了使用 IFT 计算轨迹导数与时间步数呈二次方关系的主张。 |
| Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots Authors Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladim r Vondru , Theophile Gervet, Vincent Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi 我们推出了 Habitat 3.0 一个模拟平台，用于研究家庭环境中的协作人类机器人任务。 Habitat 3.0 在三个维度上做出了贡献 1 精确的人形模拟解决了复杂可变形体建模以及外观和运动多样性方面的挑战，同时确保了高模拟速度。 2 人机交互基础设施可通过鼠标键盘或 VR 界面与模拟机器人进行真实的人类交互，从而促进通过人类输入评估机器人策略。 3 协作任务 研究两个协作任务：社交导航和社交重排。社交导航研究机器人在看不见的环境中定位和跟随人形化身的能力，而社交重排则解决人形机器人和机器人在重新布置场景时的协作问题。这些贡献使我们能够深入研究人类机器人协作的端到端学习和启发式基线，并与人类一起评估它们。我们的实验表明，当与看不见的人形代理和人类伙伴合作时，学习的机器人策略可以有效地完成任务，而这些代理和人类伙伴可能表现出机器人以前从未见过的行为。此外，我们还观察到协作任务执行期间的紧急行为，例如机器人在阻碍类人智能体时让出空间，从而使人形智能体能够有效完成任务。此外，我们使用人机循环工具进行的实验表明，当与真实的人类协作者进行评估时，我们对人形机器人的自动评估可以提供不同策略的相对顺序的指示。 |
| Eye Tracking for Tele-robotic Surgery: A Comparative Evaluation of Head-worn Solutions Authors Regine B ter, Roger D. Soberanis Mukul, Paola Ruiz Puentes, Ahmed Ghazi, Jie Ying Wu, Mathias Unberath 目的 来自眼球注视跟踪和瞳孔测量的指标显示出认知负荷评估的前景，通过远程机器人手术中的用户特定反馈，有可能增强培训和患者安全。然而，与日常情况相比，当前眼动追踪解决方案在远程机器人手术中的有效性并不确定，因为近距离相互作用会导致极端的瞳孔角度和遮挡。为了评估现代眼球注视跟踪解决方案在远程机器人手术中的有效性，我们比较了 Tobii Pro 3 Glasses 和 Pupil Labs Core，评估了它们与达芬奇研究套件 dVRK 集成时的瞳孔直径和注视稳定性。方法 研究方案包括九点注视校准，然后使用 dVRK 进行拾取和放置任务，并重复 3 次。最终校准后，用户查看 AprilTags 的 3x3 网格，专注于每个标记 10 秒，以使用 L2 范数评估 dVRK 屏幕位置的注视稳定性。不同的注视校准评估由于头部运动导致的校准时间恶化。在拾取和放置任务期间，使用 FFT 根据瞳孔直径评估瞳孔直径稳定性。用户使用头戴式眼球追踪系统执行此例程。结果 从十名用户收集的数据表明瞳孔直径稳定性相当。瞳孔直径的 FFT 在高频分量中显示出相似的幅度。与 Pupil Labs 相比，Tobii Glasses 显示出更高的时间注视稳定性，尽管两款眼动仪在没有过时校准的情况下在注视估计中产生类似的 4 厘米误差。 |
| Sitting on a gold mine: the story of the process industry's automatic formation of a digital twin Authors Mohammad Azangoo, Seppo Sierla, Valeriy Vyatkin 使用软件工具链自动生成数字孪生DT，可以加快数字化速度并降低开发成本。工程文档和系统数据只是可用于生成设备标识符的源信息的两个示例。在提出了半自动生成过程系统 DT 的总体计划后，这项工作描述了我们从工厂车间现有信息（如管道和仪表图 P ID）中提取生成过程系统 DT 所需信息的努力。为了提取初始原始模型数据，可以使用图像、模式和文本识别等技术，然后可以根据需求生成和修改中间图模型。 |
| Chinese Abs From Machine Translation |