导读
理解和操作诸如门和抽屉等铰接式物体是机器人在人类环境中的一项关键技能。然而，很难训练泛化到这些对象的变化的系统。最近发表在arXiv
理解和操作诸如门和抽屉等铰接式物体是机器人在人类环境中的一项关键技能。然而，很难训练泛化到这些对象的变化的系统。最近发表在arXiv.org上的一篇论文提议将这个问题分为“可供性学习”和“运动规划”。首先，机器人预测物体部件的潜在运动。然后，它可以通过遵循预测的运动方向轻松得出操纵策略。研究人员提出了一个基于深度3D视觉的机器人系统。
提出了一种新的对象关节结构的逐点表示，称为3D关节流。新开发的3D视觉神经网络架构将静态3D点云作为输入，并在关节运动下预测输入的3D关节流。可以看出，该系统可以泛化到可见和完全不可见的对象类别中的各种对象。
我们探索了一种感知和操纵3D关节物体的新方法，该方法可以泛化以使机器人能够清晰地表达看不见的物体类别。我们提出了一个基于视觉的系统，该系统学习预测各种关节物体的部分的潜在运动，以指导系统的下游运动规划来关节物体。为了预测物体的运动，我们训练一个神经网络来输出一个密集的向量场，表示在关节下点云中的点的逐点运动方向。然后，我们基于该向量场部署分析运动规划器，以实现产生最大清晰度的策略。我们完全在模拟中训练视觉系统，我们展示了我们的系统在模拟和现实世界中泛化到看不见的对象实例和新类别的能力，将我们的策略部署在没有微调的Sawyer机器人上。结果表明，我们的系统在模拟和真实世界的实验中都达到了最先进的性能。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！