机器人示教学习

PRIMP：示教学习引导机器人在全新场景中操纵常用物品

面向机器人在未知居家场景中执行复杂操作任务的需求，本项目提出了一种基于概率模型的示教学习方法PRIMP（全称：PRobabilistically-Informed Motion Primitives）与基于工作空间密度的机械臂轨迹规划算法Workspace-STOMP。进而，通过学习物品可供性，在虚拟环境中模拟倒水、舀水等动作，得到机器人完成特定任务所需的关键末端六维位姿，从而生成全新操作轨迹，引导机器人操纵物品。所提出的算法提升了类人操作轨迹生成效率、新环境中避障成功率及任务完成度。该成果发表于机器人领域的IEEE Transactions on Robotics (T-RO)期刊上，在RSS 2023中的Learning for Task and Motion Planning研讨会上进行了展示。

项目网站

https://chirikjianlab.github.io/primp-page/

论文

Ruan, S., Liu, W., Wang, X., Meng, X. and Chirikjian, G.S., 2024. PRIMP: PRobabilistically-Informed Motion Primitives for Efficient Affordance Learning from Demonstration. IEEE Transactions on Robotics. doi: 10.1109/TRO.2024.3390052. T-RO文章链接

开源代码

MATLAB（含有更多示例）: https://www.github.com/ChirikjianLab/primp-matlab/
Python: https://www.github.com/ChirikjianLab/primp-python/

研究背景

教会机器人如何操纵物品与工具以协助人们的日常生活一直是领域内研究的热点。机器人需要从知识中学习到相应的技能，并将其泛化到未知的情境中。在非结构化的居家场景中，仅对机器人的操作轨迹进行人工编程将会十分耗时耗力，且难以应对环境的复杂变化。示教学习为机器人的技能迁移提供了思路，在近期也涌现了众多针对不同场景的算法。本项目聚焦家用常见物品的操作技能学习与运动规划，提出了基于李群概率模型的示教学习方法PRIMP，并结合轨迹规划算法及物品可供性学习方法，在物理仿真的辅助下，帮助机器人学习倒水、舀水、开关抽屉等日常操作的技能并迁移至包含障碍物的全新环境中。 primp-teaser

整体思路框图

所提方法的整体思路如下： primp-workflow {height=”50%” width=”50%”}

基于李群的示教学习方法：PRIMP

基于工作空间轨迹分布的运动规划算法：Workspace-STOMP

物品可供性及操作功能的学习：机器人想象力

方法对比

实物实验

针对倒、舀、传递、开抽屉、开门5类动作进行了实验。收集了5-10组示教演示数据，通过三维场景重构、学习、想象及规划，Franka Panda机器人在全新场景中完成了相应的任务。 primp-experiments

报告展示

[2023-07-10 韩国大邱] RSS 2023 “Learning for Task and Motion Planning” 研讨会: 墙报