robot-learning-lab-note

Language Models as Zero-Shot Trajectory Generators

使用prompt工程设计的LLM完成机械臂执行task的代码的实时生成。（https://arxiv.org/pdf/2310.11604）

Input: Main prompt and task instrution

Output: execution code

Keypoint Action Tokens Enable In-Context Imitation Learning in Robotics

创建了KAT（keypoint Action Tokens）框架来将视觉信息转为text输入LLM完成sequence to sequence 的模仿学习任务。（https://arxiv.org/pdf/2403.19578）

训练：输入目标关键点坐标和机械臂控制序列*n组，加入prompt中。

测试：输入目标关键点坐标，集成训练时的机械臂控制序列进行机械臂action推理。

Adapting Skills to Novel Grasps: A Self-Supervised Approach

(https://arxiv.org/pdf/2408.00178)

从单一抓取姿势到新的抓取姿势的关于抓取物品的操作轨迹的自适应推广。

（此处的抓取姿势强调的是末端执行器抓取着物品完成任务时的不同姿势，比如抓取着榔头敲钉子）

本文提出了一种只需要一段自监督数据，便能直接完成轨迹自适应推广的方法，期间一个外部相机对末端执行器与被抓取物品的移动轨迹进行观察。

符号：${W}$世界帧，${E}$末端执行器帧，${O}$被抓取对象的帧。

定义了纠正转换$^{c}T_{EE'}$，在部署时改变末端执行器轨迹，使物品遵循与demo中相同轨迹

自监督数据收集：首先抓取着物品的末端执行器移动到参考位置 $^{R}T_{WE}$ ，参考位置可以是任意的，仅要求其对相机清晰可见，从 $^{R}T_{WE}$ 开始，采样并将机器人移动到相对于参考位置的随机姿态 $^{N}T_{EE'}$ ；在每个末端执行器姿态 $^{R}T_{WE}$ $^{N}T_{EE'}$ ，记录图像与逆变换 $^{N}T^{-1}_{EE'}$ 。

（所以实际上它完成了一个从图像对变换矩阵的回归预测任务，因为采集的时候数据可以自动记录，所以才称为逆变换。）

MILES: Making Imitation Learning Easy with Self-Supervision

(https://arxiv.org/pdf/2410.19693)

进行一次demo演示，接着记录轨迹的一些waypoint，通过在不同waypoint旁边随机采样起始点，再完成回到waypoint的任务，完成自监督数据采集与训练。