3.6 KiB

Raw Blame History

ACT 真机抓取操作

SO-101 机械臂上，用 ACT 策略做 本地同步推理，并在 Rerun 里看三路相机与六关节曲线。
Python、LeRobot、相机与标定已在平台配好，你只需按下面开两个终端、跑对应脚本。

一、ACT 模型说明

项目	说明
算法	ACT（Action Chunking with Transformers）：模仿学习；输入 3 路相机 + 6 关节，输出一段未来动作再逐步执行
本仓权重	Stage A 五积木联合训练 · 350 条（青/黄/橙/红/紫，放入 tray）
权重路径	`models/act_stageA_single5_350/pretrained_model/`（已随仓库提供，约 198MB）

二、仓库结构（你要用到的部分）

act_rerun/
├── models/act_stageA_single5_350/pretrained_model/   # ACT 权重（已包含）  
└── scripts/
    ├── env.sh                     # 环境变量（先 source）
    ├── run_act_sync_rerun.sh      # 单色积木抓取 
    ├── run_act_five_blocks.sh     # 五积木随机顺序验证

三、真机验证怎么跑

跑 ACT 推理（先加载环境变量再推理）

conda activate lerobot_v30
source /workspace/scripts/env.sh

五积木各测 1 次（随机顺序，推荐使用）：

bash /workspace/scripts/run_act_five_blocks.sh

只测一种颜色（例如青色）：

bash /workspace/scripts/run_act_sync_rerun.sh cyan

可选颜色：cyan yellow orange red purple。

四、各脚本做什么

脚本	用途
`scripts/env.sh`	设置本仓路径、ACT 权重路径；其它脚本前必须先 source
`scripts/run_act_sync_rerun.sh`	单色积木同步推理
`scripts/run_act_five_blocks.sh`	五积木按随机顺序各跑 1 episode

五、Rerun 里看什么算正常

位置	内容
上排	`camera/front`、`camera/side`、`camera/wrist` 实时图
下排	6 个关节：`sent_action` 与 `observed_qpos` 两条曲线应基本贴合
时间轴	必须选 `robot_time`

应看到类似下图（上排三路相机，下排六关节曲线）：

3.6 KiB Raw Blame History Unescape Escape