这个项目能做什么
Robot Reel 是一个开源工具包(Apache-2.0,Python 3.12+),用于记录、回放和审查机器人策略仿真。它将策略运行、3D 场景编辑和物理实验打包为可回放的记录,并附带可离线验证的带指纹源文件。
主要能力:
- **AI 解释审查**:将 VLM 模型输出(例如 Qwen3.8)与原始 SmolVLA 记录的机器人轨迹进行对比。CLI 可离线检查结果、动作数量和引用的帧标签,无需重新运行策略。
- **LeRobot 数据集回放**:指向任意 LeRobotDataset 回合(Hub 或磁盘),即可获得一个离线页面,在同一时间轴上展示所有相机、指令关节与实测关节,并对所有源文件进行 SHA-256 验证。支持 v3.0 和 v2.x,且无需 LeRobot 本身。
- **Stress Lab**:在 NVIDIA L40S 上记录的 30 次真实 SmolVLA 闭环试验(10 个初始状态 × 3 种条件:参考光照、降低光照、相机偏移)。包含配对符号检验、带停滞阈值敏感性扫描的失败分类,以及可重复性检查。全部 14 次未成功试验均达到动作上限,实测末端执行器移动范围为 44.8 mm 至 138.6 mm。
- **Factory Twin Lab**:工厂与园区的数字孪生,包含卡尔曼滤波主轴磨损估计、14 个假设性维护方案,以及跨 12 个配对班次的闭环与影子模式对比。使用 Blender 5.2 程序化建模并导出 OpenUSD。
- **Solver Lab**:六次独立的 Genesis × Newton 飞行,积分步长分别为每秒 30/120/480 步,将记录的弧线与解析解进行对比。随着步长减小,位置误差从 32.70 cm 降至 2.05 cm。全部 366 个状态均可下载为 JSON/CSV。
- **Scene Lab 与 Microduck Motion Lab**:在捕获的地形上逐步查看记录的机器人运行,检查 14 关节残差热图,叠加策略目标,并对比 MuJoCo/Blender 帧。对照 MuJoCo 检查了 18,000 个刚体变换;测量了 8,400 个关节样本。
- **Cloth Lab**:三次 Newton CUDA 布料仿真,仅改变弯曲系数,并通过 OpenUSD 和 Blender 检查了 42,471 个顶点样本。
CLI(`robot-reel`)提供用于 review-claims、压力测试、LeRobot 导出、factory-twin 验证等的子命令。托管交互式演示可在 Hugging Face Spaces 上获取,无需安装。该工具强调可验证证据:每个记录都包含源提交、校验和以及离线重新检查能力。它明确将自己定位为提供诊断证据,而非官方基准或经过校准的仿真。
评论
0 人表达喜爱 · 满10人后显示 Deer Point
登录后参与讨论。