π0.5抓勺子失败就原地哆嗦,Orca却靠刷视频悟出的物理直觉更进一步
一句话判断
世界模型的关键是可读出的状态
论文解决什么问题
机器人操作任务一旦执行失败,大多数策略要么反复重试原地打转,要么彻底卡死没法推进——这是真实部署里比"成功率"更致命的问题:任务不可能永远一次成功,失败后能不能纠偏继续,才是真正决定能不能用的地方。
核心方法
↳ ① 不预测token/帧/动作,而是学一个统一的世界潜空间:无意识学习(从连续视频学自然状态转移)+有意识学习(用语言事件学有目的的状态转移+VQA)
↳ ② backbone训练完全冻结,只训练轻量的下游读出模块——文本直出、图像接扩散模型解码、动作接Action Expert,验证的是潜空间本身是否真的有用
↳ ③ 消融证实三个训练目标缺一不可:仅用观察目标得29.3分,三者全用达48.0分;去掉观察目标,动作生成分数从32.4暴跌到10.2——密集视频里的物理动态信息,恰恰是动作生成最依赖的部分
实验结果
· 动作生成:预训练阶段完全没用过动作标签,却让Qwen3.5在OOD设置下从0%成功率实现突破,还追平了用大规模机器人数据预训练过的强基线π0.5
· 抓取失败恢复:用FNS(失败阶段数)和DRR(回撤恢复比率)衡量,Orca即便最终失败也能推进到更晚阶段;对比之下π0.5在同任务反复失败后仍不稳定
· 图像预测:0.8B规模不敌任何专用图像生成基线,4B规模反超其中最强的对手——同一套方法,仅靠模型规模就能让排名从垫底变第一
这篇论文不是什么
不是已经造出了完整的具身世界模型。作者在Limitation章节主动承认:当前用冻结的预训练视觉编码器做监督目标,是简化训练流程的设计妥协而非理想方案——真正通用的世界基础模型应该直接从多源信号学习统一空间;而且4B/0.8B的模型规模已经显现语言/图像/动作三种能力此消彼长的权衡,125K小时视频目前也只用了十分之一。
对机器人 / 世界模型 / VLA 的启发
Orca让Qwen3.5从0%成功率突破、追平大规模机器人数据预训练的π0.5这一发现,在跨库关系代谢中被判定为与另外多篇论文形成强印证:Fast-WAM无具身预训练即达SOTA接近水平、Ψ0仅用少量数据就超越10倍数据量基线40%以上、General Flow靠人类视频预训练实现零样本高成功率迁移。几篇技术路线完全不同的论文,正在收敛到同一个方向:真正稀缺的不是机器人动作数据的量,而是能否先学到一个高质量的世界表征。
论文关键页
原论文入口
- arXiv
- Project Page
- GitHub暂无公开链接