可可矩阵COCO Matrix发布CO01模型：言传身教，让机器人边做边学

人通过观摩、尝试和指点学习，机器人也能如此。可可矩阵（COCO Matrix）发布机器人模型 CO01（读作/kuːl/）， 让机器人也能从这些经验中学习。 一次示范、一段失败经历、一句提醒，甚至一张目标图片，都能帮助 CO01 决定下一步。团队将这种方式称为「经验提示」： 经验可直接放入模型上下文，无需为当前任务重新训练。 这让新任务更少依赖专门的示范采集和微调，降低适配与部署成本。用户也能通过示范和指点教机器人做事。失败、重试和人的纠正，既能供机器人当下参考，也能经整理后用于后续训练，让使用中积累的经验持续帮助模型改进。 希望 CO01，成为一个 非常 COOL 的机器人模型！真正实现可可矩阵的愿景： Robots for all，shaped by all! 本文看点： 新任务上手更快 ：同一预训练模型下，一段示范、约 1 分钟，未见任务平均成功率达到 52%；微调达到相近水平需约 180 条示范、约 9 小时。 失败经验带来可量化提升 ：在相同的五次尝试机会下，保留自身历史的真机累计成功率为 84%，不保留历史为 56%。 扎实的技术支撑 ： 会话式训练保留示范、失败与纠正之间的联系，让动作模型 无需更新权重，就能利用经验调整行为 。部署中积累的交互记录还能经整理后用于后续训练，让真实使用持续推动数据飞轮。 统一感知能力 ：同一套权重支持深度、分割、光流、人体姿态等多类感知任务，在 8 项基准中有 5 项优于专用模型，深度估计基本持平 ，为机器人读懂示范中的空间关系与动作变化提供感知基础。 技术博客 ：Experience is the Prompt: Introducing CO01 博客地址 ：https://www.ccmtrx.com/research/co01 目录 1. 从 In-Context Learning 到经验提示 2. 从不同经验中学习 2.1 示范・2.2 自身尝试・2.3 即时指导・2.4 跨机体技能传递 3. 经验如何成为行动的依据 3.1 System 1 与 System 2・3.2 会话式训练・3.3 统一视觉主干 4. 从即时适应走向持续学习 1. 从 In-Context Learning 到经验提示 过去，教机器人新任务，往往要先由人遥操作，采集大量示范，再微调模型。换一项工作，就可能重走一遍流程。 In-Context Learning（ICL，上下文学习）让模型在不更新权重的情况下，利用上下文适应任务。GPT-3 在语言任务中展示了这一能力，机器人领域也开始探索从示范中学习。CO01 进一步让示范、尝试和即时指导等多种经验参与动作决策。 真实世界的任务难以穷举。CO01 探索的是让 新任务能够现场教、执行偏差能够及时改、历史经验能够再次用， 为应对泛化挑战、降低部署成本和推动跨场景复制提供技术支撑。 图 1：从任务指令、单次示范，到多种来源的示范、先前尝试、即时指导和目标图像，CO01 扩大了策略模型可以参照的上下文。 2. 从不同经验中学习 2.1 从示范中学习：适应新任务与新场景 CO01 可以从人的第一视角、侧面录像或其他机器人的示范中， 理解目标与步骤，找到适合自身机体的做法。 插线时，它沿用了示范中的换手步骤，抓取方式和运动路径则适应夹爪。 插线演示：左下角为人的侧面示范，主画面为机器人自主执行，均为 2 倍速。 把人搭积木的录像倒放，就得到一份拆积木的示范。CO01 看过之后，依照倒放的顺序完成拆解。 左下角按原顺序播放搭建过程；机器人接收倒放版，自主执行拆解。均为 3 倍速。 示范也能把已有动作组合起来。训练时只练过单次折叠的模型，看人连折两次毛巾后，也依次完成了两次折叠；人逐个指向按钮，它便按顺序按下。 连续折叠：左下角为人的示范，主画面为机器人自主执行，均为 2 倍速。 跟随指向按按钮，机器人自主执行，4 倍速。 为检验机器人是否利用了示范，团队保持场景和起始状态不变，只改变毛巾折法或按钮顺序。 左为对角折，右为对边折；左下角为对应示范，均为 2 倍速。 右上角显示示范顺序，两侧机器人分别依照各自的示范执行，均为 1.5 倍速。 结果显示， 96% 的按钮操作遵循了示范顺序，92% 的毛巾操作采用了示范折法。 团队进一步改变场景布局、物件、工具及任务，比较「给一段示范」与「只给语言指令」的效果，每个条件测试 100 次。 换用功能相近的替代工具时，一段示范将成功率从 14% 提升至 52% ；面对训练中未见的技能，从 6% 提升至 43% 图 2：左图从原场景出发，依次测试新布局、新物体实例及功能替代物（S0–S3）；右图依次测试已知任务、技能新组合和未见技能（N0–N2）。每点 100 次试验。 在另一组未见任务上，团队以同一预训练模型比较 ICL 与微