面向世界动作模型的自蒸馏未来视频表征
世界动作模型(WAMs)利用预训练视频扩散模型的时空先验学习通用机器人策略,近期工作通过单步去噪的中间未来视频表征驱动独立动作解码器,规避昂贵的迭代去噪。该研究进一步以自蒸馏方式优化未来视频表征,改进动作预测的效率与质量。
世界动作模型(WAM)新研究通过自蒸馏未来视频表征,提升基于视频先验的机器人策略的动作预测效率;Alpha框架为LLM驱动的具身操作引入系统化故障注入与鲁棒性评估,填补失败归因空白;MPBRS用多势能奖励塑形实现人形机器人运动的统一奖励配置;云-本地混合具身智能体研究提出批评者引导的自适应升级机制,兼顾大模型能力与实时闭环控制
世界动作模型(WAMs)利用预训练视频扩散模型的时空先验学习通用机器人策略,近期工作通过单步去噪的中间未来视频表征驱动独立动作解码器,规避昂贵的迭代去噪。该研究进一步以自蒸馏方式优化未来视频表征,改进动作预测的效率与质量。
现有基准主要评估理想环境下LLM驱动机器人规划的端到端任务完成率,掩盖了执行栈中的失败来源。Alpha在仿真中注入经过校准的故障——涵盖感知(传感器延迟)与执行(抓取打滑)等环节——系统评估全栈鲁棒性,为LLM具身系统提供可解释的失败归因手段。
奖励函数设计与调参是人形机器人强化学习管线的主要瓶颈,朴素塑形项常与期望行为冲突、过拟合特定机型且对权重扰动敏感。MPBRS基于势能奖励塑形(PBRS)思想提出多势能方案,实现跨人形机器人统一的奖励配置。
云端基础模型智能体让机器人在连续动作之间空转数秒,而本地轻量模型响应快但更易出错。该工作提出批评者引导的自适应执行机制,动态决定任务何时升级至云端、何时由本地闭环执行,兼顾长时程规划能力与实时性要求。
人类动作重定向需弥合人与人形机器人间的具身差异,物体交互任务的成功关键在于准确保持关键阶段的身体-物体关系。该工作提出时空偏好机制,按局部精度需求非均匀分配逐帧迭代预算,提升全身控制与移动操作的参考轨迹质量。
该预注册研究对比两种范式:将具身智能体经验"内化"进策略权重,还是"外置"为推理时可检索的记忆。记忆增强的VLM教师从自身过往尝试中检索经验教训生成轨迹,再蒸馏出LoRA学生策略,并在匹配协议(含重新挂接教师冻结检索记忆)下系统评估两条路线的权衡。
运动扩散模型(MDMs)生成的动作虽多样逼真,却常违反物理约束,限制其在仿真与控制中的下游应用。PhysibleMDM无需重训生成模型,通过推理时优化扩散噪声并引入代理可行性约束集,使输出轨迹满足物理可行性。
面向动态环境中可靠机器人建图与目标检索的挑战,OASIS提出以在线锚点(anchor)为中心的场景推理系统,支持动态场景下的开放词汇物体检索与导航。
触觉感知让机器人直接获取接触界面的物理交互信息,是稳健灵巧操作的关键模态。该综述系统梳理了数十年来触觉操作研究从显式接触力学与任务推理的力学驱动方法,到学习触觉表征与操作技能的数据驱动方法的演进脉络。
端到端自动驾驶的训练成本在现有范式中都很高昂:模仿学习依赖车队级驾驶日志且对安全关键长尾场景覆盖稀薄,闭环强化学习又受制于 photorealistic 仿真中的样本效率瓶颈。TerraTransfer++提出免演示数据的端到端规划器,有望显著降低数据与训练成本。
CT引导下肺活检目前高度依赖人工:患者需屏气、医生需反复手动进针并多次CT扫描确认。该工作提出集成呼吸感知与门控控制的自主穿刺方案,在CT机架内完成自动进针,有望缩短手术时间、降低患者不适与辐射暴露。
本日报由 AI 综合以下公开信息源自动生成:
原始内容版权归原作者所有。如有异议请联系本站。