E0.5:从重建式到未来预测式3D基础模型,面向机器人世界-动作建模
主流世界-动作模型(WAM)以视频基础模型或VLM为主干,3D几何(如VGGT特征)仅作为辅助输入或预测目标。该工作提出将3D几何从"配角"提升为原生基础,构建未来预测式的3D基础模型用于机器人世界-动作建模,是范式层面的重要探索。
E0.5提出以3D几何为原生基础的未来预测式世界-动作模型,挑战当前视频/VLM主导的范式;Rollback让动作条件世界模型可"倒带"回溯决策点、探索反事实未来,为低成本策略改进开辟新路;ASPEN通过指令持续性预测实现导航VLA的事件触发式语义推理,显著降低计算开销;随机运动标记化突破速度指令接口局限,实现人形机器人全身控制
主流世界-动作模型(WAM)以视频基础模型或VLM为主干,3D几何(如VGGT特征)仅作为辅助输入或预测目标。该工作提出将3D几何从"配角"提升为原生基础,构建未来预测式的3D基础模型用于机器人世界-动作建模,是范式层面的重要探索。
指出速度指令式RL策略虽在四足平台上有效,但对需要复杂全身运动的人形机器人而言是受限的交互接口。论文提出随机运动标记化方法,为人形全身控制提供更丰富的表达与控制空间。
导航VLA策略会在指令未变时反复调用昂贵的语义推理。ASPEN提出事件触发式调度器,用轻量多模态预测器估计冻结的基础策略是否会重复上一条指令,从而安全复用推理结果,在降低计算开销的同时避免错过依赖指令的转弯与停车。
动作条件世界模型可作为真实交互的可扩展替代,但现有方法只将其当作"只能前进"的环境模拟器。Rollback提出策略改进新范式:将世界模型变为可"倒带"的环境,回溯到过去决策点探索反事实未来——这是真实物理环境无法提供的能力,为低成本策略改进打开新空间。
复杂全身移动操作需在单一长时程任务中完成下蹲、抓取、移动等多样动作。现有方法依赖人类动作数据与人形平台,限制了平台无关性。该工作提出阶段条件策略优化,摆脱上述依赖,实现可扩展的长时程移动操作学习。
在不可存储、不可回看历史数据的单次流式终身模仿学习设定下,序列更新会逐渐扭曲表征空间。HIDRA通过层次化双路由注意力缓解专家路由干扰,防止专家选择随时间退化,使机器人能持续从多模态示范流中学习。
多机械臂协同可大幅提升操作的吞吐、效率与灵巧性,但现有任务分配、联合规划或直接学习策略存在速度慢、依赖领域假设或规模扩展性差的问题。cuArms利用GPU加速基于冲突的多臂规划,兼顾速度与可扩展性。
单目户外导航需要鲁棒的相机位姿估计与稠密可通行地图。传统模块化SLAM将追踪误差吸收进地图,导致级联退化。SG^2SLAM将空间几何信息引入3D高斯泼溅SLAM,抑制误差累积,提升单目户外导航的鲁棒性。
端到端自动驾驶长期依赖开环模仿学习,存在两大局限:专家示范每场景仅展示一种行为,模型无法学习替代行为并适应用户偏好;示范中的噪声与歧义导致监督不一致。该工作提出免模仿的速度评分方法,实现闭环感知的端到端规划。
编码智能体可通过修改可执行程序适配机器人软件,但应对持续演化的对手时旧响应可能失效。该框架让编码智能体基于已测试的对手代码与任务反馈生成攻击与防御程序,无需模型微调即可持续协同演化,覆盖自动驾驶与SDK级攻防场景,为机器人安全研究提供新思路。
无人机3D重建与巡检要求视点同时满足成像质量约束并对每个表面区域多次观测,而基于重叠度的启发式规划无法保证。该工作将地面采样距离(GSD)约束的k覆盖视点选择形式化为集合多重覆盖问题,给出可保证的规划方案。
本日报由 AI 综合以下公开信息源自动生成:
原始内容版权归原作者所有。如有异议请联系本站。