RobotsWiki
返回日报列表
2026年10月27日#135

Physical AI 日报 #135

原文: AI综合多源生成
今日要闻

用于训练 GR00T 模型的工业级数据引擎 Flora 以开源套件形式发布,统一覆盖三类关键数据标注能力;新研究警示:bf16 全权重微调 VLA 且无 fp32 主副本会无声抹除大部分参数更新,12 个开源代码库中有 9 个默认采用该配方;WorldMirror 通过智能体式管线将野外机器人示教自动转化为可交互仿真世界;EgoForesight 联合高质量示教与含噪自我中心视频,规模化训练 VLA 策略

论文进展

FLORA:用于扩展机器人数据引擎的开源模型套件

用于训练 GR00T 系列模型的工业级数据引擎 Flora 以开源模型套件形式发布,统一覆盖结果奖励标签(监控真实部署)、过程奖励标签(RL 后训练)与时间戳字幕(预训练数据过滤与均衡)三类关键能力,并在相关基准上达到 SOTA,为机器人基础模型的数据闭环提供了可复用的基础设施。

data-enginefoundation-modelannotationgroot

WorldMirror:从野外机器人示教中智能体式生成可交互仿真世界

现有仿真训练往往需要大量人工搭建场景与定义任务,限制了训练规模化与数据多样性。WorldMirror 通过智能体式管线,将从“野外”采集的机器人示教自动转化为高保真视觉、物理一致的交互式仿真世界,让真实示教数据反哺大规模仿真训练。

real-to-simworld-modelsimulationagents

EgoForesight:利用含噪自我中心动作有效扩展策略学习

机器人示教轨迹监督质量高但采集昂贵,自我中心视频覆盖面广却因动作重建与重定向引入噪声标签。EgoForesight 提出一种视觉-语言-动作(VLA)框架,通过降低噪声动作标签的影响,将两类数据源联合利用,实现更高效的策略学习规模化。

vlascalingegocentric-videopretraining

《见我所需,梦我所想》:基于自构建表征空间的导航基础模型

该工作质疑“将表征设计完全交给视觉编码器预训练目标”的惯例,提出导航基础模型 RepresentNav:让策略依据自身的导航目标,从视觉基础模型中自构建一个表征空间,使视觉表征更好地服务于策略决策。

navigationfoundation-modelrepresentation-learning

FORCA:面向富接触机器人操作的力感知编码智能体

编码智能体可将语言指令翻译为机器人程序,但富接触操作要求控制逻辑能够响应物理交互。FORCA 以视觉观测与腕部力/力矩(F/T)测量为输入,编写带接触探测与力响应运动的 Python 程序,并在执行间隙结合力记录与视频检查迭代修正代码。

coding-agentforce-controlmanipulationcontact-rich

SEVI:安全的证据化真实世界强化学习

在物理机器人上直接训练接触丰富的操作任务已成现实,但在线学习过程中的不安全交互仍是实用部署的关键障碍。SEVI 引入“证据安全评论家”(Evidential Safety Critic),对未来约束满足情况进行可靠性感知的估计,用于指导真实世界策略学习中的安全干预。

reinforcement-learningsafetyreal-world-rlmanipulation

PrefO2O:基于离线到在线潜在偏好迁移的零样本偏好强化学习

偏好强化学习(PbRL)能让机器人行为对齐人类意图,但每个新任务都需采集昂贵的人类偏好标注,严重限制可扩展性。PrefO2O 提出离线到在线的潜在偏好迁移框架,使零样本 PbRL 在未见目标任务上成为可能,全程无需任何人类反馈。

reinforcement-learningpreference-learningzero-shot

KiRoSe:利用运动学数据高效分割机器人示教数据

将机器人示教数据切分为时间与语义子段对学习、清洗与检索很有价值,但人工分割繁琐易错。KiRoSe 利用运动学数据辅助多模态大语言模型高效完成示教分割,避免直接摄入多相机原始视频流带来的高成本与上下文窗口耗尽问题。

mllmdata-processingsegmentationdemonstrations

基于贝叶斯集合优化的多模态 MPC:面向柔性线状物体的动态操作

柔性线状物体(DLO)因欠驱动、高维动力学与形变响应延迟而难以敏捷操作。BM2PC 基于 control-as-inference 后验,将多模态规划表述为平衡多种可行运动的集合优化问题,在障碍约束下实现 DLO 的动态操作。

mpcdeformable-objectsmanipulationplanning

《动而非思》:用有损接近传感器实现高样本效率避障

数据驱动机器人需要以尽可能少的示教学会避撞,以避免收集大量破坏性碰撞样本。该研究将全身接近传感器作为学习反射式闪避行为的归纳偏置,发现低分辨率的“有损”传感器反而是比高分辨率全覆盖更强的偏置。

collision-avoidancesensorssample-efficiencywhole-body-control

月球集群机器人中的涌现式协作温度调节

月夜长达 354 小时、月面温度降至约 95 K,而让单台漫游车熬过月夜的同位素加热器无法按集群规模配备。该研究训练机器人集群以自身成员互为热屏蔽,展现出涌现式协作温度调节能力,为 NASA CADRE 之后的月球洞穴与熔岩管探测任务提供了新生存思路。

swarm-roboticsspace-roboticsmulti-robotemergent-behavior

深度分析

无 fp32 主副本的全权重 VLA 微调会悄然抹除大部分参数更新

当 VLA 模型以 bf16 训练可训练权重且不保留 fp32 主副本时,AdamW 会将小于权重值 1/512 的更新直接舍入丢弃——大部分参数更新被“无声抹除”。作者审查发现 12 个开源 VLA 代码库中有 9 个默认或文档推荐这种训练方式(4 个作用于全权重矩阵),其中包括 LeRobot 的 SmolVLA 默认配置及 π0/π0.5 微调指南;LIBERO 上的实验进一步量化了其影响。这一发现对整个开源 VLA 社区的训练配方具有重要警示意义。

vlafine-tuningnumerical-precisiontraining-recipeopen-source
内容来源与版权声明

本日报由 AI 综合以下公开信息源自动生成:

  • AI综合多源生成
  • arXiv.org 开放获取论文
  • Hugging Face Daily Papers

原始内容版权归原作者所有。如有异议请联系本站。