VLN 论文精读（扩展篇）

2026-09-28

本文是 VLN经典论文的扩展篇。主篇收录 55 篇工作，均已发表于会议期刊或进入了指令跟随排行榜；本文收录目标导航性能排行榜与其余论文，论文以近期预印本为主，按年份正序排列。

目标导航性能排行榜

⚠️ 不同基准不可直接混比：目标导航只给目标（物体类别、目标图像或坐标），不给路线描述，与主篇的指令跟随 VLN 是两类任务，指令跟随的排行榜见主篇性能排行榜。本篇按目标形式分表，编号接主篇指令跟随的 ①–③：④ 封闭类别物体目标、⑤ 开放词汇物体目标、⑥ 图像目标、⑦ 点目标、⑧ 多模态目标与自建基准。表内再按基准分组，组间以粗线分隔，各组的场景、类别与成功判定不同（HM3D v1 与 v2 也不同），SR 只在组内比较；ObjectNav 类基准不定义 NE / OSR。

读表：「范式」列中，训练指在导航数据上训练或微调过模型；免训练指不训练任何导航模型，由现成的大模型、检测分割模型与规则 / 规划模块组合而成（调用现成的点目标低层控制器不影响归类）。灰色行是非标准口径（如只评测了验证集子集），不参与加粗；加粗为同一基准内非灰色行的最优值，只有一行的基准不加粗。筛选栏可按范式、输入配置、是否开源筛选，也可以隐藏灰色行。

④ 封闭类别物体目标 · ObjectNav（HM3D · MP3D · Gibson）

封闭类别物体导航：给出物体类别，在未见过的场景中找到任一实例并在其附近停下

模型	年份	基准	范式	基模	SR ↑	SPL ↑	开源
Hydra-Nav (单目)	2026	HM3D-v2	训练	Qwen2.5-VL-7B	84.8	41.1	否
AECNav (单目)	2026	HM3D-v2	免训练	DeepSeek-V4-Flash	84.7	45.3	否
VLingNav (单目)	2026	HM3D-v2	训练	LLaVA-Video-7B	83.0	40.5	否
SysNav (单目)	2026	HM3D-v2	免训练	Gemini-2.5-Flash	80.8	37.2	是
LightNav-0 (单目)	2026	HM3D-v2	训练	Qwen3-VL-4B	77.2	41.5	是
HarnessVLN (单目)	2026	HM3D-v2	免训练	GPT-5.6-luna	76.0	37.9	否
Qwen-RobotNav (单目)	2026	HM3D-v2	训练	Qwen3-VL-4B	75.6	30.6	否
3DGSNav (单目)	2026	HM3D-v2	免训练	Gemini 3 Pro + GLM-4.5V	75.0	44.2	否
Qwen-RobotNav (单目)	2026	HM3D-v2	训练	Qwen3-VL-8B	71.2	33.0	否
EvoMemNav (单目)	2026	HM3D-v2	免训练	Qwen-8B	63.8	39.4	否
3DGSNav (单目)	2026	HM3D-v1	免训练	Gemini 3 Pro + GLM-4.5V	80.0	51.8	否
VLingNav (单目)	2026	HM3D-v1	训练	LLaVA-Video-7B	79.1	42.9	否
SysNav (单目)	2026	HM3D-v1	免训练	Gemini-2.5-Flash	63.7	30.5	是
EvoMemNav (单目)	2026	HM3D-v1	免训练	Qwen-8B	59.2	33.6	否
VLFM (单目)	2023	HM3D-v1	免训练	–	52.5	30.4	是
PanoNav (全景) 200 条子集	2025	HM3D（未注明版本）	免训练	Qwen2.5-VL + DeepSeek-V3	43.5	23.7	否
Hydra-Nav (单目)	2026	MP3D	训练	Qwen2.5-VL-7B	64.0	29.6	否
VLingNav (单目)	2026	MP3D	训练	LLaVA-Video-7B	58.9	26.5	否
Qwen-RobotNav (单目)	2026	MP3D	训练	Qwen3-VL-4B	52.2	16.0	否
AECNav (单目)	2026	MP3D	免训练	DeepSeek-V4-Flash	51.3	25.9	否
SysNav (单目)	2026	MP3D	免训练	Gemini-2.5-Flash	50.7	18.1	是
Qwen-RobotNav (单目)	2026	MP3D	训练	Qwen3-VL-8B	48.8	17.7	否
3DGSNav (单目)	2026	MP3D	免训练	Gemini 3 Pro + GLM-4.5V	43.6	21.3	否
VLFM (单目)	2023	MP3D	免训练	–	36.4	17.5	是
VLFM (单目)	2023	Gibson	免训练	–	84.0	52.2	是

注：HM3D-v1 为 Habitat 2022 挑战赛的 val（2000 条 / 20 场景 / 6 类），HM3D-v2 为 2023 挑战赛的 val（1000 条 / 36 场景 / 6 类），两者场景与标注不同。VLFM 原文只写 HM3D，但给出的 2000 条 / 20 场景 / 6 类与 v1 一致；Hydra-Nav 原文也未写版本，但其 Table 2 的基线 WMNav 取 72.2，与 WMNav 原文的 HM3D-v2 成绩一致，据此归入 v2；PanoNav 原文未写明版本，单列一组。PanoNav 只从 HM3D val 随机抽取 200 条评测，列为灰色。Hydra-Nav 取原文 Table 2 的 IRFT（Stage 3）结果。Qwen-RobotNav 取 arXiv v3，4B / 8B 两个尺寸分列；LightNav-0 取 arXiv v2 数字（v1 的 HM3D-v2 为 79.5 / 43.7）。

⑤ 开放词汇物体目标 · HM3D-OVON

开放词汇物体导航；除注明外均为 val-unseen，标 † 的行原文未写明划分

模型	年份	范式	基模	SR ↑	SPL ↑	开源
Hydra-Nav (单目)	2026	训练	Qwen2.5-VL-7B	66.3	37.4	否
HarnessVLN (单目)	2026	免训练	GPT-5.6-luna	59.3	36.6	否
OmniNav (多目)	2026	训练	Qwen2.5-VL-3B	59.2	33.2	是
AECNav (单目)	2026	免训练	DeepSeek-V4-Flash	57.3	30.5	否
SysNav (单目)^†	2026	免训练	Gemini-2.5-Flash	54.9	26.1	是
Qwen-RobotNav (单目)	2026	训练	Qwen3-VL-4B	53.1	20.9	否
Qwen-RobotNav (单目)	2026	训练	Qwen3-VL-8B	51.2	24.0	否
VLingNav (单目)	2026	训练	LLaVA-Video-7B	50.1	24.6	否
LightNav-0 (单目)	2026	训练	Qwen3-VL-4B	47.0	24.2	是
AstraNav-World (多目)^†	2025	训练	Qwen2.5-VL-3B	45.7	28.7	是
NavFoM (多目)	2025	训练	Qwen2-7B	45.2	31.9	否
JanusVLN (单目)^†	2026	训练	Janus-Pro-7B	44.9	31.7	是
LocalNav-Claude (单目)	2026	免训练	Claude Sonnet 4.6	39.7	19.7	否
LocalNav-Qwen (单目)	2026	训练	Qwen3.5-4B	34.5	17.2	否

注：† SysNav、AstraNav-World 与 JanusVLN 原文只给出一列 HM3D-OVON 结果，未写明划分；NavFoM 为四视角设定（单视角为 43.6 / 31.3）；OmniNav 为启用慢思考系统的 OmniNav*。LocalNav-Claude 是直接用 Claude Sonnet 4.6 做决策的免训练版本，LocalNav-Qwen 是用 Claude 轨迹做 SFT 蒸馏的 Qwen3.5-4B。

⑥ 图像目标 · HM3D-IIN / Image-Goal

以一张图像给出目标：HM3D-IIN 为实例图像导航（给出目标物体的照片，找到同一个实例），Image-Goal 给出在目标位置拍摄的图像

模型	年份	基准	范式	基模	SR ↑	SPL ↑	开源
GaussNav (单目)	2025	HM3D-IIN	训练	–	72.5	57.8	是
VLingNav (单目)	2026	HM3D-IIN	训练	LLaVA-Video-7B	60.8	37.4	否
WAM-Nav (单目)	2026	Clutter/Intern (Image-Goal)	训练	–	50.2	48.2	否
NavDP (单目)	2025	Clutter/Intern (Image-Goal)	训练	–	43.4	41.4	是

注：Clutter/Intern 为 ClutterScenes（Easy / Hard）与 InternScenes（Home / Commercial）四组场景的平均；WAM-Nav 与 NavDP 均为端到端扩散 / 世界模型策略，高频输出轨迹。NavDP 的行取自 WAM-Nav 原文（arXiv v2）Table 3 的基线复现，NavDP 原文未报告该基准。

⑦ 点目标 · Point-Goal

以相对起点的坐标给出目标，不涉及语义识别，主要考察避障与局部路径规划

模型	年份	基准	范式	基模	SR ↑	SPL ↑	开源
WAM-Nav (单目)	2026	Clutter/Intern (Point-Goal)	训练	–	80.4	78.0	否
NavDP (单目)	2025	Clutter/Intern (Point-Goal)	训练	–	77.8	74.8	是

注：Clutter/Intern 的场景构成与 NavDP 行的来源同表 ⑥。只有一篇论文报告的点目标基准（IsaacLab 40-Scenes、ABotN-PointBench）列在表 ⑧。

⑧ 多模态目标与自建基准

多模态长程目标（GOAT-Bench），以及目前只有一篇论文报告的自建基准

模型	年份	基准	范式	基模	SR ↑	SPL ↑	开源
GSMem (单目)	2025	GOAT-Bench	免训练	GPT-4o	67.2	46.9	否
EvoMemNav (单目)	2026	GOAT-Bench	免训练	Qwen-8B	59.6	38.9	否
X-NavDP (单目)	2026	IsaacLab 40-Scenes (Point-Goal)	训练	–	84.28	77.19	是
ABot-N1 (三相机)	2026	ABotN-PointBench (Indoor)	训练	Qwen-3.5-4B + 2B	95.4	93.7	否
ABot-N1 (三相机)	2026	ABotN-PointBench (Outdoor)	训练	Qwen-3.5-4B + 2B	92.9	91.4	否
ABot-N1 (三相机)	2026	Short-Horizon OVON	训练	Qwen-3.5-4B + 2B	84.9	51.8	否
ABot-N1 (三相机)	2026	ABotN-POIBench	训练	Qwen-3.5-4B + 2B	77.3	72.6	否

注：GOAT-Bench 为 val-unseen，一个 episode 内依次给出类别、文字描述或图像形式的多个目标。IsaacLab 40-Scenes 为 X-NavDP 的点目标评测；ABotN-PointBench、Short-Horizon OVON 与 ABotN-POIBench 为 ABot-N1 的自建设定，PointBench 室内用零碰撞成功率（SR<1col），室外用三次碰撞内成功率（SR<3col），两者判定不同；POIBench 以到达入口 2 m 内为成功。自建基准各只有一行，不加粗，也不宜与其他表的数字比较。

具身导航论文扩展

1. NAVCON (2024)

——— 认知启发与语言落地的首个大规模 Vision-Language Navigation 概念数据集

📄 Paper: arXiv:2412.13026

精华

提出了首个基于认知科学与语言学理论的视觉语言导航（VLN）概念数据集 NAVCON，包含对 R2R 和 RxR 约 30,000 条指令的 23.6 万个高层导航概念标注。
定义了四种核心导航概念：定位自身（SIT）、移动路径（MOVE）、改变方向（CD）和改变区域（CR），构成了完备的导航语言原语。
利用 RxR 的时间戳信息，通过 Habitat 模拟器实现了 270 万帧图像/视频片段与导航概念词组的跨模态时间对齐。
基于该语料库微调的轻量级序列标注模型 NCC，达到了 96.53% 的概念和文本跨度预测准确率，展现出极强的泛化与落地潜力。
这一工作为打破 VLN 端到端黑盒设计提供了结构化的语义解析工具，有助于提高跨模态对齐的可解释性与实时运行效率。

1. 研究背景/问题

传统的视觉语言导航（VLN）模型多采用黑盒端到端架构，存在视觉与文本 token 对齐不平衡、缺乏可解释性等问题。此外，现有的句法解析方法过于依赖外部嘈杂的依存句法分析器，导致在下游机器人导航任务中泛化性能差、可解释性低。因此，如何定义完备的导航概念并实现低成本、高精度的细粒度文本-视频对齐，是实现可信、透明且高效的具身智能体导航的关键瓶颈。

2. 主要方法/创新点

NAVCON 提出了一套完整的视觉-语言导航概念自动化构建与标注流水线，实现了自然语言指令到核心导航概念（标签 + 文本跨度）以及视频片段的端到端对齐。

NAVCON 导航概念和视频剪辑生成的处理步骤总览

① 整体框架概述

整个构建框架由导航概念定义、语言概念提取与人工评估以及视频剪辑对齐与时序窗口微调三个核心阶段组成。它通过自然语言处理管线提取指令中的动作谓词及修饰词组，并与 Habitat 模拟器导出的智能体第一视角视频流进行多模态时序关联。

② 逐模块讲解

导航概念定义模块：
- 输入：无标注的导航指令文本。
- 处理：基于动物与人类大脑空间建图的认知科学研究（如海马区位置细胞、边缘系统头部方向细胞、内嗅皮层边界细胞和自主运动系统），系统定义了四种核心导航概念：
  - 定位自身（Situate Yourself, SIT）：标识当前所处的位置与环境特征（如 “standing in front of that pillar”）。
  - 移动路径（Move along a Path, MOVE）：表示沿特定物理通道的位移（如 “step into this area with a large pool”）。
  - 改变方向（Change Direction, CD）：描述朝向的转动（如 “turn around from the bench”）。
  - 改变区域（Change Region, CR）：刻画越过物理边界进入新空间的动作（如 “enter the room that is in front of you”）。
- 输出：导航概念的分类体系。
- 设计动机：提供符合认知科学、且覆盖主流 VLN 指令所需的完备导航语言原语。
语言概念提取管线：
- 输入：来自 R2R 和 RxR 数据集的 30,815 条训练指令。
- 处理：利用 Stanza constituency parser 等 NLP 工具进行分词、词干化、词性标注与句法分析。首先检索出 348 个候选根动词，通过人工筛选保留 81 个无歧义映射到上述四大概念的导航根动词；然后提取这 81 个根动词的所有句法子节点，形成代表导航概念的完整谓词短语。
- 输出：236,316 个自动生成的“银标（silver）”导航概念短语标注（包含概念类别与对应的文本跨度）。
- 设计动机：降低人工标注的成本，同时利用 constituency trees 保证提取出的概念词组的句法完整性（包含修饰语和地标名词）。
视频剪辑对齐与微调模块：
- 输入：带有单词级时间戳的 RxR 导航指令、 Matterport 3D 场景以及智能体运动轨迹姿态（pose traces）。
- 处理：利用 Habitat 模拟器以 10 倍下采样率渲染智能体视角图像（320x240 像素），提取了 760 万帧图像。通过 RxR 词级时间戳，将提取的语言概念短语在时序上投影到对应的智能体运动视频剪辑中。针对 RxR 部分单词时间戳不准导致动作未开始或已结束的对齐偏移问题，引入了时序窗口微调策略：将每个剪辑的提取时间窗口向后延伸视频总长度的 5%。
- 输出：270 万帧已实现概念-视频对齐的图像数据，覆盖 19,074 条指令。
- 设计动机：解决跨模态细粒度对齐的时间错位问题，提供大规模的高质量视频-语言导航原语对齐数据。

NAVCON 概念与视频剪辑对齐示例（时间从左至右推移）

③ 训练目标与分类器

基于生成的银标数据集，论文训练了一个导航概念分类器 (Navigation Concept Classifier, NCC)。模型基于轻量级的 distilbert-base-uncased，在输入端接收分词后的指令，在输出端使用 BIO 格式进行 Token 级别分类（共 5 类：SIT、MOVE、CD、CR 的 B/I 标记，以及 O 外部词）。训练采用标准的交叉熵损失函数进行序列标注： $\mathcal{L} = -\sum_{i=1}^{N} \sum_{j=1}^{C} y_{i,j} \log p_{i,j}$ 其中 $N$ 为序列长度，$C$ 为分类类别数（$C=9$，包括 B- 和 I- 标记及 O），$y_{i,j}$ 为真实标签，$p_{i,j}$ 为预测概率。

3. 核心结果/发现

数据集特征：NAVCON 概念分布中，MOVE（移动路径）占比最大，达 42%；SIT（定位自身）占 28%；CD（改变方向）占 22%；CR（改变区域）占 9%。

NAVCON 数据集中导航概念的分布统计情况

标注质量评估：人工评估表明，银标概念分类正确率达 95.82%，对应的文本跨度覆盖正确率达 95.49%，漏检率低于 4%。在引入时序窗口延伸 5% 后，视频剪辑的精确对齐率从 73.63% 大幅提升至 88.62%。
NCC 分类器表现：NCC 分类器在 unseen 测试集上表现极佳，实现概念类别与文本跨度 100% 完美匹配（Exact Match）的比例高达 96.53%。
LLM 少样本泛化能力：使用 GPT-4o 进行 3-shot 上下文学习（In-Context Learning）进行概念提取，在 unseen 数据上实现了 82.12% 的 Exact Match，说明该导航概念对 LLM 具有高度的可学习性与泛化性。

4. 局限性

解析器依赖性：对语言概念的提取极度依赖 Stanza constituency parser 的句法解析准确率，句法树错误会直接导致概念跨度提取不完整。
多模态对齐误差：视频-文本对齐质量受限于原始 RxR 数据集 word-timestamp 标注的准确性，尽管采用了窗口延展，仍有约 11% 的视频片段对齐不完整。

2. LoGoPlanner (2025)

——定位接地的端到端导航策略：把度量尺度的视觉几何”植入”规划

📄 Paper: arXiv:2512.19629 · 🏛️ ICRA 2026

研究背景/问题

现有”端到端”导航虽把感知、建图、规划合并，却仍依赖独立的定位模块（SLAM / 视觉里程计）做自状态估计，而定位模块需要精确的相机-底盘外参标定，泛化性差、在足式机器人抖动场景尤其不稳定。根因在于这些规划器大多只处理单帧或短片段，缺乏对长时序历史的总结能力，短期估计会随时间累积漂移；单帧感知也缺乏稳健度量推理所需的几何记忆，重建往往是局部或尺度模糊的。本文目标：仅用 RGB-D 观测，实现无需任何外部定位模块的点目标（point-goal）导航。

三种规划范式对比：(a) 传统模块化逐模块分解引入级联误差；(b) 现有端到端仍依赖显式定位模块；(c) LoGoPlanner 把隐式状态估计与度量感知几何整合进策略，实现完全端到端规划。

主要方法/创新点

LoGoPlanner 在一个统一网络里端到端协同三大部分：(A) 度量感知视觉几何学习——以预训练视频几何骨干 VGGT 为底，注入深度尺度先验，通过局部点 / 相机位姿两个 auxiliary head 产生世界点嵌入；(B) 定位接地的导航策略——解耦相机与底盘位姿，用 state query / geometric query 通过 cross-attention 把隐式状态与几何聚合成统一规划上下文；(C) Diffusion 策略头——以规划上下文为条件对噪声动作迭代去噪，输出无碰撞轨迹。整条链路把”定位”和”建图”从显式模块降格为网络内部的隐式特征，规划误差是唯一最终优化目标。

整体架构：ViT 对图像 patch 注入尺度先验后送入视频几何骨干，微调出度量尺度预测；query-based 设计让自状态与环境几何分别由 state/geometric query 隐式聚合；末端挂一个被 detach 的 diffusion 策略头生成可行、无碰撞轨迹。

度量尺度注入（Metric-aware Geometry）：VGGT 原生只给相对尺度重建，无法对齐规划轨迹。作者用一个轻量 ViT 把深度图编码成几何 token，在 patch 级与语义 token 融合，经带 RoPE 的 transformer decoder 得到带度量尺度的逐帧特征：
\[t_i^{metric} = \text{Attention}_{\text{RoPE}}((t_i^I, t_i^D), pos)\]
再分支到局部点 head（由针孔模型监督相机系 3D 点）与相机位姿 head（解码相机到世界变换，世界系定义在最后一帧底盘系）。两个 head 的中间特征拼接后经 context fusion 与点云解码器，输出以机器人当前位置为原点的稠密度量尺度点云，覆盖被遮挡与后视区域。
相机/底盘外参解耦：感知绑定相机视角、控制执行在底盘坐标系。把相机位姿与底盘位姿拆成两个独立预测任务，假设相机相对底盘无 yaw 旋转，由位姿特征额外预测底盘位姿与当前帧相对目标，相机位姿经固定外参 $T_{b,i}=T_{c,i}\cdot T_{ext}$ 换算。训练时在任意相机高度（0.25–1.25 m）与俯仰角（0°–30°）下构造数据，赋予跨本体鲁棒性。
Query-based 隐式聚合（借鉴 UniAD）：state query 从位姿 token 抽自状态、geometric query 从世界点 token 抽环境几何，与目标 embedding 拼接送 transformer decoder 得规划上下文 query $Q_P$。关键：不把上游预测的外参/点云显式喂下游，避免级联误差，最终优化目标始终是轨迹规划误差。
Diffusion 策略头：以 $Q_P$ 为条件，从高斯噪声对动作块 $\{(\Delta x_t,\Delta y_t,\Delta\theta_t)\}$ 迭代去噪，生成可行、无碰撞轨迹。

训练采用两阶段：阶段一微调几何模型 decoder 与 task head（注入深度尺度先验，监督度量点云与外参）；阶段二冻结骨干 decoder，联合训练 diffusion head 与 task head。

核心结果/发现

仿真（InternScenes 40 个未见场景）：在完全无外部定位条件下，Home SR 57.3 / SPL 52.4、Commercial SR 67.1 / SPL 63.9，超过使用 oracle 定位的 ViPlanner——相对 ViPlanner，Home SR 提升 27.3 个百分点、SPL 提升 21.3%。
真实世界（3 平台 × 各 20 条轨迹，免 VO/SLAM 直接部署）：TurtleBot（办公）SR 85% (17/20)、Unitree Go2（家居）70% (14/20)、Unitree G1（工业）50% (10/20)，全面优于 iPlanner（10/15/0%）与 ViPlanner（50/45/0%）；四足平台相机抖动下仍能准确自定位并避障。

办公 / 家居 / 工业三类真实场景、不同机器人平台上的可视化。绿色曲线为规划轨迹，蓝色与灰色点云分别为当前帧与上一帧的障碍物。

消融（关键模块）：Odometry / Goal / Point Cloud 三个 auxiliary task 逐项叠加，Home SR 从纯端到端的 49.5 提升到 51.3 → 52.4 → 57.3，证明点云监督带来超出 2D 语义的空间关系、显著提升避障。
消融（几何骨干）：DepthAnything（单帧）→ Video DepthAnything → VGGT†（无度量尺度）→ VGGT（注入尺度先验）逐级提升；注入尺度先验后 PE 从 0.87 降到 0.55（Home），说明度量尺度监督对真实部署是必需的。

重建结果可视化：第一行为真值场景点云，第二行为预测点云；点云以最后一帧底盘为坐标原点、按度量尺度预测。

关键创新：

把”定位”吸收进网络：用长时序视觉几何骨干做隐式自状态估计，免标定、免外部 SLAM/VO，跨本体跨视角直接部署。
相对尺度→绝对度量尺度：注入深度先验校正 VGGT 的尺度模糊，得到可对齐规划坐标系的稠密点云。
隐式特征条件化而非显式传递：用 auxiliary task 把几何/位姿能力蒸馏成隐式特征供 diffusion 头条件化，切断级联误差，以规划误差为唯一优化目标。

局限性

受限于可用导航场景数量较少（约 2k），真实环境下的重建质量仍不理想；作者正在度量尺度的真实世界数据集上继续训练，以提升实际部署性能。

3. VL-Nav (2025)

——实时零样本 Vision-Language 导航系统，融合像素级视觉-语言特征与启发式空间推理

📄 Paper: arXiv:2502.00931 · 🏛️ IROS 2026

精华

这篇论文展示了如何将像素级 vision-language 特征与启发式探索策略结合，实现高效的零样本导航。值得借鉴的核心思想包括：(1) 使用 Gaussian 混合模型将像素级 VL 特征转换为空间分布，而非依赖单一图像级相似度分数；(2) 引入 instance-based target points 模拟人类搜索行为，允许机器人接近并验证潜在目标；(3) 通过 rolling occupancy grid 和 partial frontier detection 优化计算开销，使系统能在低功耗平台上实时运行；(4) 结合 distance weighting 和 unknown-area heuristic 避免反复移动，提升大规模环境中的导航效率；(5) 证明了模块化方法在真实世界中的泛化能力优于端到端学习方法。

研究背景/问题

当前的 vision-language navigation 系统面临三大挑战：难以解释像素级 vision-language 特征、在不同环境中泛化能力差、无法在低功耗平台上实时运行。现有方法如 VLFM 依赖计算密集型模型且仅使用单一图像级相似度分数进行目标选择，限制了其利用细粒度 vision-language 线索的能力。

主要方法/创新点

VL-Nav 系统架构总览：整合了 VL 模块、地图模块和 HVL 空间推理

VL-Nav 提出了一个针对低功耗机器人优化的 vision-language navigation 框架，在 Jetson Orin NX 上实现 30 Hz 实时性能。核心创新在于 Heuristic-Vision-Language (HVL) 空间推理，将像素级 vision-language 特征与启发式探索策略相结合。

Rolling Occupancy Map：系统维护一个动态 2D 占用栅格地图，每个单元格标记为 free (0)、unknown (-1) 或 occupied (100)。与传统固定大小全局栅格不同，VL-Nav 采用 rolling grid，仅在新传感器数据需要时动态扩展，降低内存使用和 BFS/cluster 计算开销。更新过程包括：(1) 根据需要扩展地图；(2) 清除前向 FOV 内的过时障碍物；(3) 膨胀新障碍物；(4) 使用 raycasting 将 unknown cells 标记为 free。

Frontier-based 与 Instance-based Target Points：系统生成两类候选目标点。Frontier-based points 通过 partial frontier detection 在前向楔形区域内识别，仅测试满足角度和距离约束的单元格，并使用 BFS 聚类。Instance-based target points (IBTP) 来自 vision-language 检测器周期性报告的候选实例中心，保留置信度高于阈值 τdet 的检测结果。IBTP 模拟人类搜索行为：看到可能匹配的目标时会靠近确认，而非忽略中间检测结果。

VL Scoring 示意图：像素级开放词汇检测结果通过 Gaussian 混合模型和 FOV 加权转换为空间分布

HVL 空间推理：这是 VL-Nav 的核心创新。对每个候选目标 g，系统计算 HVL score。VL Score 使用 Gaussian 混合模型将像素级 vision-language 特征转换为机器人水平 FOV 上的分布。假设开放词汇检测模型识别出 K 个可能方向，每个由 (μk, σk, αk) 参数化，其中 μk 表示 FOV 内的平均偏移角度，σk 编码检测的角度不确定性（固定为 0.1），αk 是基于置信度的权重。VL score 计算为：

S_VL(g) = Σ(k=1 to K) αk * exp(-1/2 * ((Δθ - μk)/σk)²) * C(Δθ)

其中 C(Δθ) = cos²(Δθ/(θ_fov/2) * π/2) 是视野置信度项，降低大角度偏移检测的权重。

Heuristic Cues 包括两个启发式项：(1) Distance Weighting: S_dist(g) = 1/(1+d(xr,g))，使较近目标获得更高分数，减少能量消耗和不必要的徘徊；(2) Unknown-Area Weighting: S_unknown(g) = 1 - exp(-k*ratio(g))，其中 ratio(g) 是局部 BFS 中 unknown cells 与可达 cells 的比率，鼓励探索可能揭示大量未知空间的目标。

最终 HVL score 为：S_HVL(g) = w_dist * S_dist(g) + w_VL * S_VL(g) * S_unknown(g)。系统优先选择 instance-based goals（基于 VL score），若无则选择得分最高的 frontier goal（基于 HVL score）。

Path Planning：选定 HVL goal 后，系统使用 FAR Planner 进行 point-goal 路径规划，以多边形表示障碍物并实时更新可见性图，支持部分未知环境中的高效重规划。局部规划器将 FAR Planner 的路径点细化为短时域速度命令，确保对新障碍物的快速反应。

四种不同规模和语义复杂度的真实世界实验环境

核心结果/发现

不同环境中的轨迹对比和检测结果，展示 VL-Nav 相比 Classical 和 VLFM 方法的优势

VL-Nav 在四个真实世界环境（Hallway、Office、Apartment、Outdoor）上进行了全面评估，每个环境具有不同的语义复杂度（High、Medium、Low）和规模（Big、Mid、Small）。主要发现包括：

整体性能：VL-Nav 达到 86.3% 的总体成功率 (SR)，比先前方法提升 44.15%。在所有四个环境中，VL-Nav 的 SR 和 SPL（Success weighted by Path Length）均为最高。
Instance-based Target Points 的影响：去除 IBTP 后性能显著下降，特别是在复杂环境（Apartment 和 Office）中，证明了允许机器人接近并验证潜在检测结果的重要性。
Heuristics 的贡献：去除启发式项后 SR 和 SPL 均下降，特别是在大规模环境中，表明 distance weighting 和 unknown-area heuristic 对提升效率至关重要。
相比 VLFM：VL-Nav 在所有环境中均超越 VLFM，特别是在语义复杂（Apartment）和开放区域（Outdoor）环境中，优势更加明显，证明了像素级 VL 特征和 HVL 空间推理的有效性。
环境规模影响：经典 Frontier Exploration 在大规模环境中性能急剧下降（Big 环境中 SR 仅 36.7%），而 VL-Nav 保持鲁棒（82.3% SR），证明了其在各种规模环境中的适应能力。
语义复杂度影响：所有方法在语义更丰富的环境中表现更好，因为结构化室内空间提供了更强的检测和分割线索。VL-Nav 能够充分利用语义上下文，在高复杂度环境中获得更显著的优势。
实时性能：VL-Nav 在 Jetson Orin NX 上以 30 Hz 运行，通过选择高效的 YOLO-World 模型变体（256×320 输入，标准 GPU runtime）和 rolling occupancy grid 实现了真实世界部署的可行性。

局限性

系统在处理包含隐藏对象引用和特定文本注释的复杂语言描述时存在困难。此外，系统依赖于手动定义的阈值（如光照条件等），这些阈值可能无法在不同环境和场景中很好地泛化，需要进一步研究自适应或基于学习的阈值调整方法。

4. GaussNav (2025)

——Gaussian Splatting for Visual Navigation

📄 Paper: arXiv:2403.11625 · 🏛️ IEEE TPAMI 2025

研究背景/问题

Instance ImageGoal Navigation (IIN)要求智能体在未探索环境中定位并导航至目标图像所描绘的特定对象实例，需要跨视角识别目标对象同时忽略干扰物。现有基于BEV地图的导航方法缺乏详细纹理表示，难以胜任实例级任务，无法保留场景的实例感知特征，不足以区分同类别的多个对象。

主要方法/创新点

GaussNav首次将3D Gaussian Splatting（3DGS）引入具身视觉导航，提出语义高斯地图表示：

GaussNav整体框架：前沿探索→语义高斯构建→高斯导航

前沿探索（Frontier Exploration）：

智能体同时维护探索地图和障碍地图，探索地图标记已探索区域，障碍地图标记场景中的障碍物
检测探索地图轮廓并排除障碍地图区域，将最近的前沿点设为路径点，迭代覆盖整个环境

语义高斯构建（Semantic Gaussian Construction）：

几何重建：

3DGS简化表示：每个高斯由9个参数特征化：RGB颜色向量c、质心µ∈R³、半径r、不透明度o∈[0,1]、类别标签l
可微渲染：通过alpha合成渲染RGB、深度和轮廓图像，支持新视角合成（NVS）
关键帧检索机制：针对导航场景帧间重叠有限问题，存储历史帧并周期性渲染评估PSNR，优先优化低保真帧，采用两阶段优化（p1=30迭代新视点，p2=60迭代关键帧视点）

语义高斯构建流程：高斯密集化与语义高斯更新交替进行

语义特征注入：

实例分割：使用Mask-RCNN为每个高斯分配语义标签
特征优化：通过特征splatting渲染逐像素语义特征，优化特征损失以鼓励实例内一致性和实例间可分性
高斯聚类：基于语义标签和3D位置聚类高斯，将场景中的对象分割为不同语义类别下的不同实例

高斯导航（Gaussian Navigation）：

高斯导航流程：分类器→渲染描述性图像→匹配与定位→路径规划

分类器：使用ResNet50对目标图像分类预测语义标签ˆlg，显著缩小搜索空间（如场景CrMo8WxCyVb从648个潜在观测减少到33个）
匹配与定位：
- 为每个候选实例通过NVS生成描述性图像（nv=1/3/5，θ=±15°/±30°水平和垂直旋转）
- 使用DISK提取关键点和特征描述符，通过LightGlue匹配，选择匹配关键点数最多的候选对象
- 使用DBSCAN聚类去除语义分割误差导致的离群点，精确定位目标实例
路径规划：将语义高斯转换为点云并体素化投影到2D BEV网格，使用FMM生成最短距离场并规划路径

创新要点：

统一几何、语义和实例感知特征的地图表示，首次将3DGS应用于具身视觉导航
通过渲染描述性图像直接定位目标对象，无需额外探索或验证步骤
关键帧检索机制有效缓解导航场景中的遗忘和表面空洞问题

核心结果/发现

HM3D数据集性能：SPL从0.347大幅提升至0.578（提升66.6%），成功率达72.5%，显著超越所有基线方法
效率优势：运行帧率超过20 FPS，在模块化方法中效率最高，搜索空间优化显著（如CrMo8WxCyVb场景从648个观测点减少至33个）
消融实验验证：
- 移除分类器导致Success降至37.5%，SPL降至29.1%，但使用分类器后匹配时间减少2.5倍
- 移除匹配模块Success降至44.4%，SPL降至35.3%
- NVS对识别成功率有益，GT NVS可进一步提升性能（Success从72.3%升至74.7%）
- 使用GT匹配模块Success提升至85.0%，GT目标定位Success达94.6%
渲染质量分析：在HM3D验证集上PSNR最高可达40，深度渲染误差接近零，但部分高纹理场景重建质量欠佳
跨场景泛化：在36个验证场景中表现稳定，语义高斯可视化展示了对多种场景复杂度和对象组成的鲁棒性

局限性

当前方法在高纹理环境中重建质量欠佳，导致NVS可能产生孔洞等伪影。错误源分析显示匹配失败和目标定位不准确仍有改进空间。语义高斯不适合直接路径规划，需转换为2D BEV网格，增加了计算开销。

5. NavDP (2025)

——只用仿真数据训练，零样本迁移到真实机器人的导航扩散策略

📄 Paper: arXiv:2505.08712 · 🏛️ ICRA 2026 · Code

一句话概括：NavDP 用纯仿真数据训练一个端到端导航网络，靠”扩散模型生成多条候选轨迹 + Critic 打分选最安全的一条“这一组合，做到零样本 sim-to-real、并能直接换装到 TurtleBot / Unitree Go2 / G1 / Galaxea R1 等不同形态的机器人上，全程不需要地图、不需要任何真机训练数据。

研究背景/问题

机器人要在动态、非结构化的开放世界里导航，理想状态是”换个机器人、换个场景都能直接用”。但现有两条路线都有硬伤：

传统模块化方法（感知 → 建图 → 定位 → 规划）：系统延迟大、模块间误差层层累积，且要反复手调超参数；
学习型方法：受限于真实数据稀缺。靠真机遥操作采数据又慢又贵，难以 scale up。

NavDP（上海 AI Lab）的破题思路是全面拥抱仿真数据——仿真场景可以无限生成、自带”上帝视角”的特权信息（全局最优路径、全局 ESDF 距离场）。导航任务的物理交互远少于机械臂操作（manipulation），sim-to-real gap 本就更小，配合域随机化与高真实感渲染就能进一步弥合。问题随之变成两点：(1) 如何把仿真里的特权信息有效”蒸馏”进策略？(2) 如何保证策略在没见过的真实场景里安全？NavDP 的答案分别是模仿学习生成轨迹和对比式 Critic 评估轨迹。

NavDP 在双系统框架中的定位：NavDP 扮演快慢双系统（Fast-Slow System）里的 System 1——负责高频、实时的局部避障与路径规划，可无缝挂到 VLM 驱动的 System 2（负责语义理解、任务分解、长期记忆）之下，构成完整的开放世界导航能力。本文专注 System 1。

NavDP 全貌：左上的可扩展数据引擎（海量仿真场景 + 按本体规划 + 域随机化 + 并行渲染）产出训练数据 → 中间的导航扩散策略（无任何真机数据，同时学"生成轨迹"与"评估轨迹"）→ 右侧推理时先生成多条候选再选出安全轨迹 → 底部展示零样本迁移到多种真实机器人。

主要方法/创新点

NavDP 由两大支柱组成：(A) 可扩展的仿真数据引擎，负责高效造数据；(B) 统一的策略 Transformer，在一个共享网络里同时学”生成轨迹”（Actor 头）和”评估轨迹安全性”（Critic 头）。下面逐一拆解。

(A) 可扩展仿真数据引擎（DataEngine）

目标是把”造导航数据”做到又快又多样。流程是：

场景与本体建模：机器人简化为半径 $r_b=0.25\text{m}$ 的圆柱 + 两轮差速模型；为模拟不同机器人，随机化机器人高度（0.25–1.25 m）与相机俯仰角（−30°–0°），并提供两套相机 FOV（RealSense D435i 与 Zed 2）。高于相机配置高度的物体不计为障碍——这让”矮机器人能钻、高机器人要绕”成为数据里天然存在的常识。
生成无碰撞轨迹：把场景网格体素化（0.05 m）算出可通行区的 ESDF（欧氏符号距离场）；A* 规划初始路径后，对每个路径点在局部做贪心搜索把它推离障碍更远，最后用三次样条插值平滑成连续轨迹。
域随机化 + 并行渲染：用 BlenderProc 渲染照片级 RGB-D，并施加光照 / 纹理 / 视角三类随机化提升多样性。

效率上达到 2500 条轨迹 / GPU / 天，比真机采集快约 20×；最终数据集覆盖 3154 个场景、约 1627 km、452 小时、4000 万张图片（见论文 Table I），在规模与多样性上全面超越以往导航数据集。

(B) 统一策略 Transformer（一个网络，两个任务）

网络架构：多模态 RGB-D 融合 + 目标编码作为 Key/Value，轨迹经 Action Encoding 作为 Query，送入共享的 Transformer Decoder，再分出 Actor 头（预测扩散噪声 = 生成轨迹）与 Critic 头（预测安全分 = 评估轨迹）。两个任务**共享全部权重**，仅靠不同的 Query 与注意力掩码区分。

① 多模态编码（输入怎么进网络）

RGB：取最近 $N=8$ 帧，用预训练并冻结的 DepthAnything 编码器，每帧抽 256 个 patch token（带入时序信息）。
深度：只取单帧深度，用一个从零训练的 ViT 编码（为对齐绝对物理尺度，利于轨迹生成）；因深度图有 sim-to-real gap，只保留 (0.1 m, 5 m) 范围。
融合压缩：用带可学习 query 的轻量 transformer decoder，把 $(N+1)\times 256$ 个 token 压缩成 $N\times 16$ 个紧凑 token，降低后续计算量。
目标编码：遵循 PointGoal 定义，目标是相对当前位姿的 2D 坐标 $(x_g, y_g)$，经 MLP 投影到同一维度；无目标（NoGoal）探索任务则用全零张量当目标嵌入。

② Actor 头——扩散式轨迹生成 把专家轨迹按 DDPM 加噪，网络学习预测被注入的噪声，推理时从高斯噪声反复去噪得到一条由 $M=24$ 个密集路径点构成的轨迹。扩散过程天然能建模专家演示的多模态分布（同一处可能有”左绕”和”右绕”两条都对的路）。训练同时覆盖 PointGoal 与 NoGoal 两种目标，损失为两者噪声预测 MSE 的加权和（默认各 0.5）。

③ Critic 头——对比式轨迹评估（本文最关键创新） 这是 NavDP 区别于普通扩散策略的灵魂。纯模仿学习只见过”正确轨迹”，无法判断一条轨迹有多危险。NavDP 借用强化学习里的 Critic 价值函数思想：利用仿真里现成的全局 ESDF，给任意轨迹打一个”安全分”。具体地，对增广后的轨迹 $\hat\tau$，其在第 $m$ 个路径点上的 ESDF 值记作 $d_{\hat\tau}^{m}$，标签价值定义为：

\[V(\hat\tau) = \gamma \cdot \sum_{m=0}^{M}(d_{\hat\tau}^{m+1} - d_{\hat\tau}^{m}) + \lambda \cdot \frac{1}{M}\sum_{m=0}^{M}\mathbb{I}(d_{\hat\tau}^{m} < d_{safe})\]

直观理解：第一项奖励”越走离障碍越远”的趋势，第二项惩罚”靠得太近（小于安全阈值 $d_{safe}=0.5\text{m}$）”的路径点。训练时把专家轨迹做随机旋转增广，人为造出”碰撞 / 不碰撞”的对比样本喂给 Critic，让它学会区分安全与危险行为。

关键 insight：仿真专家轨迹因超参难调，常有轻微”贴边”现象。Critic 的真正价值不只是过滤碰撞，而是从一批候选里挑出安全裕度最大的那条，从而系统性提升 sim-to-real 的鲁棒性。

④ 推理流程：先生成、再选择 推理时 NavDP 先用 Actor 头一次性生成一批候选轨迹，再用 Critic 头给每条打分，选出价值最高（最安全）的一条执行。这就是”扩散生成多样性 + Critic 把关安全性”的两阶段闭环。下图把预测轨迹投影回图像、按 Critic 分值上色，蓝色=危险、红色=安全，直观展示 Critic 学到的空间常识：

不同机器人（Unitree G1 / Go2 / Galaxea R1）上的候选轨迹可视化：颜色由 Critic 价值决定，越蓝风险越高、越红越安全。即使存在行人干扰、运动模糊、光照变化，NavDP 仍能选出安全路径。

训练配置：整个网络单阶段联合训练 Actor + Critic 两个损失之和；扩散步数 10、预测路径点 $M=24$、RGB 历史 $N=8$、安全阈值 0.5 m，用 32 张 A100、batch 2048 训练。

核心结果/发现

PointGoal 点目标导航：仿真中 SR 67.2 / SPL 62.6，比此前最强的 ViPlanner（60.9 / 58.6）高 +6.3% SR；真机跨本体平均 SR 76.7%，比 ViPlanner（53.3%）高 +23.4%，在 TurtleBot 9/10、Go2 7/10、G1 7/10 上全面领先。
NoGoal 无目标探索：仿真平均无碰撞时长是 NoMaD 的 2.9×、探索面积 3.1×；真机探索时长达 3.8×，展现极强的零样本泛化与避障一致性。
三类失败模式对比（Fig. 4）：iPlanner/ViPlanner 用单帧输入导致时序不一致（相机过了障碍但机体没过，路径突变引发碰撞）、对深度噪声敏感、被带洞的不规则障碍几何”骗”而试图穿墙；NavDP 凭多帧时序 + Critic 把关都能稳健处理。
消融实验（Table V，验证三组因素）：
- RGB-D 融合不可或缺：去掉深度 −10.3% SR，去掉 RGB −5.1% SR，单帧替代多帧 −2.8% SR。
- Critic 是安全性的关键：同权重下改用随机选轨迹（去掉 Critic 选择）−7.8% SR；去掉对比轨迹增广 −3.0% SR（家居场景）。
- NoGoal 是有用的辅助任务：联合训练 NoGoal 让 PointGoal 反而 +2.1% SR / +1.8% SPL。
域随机化对跨本体至关重要（Q5 / Fig. 6）：若只用矮机器人（< 0.5 m）数据训练，高个子 Galaxea R1 学不会”绕开桌子”的策略，成功率从 90% 暴跌到 20%（−70%），而矮个子 Go2 基本不受影响——证明跨本体数据的多样性才是泛化的根本。

跨本体数据消融：场景 B 中矮机器人 Go2 可"钻桌底"、高机器人 Galaxea R1 必须"绕行"。缺少跨本体训练数据时，R1 学不到绕行策略，成功率从 90% 跌到 20%。

局限性与未来方向

NavDP 性能高度依赖高质量仿真数据；扩散模型多步去噪虽带来轨迹多样性，但相比直接回归计算开销更大。作者点明三个未来方向：

显式本体信息编码：当前仅从数据分布隐式学习运动约束，无法明确感知自身体型；理想系统应能判断”这条缝我过不去”，即把机器人几何参数作为显式条件引入决策。
运动技能与路径规划联合设计：当前避障默认”只能行走绕行”；在极端地形（需跳跃 / 跨越）下，规划器应结合自身运动能力上限做更合理的通过 / 绕行决策。
高效后训练 + 语言目标 + 全局记忆：探索后训练策略提升真机表现，把目标扩展到自然语言指令，并引入全局记忆支持长时探索。

6. FantasyVLN (2026)

———统一多模态Chain-of-Thought推理用于视觉-语言导航

📄 Paper: arXiv:2601.13976

精华这篇论文展示了如何通过统一框架整合文本、视觉和多模态CoT推理模式,值得借鉴的点包括:(1) 训练时使用CoT监督、推理时直接预测的隐式推理范式,避免了显式CoT的token膨胀问题;(2) 使用预训练VAR模型将想象的视觉观测压缩到紧凑潜在空间,大幅降低序列长度;(3) 通过跨模态对齐约束统一不同推理模式,学习模态不变的推理表示;(4) 门控机制实现单一模型灵活切换多种推理模式。这种设计在保持推理能力的同时实现了实时导航,为具身智能任务提供了实用的解决方案。

研究背景/问题 现有VLN方法面临关键挑战:纯文本CoT缺乏空间理解且容易过拟合稀疏标注;多模态CoT通过生成想象的视觉观测引入严重的token膨胀,导致推理延迟增加数个数量级,无法实现实时导航。这在长时域、多阶段导航场景中尤为突出。

FantasyVLN系统概览:整合文本和视觉CoT推理模式,联合建模语义规划和空间理解

主要方法/创新点

FantasyVLN提出了统一的隐式推理框架,核心创新包括:

1. Compact Visual CoT (CompV-CoT)

使用预训练的Visual AutoRegressor (VAR)模型将想象的视觉观测编码到紧凑潜在空间
VAR采用next-scale预测范式,256×256图像仅需30个视觉token即可精确重建,压缩比达1/2185
训练时VLM直接生成VAR潜在表示,推理时无需显式VAR解码,大幅提升效率

2. 统一多模态CoT (UM-CoT)框架

通过二元门控信号 gT 和 gV 控制文本和视觉推理的激活
四种推理模式:(a) Non-CoT (gT=0, gV=0) 直接预测动作;(b) T-CoT (gT=1, gV=0) 生成文本推理步骤;(c) V-CoT (gT=0, gV=1) 生成压缩视觉想象;(d) MM-CoT (gT=1, gV=1) 联合生成文本-视觉推理
单一模型共享参数,通过数据混合实现端到端联合训练

统一多模态CoT推理框架:支持四种推理模式,训练时使用CoT监督,推理时直接动作预测

3. 跨模态对齐约束 (Cross-Mode Alignment)

将Non-CoT模式的动作预测作为软监督信号,对齐所有CoT变体的动作输出
交替优化Non-CoT目标和跨模态对齐的联合目标,嵌入多样化推理模式到统一潜在策略
防止不同推理模式间的冲突,学习一致的模态不变表示

4. 隐式推理机制

训练时:联合学习文本、视觉和多模态CoT模式
推理时:采用Non-CoT模式直接指令到动作映射,无需生成显式CoT序列
借鉴Aux-Think的”train-with-CoT, infer-without-CoT”范式,模型隐式保留推理感知表示

训练细节

基础模型:Qwen2.5-VL (7B参数)
数据:LH-VLN训练集18,554个导航轨迹切片(每5步一个切片)
T-CoT标注:使用Qwen-VL-Max生成,包含语义规划、视觉描述、动作规划和视觉想象四部分
优化:LoRA微调,AdamW优化器,学习率1e-4,64×H20 GPUs,DeepSpeed ZeRO-2

不同VAR scale对ISR性能的影响:scale 4达到最佳平衡

VAR模型在不同scale下的图像重建质量对比:scale越高,重建质量越好,但token数量也越多

核心结果/发现

导航精度 (LH-VLN benchmark)

SR (成功率): 2.44% (所有基线中最佳)
ISR (独立成功率): 11.01% (显著优于所有方法)
CSR (条件成功率): 9.64%
CGT (加权CSR): 8.99%
显著超越次优方法Aux-Think (仅T-CoT): SR提升3.75×,ISR提升3.5×

推理效率

APS (每秒动作数): 1.03,与WorldVLA (1.02)和Aux-Think (0.97)相当
比显式CoT方法CoT-VLA (0.19 APS)快5.4×,推理延迟降低一个数量级
隐式推理每次预测仅解码单个token,而显式CoT需生成3k-5k个token

训练效率

FantasyVLN在few thousand迭代内快速收敛,token预测准确率达到1.0
WorldVLA (像素级V-CoT)需10k+迭代才能达到0.5准确率,且训练不稳定
CompV-CoT通过潜在空间推理提供更强梯度信号和更稳定的学习动态

FantasyVLN与WorldVLA的训练效率对比:CompV-CoT快速收敛,像素级V-CoT训练缓慢且不稳定

消融实验

各推理模式贡献:结合任何CoT模式与Non-CoT都能提升性能,四模式联合训练效果最佳
VAR scale选择:scale 4最优(ISR 7.41%),更小scale信息不足,更大scale冗余
跨模态对齐:关键组件,移除后SR从2.44%降至0,ISR从11.01%降至2.39%
显式vs隐式推理:隐式推理在多模态设置下表现最佳(MM-CoT隐式:SR 2.44 vs 显式0.98)

局限性 该方法在LH-VLN这种小规模数据集(18k轨迹切片)上训练,显式CoT容易过拟合并产生累积误差;在更大规模数据集上的表现有待验证。此外,绝对成功率仍较低(SR 2.44%),表明长时域多阶段导航仍是极具挑战性的任务。

7. SparseVideoNav (2026)

———Sparse Video Generation Propels Real-World Beyond-the-View Vision-Language Navigation

📄 Paper: arXiv:2602.05827

精华

SparseVideoNav 最值得借鉴的核心思想：视频生成模型（VGM）天然具备长视野预测能力，可以替代 LLM 作为导航的”大脑”，彻底解决 LLM 短视野导致的短视行为。稀疏化（sparse video generation）是兼顾长预测视野与计算效率的关键设计——不需要预测连续帧，只需关键时间戳处的帧即可提供有效导航指引。四阶段渐进式训练（T2V→I2V→历史注入→扩散蒸馏→动作学习）将大规模预训练视频模型迁移到导航领域，是一套通用的 VGM 适配范式。Diffusion Distillation 将推理步数从 50 步压缩到 4 步（9.6× 加速），使实时部署成为可能。此外，Q-Former + Video-Former 的历史压缩策略解耦了推理延迟与历史长度的关系，保证了稳定的推理效率。

1. 研究背景/问题

现有视觉-语言导航（VLN）系统依赖 LLM，受限于短视野监督（4-8步），在 Beyond-the-View Navigation（BVN）任务中表现欠佳：智能体需要在没有逐步指引的情况下，仅凭高层语义指令（如”找一张桌子并停在旁边”）定位远处不可见目标，LLM-based 方法因此频繁出现意外转向和死路困陷。简单延长监督视野会破坏 LLM 训练稳定性，而视频生成模型天然对齐长视野语言理解，成为解决 BVN 的关键突破口。

2. 主要方法/创新点

SparseVideoNav 概览：视频生成模型提供稀疏预见（Sparse Video Foresight），相较 LLM-based 基线（StreamVLN、InternVLA-N1、UniNavid）在 BVN 任务上大幅领先，推理速度提升 27×

核心思路： 利用视频生成模型（VGM）预测未来稀疏帧序列作为导航预见，将预测视野延伸到 20 秒（20s × 4FPS = 80帧），而非 LLM 仅能处理的 4-8 步。稀疏间隔设为 3 时（sparse interval = 3），在预测视野与视觉保真度之间取得最优平衡。

整体架构：

SparseVideoNav 整体架构（上）与四阶段训练流程（下）。VGM backbone 接收当前观测、历史帧和语言指令，生成稀疏视频 latents，DiT-based action head 基于生成的未来预见和语言指令预测连续动作

架构由三个核心组件构成：

VGM Backbone（Wan 2.1-1.3B）：接收当前帧、历史嵌入（h_T）和语言指令（umT5），输出未来稀疏视频 latents
Former 模块：Q-Former 处理时间维度历史压缩，Video-Former 处理空间维度，联合生成固定维度的历史嵌入，使推理延迟不随历史长度增长
DiT Action Head：以生成的稀疏未来 latents 和语言指令为条件，通过 cross-attention 预测连续动作序列（DDIM 重建）

四阶段训练流程：

Stage 1 — T2V → I2V 适配：保留 Wan 的 flow matching 目标，将文本到视频模型适配为图像条件的视频生成（Image-to-Video），引入稀疏帧监督，以稀疏 chunk latents [c_{T+1}, c_{T+2}, c_{T+5}, c_{T+8}, ..., c_{T+20}] 作为训练目标
Stage 2 — 历史注入：在 Wan backbone 每个 transformer block 中新增 cross-attention block，注入历史信息 h_T（Q-Former + Video-Former 编码）；新增层以零初始化保留预训练生成先验
Stage 3 — Diffusion Distillation：采用 PCM（Phased Consistency Models）进行蒸馏，以 history-injected I2V 模型为 teacher，训练结构相同的 student 模型，将推理步数从 N=50 压缩至 M=4，实现 9.6× 推理加速，同时保持视觉保真度
Stage 4 — 动作学习：冻结蒸馏后的 I2V 模型，采用逆动态范式（inverse dynamics paradigm），利用 DA3 对生成的稀疏未来帧重新标注动作标签，确保动作监督与合成动态精确对齐；训练 DiT action head 以去噪方式预测连续动作

数据采集： 使用手持 DJI Osmo Action 4（RockSteady+ 稳像）采集 140 小时真实室外导航视频，处理为约 13,000 条轨迹（均值 140 帧 × 4FPS），使用 DA3 估计相机位姿提取连续动作标签；语言指令由人工专家标注——构建了目前最大规模的真实世界 VLN 数据集。

3. 核心结果/发现

SparseVideoNav 在零样本 BVN 部署中的视频生成结果分析。模型从当前帧（T）预测未来稀疏帧序列至 T+20，跨室内（找桌子）、室外（找空调）、户外（找垃圾桶）多种场景

消融研究：a) 数据扩展随规模持续提升 FVD；b) 稀疏设计带来 1.7× 推理加速；c) Diffusion Distillation 带来 9.6× 推理加速；d) Former 历史压缩保持稳定推理延迟（无 Former 时 +54.9% 随历史长度增长）

零样本真实世界性能：

SparseVideoNav 在 6 种真实场景（室内 Room/Lab、室外 Yard/Park、夜间 Square/Mountain）上全面超越所有 LLM-based 基线
IFN 任务平均成功率 50.0%（vs StreamVLN 35.0%、UniNavid 10.0%）
BVN 任务平均成功率 25.0%（vs 所有基线几乎为 0%，StreamVLN 仅 10.0%）
夜间场景成功率 17.5%（LLM 基线在夜间 BVN 全部失败）

效率提升：

推理延迟 9.8s vs 基线 21.6s（27× 加速对比未优化版本）
Stage 1+2 训练时间 32h vs 从头训练 64h（2× 加速）
稀疏设计带来 1.7× 推理加速，Distillation 带来 9.6× 加速

鲁棒性： 在训练高度（1m）与部署高度（50cm）不一致时仍能正确导航，展示出对相机高度变化的强鲁棒性；能够动态规避行人障碍（emergent ability，非显式训练）。

4. 局限性

当前 140 小时数据集相较于网络规模数据仍然有限，数据扩展是进一步提升的关键方向；推理延迟（9.8s）仍略高于现有 LLM-based 导航范式（StreamVLN），加速蒸馏与 VGM 量化是未来研究的重要课题。

8. WorldVLN (2026)

———Autoregressive World Action Model for Aerial Vision-Language Navigation

📄 Paper: arXiv:2605.15964

精华

WorldVLN 将航空 VLN 重新定义为”预测驱动的世界-动作”问题：Agent 不直接从观测映射到动作，而是先在隐空间预测世界状态演化，再从预测的隐表示解码出可执行路径点。其核心启发是：空间导航本质上是预期性的，如同人脑预测移动后的状态变化。将视频生成模型的时序先验迁移至导航，并通过 Action-aware GRPO 强化学习直接优化动作后果而非视觉合成质量，这两个设计使 WAM 范式在有限训练步数下超越 VLA 基线 12+ 个百分点。闭环自回归更新（用真实观测替换模型生成的隐状态）解决了长程隐预测的漂移问题。零样本迁移到真实无人机验证了隐式预测架构的潜在泛化能力。

1. 研究背景/问题

现有 VLA 模型将 VLN 视为从指令和观测到动作的条件映射，虽具备语义理解能力，但缺乏对”Agent 自身动作如何改变世界状态”的显式时序因果建模，导致在空间推理和几何精度上存在明显短板。视频生成模型虽拥有强大的时空先验，但其生成目标（视觉真实性）与 VLN 目标（动作导向的状态预测）之间存在结构性错配：大多数视频骨干以双向方式生成整段视频，而 VLN 需要因果性的”观测—行动—更新”闭环；此外，生成模型的隐表示未被优化为可动作解码的形式。

2. 主要方法/创新点

整体框架： WorldVLN 由三大模块构成——（1）潜空间时空自回归 Transformer（世界骨干）负责预测短时域世界状态转变；（2）动作解码器（Action Decoder）将隐状态转变解码为可执行路径点；（3）两阶段训练框架，先通过监督学习对齐视频先验与导航动态，再通过 Action-aware GRPO 强化学习优化动作后果。

图1：WorldVLN 整体架构。模型从指令和历史观测预测短时域隐状态转变，解码为路径点动作，执行后将真实观测编码回自回归上下文。

① 世界骨干（Latent Autoregressive Video Transformer）

输入：文本编码器输出指令嵌入 $e_\ell = \psi(\ell)$，以及历史真实自中心观测编码后的隐状态序列 $z_{\leq t}$
处理：时空自回归 Transformer 按从粗到细的尺度预测多尺度 token 块（先全局低分辨率，再局部高分辨率），并沿时间维度按片段顺序自回归生成
输出：短时域隐状态预测 $\hat{z}_{t+1:t+K} \sim p_\theta(\cdot \mid e_\ell, z_{\leq t})$
设计动机：借用视频生成模型的时序先验而非从头学习，同时将生成架构改造为因果自回归以支持闭环

图6：潜空间时空自回归世界骨干架构。输入图像或历史视频被编码为已知视觉金字塔条件，预测未来目标片段金字塔，多尺度 token 块聚合为输出隐表示。

② 动作解码器（Action Decoder）

输入：世界骨干输出的未来隐表示 $\hat{z}_{t+1:t+K}$（紧凑时空表示，编码了视角变化、空间结构变化和运动趋势）
处理：Vision Embedding 模块将隐表示转换为时空嵌入 token；多层 Transformer Block 采用分解时空注意力——时间注意力捕捉跨帧运动演化，空间注意力建模每帧内的几何结构；MLP 动作头将聚合特征回归到连续动作向量
输出：连续路径点动作 $a_{t:t+K-1} = D_\phi(\hat{z}_{t+1:t+K})$，对应 UAV 的相对 3D 位移和偏航角变化
设计动机：避免将隐状态解码为视频帧再估计运动（有误差累积），直接从隐表示推理动作更简洁高效

图7：动作解码器架构。世界模型输出隐表示经视觉嵌入转换为时空 token，多层分解时空注意力 Transformer Block 建模动作相关特征，最终由 MLP 回归为连续 UAV 导航动作。

③ 闭环自回归更新

完整推理循环为： $(e_\ell, z_0) \to \hat{z}_{1:K} \to a_{0:K-1} \to o_{1:K} \to z_{1:K} \to \hat{z}_{K+1:2K} \to \cdots$ 关键在于执行动作后，将真实观测重新编码 $z_{t+1:t+K} = E_\text{vid}(o_{t+1:t+K})$ 替换模型预测的隐状态，防止隐预测漂移积累。

④ 两阶段训练框架

图2：两阶段训练框架。Stage 1 用指令-视频对监督世界骨干，用视频-轨迹对监督动作解码器。Stage 2 采样多条在线轨迹，用轨迹精度、任务进度和参考策略正则化分配 Segment 级奖励，通过 Action-aware GRPO 更新 WorldVLN。

Stage 1 — 监督训练（世界先验对齐）

世界骨干目标： $\mathcal L_\text{wm} = -\sum \log p_\theta(z_{t+1:t+K} \mid e_\ell, z_{\leq t})$

动作解码器目标（通过视频-动作教师模型蒸馏初始化）： $\mathcal L_\text{act} = \sum \lVert D_\phi(E_\text{vid}(o_{t+1:t+K})) - a^*_{t:t+K-1} \rVert$

Stage 2 — Action-aware GRPO（动作后果对齐）

对每条导航案例采样 $G$ 条在线轨迹，每条包含 $n$ 个自回归决策段，对第 $j$ 段分配奖励：

\[r^{(i)}_j = \gamma^{j-1}\left(\lambda_\text{traj} r^{(i)}_{\text{traj},j} + \lambda_\text{task} r^{(i)}_{\text{task},j} + \lambda_\text{ref} r^{(i)}_{\text{ref},j}\right)\]

轨迹奖励 $r_\text{traj}$：局部几何监督，衡量预测动作与专家动作的接近程度
任务奖励 $r_\text{task}$：全局终点评估，衡量轨迹终点与目标的距离
参考奖励 $r_\text{ref}$：KL 正则化，保持更新策略与参考策略（Stage 1 产物）的一致性，防止世界先验退化
时序衰减 $\gamma^{j-1}$（$\gamma=0.9$）：早期决策权重更大，因其影响后续更长的动作链

优势归一化后以 GRPO 截断目标更新策略。

3. 核心结果/发现

UAV-Flow-Sim（室外）：WorldVLN 达到 79.12% / 78.02% 平均 SR（固定/开放语言模板），分别比最强基线提升 13.51 / 12.24 个百分点。在 Approach（97.62%）、Land（98.15%）、Move（100%）等精细动作上表现尤为突出。

IndoorUAV-VLA（室内）：Full-set SR 达 41.76%，比最强基线（π0，27.16%）提升 14.60 个百分点；Hard 难度下 SR 从 7.55% 提升至 41.19%，显示对复杂多步动作组合的强适应能力。

消融分析：

与 OpenVLA 对比：相同步数下，Stage 1 后的 WorldVLN 已超越 OpenVLA-SFT，表明 WAM 范式学习效率更高
自回归 vs 全序列预测：自回归提升 SR 5.7+ 个百分点，隐预测可视化显示全序列预测存在语义漂移，而自回归因持续融合真实观测保持了连贯的视觉空间表示
Action-aware GRPO：在 Stage 1 接近饱和后额外提升 10+ 个百分点，轨迹可视化显示 RL 后模型能正确执行”环绕”等几何精确动作

零样本真实机器部署：在仅用仿真数据训练的情况下，WorldVLN 在 250 mm 轴距四旋翼无人机上实现室内和室外的语言指令跟随，机载 Jetson Orin NX + 远程服务器推理架构验证了实际可部署性。

4. 局限性

当前实验主要针对短程低时域导航，长距离多阶段 VLN 尚未充分验证；受骨干计算量限制，真实部署仍依赖服务器端推理，无法完全机载运行。

9. NavWAM (2026)

———首个将未来预测、价值评估与动作决策集成于单一具身世界模型的导航模型

📄 Paper: arXiv:2606.13494 · Project Page

精华

一体化整合：NavWAM 将传统导航世界模型（NWM）中分离的“未来预测”与“动作规划（如 CEM 搜索）”整合进单一的视频扩散 Transformer 网络中。
共享 Latent Canvas：将当前状态、目标图像、当前视觉观测、可执行动作 Chunk、未来状态、未来视觉预测和进度价值评估（Value）统一表征为固定 9 帧的潜在画布（Latent Canvas）序列，通过联合去噪实现多任务输出。
消除在线规划开销：在测试时直接以 Policy 模式进行单次推理去噪即可输出动作 Chunk，避免了传统世界模型繁重的在线轨迹采样与优化，控制频率可达 5Hz，计算量降低数千倍。
提升表征质量：通过引入未来视觉预测的 dense 自监督重构损失，为动作选择提供了强有力的“未来观测锚定”，显著降低了局部可观测下的策略漂移。

1. 研究背景/问题

在局部可观测的图像目标导航中，传统的基于规划的导航世界模型（NWM）通过预测动作序列条件下的未来视觉变化来辅助决策。然而，这些方法通常将“世界预测”和“动作选择”分为两个独立的步骤：模型仅作为一个单纯的预测器，而在推理时必须依靠外在的规划算法（如交叉熵方法 CEM）在大量的随机候选动作序列中进行耗时的闭环生成与评分。这导致了巨大的在线计算开销（通常低至 sub-Hz 级别）。为了消除这一瓶颈，本研究致力于构建一个世界动作模型，将未来感知预测、价值估计和连续动作生成直接统一在单个网络表征中。

2. 主要方法/创新点

传统导航世界模型 (NWM) 与导航世界动作模型 (NavWAM) 的对比示意图

整体框架

NavWAM 使用预训练的视频世界模型 Cosmos Predict2 (2B) 作为网络底座，将当前观测、图像目标、机器人状态、未来动作序列（Action Chunk）、未来视觉观测和目标进度价值（Goal-Progress Value）融合成一个统一的 9 帧“世界-动作潜在画布（World-Action Latent Canvas）”。通过这种表征，导航任务被建模为在潜在画布上的联合去噪问题。

NavWAM 的 Latent Canvas 帧布局与数据流动

Latent Canvas 帧布局

画布中的 9 个帧被定义如下：

帧 0 (Observed)：Causal VAE temporal pad（全零帧），为时空 VAE 压缩提供边界。
帧 1 (Observed)：当前机器人状态 $s_t = [x_t/100, y_t/100, \psi_t/\pi] \in \mathbb{R}^3$，在局部坐标系中标准化。
帧 2 (Observed)：目标图像 $g$（Image Goal）。
帧 3 (Observed)：当前第一人称视觉观测 $o_t$。
帧 4 (Predicted)：待预测的可执行动作 Chunk $a_{t:t+H-1} \in \mathbb{R}^{3H}$，其中 $H=4$（表示局部航向点增量 $[\Delta x_i, \Delta y_i, \Delta \psi_i]$）。
帧 5 (Predicted)：未来状态预测 $s_{t+H} \in \mathbb{R}^3$。
帧 6 & 7 (Predicted)：未来的两个自车视角图像预测 $o_{t+H-1}, o_{t+H}$。
帧 8 (Predicted)：目标进度估计值 $v_{t+H} \in [0, 1]$。

对于动作、状态、价值等非图像标量/向量，NavWAM 首先对其进行归一化，然后将其在空间网格（Spatial Grid）上进行广播（Broadcast）填充为整帧；解码时则通过空间平均（Spatial Averaging）将对应通道的去噪特征恢复为标量/向量值。

训练目标与混合模式

网络损失函数基于潜在画布上的加权去噪得分匹配： $\mathcal{L}_{\text{diff}} = \mathbb{E}_{\sigma, \epsilon} \left[ w(\sigma) \lVert x_0 - F_\theta(x_\sigma, \sigma, c) \rVert_2^2 \right]$ 为了防止低维的动作信号淹没在图像重构的高维像素损失中，动作帧损失被乘以权重系数 $\lambda = 5$ 进行了上采样增强。

在训练阶段，样本被划分为三种不同的条件模式以促使网络联合学习不同的导航子任务（比例为 50/25/25）：

Policy 模式 (50%)：给定观测帧 0–3，预测帧 4–8。
World-Model 模式 (25%)：给定观测帧 0–4，预测帧 5–8。训练模型在动作条件下的物理演化预测。
Value 模式 (25%)：给定观测帧 0–7，预测帧 8（当前轨迹下的目标进度价值）。

目标进度价值设计

价值目标 $v_{t+H}$ 被显式定义为反映机器人局部到终点精度的归一化距离进度： $v_{t+H} = \text{clip}\left( 1 - \frac{\lVert p_{\text{end}} - p_t \rVert_2}{d_{\text{max}}}, 0, 1 \right)$ 其中 $p_t$ 为当前 2D 位置，$p_{\text{end}}$ 为目标 2D 位置，$d_{\text{max}}$ 为轨迹最大长度上限。

推理流程

在部署阶段，机器人获取当前图像 $o_t$ 和目标 $g$，在 Policy 模式下运行，通过单次去噪过程直接输出 $\hat{a}_{t:t+H-1}$。随后以 Receding-Horizon 的方式执行这组动作 Chunk，执行完毕后重新请求网络，实现大约 5Hz 的高频闭环响应。

3. 核心结果/发现

GO STANFORD 测试集上 NavWAM、NWM 与 NavWAM w/ FT 的未来图像预测质量对比

更优的导航表现：在 GO STANFORD 离线图像目标导航上，NavWAM 在无需推理时 CEM 动作搜索的前提下，其 zero-shot（ATE 0.324）和微调版（ATE 0.192 / RPE 0.070）均优于传统的 NWM（ATE 0.453）。同时，模型保持了卓越的未来视觉预测一致性（Consistency 达 0.635–0.668，明显好于 NWM 的 0.524）。
极其低廉的推理开销：单次去噪推理代替 CEM 轨迹优化，使得 NavWAM 的 FLOPs 仅为 4.45 TF，推理延迟仅为 205.7 ms，而同底座的 NWM 延迟达 233.8 秒，FLOPs 高达 14,521 TF，推理成本相差数千倍。
多任务监督的作用：消融实验证明，未来视觉预测监督能够为决策系统带来长程路标锚定，是不可或缺的自监督信号（相比去掉未来图像的策略，ATE 从 0.090 降低到 0.076）。
** Diablo 机器人实机闭环成功率**：在真实室内环境（Office, Storage, Meeting, Hallway）的 24 次部署测试中，NavWAM 取得了 79.2% 的高成功率，远超 OmniVLA (58.3%) 和传统 NWM (16.7%)，证明了极强的鲁棒性。

Diablo 机器人实机运行期间的实测相机画面与预测未来画面对比（H=4）

4. 局限性

测试场景局限：实机评估主要集中在静态的室内环境中，面对含有行人和移动物体的动态障碍物场景未做验证。
目标形态局限：主要针对图像目标导航（Image-Goal Navigation），对于自然语言指令导航、物体类别导航（Object-Goal）以及具身问答尚未开展系统验证。
长程瓶颈：面对跨楼层、多房间的大范围、极长程导航场景（需要频繁的子任务规划与重规划），由于上下文帧数限制，依然存在表现衰退的风险。

10. ABot-AgentOS (2026)

———面向具身智能的通用机器人 Agent 操作系统与终身多模态记忆系统

📄 Paper: arXiv:2607.10350 · Project Page

精华

模块化分层解耦架构：ABot-AgentOS 部署于底层机器人控制器与高层基础 VLM/VLA 模型之间，将高层语义推理、技能执行、多级验证与记忆检索解耦，解决了传统单一模型控制器缺乏显式终止信号与过程漂移的问题。
** Agent Harness 控制闭环**：提出包含全局 Main LLM 规划、 Skill Runner 上下文隔离局部执行以及 Verifier 运行期/技能期/结束期多阶段验证的“推理-执行-验证”闭环，显著降低长程任务中的虚假完成与盲目停滞。
通用多模态图记忆（Universal Multi-modal Graph Memory）：将语音、图像观察、空间地点、时间关联与任务轨迹转化为强类型的多模态图节点与边，支持基于证据溯源的检索与局部子图抽取。
故障驱动终身自进化（Failure-Driven Lifelong Self-Evolution）：构建基于 Trace 诊断的故障转 JSON DSL 资产机制，采用严格的后检查门控（Gating），在跨 Split 部署中实现零 ground-truth 泄露的累积式自我进化。
具身基准测试 EmbodiedWorldBench：推出首个跨室内外复合场景的可执行评测基准，覆盖 16 个场景、4 个难度等级与 200+ 复合任务；并提供了基于文本沙盒与自进化奖励引擎的端到端学生策略蒸馏训练管线。

1. 研究背景/问题

具身智能（Embodied AI）正在将人工智能从数字世界推向物理世界。近年来，视觉语言模型（VLM）与视觉语言动作（VLA）模型赋予了机器人出色的自然语言理解、视觉场景感知与动作预测能力。然而，在语义理解与可靠的物理执行之间仍存在关键鸿沟：

语义信念与环境事实脱节：在复杂长程任务中，现有的端到端控制器或简单的 API 调用缺乏显式的中间状态验证与终止信号。机器人可能执行了导航指令但并未移动，或在局部不断碰撞却在语言层面上认为任务正正常推进。
缺少跨形态通用的 Agent 硬件抽象：现有系统多与特定机器人形态或控制接口高度绑定，难以无缝扩展到人形机器人、四足狗等多样化硬件。
记忆难以持久与溯源自我改进：缺少能够跨会话持久存储、源头可追溯且能从历史交互故障中自我改善的通用多模态记忆系统。

为此，论文提出了 ABot-AgentOS，一个运行在底层控制器之上、解耦高层认知与物理动作的通用机器人 Agent 操作系统。

2. 主要方法/创新点

ABot-AgentOS 由边云协同双 LLM 核心、Agent Harness 调度闭环、通用多模态图记忆以及端到端蒸馏训练管线四大模块协同构成。

ABot-AgentOS 系统整体架构：多源多模态输入通过边云协同双 LLM 核心路由，Agent Harness 闭环调度技能与多级验证，结合通用多模态图记忆与底层控制器

① 整体框架与边云协同双核心

ABot-AgentOS 在架构设计上区分了边缘轻量模型与云端大模型（Dual-LLM Core）：

边缘 Tiny LLM：部署于机器人端侧，优先处理常规会话、简单工具调用与实时控制指令，降低响应延迟。
云端 Large LLM：当任务涉及长程复杂推理、多步规划或高难度图记忆检索时，由 learned routing 策略自动升级提升至云端大模型处理。

② Agent Harness 闭环控制

Agent Harness 改变了传统单模型控制器的设计，将 Agent 调度划分为三个明确解耦的角色：

Agent Harness 架构细节：Main LLM 负责全局场景感知规划，Skill Runner 隔离局部执行细节，Verifier 提供多阶段实时与终局验证

Main LLM（语义规划器）：接收用户指令与记忆上下文，根据当前场景生成可调整的高层计划与显式完成条件。Main LLM 不直接发出每一脚底层的微观动作，而是决定直接调用工具或将子任务委托给 Skill Runner。
Skill Runner（过程执行器）：作为技能级 Subagent 运行在独立的局部上下文中。它处理局部反复移动、视角微调与碰撞恢复等复杂过程，仅向 Main LLM 返回压缩后的高层执行结果摘要，防止局部细节阻塞 Main LLM 的全局规划。
Verifier（多阶段验证器）：
- 运行期验证（Runtime Verification）：监控轨迹与技能状态，及时识别停滞、局部死循环与频繁碰撞。
- 技能期验证（Skill Verification）：核查子任务是否真正达成语义目标，而非仅凭 Tool 返回成功。
- 结束期验证（Finish Verification）：在 Main LLM 试图终止任务时，对比初始指令、最终视觉观察与环境事实，防止虚假完成。

③ 通用多模态图记忆与终身自进化

通用多模态记忆架构与离线故障驱动自进化循环：在线写入源头可溯的类型图，离线将失败 Trace 编译为可控 JSON DSL 进化资产

多模态记忆图（Memory Graph）：将在线交互中的实体、事件、地点、视觉帧、时间关联与归因链（Provenance）写入强类型的节点与边，取代原始视频流或纯文本日志的堆叠。
混合图检索器（Hybrid Graph Retriever）：结合语义嵌入、词法匹配、元数据过滤与图边拓扑展开，抽取高质量局部证据子图。
故障驱动终身自进化（Failure-Driven Lifelong Self-Evolution）：
- Split 隔离协议：在序列 split 部署中，第 $t$ 个 split 仅能使用历史已晋级的进化资产 $A_{<t}$。
- Trace 诊断与资产编译：在 split 完成后，系统对失败样本进行 Trace 诊断，生成 JSON DSL 格式的候选进化资产（覆盖记忆写入、证据选择、帧选取、时间归一化等阶段）。
- 严格门控校验（Gating）：候选资产必须在目标验证集上提升分数且在回归集上不降低性能： $\text{Accept}(a) = \mathbb{I}[\Delta S_{\text{target}}(a) \ge \tau_{\text{gain}} \land \Delta S_{\text{reg}}(a) \ge -\tau_{\text{reg}}]$ 检验通过后方可晋级为 $A_{\le t}$ 供后续 split 使用，实现无标注泄露的累积增长。
边云协同隐私管理：边缘保留私有记忆（人脸、个人物品等），仅将公共无敏感信息的环境记忆（路障、道路地标）上云分享，隐私分类准确率达 99% 以上。

④ EmbodiedWorldBench 与策略蒸馏训练管线

EmbodiedWorldBench 评测基准概览：涵盖室内外复合场景、NPC 交互与动态事件的 16 个可执行场景与 4 级难度设定

论文推出了 EmbodiedWorldBench，涵盖 16 个室内、室外及混合场景，设 4 个难度等级与 200+ 个涉及导航、NPC 交互、物品搜索与动态事件响应的复合任务。

学生策略端到端训练管线：通过文本沙盒构建环境、自进化奖励引擎生成偏好数据并使用 DPO/SFT 优化边缘部署模型

为了将云端大模型 Agent Harness 的能力下沉到端侧小模型，论文设计了端到端蒸馏管线：

可控文本沙盒构建：使用 LLM 自动生成具有可执行状态与复杂逻辑的文本沙盒环境。
自进化奖励引擎：基于结构化 Trace 生成自动评分与 DPO 偏好对。
SFT + DPO 策略优化：在沙盒环境中训练部署轻量化 Student Policy。

3. 核心结果/发现

长程具身执行：在 EmbodiedWorldBench 初始子集评估中，ABot-AgentOS 相较于单一控制器基线在任务成功率（Success Rate）与目标完成度（Goal Completion）上均取得显著提升，Verifier 机制减少了 35% 以上的早期误终止。
多模态记忆基准全面领先：
- LoCoMo（长程会话记忆）：Static 版本达到 87.5，+Self-evo 提升至 88.7（接近人类上限 87.7）。
- OpenEQA (EM-EQA)：8 帧预算下 Static 达到 59.9，+Self-evo 提升至 60.4（超越 SnapMem 57.2 与 GaussExplorer 57.8）。
- Mem-Gallery：Static 达到 88.6，+Self-evo 提升至 89.0（在冲突检测 CD 97.5% 与拒绝回答 AR 100% 上表现突出）。
- NExT-QA：Validation Acc@All 达到 76.5%（+Self-evo 提升 4.1 点），大幅领先 VideoAgent 等经典视频 Agent。
- EgoLifeQA：单帧检索设置下取得 66.2% 平均准确率。
终身自进化的跨任务泛化：自进化机制在所有 5 个记忆基准上均带来了稳定增量，且性能增益完全来源于对记忆流水线（如时间规范化、关系消歧）的通用改进，而非记忆内容的暴力堆叠。

4. 局限性

复杂真实物理世界的感知与控制噪声：目前大规模验证多在可执行仿真或半物理沙盒中进行，面对真实世界的高噪深度感知、抓取失败与网络通信时延仍需更深度的硬件实机调优。
自动化蒸馏依赖文本沙盒：小模型策略蒸馏目前主要依赖文本状态沙盒环境，未来需要引入多模态视觉观察与更复杂的物理仿真平台（如 Isaac Sim/Habitat）。
记忆自进化需要可信的反馈信号：离线自进化机制依赖确定性的错误诊断或人类反馈，在开放无监督环境中如何安全界定“回答错误”仍是长远挑战。

11. Agentic Embodied Control (2026)

———极简接口下的通用智能体直接掌控具身交互循环，零样本性能比肩工业级训练策略

📄 Paper: arXiv:2607.26148

精华

控制范式的根本反思：打破具身导航依赖“专门策略训练”或“人工固定工作流/双脑交接状态机”的固有模式，证明冻结权重的通用大模型仅凭代码智能体框架（Harness）和最极简的感知动作接口，即可完全自主掌控交互循环并在零样本下取得顶尖性能。
极简接口下的强大控制力：在仅提供 $512 \times 512$ 单目 RGB 图像（无深度、无全景、无建图、无位姿反馈）和 4 个离散动作原语（前进 $0.25\text{ m}$、左转 $15^\circ$、右转 $15^\circ$、停止）的前提下，前沿推理模型（Fable-5 / Opus-5）在 R2R-CE 连续导航基准上达到 $70.7\% \sim 78\%$ 成功率，直接比肩工业级规模训练的导航策略。
能力来源的单轴解耦：消融实验证实底层基础模型能力起决定性支配作用（模型切换导致 SR 跨度高达 $5\% \sim 72\%$），而不同通用 Agent Harness 的差异微乎其微（仅 $1.7\% \sim 7.3\%$）。
混合接口的涌现协同：强制智能体使用路标预测器（Forced Waypoint）反而限制了强模型的微调对齐；而将路标作为可选工具（Hybrid Interface）开放时，智能体自主涌现出“远距离选路标快速巡航 + 目标近处切原语精细微调”的策略，以 $50\%$ 的步数和不足四分之一的耗时达到 $76.7\%$ 成功率。
无声失效与具身落地鸿沟：深入审计 30 个失败案例发现智能体存在严重的“有疑无改”现象（思考链已察觉偏航却依然执行错误终止）；实体四足机器狗部署表明“推理能力可迁移，但本体感知不可迁移”，缺乏尺寸意识与持久空间记忆是制约长程自主的核心瓶颈。

1. 研究背景/问题

现有具身导航的两大技术路线与控制权外置困境：
- 端到端训练策略（Trained Policies）：如 NaVid、StreamVLN 等，通过海量具身数据训练专用网络，将观测逐帧映射为动作。此类方法对数据分布高度敏感，遇到分布外障碍或未见过的指令时缺乏高层泛化与反思纠错能力。
- 固定工作流与双脑系统（Fixed Workflows & Dual-Brain）：如 MapGPT、NavCoT、ABot-N1 等，虽然引入大模型，但将模型严格限制在人类编写的固定流水线中（例如固定先调用深度建图、再调用拓扑规划、再交接给低层控制器）。智能体无法根据当前情境自由决定何时观察、何时多走几步、何时放弃现有假设。
核心研究问题：
- 能否彻底剔除针对导航任务专门设计的外部脚手架（无外部地图、无深度传感器、无预设启发式搜索、无专用策略网络），直接将高层交互控制权（Control Authority）完全交由通用推理智能体主导？
- 在最极简的单目前视视角与离散动作接口下，通用大模型的具身控制上限究竟有多高？其真正的能力边界与落地卡点何在？

2. 主要方法/创新点

图 1：具身交互循环控制权归属对比（左）、极简接口交互探针架构（中）以及在 R2R-CE 上与强基线的成功率对比（右）

① 整体框架概述：智能体自主具身控制（Agentic Embodied Control）

论文提出了一种极简的具身控制探针系统。整个系统由三层完全解耦的组件构成：通用代码智能体框架（Harness）、极简感知动作接口（Interface） 和 冻结权重的多模态推理模型（Model）。智能体在整个交互过程中拥有完全的控制主导权，根据自然语言指令与历史交互记录，自主决定每一轮调用观察工具、步进动作或是终止任务。

② 逐模块深度解析（输入 → 处理 → 输出 → 设计动机）

通用智能体框架层（Harness Layer）
- 输入：用户下达的自然语言导航指令与当前会话的历史调用文本/图像上下文。
- 处理过程：直接采用为代码工程设计的通用框架（如开源的 mini-swe-agent、Anthropic 的 Claude Agent SDK 或 OpenAI 的 Codex CLI）。框架仅负责提示词拼接、工具分发执行、维持上下文会话，不包含任何导航专用状态估计、拓扑图构建或回溯策略。
- 输出：格式化的工具调用请求（Tool Calls）及环境返回结果。
- 设计动机：剥离所有围绕导航任务手工定制的外围代码逻辑，确保实验纯粹测试底层模型自身的具身推理与自主决策能力。
极简感知工具 observe()
- 输入：智能体在需要确认周围环境时发起无参数调用。
- 处理过程：环境渲染并返回当前智能体正前方的单张 $512 \times 512$ 分辨率 RGB 图像。调用该工具不会推进仿真器时间步或消耗步数预算。
- 输出：单张前视 RGB 图像。无全景视角、无深度图、无目标检测框、无语义分割、无激光点云。
- 设计动机：强制智能体摆脱对全景图和深度传感器的依赖，考察模型仅凭单目前视图像序列在脑海中维持空间朝向与地标记忆的能力。
极简动作工具 step(actions)
- 输入：一个由四个 Habitat 离散动作原语组成的有序序列列表（如 ["LEFT", "LEFT", "FORWARD", "FORWARD", "FORWARD"]）。四个原语包括：
  - FORWARD：向前移动 $0.25\text{ m}$；
  - LEFT：原地左转 $15^\circ$；
  - RIGHT：原地右转 $15^\circ$；
  - STOP：宣告任务完成并主动终止评测。
- 处理过程：底层控制器按顺序执行该动作序列，受到单 episode 最大 500 步离散原语总预算的限制。
- 输出：仅返回实际执行的原语数量和剩余可用步数。不返回任何视觉观察、不返回碰撞信号、不返回位姿或坐标漂移数据。
- 设计动机：允许模型根据对环境的把握自主决定动作粒度（可发单个旋转微调，也可发一串组合前进）；隐藏碰撞与位姿信息以迫使模型必须在执行后主动调用 observe()，通过对比前后图像的视差变化来内省推断是否发生碰撞或卡阻。

图 2：R2R-CE 连续环境中一个成功导航 episode 的完整执行日志重构，展现了智能体自主纠偏与空间反思过程

③ 端到端交互数据流与自主纠偏机制

如图 2 所示，在一个完整的导航测试中（如包含 20 次观察、20 次步进、共 111 个离散原语动作），智能体展现了高度自洽的推理与自适应调整循环：

视野建立与转向：初始观察到面对墙壁，模型推理出“需要转 180 度，即连续调用 12 次 15 度的左转”并批量下发 L×12。
碰撞与偏航感知：在执行 F×5 后调用 observe() 发现视野几乎未变，模型在思考链中写道“我几乎没动，可能是右侧撞到了床角；让我向左偏转一点绕开它”，随即自主下发 L2 F4 成功脱困。
探索与回退：误入带有梳妆台的小房间后，模型核对指令发现“原指令并未提及此房间，应直接穿过走廊去浴室”，立即掉头重新对准走廊并最终在距离浴室目标 $2.98\text{ m}$ 处自主执行 STOP。

④ 难点降维 1：具身控制范式的本质跃迁（Control Authority）

很多读者容易把本工作误解为“又一个用 Prompt 跑 VLN 的零样本方法”。其核心差异在于控制权归属（Control Authority）与工具调用模式。

控制范式	控制权归属	核心机制	遇到异常/阻碍时的表现	代表方法
端到端策略网络 (Policy)	外部环境循环	单一神经网络每步输入图像直接映射为动作	缺乏高层反思，容易在死胡同里陷入局部震荡	NaVid, StreamVLN
固定流水线 (Workflow)	外部 Python 脚本	规则代码硬编码固定流程（建图 → 找路标 → 规划 → 执行）	流程僵化，无法根据即时困难动态改变观察频率或求助其他工具	MapGPT, SmartWay
慢快双脑系统 (Dual-Brain)	预设交接协议	慢速 VLM 规划高层子目标，固定交接给快速动作专家网络	交接逻辑与更新频率由人工写死，高层意图常被低层策略失真	ABot-N1, InternVLA-N1
智能体自主控制 (Agentic Control)	推理模型自身	统一由通用大模型自主决定何时感知、走几步、查地图还是选路标	模型完全自主掌控重试、绕行、重新定向与提前终止	本文方法

graph TD
    subgraph "Agentic Embodied Control 决策闭环"
        A["输入: 语言指令 + 历史会话记录"] --> B["通用大模型推理思考 (CoT)"]
        B --> C{"模型自主决断下一步"}
        C -- "需要新视野" --> D["调用 observe() 获取单目前视 RGB"]
        C -- "执行位移" --> E["调用 step([ACTIONS...]) 下发离散动作序列"]
        C -- "确认抵达终点" --> F["下发 STOP 终止评测"]
        D --> G["将新图像与状态追加至上下文"]
        E --> H["将执行步数/剩余预算追加至上下文"]
        G --> B
        H --> B
    end

⑤ 难点降维 2：混合动作接口（Hybrid Interface）的协同涌现

强制给智能体绑定路标预测器（Forced Waypoint）往往会削弱强模型的表现；但如果将离散原语与训练好的路标预测器同时开放给智能体作为可选工具（Hybrid Interface），智能体会自主组合出极具启发性的“粗细协同”策略。

举个具体例子：假设任务是从客厅出发，穿过 10 米长的走廊，进入主卧在床头柜旁停下（总距离约 14 米）。

纯原语模式：由于每次前进仅 $0.25\text{ m}$，走完 10 米走廊需要模型反复发出 $40$ 次前进原语，并频繁调用 observe() 检查走廊两侧门洞，容易因微小角度偏航反复微调，总共消耗约 $90$ 个原语步数与近 $40$ 次模型交互调用（耗时约 $210\text{ s}$）。

强制路标模式：模型只能从预测器给出的最多 5 个路标点中选择。在开阔走廊中只需 2~3 个路标即可快速通过；但在接近床头柜的最后 $1\text{ 米}$ 狭窄区域，预测器给出的候选点往往不够贴合床边甚至紧贴墙面，导致最终停靠偏离目标或碰撞，在复杂转角处极易超调。

混合模式（Hybrid）：智能体在前 80% 的长走廊路程中自主连续调用 3~4 次路标导航快速巡航；一旦视野中检测到床头柜进入近景，模型立即主动切换为离散原语工具，以 $0.25\text{ m}$ 和 $15^\circ$ 的微步精细对齐最终停靠点。结果：步数从 87 步腰斩至 48 步，调用轮数减少一半，交互耗时从 $210\text{ s}$ 锐减至 $112\text{ s}$，成功率反而从纯原语的 $68.3\%$ 提升到 $76.7\%$！

⑥ 难点降维 3：具身智能体的“无声失效”与“有疑无改”

对 30 个失败 episode 的细致追踪揭示了当前通用大模型在具身环境下的深层行为缺陷。

失败类别	占比 (n=30)	中位数最终距目标距离	典型表现与根本原因
A. 错误指代 / 错误分支 (Wrong Referent / Branch)	$40.0\%$ (12例)	$17.3\text{ m}$	指令中包含多个歧义门洞或分岔路，模型在第一步就选错通道并一路走向完全无关的房间。
B. 停止决策失误 (Stop Decision)	$23.3\%$ (7例)	$4.9\text{ m}$	模型视野中看到了指令中提及的目标物体（如沙发），但该物体是沿途参照物而非最终目的地，模型过早终止（Object-anchored overshoot/undershoot）。
C. 迷失发散搜索 (Runaway Search)	$26.7\%$ (8例)	$18.6\text{ m}$	错过关键拐角后，模型没有选择掉头回溯，而是在未见区域盲目扩大搜索范围，距离目标越来越远。
D. 几何碰撞陷阱 (Geometry / Trap)	$10.0\%$ (3例)	$5.5\text{ m}$	因缺乏碰撞反馈，模型在桌椅死角反复前进受阻，但无法从纯视觉中分辨是否卡死。

graph TD
    A["发生偏航 / 错过关键地标"] --> B["视觉观测 observe() 与预期地标不符"]
    B --> C["CoT 内部思考链: '这里似乎不是浴室，我可能走错了'"]
    C --> D{"决策分叉点: 是否执行回溯?"}
    D -- "期望行为 (自我纠正)" --> E["掉头 180 度，回溯至上一关键分岔路口"]
    D -- "实际普遍行为 (有疑无改)" --> F["将错就错: 强行将眼前无关房间解释为终点"]
    F --> G["主动下发 step([STOP]) 自称抵达目标 (无声失效)"]

3. 核心结果/发现

图 3：单轴消融实验结果。(A) 模型能力跨越 5~72 SR；(B) 开源与厂商 Harness 差异仅 2~7 SR；(C) 路标接口对弱模型是救命稻草，但对强模型和密集环境反而带来负面影响

① R2R-CE 主榜成绩对比

在标准的 R2R-CE val-unseen（rand100 子集）上，极简接口下的通用智能体展现出惊人的零样本表现：

顶级表现：Fable-5 在 Claude Agent SDK 下（最大思考预算）达到 $78.0\%$ 成功率（SR） 和 $65.27\%$ 路径加权成功率（SPL）；Opus-5 达到 $70.7 \pm 3.5\%$ SR。
超越同类零样本系统：大幅领先同样在零样本设置下使用地图、显式记忆与深度工具的 AgenticNav（$55.0\%$ SR）与 Open-Nav（$50.0\%$ SR）。
比肩工业级训练策略：直接逼近并部分超越了在数万小时具身数据上全量训练的专用策略，如 Qwen-RobotNav（全量验证集 $72.0\%$ SR）、NavFM（$77.2\%$ SR）以及 StreamVLN（$64.9\%$ SR）。

② 模型、Harness 与接口的三维解耦发现

模型轴（Model Dominates）：在固定 Harness 和接口的情况下，仅更换底层 VLM 即可引起 $5\% \sim 72\%$ 的巨大性能跨度（Qwen3.5-4B 仅 $5\%$，GPT-5.6 达 $60\%$，Fable-5 达 $72\%$）。表明具身导航能力本质上是多模态空间推理与长上下文指令跟踪能力的自然涌现。
Harness 轴（Harness is Modest）：对比轻量开源的 mini-swe-agent 与闭源的 Claude SDK / Codex CLI，在同一模型下性能差异仅在 $1.7\% \sim 7.3\%$ 之间。
思考预算（Reasoning Effort）：增加模型的思维链计算量（Reasoning Effort）对部分模型有显著收益（Fable-5 从 default 的 $68.3\%$ 飙升至 max effort 的 $78.0\%$，提升 $+9.7\%$），但对小模型收益并不稳健。
路标工具的双刃剑效应：
- 在 R2R-CE 上，对于较弱的模型（如 Qwen3.5-4B/9B），路标预测器将成功率从 $5\%/7\%$ 拯救至 $43\%/44\%$；但对于顶尖模型（Fable-5 / Opus-5），强制使用路标带来的提升仅为 $+0.7\% \sim +1.3\%$。
- 在障碍更密集、路径更复杂的 VLNVerse 基准上，强制路标接口反而导致 Sonnet-5 成功率下降 $6\%$（$78\% \rightarrow 72\%$），Fable-5 下降 $4\%$（$84\% \rightarrow 80\%$），且碰撞率激增 4~6 倍。

③ 真实四足机器狗（Unitree Go2）实体部署

在办公楼真实环境中进行的 31 次探索性实验表明：

推理能力成功迁移：智能体能完美理解复杂条件指令（如“如果 $3+4=7$ 则左转，否则右转”）、多阶段“取物并返回”状态追踪，以及通过视觉细微特征（如“走向穿白色鞋子的人”）完成目标锁定。
本体感知完全缺失：由于智能体不知道自身的物理尺寸（长宽与后腿位置），相机刚穿过门框即过早下发左转指令，导致机器狗后躯干直接撞上门框卡死（图 10）；此外，开环步进执行导致偏航角度累计漂移，且跨视角连续过柱子时发生计数混淆（图 11）。

4. 局限性

长程任务的上下文与时间开销暴涨：在长程基准 RxR-CE 上，纯原语成功率从 $70\%$ 暴跌至 $26\%$；单 episode 交互产生的历史 token 达到 $33\text{k} \sim 169\text{k}$，单次决策中位数耗时超 200 秒，极度缺乏紧凑高效的持久空间记忆与状态整合机制。
开环控制与内省纠错闭环缺失：缺乏本体物理感知与碰撞反馈容易在现实物理世界中发生几何卡死；同时模型内部存在严重的“自疑却盲目终止”行为，亟需建立真正的自我验证与主动回溯探索闭环。

12. Route2Step (2026)

———解耦语义进度与局部执行，通过显式步级接口赋能具身导航纠偏

📄 Paper: arXiv:2608.03143 · 🏛️ ECCV 2026 · Project Page

精华

解耦语义跟踪与物理执行：将连续视觉语言导航（VLN-CE）分解为负责全局语义进度的指令分析模块（$\mathcal{M}_{\text{IA}}$）与负责局部运动控制的动作生成模块（$\mathcal{M}_{\text{AG}}$），通过“活动子指令 + 执行状态（Normal/Recovering）”显式接口解耦两者的优化目标与时序感受野。
免人工标注的几何航路点对齐（E-SPA）：利用融合视觉语义、动作意图、时长正则及垂直楼梯硬锚点的多模态动态规划，自动将路线级演示切分为有序子指令轨迹段，并将各段终点位姿提取为物理空间中的语义航路点。
分层纠偏消除错误耦合：在固定子指令下采样策略 rollout，将离轨与环回轨迹统一转化为物理接地的“状态级监督”（190K 样本），而将专家动作标签严格限制在反复失败的 Recovering 区间（仅 11.5K 样本），根治了传统 DAgger 将偏离统一归咎于动作预测失误的缺陷。
极高数据效率与即插即用迁移性：仅用 11.5K 动作监督即超越 200K 传统 DAgger 样本，在 R2R-CE 取得 55.3% SR / 48.2% SPL；预测的活动子指令还能直接注入给 StreamVLN、NaVILA、Uni-NaVid 等冻结模型实现零样本性能跃升。

1. 研究背景/问题

现有基于多模态大模型（VLM）的具身导航策略通常采用端到端统一架构，直接从全局长指令和视觉历史预测低层控制动作。然而，当智能体在连续环境中偏离参考路径时，这种统一策略无法区分两种本质不同的错误来源：语义进度错误（智能体选错了当前活动的子指令）与局部执行错误（智能体明确当前子目标但操作失误，如卡在门框）。

传统的 DAgger 纠偏机制为所有离轨状态直接赋予专家下一步动作标签。这种做法虽然能让机器人暂时回到路线上，但并未显式纠正智能体内部紊乱的语义进度估计；智能体依然在错误的子目标下继续决策，导致后续动作持续失准。如何在无需人工密集标注的前提下，将语义进度跟踪与局部执行解耦，并为不同时序层次精准分配纠偏监督，是实现鲁棒长程具身导航的核心瓶颈。

2. 主要方法/创新点

图 1：Route2Step 将路线级理解与步级局部执行解耦。$\mathcal{M}_{\text{IA}}$ 负责确定当前活跃的子指令，$\mathcal{M}_{\text{AG}}$ 则依据局部观测窗口负责具体执行。

① 整体框架概述

Route2Step 摒弃了传统的端到端直接预测动作模式，构建了由离线步级对齐引擎 E-SPA、指令分析模块 $\mathcal{M}_{\text{IA}}$ 与动作生成模块 $\mathcal{M}_{\text{AG}}$ 组成的分层架构。$\mathcal{M}_{\text{IA}}$ 依据全局长指令与全量视觉历史确定“当前处于哪个子步骤且是否需要恢复”，$\mathcal{M}_{\text{AG}}$ 则根据显式接口与近期局部观测窗口自回归生成动作块（Action Chunks）。

图 2：Route2Step 整体架构。$\mathcal{M}_{\text{IA}}$ 输出显式接口 $(s_t, m_t)$，$\mathcal{M}_{\text{AG}}$ 结合全局指令、接口与近期观测输出动作块；离线由 E-SPA 引擎提供步级对齐与物理航路点。

② 显式语义-执行接口（MIA 与 MAG）

系统将导航决策拆分为两个独立优化且具有不同时间感受野的模块：

指令分析模块 $\mathcal{M}_{\text{IA}}$： $(s_t, m_t) = \mathcal{M}_{\text{IA}}(I, V_{1:t})$ 输入全局指令 $I$ 与全局视觉历史 $V_{1:t}$（按幂律采样至多 13 帧历史 + 3 帧最新观测），输出当前活动的子指令 $s_t$（如 "Exit the bedroom"）以及二值执行状态 $m_t \in {\text{Normal}, \text{Recovering}}$。
动作生成模块 $\mathcal{M}_{\text{AG}}$： $a_{t:t+h} = \mathcal{M}_{\text{AG}}(I, s_t, m_t, V_{t-k:t})$ 输入全局指令 $I$、显式接口 $(s_t, m_t)$ 以及短时局部观测窗口 $V_{t-k:t}$（从最新 40 帧中采样 8 帧），自回归预测至多 3 步基元动作块 $a_{t:t+h} \in {\text{Forward}, \text{Left}, \text{Right}, \text{Stop}}$。

两模块均基于 Qwen2.5-VL-3B 构建，中间接口通过自然语言文本序列化传递（例如 Recovering: go through the white door.）。两模块之间不跨接口反传梯度，彻底杜绝了局部动作更新对全局语义进度估计的隐式破坏。

比较维度	传统统一端到端策略（Unified DAgger）	Route2Step 分层解耦框架
决策机制	$(I, V_{1:t}) \to \text{Actions}$（端到端黑盒隐式推理）	$\mathcal{M}_{\text{IA}}$ 管进度 $(s_t, m_t)$，$\mathcal{M}_{\text{AG}}$ 管执行 $a_{t:t+h}$
偏离路线后	仅赋予专家动作，语义进度易发生错乱漂移	物理航路点锁定 $s_t$ 不变，标记 $m_t=\text{Recovering}$ 专注脱困
时序感受野	全局历史与局部动作在同一网络内相互干扰	$\mathcal{M}_{\text{IA}}$ 看宏观历史，$\mathcal{M}_{\text{AG}}$ 专看近 8 帧局部视野
纠偏数据分配	全量 200K 状态均强行灌入专家动作标签	190K 状态级修正 $\mathcal{M}_{\text{IA}}$ + 仅 11.5K 动作级精准纠偏

③ E-SPA 离线步级对齐机制

标准 R2R 数据集仅包含路线级全文，缺乏细粒度时间步标注。E-SPA（Energy-minimizing Semantic Path Alignment）通过四维代价动态规划实现无监督步级切分：

graph TD
    A["全局路线指令 I + 专家轨迹 T 帧"] --> B["指令重写为 n 个子指令序列 S = {s1, ..., sn}"]
    B --> C["构建候选段多模态代价矩阵 C(sk, i, j)"]
    C --> D["垂直高度差 >= 0.08m 楼梯硬锚点剪枝"]
    D --> E["动态规划回溯全局最优边界 B* = {b1, ..., bn+1}"]
    E --> F["提取各段终点位姿作为语义航路点 wk = (pk, thetak)"]

候选段 $[i, j]$ 分配给子指令 $s_k$ 的总代价定义为： $C(s_k, i, j) = \lambda_{\text{sem}} C_{\text{sem}}(s_k, i, j) + \lambda_{\text{act}} C_{\text{act}}(s_k, i, j) + \lambda_{\text{dur}} C_{\text{dur}}(i, j) + \lambda_{\text{anchor}} C_{\text{anchor}}(s_k, i, j)$

其中：

语义匹配代价 $C_{\text{sem}}$：提取 CLIP 归一化特征，通过温度缩放 Softmax 计算负对数似然；
动作一致性代价 $C_{\text{act}}$：将子指令的离线动作意图与轨迹实际运动向量求距离；
时长正则代价 $C_{\text{dur}}$：$C_{\text{dur}}(i, j) = (L_{i:j} - T/n)^2$，惩罚偏离均匀步长的切分；
几何锚点约束 $C_{\text{anchor}}$：检测连续高度变化 $\ge 0.08\text{m}$ 的楼梯区域，作为硬约束分块。

举个例子：一条包含 30 帧的专家轨迹，对应 3 个子指令（理想每段平均长 10 帧）。若某候选切分把第 1 个子指令切在第 1–3 帧（仅 3 帧），其时长惩罚为 $(3 - 10)^2 = 49$；动态规划在全局权衡 CLIP 图像相似度、动作意图与时长代价后，自动将其校准在语义与转弯特征最契合的第 1–9 帧区间，并提取第 9 帧机器人的三维坐标与偏航角作为物理语义航路点 $w_1 = (p_1, \theta_1)$。

图 3：几何接地的分层监督机制。(a) 专家参考路径；(b) 步级对齐提取的语义航路点；(c) 固定子指令的策略 rollout 与专家介入式恢复（蓝色实线为 Normal，红色实线为 Recovering，蓝色虚线为失败探索）。

④ 几何接地的分层纠偏训练

模型训练分为两阶段：

专家路径初始化：在对齐的专家轨迹上分别初始化 $\mathcal{M}_{\text{IA}}$（标注 $m_t = \text{Normal}$）与 $\mathcal{M}_{\text{AG}}$。
固定子指令 Rollout 与选择性专家介入：
- 保持当前活动的子指令 $s_k$ 恒定不变，让 $\mathcal{M}_{\text{AG}}$ 以温度 0.5 多次采样 rollout；
- 设定物理完成判定：当进入航路点物理范围（$\lVert p_t - p_k \rVert_2 \le 1.5\text{m}$ 且角度误差 $\le 45^\circ$）视为达标；
- 若某子指令下多次尝试均告失败，则触发专家介入（当偏离距离超阈值时接管引回轨迹）。接管期间标记 $m_t = \text{Recovering}$，引回后交还控制权。整个过程中子目标 $s_k$ 保持不变！

监督分配法则：

状态级监督（$\mathcal{D}_S$，190K 样本）：所有常规与介入 rollout 的历史观测均用来训练 $\mathcal{M}_{\text{IA}}$，让其在各种迷路、环回状态下依然能认清真实语义进度与恢复状态；
动作级监督（$\mathcal{D}_A$，仅 11.5K 样本）：仅提取反复失败组中 Recovering 区间的专家动作块训练 $\mathcal{M}_{\text{AG}}$，专注于局部避障与脱困。

损失函数： $\mathcal{L}_{\text{IA}} = -\mathbb{E}_{\mathcal{D}_E \cup \mathcal{D}_S} \left[ \log p_{\theta_{\text{IA}}}(s_t, m_t \mid I, V_{1:t}) \right]$ $\mathcal{L}_{\text{AG}} = -\mathbb{E}_{\mathcal{D}_E \cup \mathcal{D}_A} \left[ \log p_{\theta_{\text{AG}}}(a_{t:t+h} \mid I, s_t, m_t, V_{t-k:t}) \right]$

3. 核心结果/发现

图 4：在复杂室内真实环境中的实机导航轨迹。观测图像下方标注了 $\mathcal{M}_{\text{IA}}$ 预测的活动子指令，展现长程任务中清晰可解释的语义进度跟踪。

主榜单表现出色：在连续环境基准 R2R-CE Val-Unseen 上，Route2Step 在仅使用单目 RGB 且无额外数据预训练的条件下，取得了 55.3% 成功率（SR） 与 48.2% SPL，较专家基线（48.1% SR / 43.3% SPL）提升了 7.2 个百分点；在 RxR-CE Val-Unseen 亦取得 54.8% SR 与 42.6% SPL。
纠偏监督分配极高能效：
- 传统 DAgger 使用 200K 动作监督仅提升至 49.8% SR；
- Route2Step 采用 190K 状态级修正 + 仅 11.5K 动作级监督 即跃升至 55.3% SR，动作监督量缩减至 1/17，但效果超出 5.5 个百分点。
偏离状态下语义跟踪准确率跃升：在 FG-R2R 人工对齐验证集上，面对人为注入的航向偏离、横向绕行、倒车及回环扰动，状态级修正使 $\mathcal{M}_{\text{IA}}$ 的严格子指令跟踪准确率从 43.54% 大幅提升至 54.05%（+10.51%）。
优于 7B 统一端到端大模型：使用完全相同训练数据的单体 Qwen2.5-VL-7B 统一策略仅取得 50.7% SR / 44.1% SPL，证明显式分层解耦的结构优势显著优于隐式统一策略。
即插即用的跨策略泛化能力：将 $\mathcal{M}_{\text{IA}}$ 预测的活动子指令作为外部文本提示直接注入冻结的 NaVid、Uni-NaVid、NaVILA 与 StreamVLN，无需任何二次训练，四款模型的 SR 分别直接提升 +4.9%、+2.5%、+1.1%、+0.6%。
实机部署验证（Unitree GO2 四足机器人）：搭载 Intel RealSense D455 单目 RGB，在包含实验室、咖啡馆、居民区、公园及停车场等 9 种跨场景测试中取得 19/33 成功率；在 120 词超长复杂室内任务中取得 3/5 成功（平均完成 5.0/7 个子目标），而基线 StreamVLN 成功率为 0/5（仅推进 2.2/7）。

4. 局限性

物理语义航路点依赖环境局部连通性假设，当遇到门被完全锁闭或严重遮挡等不可行拓扑时，系统尚缺乏主动重规划全局路线的高层机制。
采用双 3B VLM 独立运行在端侧推理时带来了双倍的前向计算开销，未来可探索多任务权重共享或轻量化蒸馏压缩。

13. HumanoidVLN (2026)

———首个面向多样化双足人形机器人的物理真实 VLN 仿真平台与基准

📄 Paper: arXiv:2608.12860 · 🏛️ IEEE RA-L · Project Page

精华

打破运动学传送假设：首次针对双足人形机器人建立基于 NVIDIA Isaac Sim 的全物理仿真评测平台，将高层 VLN 规划与底层强化学习（RL）步态控制相解耦，揭示了传统无物理仿真掩盖的跌倒与步态失稳问题。
多形态硬件异构覆盖：原生支持 4 款不同尺寸（1.17 m–1.80 m）与下肢自由度（10–12 DoF）的人形机器人，适配离散（PD 跟踪器）与连续（MPC 跟踪器）两种动作空间。
可通行性筛选与 3DGS 重建：构建 87 个高保真 3D 室内场景，硬性筛选可通行面积 $\ge 100\text{ m}^2$，结合改进的无偏深度与法线一致性 3DGS 流程生成高精度物理碰撞网格。
多智能体指令协同生成（MAA）：设计双生成器、单审查器与重述器的多模型协作流程，通过结构化拓扑路径图对齐与几何确定性仲裁，并辅以人工校验，产出 933 条高质量跨风格指令。
真机强相关性验证：在 Unitree G1 真机上的 Sim-to-Real 实测表明，仿真与现实的导航误差相关性高达 $r = 0.935$，证明了基于 3DGS 重建与物理仿真的基准具备极高的真机迁移预测力。

1. 研究背景/问题

现有的视觉语言导航（VLN）基准大多假设智能体为轮式底盘或采用理想化的“运动学传送”（Kinematic Teleportation），完全忽略了双足人形机器人的物理动力学约束。在实际部署中，不同人形机器人的形态差异巨大（身高从 1.17 m 到 1.80 m，下肢自由度 10–12 DoF），且行走时的身体晃动会导致剧烈的视线抖动与动态光照变化；若缺乏物理仿真，常规模型在面对急转弯或复杂地形时极易发生步态失稳乃至跌倒。为此，亟需一个兼顾多样化人形形态、物理真实动力学控制、大面积可通行场景与高质量指令的端到端评测平台。

2. 主要方法/创新点

HumanoidVLN 物理基准评测流水线：涵盖多样化人形形态、分层控制栈、场景筛选、多模态数据集生成与即插即用评估

① 整体框架概述

HumanoidVLN 构建在 NVIDIA Isaac Sim 物理仿真引擎之上，整体框架由三大支柱构成：分层运动控制栈（负责将高层语义动作转化为真实的足端接触与关节力矩）、Real2Sim 场景构建流水线（通过可通行性筛选与 3DGS 重建提供物理碰撞环境）以及多智能体指令生成流水线（MAA）（从第一人称抖动视频中自动提取结构化路径并结合人工复核）。

② 逐模块讲解

1. 分层运动控制架构（Hierarchical Control Stack）

输入：高层 VLN 模型输出的离散导航动作（前进、左转、右转、停止）或连续线速度/角速度指令。
处理：控制系统划分为两层。高层路径跟踪器负责将导航指令转化为参考速度与航向角——对于离散动作模型采用比例-微分（PD）控制器生成平滑航向，对于连续动作模型采用模型预测控制（MPC）跟踪速度曲线；底层强化学习（RL）步态策略针对每种人形机器人的动力学参数单独训练，接收参考速度并输出 10–12 个下肢关节的力矩指令。
输出：作用于刚体动力学的关节力矩，驱动双足机器人产生真实步态，并在第一人称相机中产生真实的晃动与俯仰。
设计动机：彻底摒弃传统 VLN 中直接修改坐标的“空间瞬移”，使机器人的质心动力学（CoM）和接触稳定性真正约束路径的可行性。

graph TD
    A["VLN 模型 (NaVILA / StreamVLN / DualVLN / JanusVLN)"] --> B{"动作空间类型"}
    B -- "离散动作" --> C["PD 路径跟踪器"]
    B -- "连续速度" --> D["MPC 路径跟踪器"]
    C --> E["参考速度与航向 (v, omega)"]
    D --> E
    E --> F["底层 RL 步态控制策略 (Per-Embodiment RL Policy)"]
    F --> G["关节电机力矩 (Joint Torques)"]
    G --> H["Isaac Sim 物理刚体仿真环境"]
    H --> I["真实第一人称晃动观测 (RGB-D + IMU)"]
    I --> A

维度	传统 VLN 平台（如 Habitat / R2R）	HumanoidVLN 平台
运动机制	运动学坐标传送（无质心与接触力学）	底层 RL 关节力矩驱动（全刚体物理模拟）
机器人形态	理想点状/圆柱轮式代理（单一固定高度）	4 种异构人形机器人（1.17–1.80 m，10–12 DoF）
视觉感知	平稳无抖动相机视角	真实双足交替步态引起的相机晃动与动态光照
失败模式	仅能检测碰撞或超时	可精确定量因急转弯、失稳引起的跌倒率（FR）

2. 跌倒判定判据（Fall Rate, FR） 为了量化物理仿真下的步态稳定性，平台定义了基于躯干高度下降量 $\Delta h$ 与垂直下落速度的跌倒指标：

\[FR = \frac{100}{N} \sum_{i=1}^N \mathbb{I}[F_i = 1]\]

其中当机器人满足以下三项判据之一时判定为跌倒（$F_i = 1$）并立即终止该轮测试：

$T_1$（动态剧烈跌倒）：$\Delta h \ge 0.5 H_e$ 且向下速度幅度 $> 1.2\text{ m/s}$；
$T_2$（持续坍塌）：$\Delta h \ge 0.5 H_e$ 且持续时间 $\ge 2\text{ s}$；
$T_3$（浅层快速下坠）：$0.35 H_e \le \Delta h < 0.5 H_e$ 且向下速度幅度 $> 1.5\text{ m/s}$。

举个例子：以身高 $H_e = 1.80\text{ m}$ 的 Unitree H1 为例：若机器人在转向时踩空失稳，身体在 $0.2\text{ s}$ 内高度下降了 $0.95\text{ m}$（$\Delta h = 0.95 > 0.5 \times 1.80 = 0.90\text{ m}$），下落垂直速度达到 $1.6\text{ m/s} > 1.2\text{ m/s}$，立即触发 $T_1$ 判据判定跌倒；反之，若机器人在避障时主动屈膝下蹲 $0.4\text{ m}$（$\Delta h = 0.4 < 0.35 \times 1.80 = 0.63\text{ m}$），下落速度仅 $0.3\text{ m/s}$，则不会触发任何判据，正常继续导航。

3. Real2Sim 场景构建与可通行性筛选

大面积可通行筛选：双足机器人步幅大、转弯半径受限，无法在狭窄杂乱环境中通行。平台从艺术家设计场景和 3DGS 重建场景中筛选出 87 个大场景，强制要求物理碰撞网格计算出的实际可通行面积 $\ge 100\text{ m}^2$（中位数达 $266\text{ m}^2$），覆盖住宅、零售、文化、办公、医疗、健身 6 大领域共 17 种房间类型。
高精度 3DGS 重建流水线：基于 COLMAP 稀疏点云初始化 3D 高斯，并在 gsplat 训练中引入无偏深度渲染（Unbiased Depth Rendering）与深度-法线几何一致性约束（Depth-Normal Consistency），克服传统 3DGS 在无纹理大白墙与细长家具边缘法线破碎的缺陷，最终通过 TSDF 融合提取平滑的物理碰撞网格打包为 USDZ 资产。

多智能体指令生成框架（MAA）：双生成器提取拓扑路径图，审查器基于几何与语义先验仲裁，重述器扩展风格并经人工最终复核

4. 多智能体指令生成（MAA）与人工校验

目标地标定位：利用 Qwen3-VL-30B-A3B 从第一人称视频终点帧识别终止地标与停止条件。
双生成器独立解析：Gemma-4-31B-it 与 InternVL3.5-38B 仅根据第一人称关键帧序列，独立推导结构化拓扑路径图 $R = \langle(a_i, \ell_i, s_i, o_i, m_i)\rangle_{i=1}^n$（分别代表有序动作、地标物体、相对路径左右方位、序数与转角幅度）。
审查器仲裁与先验校验：对比两份拓扑路径图，合并无冲突节点；对于存在冲突的转向或地标，交由 Qwen3-VL-30B-A3B 审查器结合 2D 占用栅格图上的 A* 轨迹、轨迹元数据以及沿途可见的 3D 空间语义场景图（Scene Graph）进行几何与语义一致性仲裁。
风格多样化重述与人工复核：由 GPT-5.5 将验证后的路径转换为 1 条细粒度指令和 3 种风格变体（正式 Formal、自然 Natural、口语 Casual），并要求反向解析出的拓扑路径与原图一致；最后由 3 名专业标注人员进行 100% 逐条复核与纠偏（20% 交叉双审），最终构建出 933 个高质量评测 Episode。

3. 核心结果/发现

不同 VLN 模型在 4 种人形机器人形态下的跌倒率（FR）热力图对比：连续控制的 DualVLN 稳定性最佳，而高重心 10-DoF 的 H1 跌倒率显著偏高

显式 3D 空间表征具备更强导航能力：在四种主流 VLN 模型（NaVILA、StreamVLN、DualVLN、JanusVLN）的零样本评测中，引入显式 3D 空间记忆的 JanusVLN 取得了最高的平均成功率（$\text{SR} = 43.55\%$）和路径保真度（$\text{nDTW} = 48.38$）。
离散急转动作诱发高跌倒率：采用离散动作空间（前进、左转 30°、右转 30°）的模型在转向时会给底层步态带来阶跃扰动。身材最高（1.80 m）、自由度较少（10 DoF）的 Unitree H1 在 NaVILA 和 StreamVLN 下的跌倒率高达 $70.95\%$ 和 $64.52\%$；而采用连续速度输出并搭配 MPC 跟踪器的 DualVLN 则表现出最优的动态稳定性，全形态平均跌倒率最低。

Sim-to-Real 真机实测一致性验证：(a) 仿真与真实真机单回合导航误差高度线性相关 (r = 0.935)；(b) 仿真与真实轨迹的 nDTW 相似度分布

仿真评测高度预测真机表现：在 Unitree G1 真机上部署 DualVLN 进行 20 个回合的 Sim-to-Real 对比实验，仿真环境与真机实测的导航误差呈现极强的正相关性（Pearson $r = 0.935$，Spearman $\rho = 0.911$），平均导航误差绝对差仅为 $0.68\text{ m}$，成对轨迹相似度达 $78.2 \pm 18.8\text{ nDTW}$，验证了 HumanoidVLN 物理仿真与 3DGS 重建资产的真实迁移价值。

4. 局限性

目前的评测场景仍受限于静态室内环境，尚未引入动态行人或可交互障碍物；此外，高精度刚体物理仿真的计算开销较高，且指令生成中的人工最终校验环节成为数据大规模扩展的吞吐瓶颈。

14. CONDVLN (2026)

———首个基于分层3D场景图的视觉语言导航条件分支诊断基准与神经符号探针

📄 Paper: arXiv:2608.17318

精华

研究痛点：传统视觉语言导航（VLN）评测高度依赖“固定目标点的线性路径跟随”，无法评估现实中极其普遍的条件分支决策（如“若厨房有花则去客厅，否则去卧室”），导致感知、空间定位与符号逻辑推理的失败原因相互混淆。
核心构建：提出首个基于分层 3D 场景图的程序化条件基准 CONDVLN，跨 AI2-THOR、Matterport3D、Gibson 和 ReplicaCAD 四大环境生成了超 11,500 条真值可验证、复杂度可控（逻辑深度 $d$ 与分支链长 $\ell$）的条件导航任务。
诊断指标：设计分支选择准确率（BSA）与条件成功率（CSR），克服了传统成功率（SR）对“走错分支但误打误撞到达某处”无法甄别的盲区，支持对中间子目标完成度的细粒度归因。
评测发现：SOTA 视觉语言模型（如 NaVid、NaVILA）在条件分支任务中几乎崩溃（CSR 接近 0%），而具显式推理结构的 Open-Nav 与 VLN-Zero 表现更佳，表明端到端黑盒训练在结构化条件决策上存在严重缺陷。
解耦探针：提出神经符号 Oracle 诊断探针，将条件判定与底层动作执行解耦，在复杂嵌套与长分支链场景下带来高达 2 倍的性能提升，为神经符号与具身导航的结合指明了方向。

1. 研究背景/问题

现有的具身视觉语言导航基准（如 R2R、RxR 等）主要关注智能体能否根据指令到达单一且固定的目标位置。然而，在真实的家庭与物理环境中，人类的导航指令往往强依赖于环境状态的动态观测（例如：“如果餐桌上有咖啡杯，就走到洗碗机旁的吧台凳；否则走到浴室水槽下方的照明灯处”）。现有评测不仅缺乏对条件分支结构的显式控制，也无法厘清智能体在失败时究竟是卡在视觉感知、目标定位、空间运动还是高层逻辑决策上。

2. 主要方法/创新点

CONDVLN 基准总体架构与流程：从多源环境构建分层 3D 场景图，程序化生成多级嵌套与链式条件指令，并基于分支选择准确率（BSA）和条件成功率（CSR）实现全自动诊断评估。

CONDVLN 框架由分层 3D 场景图构建、程序化条件指令合成、VLN-CE 兼容仿真适配、细粒度诊断指标（BSA/CSR）以及神经符号 Oracle 诊断探针五大核心模块组成，整体实现了逻辑复杂度可控、真值可溯源的端到端评估闭环。

模块一：多源环境统一与分层 3D 场景图构建（Scene Hierarchy & Spatial-Semantic Graph）

输入：来自 AI2-THOR、ReplicaCAD（合成仿真数据）以及 Matterport3D、Gibson（真实物理扫描数据）的异构几何与语义标注。
处理：
1. 统一房间层级抽象：将不同数据源统一解析为以房间为顶层、包含物体实例集合的符号化层级结构。每个物体 $o_i$ 记录语义标签 $\ell_i$ 与 3D 中心坐标 $c_i = (x_i, y_i, z_i)$，并优先提取 3D 轴对齐包围盒（AABB），缺失时以包围球半径作为几何兜底。
2. 回退几何距离计算：计算同房间内物体对 $(o_i, o_j)$ 的空间位移 $\delta_{i \to j} = c_j - c_i$，并按优先级回退选择距离度量： $d_{ij}^{\text{used}} \in \{ d_{ij}^{\text{AABB}}, d_{ij}^{\text{sphere}}, d_{ij}^{\text{center}} \}$ 其中 AABB 表面距离 $d_{ij}^{\text{AABB}} = \sqrt{\Delta_x^2 + \Delta_y^2 + \Delta_z^2}$ 能精确捕捉物体的表面外轮廓，包围球表面距离 $d_{ij}^{\text{sphere}} = \max(0, \lVert \delta_{i \to j} \rVert_2 - (r_i + r_j))$ 作为平滑近似，中心点欧氏距离 $d_{ij}^{\text{center}} = \lVert \delta_{i \to j} \rVert_2$ 作为最终兜底。
3. 规范方位与语义谓词生成：将水平方位角离散化为 8 个罗盘扇区（东、东北、北等），俯仰角离散化为 3 个垂直区间（上、平级、下），组合生成三维相对方位谓词；同时基于硬阈值生成贴近自然语言的语义空间谓词（如 near、far from、higher than、lower than、above、below）。
输出：带可追溯几何属性（包含中心距、AABB 距离、方位扇区等）的有向空间语义场景图。
设计动机：消除各模拟器之间坐标系与标注粒度的壁垒，为后续逻辑生成提供唯一、可精确判真伪的客观物理事实底座。

模块二：程序化条件指令合成与对象采样（Programmatic Conditional Instruction Synthesis）

输入：已构建的 3D 场景图与其空间谓词。
处理：
1. 正负条件采样机制：从场景图中采样有效实体作为真实分支的参考物体；同时从该场景其他房间中采样存在、但当前参考房间中缺失的物体类别，构造具有明确客观真伪的负分支条件（False Branch）。
2. 同名物体空间消歧：当房间内存在多个同类物体（如多盏台灯）时，自动引入场景图关系谓词限定（如“床边的台灯”）实现唯一指向，无法消除歧义的样本直接滤除。
3. 逻辑模板实例化：将场景图谓词映射进 IF [condition] THEN [action] ELSE [action] 的基础骨架中，并支持多层级嵌套与多分支串联。
输出：自然语言条件指令文本及其对应的先验真值分支、目标点与子目标序列。
设计动机：确保每条指令在 3D 空间中都有明确无误的真值，使评测系统完全掌握地面真值（Ground Truth）决策路径。

模块三：复杂度分类与 VLN-CE 仿真适配（Complexity Taxonomy & Episode Realization）

为了系统化诊断不同维度的推理瓶颈，CONDVLN 沿逻辑深度（Depth $d$）和分支链长（Chain Length $\ell$）两个正交维度定义了 6 种指令复杂度层级：

复杂度类别	逻辑深度 $d$	分支链长 $\ell$	逻辑结构形式	典型示例
Simple	1	1	单层 IF-ELSE	若厨房有花则去客厅，否则去卧室
Nested	2	1	IF 内部嵌套 IF	若厨房有花，（若花在桌上则去客厅，否则去阳台）；否则去卧室
Deep Nested	3	1	三级深度嵌套	多层条件逐级判定深入
Chain	1	2	IF / ELSE IF / ELSE	若厨房有花去客厅，否则若有咖啡机去书房，否则去卧室
Long Chain	1	3	多分支串联链	3 个以上顺序排他条件分支
Nested Chain	2	2	嵌套 + 链式组合	复合高层复杂决策

降维装置：条件指令的状态机流转

graph TD
    Start["起始观测"] --> Q1{"条件 A: 厨房是否有花?"}
    Q1 -- "True (分支1)" --> Q2{"条件 B (深度 d=2): 花是否在桌上?"}
    Q1 -- "False (分支2)" --> Q3{"条件 C (链长 l=2): 是否有咖啡机?"}
    Q2 -- "True" --> T1["目标1: 客厅沙发"]
    Q2 -- "False" --> T2["目标2: 阳台花架"]
    Q3 -- "True" --> T3["目标3: 书房书桌"]
    Q3 -- "False" --> T4["目标4: 卧室床头"]

所有任务均被转换为标准 VLN-CE / Habitat-Sim 的 JSON 格式，包含起点坐标、朝向、真值测地线最短路径（Geodesic Shortest Path）与多阶段子目标航点，现有模型无需改造仿真环境即可直接评测。

模块四：条件推理诊断指标（BSA & CSR）

传统的成功率（SR）只在乎最终停靠点是否接近目标，无法辨别智能体是“正确理解了条件并前往目标”还是“由于感知漂移误打误撞停在了某个目标附近”。为此，CONDVLN 提出了两个专用诊断指标：

分支选择准确率（Branch Selection Accuracy, BSA）：衡量智能体沿着正确条件分支前进了多远。设当前真值分支对应的有序子目标序列为 $G_i = (g_{i,1}, \dots, g_{i,m_i})$，智能体按序在容差半径 $\tau$ 内到达的最长前缀长度为 $k_i$，则单样本得分为： $BSA_i = \frac{k_i}{m_i} \quad (m_i > 0)$ 整体评测集得分为所有样本的平均值 $BSA = \frac{1}{\lvert I \rvert} \sum_{i \in I} BSA_i$。该指标允许给出部分完成的分数。
条件成功率（Conditional Success Rate, CSR）：衡量严格意义上的条件导航完成度。要求智能体不仅要完整经历分支的所有子目标（$BSA_i = 1$），还必须在最终目标点取得 Habitat 标准导航成功（$\text{Success}(i) = 1$）： $CSR_i = \mathbf{1}[BSA_i = 1 \land \text{Success}(i) = 1]$ 整体评测集得分为 $CSR = \frac{1}{\lvert I \rvert} \sum_{i \in I} CSR_i$。

举个例子：设某任务真值分支包含 2 个顺序航点（走廊拐角 $g_1$、客厅门 $g_2$）和终点（沙发 $g_3$），即 $m_i = 2$。

情况 A（完全正确）：智能体依次经过 $g_1, g_2$ 并停在 $g_3$，则 $k_i=2, BSA_i=1.0, \text{Success}(i)=1 \implies CSR_i=1, SR_i=1$；

情况 B（半途迷失）：智能体经过 $g_1$ 后迷路未到 $g_2$ 且未到 $g_3$，则 $k_i=1, BSA_i=0.5, CSR_i=0, SR_i=0$；

情况 C（误打误撞/走错分支）：智能体直接走错走向卧室分支，但卧室里恰好有一张同名沙发，智能体停在卧室沙发旁——此时传统 $SR_i=1$ 会误判为成功，但由于其完全未访问正确分支的子目标（$k_i=0, BSA_i=0$），新指标精确诊断出 $CSR_i=0$！

模块五：神经符号 Oracle 诊断探针（Neurosymbolic Branch-Selection Oracle Model）

为了探究现有智能体究竟是受阻于“前段条件逻辑推理”还是“后段空间运动导航”，作者构建了一个神经符号 Oracle 探针：

对比维度	端到端黑盒智能体（NaVid / NaVILA 等）	神经符号 Oracle 探针（Oracle + VLN-Zero）
指令输入形式	原始条件文本（含 IF-ELSE / 嵌套 / 链式逻辑）	由真值元数据线性化重写后的纯路径指令（如“先到 $g_1$，再到 $g_2$，最后到 $g_b$”）
条件分支决策	由神经网络隐式端到端猜测与判断	符号化先验自动解析，剥离分支选择负担
底层执行器	保持不变	保持完全不变（使用相同的 VLN 导航模型）
诊断作用	测量包含逻辑、感知与控制的混合表现	作为理论上限探针，严格量化逻辑分支选择错误导致的性能损失

3. 核心结果/发现

论文在 AI2-THOR、ReplicaCAD、Gibson 和 Matterport3D 四个数据集上评测了四类主流 VLN 模型（NaVid、NaVILA、Open-Nav、VLN-Zero）以及 Oracle 探针，得出以下关键结论：

端到端大模型在条件分支上性能普遍崩溃：
- 通用端到端 VLM 导航模型（如 NaVid、NaVILA）在各大环境中的条件成功率极低（NaVILA 在所有数据集上的 CSR 均为 0.0%，NaVid 在 Gibson 与 MP3D 上 CSR 也接近 0%）。这表明目前单纯依靠预训练视觉语言模型的隐式端到端微调，根本无法泛化到具备显式逻辑分支的 3D 决策任务。
显式结构与大语言模型推理带来显著优势：
- 具备显式推理架构的模型表现大幅领先：Open-Nav 凭借 LLM 零样本思维链（Chain-of-Thought）规划，在 ReplicaCAD 上取得了 33.3% 的 CSR 和 39.2% 的 BSA；VLN-Zero 依托显式 3D 场景图表征，在 AI2-THOR 上取得了 21.0% 的 CSR 和 31.5% 的 BSA。这证实结构化表征与符号规划对条件具身决策至关重要。
逻辑深度与分支链长扩展造成持续性能衰减：
- 随着嵌套深度从 $d=1$ 增加到 $d=3$，或分支链长从 $\ell=1$ 扩展到 $\ell=3$，所有端到端模型的 BSA 与 CSR 均单调骤降。
- 神经符号 Oracle 探针在高复杂度下优势尤为明显：在 $d=3, \ell=1$ 和 $d=1, \ell=2$ 等高难度配置下，Oracle 相比未解耦的基线模型展现出超过 2 倍的性能提升（例如在 $d=1, \ell=2$ 下 Oracle 取得 24.63% CSR，而 Open-Nav 仅为 11.51%），证明将符号条件判定与底层导航动作正交解耦是攻克复杂任务的有效路径。

4. 局限性

CONDVLN 目前仅支持 VLN-CE 兼容的室内离散/连续仿真环境，评测质量受限于原始点云扫描与几何标注的噪点；此外，几何谓词生成依赖固定的人工阈值，且 Oracle 探针使用的是真值元数据而非在线感知构建的场景图。

15. ReMEmbR (2024)

———基于检索增强长程时空记忆的机器人导航问答与物理目标生成

📄 Paper: arXiv:2409.13682 · 🏛️ ICRA 2025 · Project Page

精华

长程时空记忆解耦：针对移动机器人在数十分钟至数小时连续作业中面对的庞大历史数据，提出将记忆构建（Memory Building）与查询推理（Querying）阶段解耦，解决传统多模态大模型面对超长上下文时的显存爆炸与计算延迟难题。
多模态时空向量库：在运行过程中在线调用轻量级视频多模态模型（VILA）对连续视频片段生成底层事件描述字幕，并将文本嵌入、三维度量坐标 $(x, y, z)$ 与时间戳统一存入向量数据库，以紧凑表征记录环境动态。
Agent 迭代多跳检索：查询阶段引入大语言模型作为决策状态机，根据空间、时间或描述性问题自适应发起多路函数调用（文本/位置/时间检索）进行多步迭代搜寻与剪枝，在最小化推理上下文的同时保证线索完整性。
度量可执行目标生成：突破传统具身问答仅输出自然语言文本的限制，支持直接输出空间精确三维坐标，与 ROS 2 Nav2 等经典移动底盘导航栈无缝衔接并驱动物理导航。
端到端真机实测闭环：在搭载 Jetson Orin 的 Nova Carter 机器人上实现端侧轻量 VLM 字幕提取、语音识别与向量检索，在 25 分钟真实办公区巡航后成功执行开放语义问答与导航寻物。

1. 研究背景/问题

长程历史表征的扩展性困境：机器人在长时间巡航中会观察到大量动态事件与非静态物体，现有多模态长上下文模型（如 1M+ 上下文）计算成本随历史增长线性或二次方膨胀，而传统场景图或度量语义地图又难以记录时间维度演化。
具身问答缺乏物理可执行性：现有具身问答基准（如 OpenEQA）多局限于 30 秒至 1-2 分钟的短视频，且输出多为定性文字回答（如“在茶水间桌子上”），机器人无法直接解析为底层导航系统可用的度量坐标目标。

2. 主要方法/创新点

ReMEmbR 系统总体框架：由在线记忆构建（Memory Building）与多跳查询推理（Querying）两阶段解耦构成，右侧为 NaVQA 数据集问答类型与真机部署链路

① 整体框架概述

ReMEmbR（Retrieval-augmented Memory for Embodied Robots）由在线记忆构建阶段与查询推理阶段两大核心子系统构成：前者在机器人巡航期间持续将传感器流压缩转化为带时空元数据的多模态向量库；后者在接收到用户自然语言提问时，由 LLM-Agent 驱动多轮时空检索函数，提炼最小必要记忆子集并生成回答或导航目标坐标。

机器人长时间连续运行积累长程历史，ReMEmbR 支持对时空动态信息的高效聚合与物理度量级目标定位

② 逐模块讲解

1. 在线记忆构建模块（Memory Building）

输入：前视单目相机连续视频帧 $H_I$、机器人局部定位坐标 $H_P = (x, y, z)$（来源于激光雷达里程计、GPS 或 AMCL）、时间戳 $H_T$。
处理：每累计 $t=3$ 秒的连续观测（以 2 FPS 采样 6 帧），调用视频多模态模型 VILA（训练端采用 VILA1.5-13B，端侧部署采用量化版 VILA-3B）生成局部语义事件字幕 $L_{i:i+t}$；随后利用轻量文本编码器 mxbai-embed-large-v1 生成句向量 $E(L_{i:i+t})$。
输出：向多模态向量数据库 $V$ 中实时插入一条结构化元组 $\langle E(L_{i:i+t}), (x,y,z)_{i:i+t}, t_{i:i+t} \rangle$。
设计动机：问答提问在任务前不可预测，必须在没有先验 Query 的前提下构建通用且信息密集的时空表征；向量数据库支持千万级向量的高效近似最近邻（ANN）检索。

2. 状态机查询智能体模块（Querying Agent）

输入：用户提问 $Q$（涵盖空间位置、时间点/时长、环境描述）以及历史累积已检索的上下文 $R_{0:i}$。
处理：LLM-Agent 作为决策状态机，根据当前线索自适应调用以下三类时空检索函数生成检索子集：
- 文本检索 $f_l(\text{object})$：在向量库中基于余弦相似度匹配语义相关的最相近 $m$ 条片段；
- 空间位置检索 $f_p((x, y, z))$：根据度量坐标半径检索邻近 $m$ 条历史轨迹片段；
- 时间范围检索 $f_t(\text{“HH:MM:SS”})$：按时间戳窗口抓取对应时刻前后的 $m$ 条片段。
输出：若当前记忆足以回答提问，输出格式化 JSON 字典（包含文本解析、$(x, y, z)$ 三维坐标、时间戳或持续时间）；若信息不足则携带补充线索进入下一轮迭代检索（最多 3 轮）。

③ 最优历史子集采样形式化

对于一段长达 $K$ 分钟的完整历史 $H_{1:K}$，直接计算后验概率 $p(A \mid Q, H_{1:K})$ 计算量过大。ReMEmbR 将其形式化为寻找最小充分历史子集 $R^* \subseteq H_{1:K}$ 的最优采样问题：

\[p(A \mid H_{1:K}, Q) = p(A \mid R^*, Q) \approx p(A \mid R, Q)\] \[R^* = \arg\min_R \lvert R \rvert \quad \text{s.t.} \quad \arg\max_A p(A \mid R, Q) = \arg\max_{A'} p(A' \mid H, Q)\]

通过向量库采样策略 $F: V \to R$，LLM-Agent 仅需处理规模极小的子集 $R$，使长程推理在常数级时间内完成。

④ 难点降维：记忆表征范式对比与多步检索

维度	全量长上下文（如 Gemini 1.5M）	单次向量检索 RAG	ReMEmbR 迭代 Agent
计算与显存开销	随视频时长线性/二次方膨胀，超 10 分钟易 OOM	固定单次向量检索，开销低	3 步以内多路检索，常数级开销（~25s）
时空多跳推理	全量信息在上下文内，但注意力易在长序列中迷失	仅匹配文本相似度，无法做空间邻近或时间回溯关联	状态机自适应组合文本、坐标、时间多路函数逐层收敛
输出物理可执行性	仅输出语言文本，难以准确生成度量坐标	通常仅提供文本片段	结构化输出 $(x,y,z)$ 坐标，直连 Nav2 导航底盘

举个例子：机器人在大楼巡航 20 分钟（产生约 400 个 3 秒视频片段，全量输入需处理数十万 token）。用户提问：“我在 5 分钟前丢的红色工牌在哪？”

朴素单次 RAG 只检索“红色工牌”，若机器人在第 2 分钟和第 15 分钟都在桌边看见过工牌，单次文本检索极易混淆时间线并提取错误坐标；

ReMEmbR 的 Agent 第一轮调用 $f_l(\text{“红色工牌”})$ 获取相关候选片段，第二轮依据提问调用 $f_t(\text{“当前时间-5分钟”})$ 缩小时间窗口，两轮仅抓取 6 个关键片段（约 600 token），精准锁定 $(x,y,z)$ 坐标，Token 消耗降低 99% 以上。

graph TD
    A["用户输入 Query Q"] --> B["LLM-Agent 解析当前上下文 R"]
    B --> C{"当前线索是否充足?"}
    C -- "否 (迭代轮数 < 3)" --> D["生成多路函数调用"]
    D --> D1["文本检索 fl(object)"]
    D --> D2["位置检索 fp(x,y,z)"]
    D --> D3["时间检索 ft(timestamp)"]
    D1 & D2 & D3 --> E["向量数据库 V 检索返回 m 条片段"]
    E --> F["合并更新上下文 R := R + delta"]
    F --> B
    C -- "是 (或达到最大轮数)" --> G["输出结构化 JSON 答案"]
    G --> H["自然语言回复 / (x,y,z) 坐标直传 Nav2 导航底盘"]

⑤ NaVQA 评测基准构建

NaVQA 评测数据集：涵盖短（<2min）、中（2-7min）、长（>7min）三种时程分布，覆盖空间坐标、时间点/时长及描述性三大类问答任务

基于真实室外/室内多天气大规模巡航数据集 CODa（Clearpath Husky 机器人采集），构建了包含 210 个专家标注样本的 NaVQA 基准，分为三种时长区间（短 <2min、中 2-7min、长 >7min），涵盖二值判断（32%）、空间坐标定位（34%）、时间点（14%）、时长统计（4%）及开放描述（16%）。

3. 核心结果/发现

随视频时长增长的总体正确率变化趋势：多帧全量 VLM 在中长视频面临显存爆炸（OOM），而 ReMEmbR 在长视频上保持显著更高的准确率

长程视频问答性能全面领先：在大于 7 分钟的长视频序列上，基于 GPT-4o 的 ReMEmbR 达到 0.65 的描述问答准确率、46.25m 的空间定位误差与 3.6s 的时间误差，显著超越全量字幕输入 Baseline（56.0m 空间误差、8.0s 时间误差），而多帧全量 VLM（Multi-Frame VLM）在中长视频上均因显存溢出（OOM）无法运行。
常数级极低查询延迟：在 21.5 分钟的长视频上，ReMEmbR 单个问题平均响应时间仅约 25 秒，且耗时基本不随视频总时长增长；相比之下，多帧 VLM 即使在 5.5 分钟的短视频上也需要高达 90 秒。
多步迭代检索是性能关键：消融实验表明，若退化为单次检索（1-call RAG），整体正确率由 0.61 骤降至 0.50（长视频），证实复杂时空多跳推理对迭代检索闭环的依赖。
细粒度时间分段至关重要：采用 3 秒视频片段字幕（2 FPS）的整体正确率为 0.61，而粗粒度 12 秒片段字幕（0.5 FPS）跌至 0.38，说明时间分辨率下降会严重丢失关键瞬态信息。

Nova Carter 移动机器人真实办公场景部署：25 分钟巡航记忆构建后，成功响应“带我去视野好的地方”、“去拿薯片”等开放语义导航指令

真机端侧闭环验证：在 Nova Carter 机器人上搭载 Jetson Orin 32GB、3D LiDAR、量化版 VILA-3B 与 Whisper ASR，先执行 25 分钟自主巡航建图构建记忆库，随后测试模糊语义指令。例如面对“带我去风景好的地方”，Agent 自动检索大落地窗、绿植与开阔空间对应的坐标并由 Nav2 导航直达大厅。

4. 局限性

重复记忆稀释与冗余膨胀：机器人静止或重复在同一区域巡航时，向量库会不断写入相似片段，长期运行可能稀释关键有效信息的检索精度。
轻量感知模型的细粒度歧义：受限于边缘端算力，采用 3B 级别量化视觉字幕模型时存在物体混淆现象（如将银色饮水机描述为“银色机器”，导致被误识别为苏打水售卖机）。

16. SuperMap (2026)

———面向视觉-语言导航的实时 4D 时空语义 SLAM 与动态场景图系统

📄 Paper: RSS 2026 · Project Page · Code（待发布） · 🏛️ RSS 2026

精华

针对动态环境中开放词表语义建图存在的实例漂移与陈旧语义累积问题，提出了首个面向视觉-语言导航（VLN）的实时、开放词表、实例级 4D 时空语义 SLAM 系统 SuperMap。
架构上融合了高频几何 SLAM（SuperOdometry）与异步 2D 开放词表感知（GroundingDINO + SAM2），通过 3D 到 2D 的运动补偿先验解决了机器人剧烈运动下的跨帧实例关联难题。
提出了基于几何一致性的三态深度残差判别与概率占据更新机制，能够敏锐检测环境变动（如物体新增、搬移与移除），并利用贝叶斯语义融合抑制单帧误检。
构建了包含空间几何拓扑边与时序演化边的 4D 动态场景图，将复杂的 3D 点云与时序视频流抽象为紧凑的符号化结构，为多模态大模型（VLM）提供了原生、高效的查询接口。
全系统在搭载 Intel i9 与 RTX 4090 的移动机器人板载端以 10 Hz 位姿估计、5 Hz 场景图更新的速率全实时运行，在 ScanNet 语义基准及真实场景动态导航中显著超越现有方案。

1. 研究背景/问题

移动机器人在人类真实环境中执行诸如“去白板旁边的显示器”或“回到刚才在植物旁的椅子处”等开放词表导航任务时，面临着剧烈且持续的环境动态变化。现有的语义建图方法大多假设静态环境或依赖离线全场景重构（如 ConceptGraphs、HOV-SG），而传统动态 SLAM 系统多局限于闭集先验或仅关注短期人体移动，无法持续追踪物体在视野外的长期搬移与生灭演化。这导致多模态基础模型（VLM）间歇性、视点敏感的 2D 预测直接投影到 3D 地图时极易发生实例 ID 碎片化与语义陈旧，阻碍了下游语言引导导航的可靠空间推理。

2. 主要方法/创新点

SuperMap 4D 时空 SLAM 概览：能够实时追踪短期人体运动与长期环境变动（如垃圾桶移除、推车进入），并维护一致的 4D 时空场景图

① 整体框架概述

SuperMap 是一个完全运行在机器人板载计算平台上的 4D 时空 SLAM 系统，整体由几何层（在线 3D 重建）、实例层（时空实例关联与概率更新）以及拓扑层（4D 场景图构建与 VLM 交互）三大核心模块协同构成。几何层提供高频精准的度量位姿与致密几何；实例层利用 3D 先验进行运动补偿跟踪并动态剔除失效物体；拓扑层则将度量地图抽象为携带空间拓扑与生命周期轨迹的 4D 场景图，供大语言/多模态模型高效解析。

SuperMap 系统架构图：自底向上分为在线 3D 重建几何层、时空对象更新实例层以及面向 VLM 的 4D 场景图拓扑层

② 逐模块讲解

几何层（在线 3D 稠密重建）：
- 输入：同步的 LiDAR 点云、RGB 图像与高频 IMU 数据流。
- 处理：采用 SuperOdometry 作为激光-视觉-惯性（LVI）里程计骨干网络，在世界坐标系 $W$ 下以 10 Hz 实时解算机器人的 6-DoF 位姿 $T_{WB}^{(t)}$ 与相机位姿 $P_t = T_{WC}^{(t)} = T_{WB}^{(t)} \cdot T_{BC}$，并输出着色的致密 3D 几何点云。
- 输出：高精度机器人轨迹 $P_{1:T}$ 与致密 3D 观测数据 $Q_t = {C_t, D_t}$。
- 设计动机：为后续 2D 语义到 3D 空间的物理反投影、时序运动补偿以及全局地图一致性提供物理锚定基础。
实例层（时空实例关联与动态一致性维护）：
- 输入：当前帧 RGB 图像 $C_t$、深度观测 $D_t$ 以及历史全局地图 $M_{t-1}$ 中的 3D 物体实例集合。
- 处理：
  1. 2D 开放词表检测与分割：利用 GroundingDINO 进行开词表边界框检测，SAM2 进行实例掩码提取。
  2. 3D 到 2D 运动补偿混合跟踪：将历史地图中物体实例的 3D 质心 $X_i$ 通过当前相机位姿 $P_t$ 投影到像平面，获得预测像素质心 $\hat c_i(t) = \pi(K \cdot P_t^{-1} \cdot X_i)$，以此作为卡尔曼滤波的状态转移先验，取代传统的线性运动假设。
  3. 几何一致性三态判别与占据更新：计算地图点 $X_k$ 的投影深度 $d_{proj} = \lVert T_{CW} X_k \rVert_z$ 与当前传感器实测深度 $D(u)$ 的残差 $\Delta d = d_{proj} - D(u)$，严格区分可见（Observable）、被遮挡（Unobservable）与已消失（Disappeared），并对消失点执行对数几率（log-odds）占据惩罚。
  4. 贝叶斯语义融合：维护物体类别的多项式置信度分布，结合检测器混淆矩阵进行递归更新，自动滤除单帧偶发误分类。
- 输出：时空一致的全局 3D 实例级语义地图 $M_t = { O_t^j } _{j=1}^{N_t}$。
- 设计动机：解决剧烈视角变化下的实例 ID 漂移，并在长时运行中自主识别并剔除已搬走/消失的物体残影。
拓扑层（4D 场景图构建与 VLM 接口）：
- 输入：全局实例集合及其 3D 空间包围盒、质心与时序轨迹。
- 处理：构建图结构 $G = (V, E_S, E_T)$。节点 $V$ 代表物体实例；空间边 $E_S$ 根据空间几何谓词（如 $On$、$Beside$、$Under$）自动建立；时序边 $E_T$ 串联同一实例在不同时间步的演化轨迹。
- 输出：结构化的 4D 动态场景图，以及经过文本序列化（Serialization）的子图 Prompt。
- 设计动机：将海量稠密点云降维为富含语义与空间/时序关系的紧凑拓扑结构，降低多模态大模型的计算开销与幻觉。

③ 端到端数据流

一个完整的环境观测帧从传感器输入到最终生成导航动作的流经路径如下： LiDAR 与相机采集多模态数据 $\to$ 几何层实时解算位姿 $P_t$ 并生成局部点云 $\to$ 异步开放词表模块提取 2D 掩码 $\to$ 结合历史 3D 质心投影进行 3D-2D 跨模态关联，分配/更新唯一实例 ID $\to$ 深度残差几何校验分类点云状态，更新点占据率与语义分布 $\to$ 动态刷新 4D 场景图的空间谓词边与时序边 $\to$ 将相关局部子图序列化为结构化文本注入 VLM $\to$ VLM 解析指令并在 <answer> 标签中输出目标实例 ID $\to$ 解析器从场景图中检索对应的 3D 物理质心坐标作为航点（Waypoint），驱动底盘导航控制器。

④ 核心公式与更新机制

3D 到 2D 投影先验： $\hat c_i(t) = \pi\left(K \cdot P_t^{-1} \cdot X_i\right)$ 其中 $X_i$ 为实例在地图中的 3D 质心，$K$ 为相机内参，$\pi(\cdot)$ 为透视投影函数。
几何一致性深度残差三态分类：定义投影深度残差 $\Delta d = d_{proj} - D(u)$，其中 $d_{proj} = \lVert T_{CW} X_k \rVert_z$ 为地图点在相机系下的预期深度，$D(u)$ 为对应像素 $u = \pi(X_k)$ 处的传感器实测深度。状态判别准则为： $s_k^{(t)} = \begin{cases} \text{Observable (可见)}, & \text{if } \lvert \Delta d \rvert \le \tau_\epsilon \\ \text{Unobservable (被遮挡/位于表面后方)}, & \text{if } \Delta d > \tau_\epsilon \\ \text{Disappeared (已消失/位于表面前方)}, & \text{if } \Delta d < -\tau_\epsilon \end{cases}$
对数几率占据更新（Log-Odds Update）： $L(o_k \mid Q_{1:t}) = L(o_k \mid Q_{1:t-1}) + \text{logit}(P(o_k \mid Q_t))$ 对于判定为 Disappeared 的点，给予负几率惩罚以快速从全局地图中修剪陈旧几何。
贝叶斯语义融合更新： $P(L_j = c \mid z_{1:t}) = \eta \cdot P(z_t \mid L_j = c) \cdot P(L_j = c \mid z_{1:t-1})$ 其中 $P(z_t \mid L_j = c)$ 为开集检测器的经验混淆矩阵，$\eta$ 为归一化常数。
空间拓扑边几何谓词（以 $On$ 关系为例）： $\text{On}(A, B) \iff \left(z_A^{\min} \approx z_B^{\max}\right) \land \left(\text{IoU} _{xy}(B_A, B_B) > \gamma\right)$

⑤ 难点降维装置

装置 A — 最小具体例子（深度残差判定与运动补偿）

举个例子：假设地图中记录了一个垃圾桶的 3D 质心在世界坐标系下为 $(2.0, 0.0, 0.5)\text{m}$。

运动补偿：当机器人底盘剧烈右转 $30^\circ$ 时，纯 2D 线性卡尔曼滤波预测的像平面位置偏差超过 120 像素导致跟踪丢失；而 SuperMap 利用高频位姿 $P_t$ 直接将 3D 质心投影到当前帧，像素坐标误差瞬间收敛到 3 像素以内，精准锁定关联。

深度残差三态判定：设深度阈值 $\tau_\epsilon = 0.1\text{m}$，该垃圾桶原本预期的投影深度为 $d_{proj} = 2.0\text{m}$。

场景 1（被遮挡）：有人走过挡住了垃圾桶，传感器测得前方人体深度 $D(u) = 1.2\text{m}$，残差 $\Delta d = 2.0 - 1.2 = +0.8\text{m} > 0.1\text{m}$，系统判定为 Unobservable（被遮挡），保留该垃圾桶记忆且不执行误删。

场景 2（被搬走）：保洁人员将垃圾桶移走，传感器直接测得后方墙壁深度 $D(u) = 3.5\text{m}$，残差 $\Delta d = 2.0 - 3.5 = -1.5\text{m} < -0.1\text{m}$，系统判定为 Disappeared（已消失），触发 log-odds 负惩罚，几帧内将垃圾桶从当前活跃地图中剔除并记录时序生灭事件。

装置 B — 自制 Mermaid 流程图（4D 动态场景图与 VLM 闭环控制）

graph TD
    A["多模态流: LiDAR + RGB + IMU"] --> B["SuperOdometry (10Hz 高频位姿与点云)"]
    A --> C["GroundingDINO + SAM2 (1Hz 开放词表 2D 掩码)"]
    B --> D["3D 到 2D 运动补偿投影先验"]
    C --> D
    D --> E["跨帧 3D 实例关联 (分配/延续 Instance ID)"]
    E --> F["深度残差三态几何一致性与贝叶斯融合"]
    F --> G["4D 动态场景图 G = (V, Es, Et)"]
    G --> H["子图序列化为结构化文本 Prompt"]
    I["自然语言指令 (如: 去冰箱旁的画)"] --> J["VLM (Gemini 2.0 Flash) 推理"]
    H --> J
    J --> K["解析器提取目标 ID <answer>12</answer>"]
    K --> L["从 4D 图检索 3D 质心坐标 X_target"]
    L --> M["机器人局部运动规划与底盘执行"]

装置 C — Before / After 核心机制对比表

评估维度	传统 3D 场景图（如 ConceptGraphs / HOV-SG）	传统语义 SLAM（如 Kimera / OVO-SLAM）	本文方案 SuperMap
建图模式	离线全局扫描后批处理（需数分钟至数小时）	在线实时运行（10-30 Hz）	完全板载在线实时运行（10 Hz 位姿 / 5 Hz 场景图）
词表灵活性	开放词表（SAM + CLIP 聚类）	闭集预定义类别（固定 CNN）	开放词表（GroundingDINO + SAM2 结合）
动态环境适配	假设静态环境，动态物体导致重影与鬼影	仅过滤短期运动人流，忽略长期环境变动	统一建模短期移动与长期物体搬移/生灭
实例维护机制	简单的空间重叠启发式，长程易碎片化	仅维护局部特征点或几何面元	3D 运动补偿 + 深度残差一致性 + 贝叶斯融合
下游推理接口	静态图结构查询，无法感知物体历史轨迹	仅提供度量占有栅格或闭集语义网格	4D 时空动态图 + VLM 结构化 Prompt 闭环控制

3. 核心结果/发现

真实动态环境中的时空一致性定性评估：在物体新增（水桶、推车、安全警示牌）与消失（椅子、植物、垃圾桶）事件中，系统均保持了长期稳定的 3D 实例关联与 ID 一致性

ScanNet 基准评测大幅领先：
- 类别级语义分割：SuperMap 取得 55.48% 的准确率（Acc），大幅超越对象级基准 ConceptGraphs（31.05%）、ConceptFusion（34.10%）和 HOV-SG（35.17%）。
- 实例级 3D 分割（mAP）：在椅子（Chair）、窗户（Window）、冰箱（Refrigerator）和沙发（Sofa）等典型家具类别上，SuperMap 的 $\text{mAP} _{50}$ 分别达到 63.76%、42.20%、62.50% 和 33.35%，而依赖全局点云聚类的 HOV-SG 与 ConceptGraphs 得分接近于 0。
长周期真实动态环境时空变化检测：
- 在长达 10 分钟、涵盖 $30\text{m} \times 20\text{m}$ 复杂室内场景的真实机器人实验中，SuperMap 在 6 类目标物体的出现与消失测试中均取得了出色的检测召回率与变化召回率（水桶与椅子达到 1.000 满分召回）。
- 对比基线 DualMap 因 2D 分割不稳定导致 3D 边界框频繁被过滤，物体检测召回率接近 0；而 Khronos 则因推理瓶颈出现严重丢帧与语义退化。

4D 场景图输入与原始视频输入在 VLM 空间/时序推理上的对比：场景图输入在空间拓扑消歧与历史轨迹回溯上均展现出更高的可靠性与抗幻觉能力

VLM 空间逻辑与时序推理优势：
- 相比于直接将原始视频帧送入 VLM（Gemini 2.0 Flash），基于 SuperMap 序列化 4D 场景图输入的方案在空间度量逻辑（如根据植物与锥桶的相对位置精确定位灭火器）与时序历史回溯（沿时序边 $E_T$ 追溯背包移动轨迹并找回遗落物品）任务中显著降低了多模态大模型的空间透视畸变与长时序幻觉。

真机端到端在线视觉-语言导航实验：机器人根据场景图中的空间关系精准区分 4 块外观一致的白板，并准确完成多跳空间关系检索导航

消融实验与系统吞吐量：
- 消融验证表明，缺少 2D 跟踪器时 $F_1$ 从 0.6308 降至 0.5780；缺少贝叶斯语义融合时 $F_1$ 骤降至 0.5201；缺少几何一致性更新时 $F_1$ 降至 0.5764，证实了三者协同对消除检测噪声的关键作用。
- 运行速率方面，位姿估计稳定在 10 Hz，2D 开放词表感知运行在 1 Hz（异步处理），3D 地图更新为 3 Hz，4D 场景图维护维持在 5 Hz，实现完全板载流畅运行。

4. 局限性

SuperMap 在应对极高速度运动目标（如奔跑的行人或飞速抛掷物体）时的稠密轨迹追踪能力仍然受限；此外，当前的 2D 开放词表检测依然依赖于给定的 prompt 候选词表，未来需进一步集成自动化的开世界物体自主发现机制以实现全无先验部署。

17. GSMem (2026)

———3D Gaussian Splatting 作为具身探索与推理的持久空间记忆

📄 Paper: arXiv:2603.19137

精华

GSMem 的核心洞察是将 3D Gaussian Splatting（3DGS）作为一种具备”事后重新观察”能力（post-hoc re-observability）的持久空间记忆，使 agent 无需物理回访即可从任意最优视点重新渲染已探索区域，从根本上突破了离散检测失败导致记忆永久缺失的固有瓶颈。双层检索机制（对象级场景图 + 语义级 CLIP 语言场）互为补充：场景图提供结构化定位，语言场在检测缺失时兜底召回，两者共同驱动最优视点渲染为 VLM 提供高保真视觉证据。混合探索策略将 VLM 语义相关性与基于 Fisher 信息矩阵迹近似的 3DGS 几何信息增益动态结合，在任务导向探索与全局覆盖之间自适应切换，兼顾效率与鲁棒性。将连续辐射场引入具身导航记忆是一次重要范式转移，其”写入即可重渲染”的特性对长时导航任务尤为关键。

1. 研究背景/问题

具身导航要求 agent 在未知环境中主动探索并持续积累空间知识。现有方法依赖两类表示：离散的 3D 场景图（如 ConceptGraphs）因依赖检测模块，目标漏检将导致不可恢复的记忆空洞；基于视图快照的方法（如 3D-Mem）则因视角固定、稀疏，无法从最优视角重新观察已探索区域，给 VLM 推理提供的视觉证据质量受限。上述方法均缺乏 post-hoc re-observability：agent 被锁定在初始探索时的固定观测中，无法如人类一样”从新角度回忆”过去场景。

2. 主要方法/创新点

整体框架概览

GSMem 在主动探索过程中实时维护三个并行结构：3DGS 几何与外观地图、每个 Gaussian 附带的 CLIP 语言嵌入场、对象级场景图。查询到来时，多层检索-渲染机制定位相关区域并渲染最优视点图像，VLM 据此推理；当没有 frontier 提供足够语义线索时，切换至基于信息增益的几何探索。

GSMem 系统概览：agent 在真实探索路径（黄线）之外，可通过 3DGS 记忆直接"事后重新观察"任意已探索区域（紫线），无需物理导航回访

3DGS 建图与在线语言场

每个 3D Gaussian $g_i$ 额外携带 32 维语言嵌入（由 768 维 CLIP 特征经自编码器压缩得到）。为避免高维语言特征的优化开销，提出”权重一致逆聚合”：forward 渲染中 2D 像素特征由 3D Gaussian alpha-blending 生成，逆向时以完全相同的混合权重将 2D CLIP 特征反向分配给各 Gaussian，实现零优化开销的在线语义更新：

\[\mathbf{f}_i^t = \frac{W_i^{t-1}\mathbf{f}_i^{t-1} + \sum_{k \in \mathcal{T}_t} \sum_p w_{i,p,k}^t \mathbf{f}_{p,k}^{2D}}{W_i^t}\]

同时维护对象级场景图（含 3D 位置、语义标签、最高置信度检测视角）、TSDF 地图和 frontier 地图。

多层检索-渲染机制

多层检索-渲染机制：对象级检索（场景图）与语义级检索（3DGS 语言场）并行定位 ROI，随后通过最优视点选择与 3DGS 渲染为 VLM 提供高保真视觉证据

给定任务查询，同时触发两条互补检索路径：

对象级检索：VLM 对场景图全部对象按语义相关性排序，选 top-$K_\text{obj}$ 候选作为 ROI
语义级检索：将查询编码为 CLIP 嵌入，在语言场中以余弦相似度 $> \tau_\text{clip}$ 召回相关 Gaussian，经 KD-Tree 聚类后保留 top-$K_\text{cluster}$ 个空间连贯群组作为 ROI

对每个 ROI，在水平圆形轨迹上均匀采样 108 个候选视点（36 方位角 × 3 仰角），经两阶段打分筛选：Phase 1 以能见度分 $S_\text{vis}$（TSDF 光线投射）+ 投影面积分 $S_A$（高斯惩罚鼓励适当观察距离）选出 top-10；Phase 2 进一步以 3DGS 不透明度分 $S_\text{opa}$ 评估实际渲染质量，综合分 $S_\text{final} = S_\text{vis} + S_A + S_\text{opa}$ 选出最优视点。最终通过单步扩散模型提升渲染图像质量后送入 VLM 推理。

混合探索策略

混合探索策略：当任一 frontier 的语义相关性超过阈值时优先导向任务目标；否则切换至基于 3DGS 信息增益（不确定性热力图）的几何覆盖探索

对每个候选 frontier 计算两类分数：

语义相关分 $s_i^\text{sem} \in [0,1]$：VLM 评估 frontier 观测图像与任务查询的相关程度
几何覆盖分 $s_i^\text{geo}$：基于 Fisher 信息矩阵（FIM）的信息增益，以 T-optimality 代理近似为 FIM 增量的迹 $s_i^\text{geo} \approx \text{Tr}(\mathbf{I}_i)$，可直接由渲染 Jacobian 计算，无需真值监督

探索决策规则：

\[i^* = \begin{cases} \arg\max_i \, s_i^\text{sem}, & \text{if } \max_i s_i^\text{sem} > \tau_s \\ \arg\max_i \, s_i^\text{geo}, & \text{otherwise} \end{cases}\]

3. 核心结果/发现

Active Embodied QA (A-EQA) on OpenEQA（63 个 HM3D 场景，184 问题，GPT-4o 作为 VLM）：

方法	LLM-Match ↑	LLM-Match SPL ↑
Explore-EQA	46.9	23.4
ConceptGraphs w/ Frontier	47.2	33.3
3D-Mem	52.6	42.0
GSMem (Ours)	55.4	43.8

GOAT-Bench 多模态长时导航（36 场景 val-unseen，2600+ subtasks）：

方法	SR ↑	SPL ↑
TANGO	32.1	16.5
MTU3D	47.2	27.7
3D-Mem	62.9	44.7
GSMem (Ours)	67.2	46.9

GSMem 在长时导航任务中的优势比 A-EQA 更显著（SR +4.3 vs LLM-Match +2.8），验证了持久记忆对长时累积任务的特殊价值。消融研究显示：去除 CLIP 语言场 −4.5 SR、去除最优视点选择 −2.7 SR、去除混合探索时 SPL 下降 −4.1，表明几何覆盖策略对探索效率贡献显著。

案例对比（3D-Mem vs GSMem）：(a-c) 3D-Mem 因检测漏报（白色长袍、无花果树）或语义误检（白色门被识别为冰箱）导致错误，GSMem 通过语义场检索正确定位；(d) 视角受限时，GSMem 通过最优视点重渲染成功识别悬挂衣物

4. 局限性

当前系统依赖 RGB-D 输入，深度噪声或高遮挡场景将影响 3DGS 建图质量，进而降低检索与渲染精度；单步扩散增强引入额外推理延迟，实时部署（当前约 1.2 s/step）仍有优化空间。

18. PROSPECT (2026)

———流式 VLA + 潜空间预测：训练时预演未来，推理时零开销

📄 Paper: arXiv:2603.03739

精华

预测未来不必真的画出未来——把世界模型的监督信号从像素/深度搬到 SigLIP 与 CUT3R 的潜空间，纹理、光照这类任务无关细节在进入损失函数之前就已被教师编码器压掉。
预测分支只在训练时挂载、推理时整支拆除：它的职责是「塑形」主干表征而非产出结果，因此一分钱延迟都不收。
用 stream query token 反向查询流式上下文，是在不改动主干自回归结构的前提下，把预测目标塞进一个现成 VLA 的通用做法。
空间编码器选 CUT3R 而非 VGGT，关键不在精度榜而在工程属性——绝对尺度 + 天然流式，长 episode 下 VGGT 直接 OOM 且尺度随首帧漂移。
消融显示，这套多目标训练的成败几乎全押在一张注意力掩码上：掩码设计错了掉 8.5 个 SR，比 2D–3D 融合和两个预测目标加起来的贡献还大。

1. 研究背景/问题

MLLM 驱动的端到端 VLN 已经能把第一人称 RGB 直接映射成动作，但这类方法几乎只训练「理解与执行」，缺少对环境动态的预测能力和对空间结构的显式建模。已有的补救路线各有硬伤：低维状态空间世界模型表达力不足；在像素/深度等显式空间做监督又容易过拟合纹理与光照，一换环境就崩；多数方法还只吃很短的历史，浪费了流式视频里的长程上下文。

另一条暗线是视觉编码器：主流 VLN 依赖 SigLIP 这类纯 2D 语义编码器，本身没有空间智能；而近期被引入的 VGGT 系 3D 基础模型在长序列上内存吃紧、必须靠截断历史来躲 OOM，且只给相对尺度表征，大视角变化下难以维持一致性。

2. 主要方法/创新点

PROSPECT 总览。(a) 流式设置：注意力掩码同时保证时序因果与 2D/3D query 隔离，SigLIP 与 CUT3R 分别提供 2D 语义流和绝对尺度 3D 空间流，经交叉注意力融合后送入策略；(b) 统一模型：训练时 stream query token 在冻结教师监督下预测下一步 2D/3D 潜特征，推理时只跑 VLA 策略（约 4 Hz）；(c) 结果：VLN-CE 第一梯队，长程的 RxR 上涨幅明显大于 R2R

① 整体框架概述

PROSPECT（Predictive Representations Of SPatial-sEmantic ContexTs）由三块构成：感知融合模块把每帧 RGB 同时喂给冻结的 SigLIP 和 CUT3R，用交叉注意力融成一路带空间信息的语义特征；流式 VLA 主干（LLaVA-NeXT-Video-7B + Qwen1.5-7B）用 KV cache 维护短期滑窗、用压缩 token 维护长期记忆，自回归吐出原子动作；潜空间预测分支在训练时挂上一批可学习的 query token，反向查询流式上下文并解码出「下一帧应该长什么样」的潜特征，推理时整支移除。三者共享同一条注意力序列，靠一张精心设计的掩码把彼此的信息通路切开。

② 逐模块讲解

模块 A：2D–3D 感知融合

输入：单目 RGB 观测 $o_t$（无深度、无里程计、无全景）。
处理：两路并行编码。SigLIP 给语义特征 $F_t^{2D} = \mathrm{SigLIP}(o_t)$；CUT3R 先用 ViT 编码器出 $F_t^{3D,pre}$，再结合上一步的状态 token $s_{t-1}$ 和可学习位姿 token $p_t$ 滚动出空间特征并更新状态：

\[[\tilde p_t,\ F_t^{3D}],\ s_t = \mathrm{Decoders}\left([p_t,\ F_t^{3D,pre}],\ s_{t-1}\right)\]

两路以 2D 作 query、3D 作 key/value 做交叉注意力：

\[F_t^{fuse} = \mathrm{softmax}\left(\frac{(F_t^{2D} W_Q)(F_t^{3D} W_K)^{\top}}{\sqrt{d_k}}\right)(F_t^{3D} W_V)\]

输出：融合特征经 MLP 投到 LLM 嵌入空间，与指令 token 一起入模。长期记忆里的历史关键帧走同一条流水线，但每帧被压成单个 token。
设计动机：SigLIP 认得出「那是一扇玻璃门」，CUT3R 才知道「它在前方 2.3 米」。指令里的空间介词（穿过、右侧、前面）需要后者才能落地。

举个例子（为什么非要绝对尺度）：机器人走了 100 步，中途转了个大弯。VGGT 这类编码器输出的是「相对第一帧」的尺度——第 1 帧里那扇门的宽度被定为 1.0，之后所有距离都按这个基准换算。转弯后视野全换、第一帧的门早已不在画面里，基准便没有实物可锚定，尺度随之漂移。CUT3R 维护一个持续更新的状态 token，逐帧吐出带绝对尺度（米）的空间特征，「前方 2.3 m 有障碍」这句话在第 1 步和第 100 步含义完全相同。工程上差距更直接：R2R 大部分 episode 超过 30 帧，VGGT 一次性吞整段序列直接 OOM；换成流式版 InfiniteVGGT 才跑得动，但 SR 只有 43.2，比 CUT3R 的 48.7 低 5.5 个点，单步耗时还更高（0.284 s vs 0.245 s）。

PROSPECT 架构。指令与观测（历史关键帧 + 当前帧）共用一条流水线：冻结的 SigLIP 与 CUT3R 经交叉注意力融合，关键帧被压缩进长期记忆 M；主干用 KV cache 承载上下文并自回归输出导航动作。右侧虚线框内为仅训练时启用的预测分支：2D/3D query token 反查流式上下文，轻量 decoder 在冻结教师监督下分别用余弦损失与 MSE 预测下一步潜特征

模块 B：流式上下文（短期滑窗 + 长期记忆）

输入：过去 $N-1$ 组观测–动作对，以及均匀采样的历史关键帧。
处理：短期窗口用 KV cache 缓存键值状态，避免重复前向；长期关键帧压成记忆 token $M$。流式上下文写作

\[\mathrm{Stream}_{0:t} := \left(\mathrm{KV}(W_t),\ o_t,\ M\right)\]

输出：策略以 $a_t = \mathrm{VLA}(I, \mathrm{Stream}_{0:t})$ 每步输出 $n_a = 4$ 个原子动作，动作空间为

\[a_t^{(i)} \in \mathcal A := \{\uparrow,\ \leftarrow,\ \rightarrow,\ \mathrm{STOP}\}\]

其中 $\uparrow$ 为前进 25 cm，$\leftarrow$ / $\rightarrow$ 为左右转 15°。实验取 $N = 8$、长期关键帧 8 帧。

设计动机：短期窗口保证动作连贯，长期记忆保证「我已经过了客厅」这类任务进度不被遗忘，两者分工避免了把全部历史塞进上下文的开销。

模块 C：stream query token 与潜空间预测（本文核心）

融合特征是把流式信息正向汇聚进 LLM；stream query token 做的是相反的事——反向查询已经写好的上下文，逼主干把「接下来会看到什么」也编码进去。

输入：在第 $t$ 轮输入序列末尾追加可学习 token $\langle q_t^{2D} \rangle$ 与 $\langle q_t^{3D} \rangle$（每种模态 9 个）。
处理：两者过 LLM 后各自压成一个未来时刻的 embedding，再送进两个 2 层轻量 Transformer decoder，配合重复到目标长度的可学习掩码 token，展开成与目标图像 token 序列等长（196 个）的潜特征：

\[\hat F_{t+1}^{2D} = \mathrm{Decoder}^{2D}\left(e_{t+1}^{2D} \mid \langle m_t^{2D} \rangle\right)\] \[\hat F_{t+1}^{3D} = \mathrm{Decoder}^{3D}\left(e_{t+1}^{3D} \mid \langle m_t^{3D} \rangle\right)\]

输出：预测的下一步 2D 语义 / 3D 空间潜特征，与冻结 SigLIP / CUT3R 对第 $t+1$ 帧的真实编码对齐（教师不回传梯度）。
设计动机：让表征「知道世界会怎么变」，但不为此付出推理代价。

举个例子（训练挂上、推理拆掉，到底怎么回事）：假设当前是第 T 轮。训练时模型输入除了指令、长期记忆、历史与当前观测，还额外挂上 9 个 <Query2d> 和 9 个 <Query3d>，共 18 个 token；它们过完 LLM 各自得到一个压缩 embedding，再由 2 层 decoder 展开成 196 个 token 的「下一帧特征」，与冻结教师对第 T+1 帧的编码算损失。推理时这 18 个 token 根本不加进输入——序列里只剩指令 + 上下文 + 动作 token，相对顺序和注意力结构与训练时完全一致，所以主干不会因为少了它们而错位。换句话说，预测能力最终沉淀在 LLM 主干的权重里，而不是靠推理时真去算一遍未来。这也是它比「MLLM + 独立视频生成器」更紧凑的原因：后者推理时得把生成器一起养着。

为什么监督放在潜空间而不是像素空间：

维度	像素 / 深度级世界模型	PROSPECT 的潜空间预测
预测目标	下一帧 RGB、深度图、BEV/occupancy	SigLIP 的 2D 语义特征 + CUT3R 的 3D 空间特征
监督信号里的成分	纹理、阴影、光照全都得重建	教师编码器已滤掉外观噪声，只剩语义与几何
出域鲁棒性	换光照/换纹理时表征易失效	黄昏、夜间场景仍可用（见真机结果）
推理开销	生成分支通常需保留	整支移除，零额外延迟
对位姿/仿真状态的依赖	常需 GT 位姿或模拟器状态	无需里程计，可无图部署

graph TD
    A["指令 I + 长期记忆 M + 短期流式上下文"] --> B["PROSPECT 主干 LLM"]
    Q["9 个 Query2d + 9 个 Query3d"] -.->|"仅训练时挂载，推理整支移除"| B
    B --> C["动作 token: 前进 / 左转 / 右转 / STOP"]
    B --> D["2D / 3D 未来 embedding"]
    D --> E["2 层轻量 Decoder + 196 个掩码 token"]
    E --> F["预测的下一步潜特征"]
    F --> G["冻结 SigLIP 教师: 余弦损失"]
    F --> H["冻结 CUT3R 教师: MSE 损失"]

模块 D：流式注意力掩码

PROSPECT 的流式注意力掩码。上部灰色：导航上下文与动作的标准因果掩码；中部红色：每个 2D query 只能看自己所在轮次及更早轮次的上下文与动作，看不到任何其他 query；下部蓝色：3D query 同理。右侧对角块表明 query 仅与自身可见，从而同时实现轮次隔离与模态解耦

标准因果掩码在这里不够用，因为每轮都新增了一对预测 query。论文把短期导航上下文重新解释成一场 $N$ 轮对话：第 $i$ 轮模型消费上下文 $\mathrm{ctxt}_i$（提示与观测 token）、产出回应 $\mathrm{act}_i$（动作 token），首轮额外包含指令与长期记忆 $M$。训练时在每轮末尾追加 $\langle q_i^{2D} \rangle$ 与 $\langle q_i^{3D} \rangle$，并施加三条约束。

举个例子（三条约束分别拦住了什么）：只取前 3 轮，每轮一组 ctxt / act，再各配一对预测 query。

因果：act_2 可见 ctxt_0..2 与 act_0..1，但看不到 ctxt_3。这是标准因果掩码，防止偷看未来。

轮次隔离：Query2d_1 可见 ctxt_0..1 与 act_0..1，却看不到 Query2d_0 和 Query2d_2。每个 query 只能从共享的流式上下文里取信息，不能从相邻 query 那儿抄答案——否则前一个 query 的预测误差会顺着 query 链一路累积。

模态隔离：Query2d_1 与 Query3d_1 互不可见。否则 2D 分支可以直接读走 3D 分支算好的几何，两个本该互补的目标退化成一个。

消融证实这两道隔离都省不得：去掉模态隔离 SR 从 48.7 掉到 39.9，退回普通因果掩码（Leaky，query 可隐式触到未来导航 token）掉到 40.2。

评估时预测分支被整体摘除，剩下的 token 序列保持与训练时相同的相对次序与注意力结构——这正是「训练挂上、推理拆掉」不掉点的前提。

③ 端到端数据流

一个样本在第 $t$ 步的完整路径：单目 RGB $o_t$ → SigLIP / CUT3R 双路编码 → 交叉注意力融合 → MLP 投影进 LLM 嵌入空间 → 与指令 token、长期记忆 $M$、KV cache 中的短期窗口拼成流式序列 →（训练时额外追加 2D/3D query token）→ 主干在流式掩码下前向 → 自回归输出 4 个原子动作；训练时并行地由两个轻量 decoder 从 query embedding 展开下一步潜特征，与冻结教师对齐。

④ 训练目标

2D 用余弦距离、3D 用 MSE：

\[\mathcal L_{2D} = 1 - \cos\left(\hat F_{t+1}^{2D},\ F_{t+1}^{2D}\right)\] \[\mathcal L_{3D} = \mathrm{MSE}\left(\hat F_{t+1}^{3D},\ F_{t+1}^{3D}\right)\]

损失形式并非随手选的：SigLIP 本身是在 $\ell_2$ 归一化嵌入上用成对 sigmoid 损失训出来的，几何上只有方向有意义，对它用 MSE 会去惩罚模长差异，训练不稳；CUT3R 特征没有这个归一化前提，MSE 反而稳定。

总目标为

\[\mathcal L_{all} = \mathcal L_{nav} + \gamma\left(\alpha \mathcal L_{2D} + \beta \mathcal L_{3D}\right)\]

其中 $\mathcal L_{nav}$ 是动作交叉熵，取 $\gamma = 0.01$、$\alpha = 0.25$、$\beta = 0.75$，目的是让任何单项都不会仅凭数值量级压过其他项。

训练分两阶段，共用 8× A800：Stage 1 在 MP3D 的 VLN-CE 数据（R2R / RxR / R2R-EnvDrop，合计约 479K，占比约 5% / 14% / 80%）上做一轮 SFT，耗时 560 A800 GPU-hours；Stage 2 保留 Stage 1 的 R2R/RxR 轨迹以缓解遗忘，追加约 260K DAgger 样本（专家重标注提供偏离航线后的恢复动作）与约 314K ScaleVLN 样本（HM3D），并混入 LLaVA-Video-178K 与 ScanQA 以强化时空推理，总量约 938K（71% VLN + 29% VQA），一轮约 1900 A800 GPU-hours。SigLIP 学习率 $5 \times 10^{-6}$，其余可训练模块峰值 $2 \times 10^{-5}$，CUT3R 全程冻结。

⑤ 推理流程

推理只跑 VLA 主干：query token 不入序列、两个 decoder 不加载、教师编码器不参与。真机上单步约 0.25 s，控制频率约 4 Hz。

3. 核心结果/发现

VLN-CE 主结果（R2R / RxR val-unseen，单目 RGB，无深度、无里程计、无全景）：

方法	训练数据	R2R SR↑	R2R SPL↑	RxR SR↑	RxR SPL↑
NaVid	MP3D	37.4	35.9	–	–
Uni-NaVid	MP3D	47.0	42.7	48.7	40.9
StreamVLN	MP3D + VideoQA	50.8	45.7	48.6	42.5
PROSPECT	MP3D + VideoQA	52.0	46.2	52.7	42.8
NaVILA	+ 额外数据	54.0	49.0	49.3	44.0
StreamVLN	+ ScaleVLN / MMC4	55.7	50.9	52.9	46.0
PROSPECT	+ ScaleVLN / MMC4	58.9	54.0	54.6	46.2

几个值得留意的点：

收益集中在长程任务。RxR 的涨幅明显大于 R2R，而 RxR 的评估 episode 数是 R2R 的两倍、平均轨迹 15.32 m vs 9.89 m（1.55×）、指令平均约 120 词 vs 32 词（近 4×）。按执行步数分层的消融把这一点讲得更直白：短程（1–50 步）SR 几乎持平（+0.03），中程（50–100 步）+4.68，长程（≥100 步）+4.14。有意思的是分箱本身也在变化——PROSPECT 的长程 episode 比基线少了 50 条、短程与中程各多出 27 / 23 条，说明它把一部分原本要磨很久的任务提前走完了。
模块消融呈超加性。以 SigLIP-only 为基线（SR 45.5），加 CUT3R 融合到 46.7，单加 2D 预测到 47.0、单加 3D 预测到 47.2，而两个预测目标同时开启直接到 48.7。单项各贡献 0.3 / 0.5，合起来却是 2.0——语义与几何的预测信号确实互补，而非重复。
掩码设计是整套方法的胜负手。Leaky（普通因果掩码）40.2、去掉模态隔离 39.9、完整设计 48.7。也就是说掩码做错要掉 8.5 个 SR，比 2D–3D 融合（+1.2）与两个预测目标（+2.0）加起来还多好几倍。这条结论比方法本身更值得迁移：往现成 VLA 里加辅助目标时，信息通路怎么切远比加什么目标更关键。
空间编码器对比。VGGT 在 R2R 长 episode 上直接 OOM；InfiniteVGGT 可跑但 SR 43.2、单步 0.284 s；CUT3R 为 SR 48.7、单步 0.245 s，精度与延迟双赢。

ARX-Lift2 真机第一人称视角。自上而下依次为办公室（116 步）、储物间（164 步）、夜间街道（232 步），单步平均推理耗时均约 0.25 s，指令中红色标注的是需要视觉定位的地标

真机结果（ARX-Lift2，头部 RealSense 405 单目 RGB；每场景按短/中/长程各设 5 条指令、每条执行 2 次共 30 次；成功判据为 500 步内进入目标 0.3 m 且主动输出 STOP，碰撞记失败；所有场景训练中未见过）：

场景	光照	NaVid	StreamVLN	PROSPECT
办公室（室内）	明亮	7/30	12/30	20/30
仓库（室内）	明亮	6/30	12/30	18/30
走廊（室内）	中等	11/30	16/30	22/30
户外·午后	明亮	6/30	10/30	18/30
户外·黄昏	中等	4/30	6/30	11/30
户外·夜间街道	昏暗	2/30	6/30	9/30
合计	—	36/180（20.0%）	62/180（34.4%）	98/180（54.4%）

跨全部六个场景与三档光照均领先，且相对优势在光照越差时并未消失（夜间 9 vs 6 vs 2）——这与「潜空间监督天然过滤掉外观噪声」的设计动机对得上。部署形态上，室内用双 RTX-4090 服务器经 Wi-Fi/LAN 远程推理（约 0.25 s/步），室外用双 A800 经公网（约 0.27 s/步），均约 4 Hz；论文也测了单张 RTX 4070 降精度的板载推理，可行但成功率下降。

4. 局限性

自主性仍受限于算力形态：主力结果依赖远程推理，板载单卡降精度虽能跑但明显掉点，而夜间 9/30 的成功率说明低光下还远谈不上可靠。方法层面，预测目标锚定在冻结的 SigLIP/CUT3R 上，表征上限被教师锁死，且只预测 $t+1$ 一步，谈不上更长视野的规划；此外消融基本在 one-epoch SFT 设定下完成，与最终 scaled 配方是否完全一致尚未验证，而这套训练本身相当昂贵（两阶段合计约 2460 A800 GPU-hours）。

19. Qwen-Drive (2026)

———首个不改动 VLM 架构、统一 3D 感知/问答/轨迹规划的端到端自动驾驶基础模型

📄 Paper: arXiv:2609.00111 · Code · Model

精华

无侵入架构统一三大驾驶能力：在完全冻结且不修改通用视觉语言模型（VLM）主干的前提下，通过外挂轻量化 BEV 感知头与基于扩散变换器（DiT）的规划专家，首次在一套框架内原生统一 3D 感知、驾驶视觉问答与未来运动轨迹规划。
解耦感知探针与隐式空间表征倒逼：提出双流特征融合的 BEV 感知头，低层通过深度网络将图像投影构建 3D 体素空间，高层抽取 VLM 语义特征并经由 BEV Transformer 融合，作为探针不仅输出可解释的 3D 检测、占用与矢量地图，更通过双流反向传播驱动通用 VLM 掌握精确 3D 几何常识。
GQA 键值缓存驱动的连续流匹配规划：规划专家无需将轨迹离散化为自回归文本 Token，而是直接跨模块复用 VLM 内部 8 层分组查询注意力（GQA）的 Key-Value 缓存作为交叉条件，借助流匹配（Flow Matching）在连续空间内一步到位解码平滑且符合动力学物理特性的时空航点。
首创连续流匹配策略梯度强化学习：突破传统扩散/流模型难以接入不可微驾驶环境指标的瓶颈，在最后 3 步积分区间引入正交低频余弦子空间扰动与分数恢复项（Restoring Score），结合组内无评论家相对优势，在连续扩散流形上直接优化碰撞、通行规则与体感舒适度指标。
零灾难性遗忘且多基准登顶：通过混合驾驶与通用图文数据的四阶段递进式训练，模型在获得行业领先 3D 几何与规划能力（NAVSIM PDMS 达 90.7，WOD-E2E RFS 达 7.91）的同时，通用多模态问答基准分毫未损。

1. 研究背景/问题

现有的自动驾驶视觉语言模型（VLM）面临两难困境：若直接改造大模型主干去输出离散坐标或自回归生成决策，往往导致严重的灾难性遗忘并破坏其原生的通用视觉推理与指令遵循能力；而若仅依靠多模态大模型输出高层文本解释，又缺乏对 3D 物理环境的精确几何感知与可执行的连续运动学控制。

为此，阿里云 Qwen 团队与华中科技大学联合推出了 Qwen-Drive-1.0，旨在探索兼顾“通用多模态理解能力”与“专用端到端自动驾驶几何规划能力”的统一基座。其核心动机在于：在完全不改动预训练 VLM 架构与参数格式的前提下，利用外挂探针模块抽取通用特征中的 3D 空间结构，并通过连续流匹配与强化学习，实现端到端 3D 感知、常识推理与闭环轨迹规划的深度协同。

2. 主要方法/创新点

Qwen-Drive-1.0 整体统一多任务架构：共享视觉编码器与 VLM 主干支持文本生成，外挂 BEV 感知头与规划专家分别负责 3D 几何预测与未来轨迹生成

2.1 整体框架概述

Qwen-Drive-1.0 整体由三个核心协同模块构成：

共享多模态骨干（Shared VLM Backbone）：采用标准 Qwen3.5-4B 架构与原生 Vision Encoder，接收多视角环视图像、连续视频帧或单张通用图像，负责场景语义表征与多轮对话问答；
BEV 感知探针（BEV Perception Head）：外挂轻量化空间解码模块，融合视觉编码器底层纹理特征与 VLM 顶层语义特征，显式解码自车坐标系下的 3D 目标检测、3D 语义占用（Semantic Occupancy）及高精矢量地图分割；
规划专家（Planning Expert）：包含 11 亿参数（32 层）的扩散变换器（Diffusion Transformer, DiT），跨模块直接读取 VLM 中缓存的键值表征（KV Cache）作为先验条件，通过流匹配生成未来 5 秒（10Hz，共 50 个航点）的平滑自车轨迹。

在输入序列化上，模型依据下游任务特性设计了两种无冗余标签排序策略：

问答任务（帧优先，Frame-Major）：按时步遍历视角，即 frame: 0 <FRONT VIEW> <image> ... frame: 1 ...，便于大模型跨视角对齐单帧全局环境；
规划任务（视角优先，View-Major）：按视角遍历时步，即 <FRONT VIEW> frame: 0 <image> frame: 1 <image> ...，将同一摄像头的连续历史观测紧密相邻排列，显著增强对动态障碍物时序速度与运动变化的感知。

2.2 外挂双流 BEV 感知探针与自制架构解析

为验证预训练 VLM 内部是否已内隐具备 3D 空间结构，并为驾驶决策提供可显式质检的几何输出，论文设计了不修改大模型主干的 BEV 感知头。

外挂模块精细结构：(a) 双流特征融合的 BEV 感知头；(b) 基于 VLM 分组查询注意力（GQA）键值缓存交叉条件的规划专家 DiT

模块内部的数据流向与空间投影机制如下：

输入：当前时刻 $N_v$ 个环视相机画面（如 6 视角或 8 视角）及内外参标定矩阵。
处理过程（双流融合）：
1. 低层几何流：从 Vision Encoder 提取尚未进入大模型的低层图像特征 $F_v$。通过轻量化深度子网络预测沿视线的离散深度分布 $D_i$，按经典视线投射原理将特征分散到 3D 空间中，构建带有高度维度的 3D 体素特征体 $V(p) = \sum_{i \in \Omega(p)} D_i(u_i, v_i, d_i) F_v^i(u_i, v_i)$；
2. 高层语义流：图像 Token 完整经过 VLM 运算后，抽取顶层富含全图上下文语义的特征 $F_m$。经由特征金字塔（FPN）上采样生成多尺度语义图；
3. BEV 平面聚合：将 3D 体素 $V$ 沿高度坍缩压平作为几何先验查询 $\bar{V}$，送入 BEV Transformer。通过在 BEV 网格上交替执行自注意力与对多尺度 $F_m$ 的可变形跨注意力（Deformable Cross-Attention），输出融合了几何深度与高层语义的自车坐标系 BEV 表征 $B$。
输出：三路专用解码头并行输出——DETR 风格的可变形注意力解码器预测 3D 目标检测框；三维 UNet 结合初始体素 $V$ 预测体素级 3D 语义占用；轻量卷积头输出局部 $400 \times 200$ 网格的栅格化矢量地图元素。

graph TD
    A["多视角环视图像 (Nv 视角)"] --> B["Vision Encoder 提取低层特征 Fv"]
    A --> C["Qwen3.5 VLM 主干提取高层语义 Fm"]
    B --> D["深度网络预测视线深度分布 Di"]
    D --> E["外推并聚合成 3D 体素表征 V"]
    E --> F["沿高度坍缩生成几何先验 V_bar"]
    C --> G["特征金字塔 FPN 构建多尺度语义"]
    F --> H["BEV Transformer 交叉注意力融合"]
    G --> H
    H --> I["统一自车 BEV 特征 B"]
    I --> J["3D 目标检测 (DETR 查询解码)"]
    I --> K["语义占用预测 (结合 3D 体素 V)"]
    I --> L["高精地图矢量分割 (BEV UNet)"]

感知目标函数：总感知损失联合监督检测、占用与地图分割： $L_{perc} = L_{det} + L_{occ} + L_{map}$ 其中 $L_{det}$ 采用匈牙利匹配下的 Focal 损失与 $\ell_1$ 边界框回归；$L_{occ}$ 结合类别平衡 Focal、几何/语义亲和度损失与 Lovász-softmax 损失；$L_{map}$ 采用 Focal 与 Lovász 损失。在反向传播时，感知损失不仅更新 BEV 头，更通过 $F_m$ 为 VLM 与视觉编码器注入强大的 3D 空间监督信号。

2.3 基于流匹配（Flow Matching）的规划专家

传统自动驾驶方案要么采用级联感知预测模块，信息瓶颈严重；要么强行让语言模型输出离散的轨迹 Token，不仅推理缓慢，而且容易违反车辆物理运动学约束。

维度	传统端到端感知规划 (如 UniAD)	纯自回归语言模型规划 (如 DriveVLM / EMMA)	本文 Qwen-Drive-1.0 架构
主干模型架构	专用 CNN/BEV 网络，无通用推理与常识理解能力	修改或全量微调 VLM，易出现灾难性遗忘与泛化退化	冻结原生预训练 VLM 架构，无侵入式外挂扩展
规划轨迹表示	稠密感知结果级联输入二次低层轨迹优化器	文本或离散网格 Token 自回归逐点解码	32 层连续扩散变换器（DiT）结合流匹配解码
几何常识交互机制	仅依赖预测框几何交互，缺乏深层语义推理	纯靠离散语言提示推导坐标，动力学平滑度差	跨模块直接复用 VLM 8 层 GQA 键值缓存与动力学状态
策略后训练能力	仅支持模仿学习或简单的代价函数打分	离散强化学习（PPO）难以平滑探索连续控制流形	连续流匹配策略梯度（低频余弦子空间扰动与分数恢复）

输入与条件注入：规划目标建模为条件连续轨迹生成： $\tau \sim p(\tau \mid s, \ell, \tau_{hist}, n, e, r)$ 其中 $\tau = \{ (x_k, y_k, \theta_k) \} _{k=1}^{50}$ 为未来 5 秒内 50 个时间步的纵向位置、横向位置及朝向角。输入的传感器图像经过 VLM 主干计算后，模型提取 VLM 中全部 8 个分组查询注意力（GQA）层中带有旋转位置编码（RoPE）的 Key 和 Value 缓存（KV Cache）。DiT 的 32 层分为 8 组（每组 4 层），每组直接与对应 GQA 层的 KV 拼接执行联合跨注意力交互；自车历史轨迹 $\tau_{hist}$、导航意图 $n$（如左转、直行）、当前自车物理状态 $e$（速度与加速度）及流时间步 $t$ 则通过自适应层归一化（AdaLN）注入到每个 DiT 块中。
流匹配训练目标：采用端点预测形式的流匹配（Flow Matching），并引入一阶与二阶时间差分惩罚抑制轨迹抖动： $L_{plan} = L_{fm} + 0.1 L_{\Delta 1} + 0.05 L_{\Delta 2}$ 其中 $L_{fm}$ 为预测流场速度与真实流速度之间的均方误差；$L_{\Delta 1}$ 和 $L_{\Delta 2}$ 为 Huber 正则项，分别惩罚轨迹速度与加速度的突变，确保输出轨迹严格满足车辆乘坐舒适性与动力学连续性。推理时仅需 10 步欧拉积分器即可快速解出确定性平滑轨迹。

2.4 连续流匹配的策略梯度强化学习（Flow Matching RL）

难点剖析：基于模仿学习（SFT）训练的规划专家只能逼近人类单条演示轨迹，但人类驾驶演示可能存在次优解，且无法直接感知碰撞风险、越界率与行车通行效率等不可微环境指标。然而，标准的策略梯度强化学习（如 PPO/GRPO）依赖动作概率 $\log \pi(a \mid s)$，而流匹配在推理时使用的是确定性的 10 步常微分方程（ODE）欧拉积分，不存在可以直接求导的似然分布。

针对该挑战，Qwen-Drive-1.0 提出了一套作用于连续扩散/流积分过程的平滑策略梯度优化算法：

尾部注入受控随机性：10 步欧拉积分（步长 $\Delta t = 0.1$）中，前 7 步保持纯确定性积分以锁定大局决策；仅在最后 3 个积分时步 $W = {7, 8, 9}$ 引入受控随机扰动。因为终点处的扰动能直接映射到轨迹形变上，既保证了探索的多样性，又避免了前期扰动被后续积分衰减抵消；
正交余弦低频子空间投影：若在 50 个航点上添加独立高斯噪声，会产生杂乱无章的高频震颤毛刺，使模型学不到有意义的规避行为。因此，扰动被严格限制在前 $M=6$ 阶正交余弦基底 $\Phi \in \mathbb{R}^{50 \times 6}$ 构成的平滑低频子空间内（$\Phi^\top \Phi = I_M$），使得随机变动表现为平滑的变道微调或前后纵向车距拉伸；
分数恢复机制（Restoring Score）：随机探索可能导致中间轨迹偏离高概率密度流形，算法利用高斯条件概率推导解析恢复分数项： $s_\theta(\tau^{(k)}, t_k) = -\frac{\tau^{(k)} - t_k \hat{\tau} _1^{(k)}}{(1 - t_k)^2}$ 并将单步均值修正为 $\mu^{(k)} = \tau^{(k)} + v_\theta \Delta t + \frac{\sigma_k^2}{2} s_\theta$，像虚拟阻尼器一样将轨迹状态持续拉向预训练流场中心；
组内相对优势折扣优化：同一个环境并发采样 $G=8$ 条轨迹候选，依据不可微指标（NAVSIM 的 PDMS、Waymo 的 RFS 及位移误差 ADE）计算奖励，通过组内标准化优势值 $A_i = \frac{R_i - \bar{R}}{\sigma_R + \epsilon_R}$ 结合时间折扣因子 $\gamma = 0.6$ 进行策略梯度回传： $L_{rl} = -\frac{1}{G \lvert W \rvert} \sum_{i=1}^G \sum_{w=0}^{\lvert W \rvert - 1} \gamma^{\lvert W \rvert - 1 - w} A_i \log \pi_\theta\left(\tau_i^{(k_w+1)} \,\middle\vert\, \tau_i^{(k_w)}\right)$

举个例子：假设规划专家用 10 步欧拉积分（$K=10$）从纯噪声去噪生成 5 秒（50 个航点）的轨迹。

前 7 步（时步 0 到 6）：完全遵循确定性流场速度积分滑行，不引入任何额外噪声，保留预训练学到的宏观驾驶意图；

后 3 步（时步 7 到 9，集合 $W={7,8,9}$）：由于越靠近终点微小扰动对实际轨迹影响越直接，此时注入探索随机性。但为了防止 50 个航点各自随机抖动变成”锯齿折线”，扰动被严格限制在 6 个平滑的正交余弦波形基底（$\Phi \in \mathbb{R}^{50 \times 6}$）构成的低频子空间内；

防漂移拉回：注入高斯扰动后，中间状态可能会偏离预训练流线，算法通过条件高斯分布反推一个恢复分数项 $s_\theta = -\frac{\tau - t \hat{\tau} _1}{(1-t)^2}$，像一根橡皮筋把扰动点稳稳拽回安全流形中心；

无价值网络优势估计：同一个驾驶场景并发采样 $G=8$ 组完整轨迹，每条轨迹根据驾驶表现计算非可微奖励（如 NAVSIM 的碰撞与合规综合得分 PDMS），通过组内相对优势 $A_i = \frac{R_i - \bar{R}}{\sigma_R}$ 计算折扣策略梯度，实现针对连续扩散流的强化学习更新。

2.5 四阶段递进式训练配方

四阶段递进式训练流程：从感知头预热、多任务联合表征微调，到规划专家预训练与策略梯度强化学习

为了平衡多任务学习冲突并避免灾难性遗忘，论文提出了清晰的四阶段递进式训练流程：

Stage 1（感知头预训练）：完全冻结视觉编码器与 VLM 主干，仅以感知损失 $L_{perc}$ 预训练外挂的 BEV 感知头，使其快速建立从图像到 3D 体素与 BEV 坐标系的投影与解码先验；
Stage 2（感知与 VQA 联合对齐微调）：解冻视觉编码器、VLM 与 BEV 感知头，将 3D 感知数据、309 万驾驶图文数据（多视角图文、视频时序数据）与通用视觉语言数据按比例混合，以 $L_{perc} + L_{ntp}$ 联合训练。BEV 头学习率设为 VLM 的 20 倍，既让大模型表征融入 3D 物理空间理解，又牢固锁死通用问答与常识推理能力；
Stage 3（规划专家预训练，SFT）：冻结 Stage 2 训练完毕的全部多模态表征，仅训练外挂的 11 亿参数规划专家 DiT，以端到端流匹配损失 $L_{plan}$ 学习各驾驶数据集的演示轨迹；
Stage 4（规划专家强化学习，RL）：在 NAVSIM、Waymo E2E 与 PhysicalAI-AV 上构建多源混合奖励，通过上述流匹配策略梯度直接后训练优化规划专家，最终得到性能优异的 Qwen-Drive-1.0-RL。

3. 核心结果/发现

Qwen-Drive-1.0 在驾驶场景问答、通用视觉问答、3D 感知与运动规划四大维度的综合性能雷达图

3.1 3D 感知性能探测

在 nuScenes 与 OpenScene 验证集上的多任务统一评测表明：

3D 目标检测与地图分割领先：在 nuScenes 上取得 43.95% mAP 与 42.83% NDS，BEV 矢量地图分割 mIoU 达到 60.99%；在跨城市、跨时段的 OpenScene 验证集上，检测 mAP 达到 38.65%，地图分割 mIoU 达 57.07%；
空间表征隐式激发：消融实验显示，如果不在 Stage 2 进行联合训练（仅在 Stage 1 冻结主干训练外挂头），感知指标会大幅落后（nuScenes mAP 仅 36.46%），证明通用 VLM 本身并未直接暴露显式 3D 坐标，而 Stage 2 的联合反向传播成功将 3D 几何特征注入到了 VLM 的深层表征中。

3.2 通用视觉理解零遗忘与驾驶场景问答登顶

通用能力分毫未损：在包含 MMBench（87.07%）、MMStar（75.87%）、MMMU（72.67%）、RealWorldQA（78.95%）等 11 个通用多模态基准评测中，Qwen-Drive-1.0-SFT 平均得分达到 66.82%，与未经驾驶微调的原生通用 Qwen3.5-4B 基座（67.40%）基本持平，成功攻克了具身驾驶微调中常见的灾难性遗忘难题；
驾驶 VQA 全面超越行业大模型：在 LingoQA 上达到 77.80%（大幅领先 32B 参数的 Cosmos-Reason2 的 72.00%），在 VLADBench 上达到 66.52%（领先 InternVL3.5-8B 的 54.47%），在 WaymoQA（74.47%）和 SURDS（66.13%）上也均位列榜首。

3.3 运动规划全场景领先（开环、伪闭环与仿真闭环）

动态道路场景轨迹规划定性可视化：(a) WOD-E2E 与 PhysicalAI-AV 上的开环预测；(b) AlpaSim 仿真器中的闭环长时程轨迹追踪

NAVSIM 伪闭环测试刷新纪录：在 NAVSIM v1.1 navtest 榜单上，Qwen-Drive-1.0-RL 的驾驶综合评分（PDMS）达到 90.7（无碰撞率 98.3%，可行驶区域合规率 96.8%，舒适度满分 100.0%），显著领先 TransFuser（84.0）、DRAMA（85.5）和 Hydra-MDP（86.5）；强化学习后训练相比纯模仿学习（86.8）带来高达 +3.9 分的质的飞跃；
Waymo E2E 测试集登顶：在权威的 Waymo 真实世界端到端规划基准（WOD-E2E）测试集上，Qwen-Drive-1.0-RL 取得 7.91 的评分官反馈得分（RFS，接近人类真实驾驶员的 8.13 分），3 秒与 5 秒平均位移误差（ADE）分别低至 1.19 米与 2.67 米，在公开排行榜中击败了 MindVLA-U1（7.87）和 AutoVLA（7.56）；在验证集上 RFS 更达 8.45，超越人类基准分；
AlpaSim 闭环多场景长时程仿真验证：在英伟达 916 个复杂长时程闭环场景评测中，Qwen-Drive-1.0-RL 的出险率（Close Encounter Rate）与冲出道路率（Off-Road Rate）均维持在低位，最终 AlpaSim 得分达 0.37，验证了模型在动态交互博弈中的闭环安全性与敏捷避障能力。

4. 局限性

虽然 Qwen-Drive-1.0 在多任务统一上取得了突破，但其 BEV 感知头与规划专家目前仍作为外挂分支独立接入 VLM，感知输出的显式几何图元（如 3D 边界框与占用网格）未能反向作为结构化提示直接反馈给大语言模型进行多步思维链符号推理；此外，闭环仿真在面对密集动态博弈长尾极端工况时，对突发侵入车辆的让行决策仍存在偶发保守倾向。

20. CGFM-Nav (2026)

——— 耦合显式关系图记忆与隐式连续语义场的终身多模态具身导航

📄 Paper: arXiv:2608.29114

精华

图-场双重认知表征：提出认知图场记忆（Cognitive Graph-Field Memory, CGFM），将离散的物体语义拓扑图与连续的 2D 语义-边界扩散场在同一体系中耦合，分别对应人类导航中的”精准回溯记忆”与”模糊空间直觉”。
直觉引导的高效探索：当图中未检索到目标时，无需盲目漫游，而是将图中的语义证据反向投影为空间扩散场，优先引导机器人探索语义相关度最高的未知边界（Frontier），大幅缩减终身导航搜索开销。
闭环抑制与图更新：通过多视角验证机制（YES / NO-UNCERTAIN / NO-CONFIRMED）动态更新节点状态；被排除的误检候选在当前子任务中物理掩码其语义场贡献，从底层消除了大模型的重复重试与死锁。
轻量开源模型超越云端 GPT-4o：在 GOAT-Bench 终身多模态导航基准上，采用开源本地可部署的 Qwen3-VL-8B，整体成功率达到 63.0%，超越了搭载云端 GPT-4o 的基线 MSGNav（60.0%），证明结构化图场记忆能有效弥补基础模型的能力差距。

1. 研究背景/问题

在面向家庭与复杂环境的终身开放词表具身导航（Lifelong Open-Vocabulary Embodied Navigation）中，机器人需要在未建模场景中连续执行多个跨模态目标（类别、自然语言描述或参考图像）的导航子任务，并跨子任务保留历史地图记忆。现有基于大语言模型/多模态大模型（LLM/VLM）的导航方法主要存在两项核心瓶颈：

显式记忆与无目标探索的脱节：离散物体场景图擅长对已知物体进行精准检索与拓扑回溯，但一旦目标不存在于当前记忆中，智能体便退化为几何前沿点（Frontier）的随机探索，缺乏空间语义直觉引导。
多模态目标下的重试幻觉与上下文开销：随着时间推移，不断扩大的场景图导致 VLM 上下文窗口严重膨胀；且当目标发生混淆时，缺乏对失败尝试的显式抑制机制，导致智能体反复前往同一错误物体。

2. 主要方法/创新点

图 1：CGFM 认知图场记忆机制概览。离散物体场景图作为显式关系记忆支持精准召回；连续语义-边界场作为隐式直觉偏置指引高效探索。

① 整体框架概述

CGFM-Nav 整体采用免微调（Training-Free）架构，主要由感知与图构建（Perception & Graph）、语义-边界场构建（Semantic-Frontier Field）、自适应子图筛选（Subgraph Selection）、带决策记忆的 VLM 推理（VLM Reasoning）以及动作执行与多视角闭环验证（Action & Verification）五个模块协作构成。系统在已知目标与未知探索之间形成无缝切换与持续更新的闭环。

图 2：CGFM-Nav 系统架构图。RGB-D 输入构建多模态场景图并投影生成语义场；VLM 基于筛选子图与决策日志下发动作，验证结果驱动闭环记忆更新。

② 逐模块讲解

1. 感知与多模态场景图构建（Perception & Graph Memory）

输入：机器人搭载的连续 RGB-D 传感器帧。
处理：利用 YOLOv8-World 和 SAM 进行开放词表目标检测与精确像素分割；使用 CLIP 提取各个目标的外观特征。以增量方式构建持久多模态场景图 $\mathcal{G}_t = (\mathcal{V}_t, \mathcal{E}_t)$。
输出：节点 $v_i = (c_i, p_i, z_i, \mathcal{I}_i)$，分别存储物体类别 $c_i$、3D 空间坐标 $p_i$、视觉语义特征 $z_i$ 以及历史多视角观测图像集合 $\mathcal{I}_i$；边 $\mathcal{E}_t$ 记录物体间的空间拓扑与关系。
设计动机：特别对每个节点追加了目标验证统计（验证次数、所属子任务、判别结果与多视角反馈日志）。

2. 连续语义-边界场构建（Semantic-Frontier Field Construction）

输入：当前多模态场景图 $\mathcal{G}_t$、任务目标描述 $q$ 以及 2D 占用栅格地图。
处理：
1. 计算图节点与目标 $q$ 的 CLIP 相似度，减去背景基线得到净相关度分数 $s_i(q)$。
2. 对已被当前子任务确认排除的节点进行验证掩码（置为 0），不向场中扩散能量。
3. 将各有效物体视为空间点源，其语义影响沿无障碍自由空间的测地线距离（Geodesic Distance）呈指数衰减：$w_i(x) = \exp(-d(x, p_i)/\tau)$。
4. 对每个栅格单元 $x$，聚合局部贡献最大的 $K_s$ 个物体，生成连续语义场： $S_t(x \mid q) = \sum_{i \in \mathrm{Top}K_s(x)} s_i(q) w_i(x)$
5. 提取自由空间与未知区域交界处的几何前沿点集合 $\mathcal{C}_t = \{f_1, \dots, f_M\}$，计算每个前沿点的探索得分 $U_t(f \mid q)$：在小邻域内平均语义场强度，并除以机器人到该前沿点的测地导航代价。
输出：赋有语义探索优先级的连续热力图与前沿点评分排序。

举个例子（卡点降维装置 A：语义场与前沿点计算）：假设任务是”找到婴儿车（stroller）”，机器人在客厅构建了包含 3 个物体的场景图：

物体 A（折叠椅）：此前导航过去验证失败，记录为 NO-CONFIRMED，验证掩码直接将其净得分置为 $s_A(q) = 0$，不再扩散任何语义能量；

物体 B（餐桌）：与婴儿车相关度低，减去背景基线后 $s_B(q) = 0$；

物体 C（婴儿奶瓶）：与婴儿车语义强关联，计算得 $s_C(q) = 0.8$。

现在未探索区域有两个前沿候选点：

前沿点 1（靠近物体 C，离物体 1 米，衰减权重 $w=0.7$；离机器人 2 米）：局部语义场为 $0.8 \times 0.7 = 0.56$；结合距离代价后探索得分高达 $0.56 / 2 = 0.28$；

前沿点 2（靠近厨房，离物体 C 远，衰减后 $w \approx 0$；离机器人仅 1 米）：局部语义场为 0，探索得分几乎为 0。

即使机器人从没见过婴儿车，也能在连续语义场的牵引下，精准偏向物体 C 周围的未知走廊，而非盲目探索厨房。

3. 语义引导子图筛选（Semantic-Guided Subgraph Selection）

输入：全量场景图 $\mathcal{G}_t$ 与目标 $q$。
处理：直接复用场计算中的 CLIP 相关度，挑选正相关节点及其一阶邻居构成语义种子集 $\mathcal{V}_{seed}$；其余节点压缩为残差图 $\hat{\mathcal{G}}_{res}$，交由 VLM 进行基于常识的补充挑选。经剪枝后形成紧凑的关键子图 $\tilde{\mathcal{G}}_t$。
输出：向大模型输入的轻量化结构化提示信息。

4. 带决策记忆的 VLM 推理（VLM Reasoning with Decision Memory）

输入：目标 $q$、关键子图 $\tilde{\mathcal{G}}_t$ 以及决策记忆 $\mathcal{D}_t$（按时间记录的已尝试候选点、目的地类型与简短推理摘要）。
处理：VLM 做出三类决策之一：选定物体节点 $v_i$、选定历史图像 $I_{i,j}$、或下达探索指令 EXPLORE。
输出：离散高层决策指令 $d_t$。

5. 动作分流与闭环多视角验证（Action & Verification）

输入：决策指令 $d_t$ 与语义边界场。
处理与流向：
- 若为已知物体/图像：直接下发坐标，导航到达后调用 VLM 进行多视角观测验证（返回 YES、NO-UNCERTAIN 或 NO-CONFIRMED）；
- 若为 EXPLORE：若存在前沿点则选择得分最高者；若无前沿点但存在未完全探索的语义峰值，则导航至语义地图最高响应中心；若均无则报告失败。
- 验证成功的物体进入下一子任务；确认失败的物体记录节点掩码并阻断其场扩散；不确定的物体生成额外视角重新辨识。

③ 读者视角：闭环状态与决策流转图（卡点降维装置 B）

graph TD
    A["输入: 跨模态任务指令 q 与环境观测"] --> B["增量构建多模态场景图 Gt"]
    B --> C["投影生成连续语义-边界场 St(x|q)"]
    C --> D["筛选关键子图 + 载入决策历史 Dt"]
    D --> E{"VLM 核心决策"}
    
    E -- "图中命中目标" --> F["导航至目标坐标 (物体/图像)"]
    F --> G["多视角 VLM 最终确认"]
    G -- "YES" --> H["子任务达成，进入下一阶段"]
    G -- "NO-UNCERTAIN" --> I["旋转切换新视角复检"]
    I --> G
    G -- "NO-CONFIRMED" --> J["标记节点排除，抑制语义场能量"]
    J --> B
    
    E -- "未命中，下达 EXPLORE" --> K{"是否有未探索前沿点?"}
    K -- "有有效前沿点" --> L["前往语义-边界综合得分最高的前沿点"]
    K -- "前沿耗尽但有语义高地" --> M["前往语义场热力峰值中心探索"]
    L --> N["采集新观测，更新场景图与场"]
    M --> N
    N --> B

④ 核心差异：与经典基线 MSGNav 的机制对比（卡点降维装置 C）

机制维度	经典基线 MSGNav	本文 CGFM-Nav
探索指引方式	纯几何边界探索或无向随机漫游	场景图证据反向投影为连续语义场，赋能前沿点语义偏置
子图提示筛选	规则全量检索或纯文本 LLM 过滤	复用场相关度的语义种子集 + 残差图 VLM 常识补充
错误重试抑制	依赖短期文本上下文中塞入的历史日志	节点级物理验证掩码，彻底切断错误物体在场中的引力
部署模型门槛	严重依赖昂贵且高延迟的云端 GPT-4o	本地开源轻量 Qwen3-VL-8B 即可超越云端大模型性能

⑤ 训练与推理设定

无需训练（Training-Free）：全框架为纯零样本推理架构，感知模块采用预训练的 YOLOv8-World + SAM + CLIP，决策推理与多视角验证采用开源轻量级的 Qwen3-VL-8B-Instruct。
终身记忆保留：在同一个场景的多个子任务之间，场景图及其验证掩码完全保留；跨子任务仅重置短期决策日志并按新目标重构语义场。

3. 核心结果/发现

在极具挑战性的终身跨模态导航基准 GOAT-Bench（包含 36 个未见场景、278 个多模态子任务，涵盖类别、语言描述及参考图像目标）上的评测结果表明：

同基座显著提升：在均使用开源 Qwen3-VL-8B 的公平对比下，CGFM-Nav 相比 MSGNav：
- 整体成功率（SR）从 53.2% 提升至 63.0%（+9.8%）；
- 路径长度加权成功率（SPL）从 30.0% 提升至 39.6%（+9.6%）；
- 尤其在类别目标（SR: 63.6% → 72.7%）和语言目标（SR: 48.4% → 61.5%）上取得大幅跃升。
轻量端侧逆袭云端旗舰：搭载本地 8B 参数多模态模型的 CGFM-Nav，在整体 SR（63.0% vs 60.0%）、类别 SR（72.7% vs 63.6%）以及语言 SR（61.5% vs 57.2%）上全面超越了基于云端闭源旗舰 GPT-4o 的 MSGNav，验证了优质环境认知表征对大模型底座差距的弥补效应。
图像目标依赖细粒度匹配：在图像目标子任务中，由于缺少类别层面的泛化常识，更多依赖底层像素特征的点对点匹配，虽然 CGFM-Nav 比同基座基线提升明显（SR: 46.6% → 53.4%），但相比 GPT-4o 仍有微弱差距，表明图像目标对 VLM 自身的细粒度跨视角特征提取能力提出了更高要求。

4. 局限性

当前验证仍局限于 GOAT-Bench 仿真环境，尚未在真实物理轮式机器人上完全验证传感器噪声、动态行人遮挡及里程计漂移等非理想因素下的长期鲁棒性。
图像目标的表征与搜索仍受限于全局 CLIP 特征的粒度，缺少专门面向物体实例外观精细对齐的局部特征检索机制。

21. CanonNav (2026)

——— 解耦相机几何与导航行为的跨平台视觉扩散导航策略

📄 Paper: arXiv:2608.30242

精华

相机几何与行为解耦：提出相机几何规范化（Canonicalization），通过单应重投影消除相机内参和俯仰角差异，并通过安装高度归一化将物理轨迹映射至视角不变空间，彻底解决了跨机器人平台演示数据中视觉观测与轨迹映射纠缠的病态问题。
显式局部规划监督（Scope-of-Reach, SoR）：针对传统模仿学习只学到专家动作却遗漏中间规划意图的缺陷，提出局部可达范围（SoR）表征，利用离线生成的 BEV 伪标签显式监督智能体在被遮挡或复杂地形下”往何处推进”。
碰撞感知流形约束：利用离线可通行性估计器构建度量符号距离场（SDF），在扩散策略的去噪轨迹上直接反向传播碰撞惩罚损失与航点可行性损失，实现端到端安全轨迹生成。
单目 RGB 匹敌并超越深度图方案：仅依靠单目 RGB 输入进行推理，在 CitySim 室外与 AWS Hospital 室内多相机配置下大幅超越 ViNT、NoMaD、LiMo 等 RGB 基线，并在长距离复杂拐弯场景下成功率反超依赖实时 RGB-D 深度输入的 NavDP。

1. 研究背景/问题

利用离散跨平台专家示范进行大规模模仿学习（Imitation Learning）是推动机器人自主视觉导航的重要路线。然而，充分利用跨平台异构数据面临两大根本症结：

相机几何的病态纠缠：不同机器人底盘（如四足机器狗、低矮扫地机、轮式移动车）搭载的相机高度、内参及俯仰倾角各异。相同的图像投影可能对应截然不同的地面物理轨迹；若强行让策略从 RGB 隐式推断相机几何，在数学上属于严重不适定的欠约束问题。
专家示范中规划意图的隐式性：专家轨迹仅展示了最终执行的平滑路径，而没有解释”为什么选择向该局部空旷区域过渡”以及”两侧边缘有多危险”。纯模仿学习在遇到障碍物遮挡、必须转弯绕行等未直达目标的复杂场景时，极易退化或发生撞击。

2. 主要方法/创新点

图 1：CanonNav 研究动机。(a) 跨平台相机几何差异导致图像与物理轨迹的映射严重不一致；(b) 传统模仿学习缺失局部推进区域识别与安全边界等中间规划决策监督。

① 整体框架概述

CanonNav 提出了由相机几何规范化（Canonicalization）、多任务扩散策略网络（Policy Inference）以及离线规划安全监督（Training-Time Planning Supervision）构成的闭环系统。在训练阶段利用预训练可通行性模型离线提取 BEV 伪标签提供密集监督；在部署阶段无需任何离线模型与深度传感器，仅凭单目 RGB 图像和相对目标即可输出无碰撞轨迹。

图 2：CanonNav 整体架构。(a) 观测与目标转换至规范化几何空间；(b) DINOv3 骨干网络提取特征，扩散模型输出高度归一化轨迹、航点通行率与 SoR；(d) 离线 BEV 碰撞图与 SDF 提供安全和局部推进监督。

② 逐模块讲解

1. 相机几何规范化（Camera Geometry Canonicalization）

内参与俯仰角消除：设相机外参简化为安装高度 $h$ 与俯仰角 $R_{pitch}$，内参为 $K$。给定预设的正向基准虚拟相机内参 $\tilde{K}$，将原始图像 $I_t$ 投影重映射至无倾角正向视野 $\tilde{I}_t$： $(\tilde{u}, \tilde{v}, 1)^\top \propto \tilde{K} R_{pitch}^{-1} K^{-1} (u, v, 1)^\top$
高度归一化轨迹（Height-Normalized Trajectory）：在正向基准相机下，地面物理点 $(x, y)$ 投影为 $\tilde{u} = \tilde{c}_x - \tilde{f}_x \frac{y}{x}$，$\tilde{v} = \tilde{c}_y - \tilde{f}_y \frac{h}{x}$。可以看出像素位置完全取决于横纵比 $y/x$ 与高距比 $h/x$。将物理轨迹点 $(x, y)$ 归一化为 $(\tilde{x}, \tilde{y}) = (x/h, y/h)$，投影公式转化为： $\tilde{u} = \tilde{c}_x - \tilde{f}_x \frac{\tilde{y}}{\tilde{x}}, \quad \tilde{v} = \tilde{c}_y - \tilde{f}_y \frac{1}{\tilde{x}}$ 该归一化彻底剥离了相机高度 $h$ 的干扰，使所有平台的轨迹分布在同一视锥几何下对齐。

举个例子（卡点降维装置 A：为什么高度归一化能消除底盘差异？）：设基准虚拟相机焦距 $\tilde{f}_y = 500$，主点 $\tilde{c}_y = 250$：

低矮扫地机器人：相机高度 $h_1 = 0.2\text{ m}$，前方 $1.0\text{ m}$ 处的路面障碍物（$x_1 = 1.0\text{ m}$），其高距比为 $h_1 / x_1 = 0.2 / 1.0 = 0.2$；

高大巡检轮式车：相机高度 $h_2 = 1.0\text{ m}$，前方 $5.0\text{ m}$ 处的路面障碍物（$x_2 = 5.0\text{ m}$），其高距比为 $h_2 / x_2 = 1.0 / 5.0 = 0.2$。

在两个机器人的正向图像中，这两个物理距离完全不同的地面点，计算出的像素行位置 $\tilde{v} = 250 - 500 \times 0.2 = 150$ 完全一模一样！若直接模仿米制坐标，策略网络面对相同的视觉外观却要预测 $1.0\text{ m}$ 和 $5.0\text{ m}$ 的矛盾动作。而经过高度归一化后，两者的无量纲目标距离均为 $\tilde{x} = x/h = 5.0$！策略网络只需要学习这一统一分布，控制时再乘以各自的物理安装高度 $h$，即可无缝泛化。

2. 规划监督与 Scope-of-Reach (SoR)

SoR 局部可达范围建模：将局部推进区域建模为 2D 鸟瞰图高斯分布 $\mathcal{S} = \mathcal{N}(\mu, \operatorname{diag}(\sigma^2))$，网络预测其高度归一化参数 $(\tilde{\mu}, \tilde{\sigma}) = (\mu/h, \sigma/h)$。
离线安全伪标签生成：
1. 使用预训练 ViTA 在离线训练集中提取图像可通行掩码；
2. 投影到地面生成局部 BEV 碰撞图 $M_{coll}$，并转换为度量符号距离场 $M_{sdf}$；
3. 将专家轨迹进入碰撞区或视野边界前的最后一个可行航点提取为局部推进目标 $s^*$。
三重 SoR 损失函数： $L_{prog} = \lambda_{pred} L_{pred} + \lambda_{neg} L_{neg} + \lambda_{cons} L_{cons}$
- $L_{pred}$：负对数似然结合 Smooth-L1 拟合目标点 $\tilde{s}^*$；
- $L_{neg} = \iint M_{coll}(x, y) \mathcal{S}(x, y) dx dy$：对高斯概率落入碰撞障碍区的积分惩罚；
- $L_{cons}$：采用 Soft-min 约束生成轨迹的去噪航点至少有一个穿越预测的 SoR 区域。

3. 连续碰撞感知安全损失（Safety Supervision）

从加噪轨迹 $\tilde{\tau}_k$ 经过单步反解得到无噪航点估计 $\hat{\tau}_0 = \{\hat{p}_i\}$；
度量碰撞惩罚损失 $L_{coll}$： $c_i = \operatorname{softplus}\left(\frac{d_{safe} - M_{sdf}(h \hat{p}_i)}{\eta}\right), \quad L_{coll} = \frac{1}{\gamma} \log \sum_{i=1}^N \exp(\gamma c_i)$
航点可通行性分支 $L_{trav}$：双线性采样图像特征预测航点生存概率 $\hat{q}_i$。

③ 读者视角：数据流与训练/推理分离图（卡点降维装置 B）

graph TD
    subgraph "训练阶段: 离线伪标签与规划引导"
        T1["训练图像 + 已知几何参数 (K, Rpitch, h)"] --> T2["ViTA 预测通行掩码"]
        T2 --> T3["反投影生成 BEV 碰撞图 Mcoll 与 SDF"]
        T3 --> T4["截取安全转折点作为 SoR 目标点 s*"]
        T3 --> T5["SDF 碰撞惩罚 Lcoll + 负样本压制 Lneg"]
    end

    subgraph "核心网络: 规范化扩散策略"
        N1["输入 RGB 观测 + 相对目标"] --> N2["相机几何规范化 (重投影 + 高度归一化)"]
        N2 --> N3["DINOv3 ViT-S+ 特征编码与 Cross-Attention"]
        N3 --> N4["扩散去噪头 ϵθ -> 生成候选轨迹"]
        N3 --> N5["SoR 预测头 -> 输出局部可行高斯分布"]
        N3 --> N6["可通行性预测头 -> 评估航点生存率"]
    end

    subgraph "推理部署阶段: 单目 RGB 纯闭环"
        P1["实时单目 RGB + 目标"] --> N2
        N4 --> P2["输出 B 条高度归一化轨迹候选"]
        P2 --> P3["乘以自身相机高度 h 恢复物理米级尺度"]
        P3 & N6 --> P4["航点生存率折现 + 目标推进量综合比选"]
        P4 --> P5["执行最优平滑无碰撞轨迹"]
    end

    T4 -.-> N5
    T5 -.-> N4

④ 核心机制对比：CanonNav vs 主流导航基线（卡点降维装置 C）

机制维度	传统纯模仿基线 (ViNT / NoMaD)	深度图规划基线 (ViPlanner / NavDP)	本文 CanonNav
跨平台几何处理	强行输入原图，靠海量随机增强隐式适配	需精确配准的 RGB-D 几何对齐	显式重投影 + 高度归一化空间解耦
中间规划意图	纯轨迹扩散去噪，缺失局部转折引导	依赖实时深度图重构代价地图	提出 SoR 显式建模局部推进分布
碰撞回避机制	缺乏显式负反馈，易切内弯刮蹭障碍物	需在线高帧率深度传感器计算碰撞	离线 SDF 反向梯度约束生成轨迹
部署传感器门槛	单目 RGB（但抗几何扰动极差）	强依赖实时稠密 RGB-D 传感器	纯单目 RGB 即可达到超高安全性

3. 核心结果/发现

在 CitySim（室外复杂园区） 与 AWS Hospital（室内复杂走廊病房） 两个极具代表性的高难度仿真环境，以及真实物理车（Clearpath Husky 差速轮式车）上进行评测：

跨相机几何泛化断层领先：在相机高度从 $0.4\text{ m}$ 变化至 $1.0\text{ m}$、俯仰角从 $-15^\circ$ 变化至 $+15^\circ$ 的剧烈配置偏移下，ViNT 与 NoMaD 的成功率普遍暴跌 20%~40%，而 CanonNav 在所有几何扰动下的成功率下降幅度（$\Delta\text{SR}$）均控制在极小区间内。
长距离复杂拐角超越 RGB-D 方案：在 $20\text{ m}$ 超长子目标导航任务中，即便面对遮挡严重的 U 形拐弯，CanonNav 仅使用单目 RGB 就取得了 86.4% 的成功率与 0.89 次碰撞率，显著超越了搭载实时稠密深度的 NavDP（SR 71.2%，碰撞率 2.21）和 ViPlanner（SR 39.3%）。
真实世界零样本迁移零事故：在包含反光玻璃幕墙、狭窄树丛台阶和户外异形走廊的实机测试中，CanonNav 在所有测试中均保持零碰撞，轨迹曲率与人类示教路径吻合度极高。

4. 局限性

几何规范化依赖机器人自身已知的安装参数（相机内参 $K$、静态安装高度 $h$ 与俯仰角 $R_{pitch}$），若机器人在越野颠簸路面上发生剧烈动态俯仰震荡，静态规范化假设会引入瞬时投影误差。
离线伪标签质量受限于 ViTA 可通行性分割模型在极端光照（如暴雨、强逆光）下的初始分割精度。

22. LookStep (2026)

——— 基于语言前瞻推演与事件驱动记忆的高效端到端视觉语言导航

📄 Paper: arXiv:2609.02350 · Code

精华

语言中心未来状态前瞻（LC-FSM）：打破传统 VLN 仅监督下一步单一专家动作（Next-step prediction）的范式，通过轻量级语言标签显式预测所有候选动作的前瞻后果（如提前撞墙、完成转向、错误路线），以极高的数据利用率实现反事实决策推演。
事件驱动自适应滚动记忆（EDRM）：无需外部复杂的 3D 几何建图或占用庞大显存的全量历史堆叠，由多模态大模型在推理过程中自主判断当前观测是否构成关键事件（<memory_write>keep/drop</memory_write>）并赋予语义角色，以有界内存实现长程上下文维护。
极高显存与数据利用效率：在不依赖外部几何工具或海量额外预训练数据的情况下，推理显存控制在 19.7 GB（约为同类方法的一半），显存利用效率（SR/GB）达到 2.52，显著领先 JanusVLN（1.19）与 StreamVLN（1.95）。
同等设定下刷新连续环境 SOTA：在最具挑战性的连续环境视觉语言导航基准 R2R-CE 未见验证集（Val-Unseen）上取得 49.7% 的成功率，全面超越了使用相同数据量与训练预算的现有主流方法。

1. 研究背景/问题

连续环境视觉语言导航（VLN-CE）要求具身智能体仅凭自然语言长程指令和连续车载相机观测到达指定目的地。基于多模态大语言模型（MLLM）的现有导航策略主要受制于两大效率瓶颈：

训练层面的数据饥渴与弱监督：传统行为克隆（Behavior Cloning）仅将专家当前执行的单一动作作为监督信号，模型无法知晓”为什么不选择其他动作”以及”备选动作会导致何种危险后果”，导致训练需要数百万级的大规模专家轨迹支持。
推理层面的显存爆炸与关键帧遗失：长程导航必须依赖历史状态；但全量保存历史视频帧会导致显存线性暴增，而固定窗口截断或均匀抽帧容易漏掉”推开房门”、”走下楼梯”等决定性的转折事件；引入外部 3D 建图工具又大幅增加了计算延迟与部署复杂度。

2. 主要方法/创新点

图 1：LookStep 在 R2R 数据集上的显存效率与性能对比。无需额外预训练数据，在仅需 19.7 GB 显存的条件下实现了 2.52 的超高单位显存成功率（SR/GB）。

① 整体框架概述

LookStep 是一个统一的端到端 MLLM 导航框架，不依赖外部 3D 传感器或独立建图模块。系统通过统一的结构化文本生成序列，在自回归解码中同步完成三大核心任务：事件驱动记忆管理（Event-Driven Memory Management）、语言中心未来状态建模（Language-Centric Future State Modeling）与最终动作下发（Action Prediction）。

图 2：LookStep 系统架构与语言标签机制。自回归生成任务宏观进度、各动作推演后果、记忆写入判定与语义角色，最后闭环输出动作并维护有界滚动记忆。

② 逐模块讲解

1. 语言中心未来状态建模（Language Centric Future State Modeling, LC-FSM）

输入：自然语言导航指令 $I$、当前相机观测 $x_t$ 以及有界历史记忆 $O_{t-1}$。
结构化推演标签设计：
- 宏观导航进度：<progress>early / mid / late</progress>，令模型对当前所处指令阶段具备显式感知；
- 候选动作后果全集：对当前可用的离散候选动作（如前进、左转、右转、停止），分别生成粗粒度的自然语言后果标签： $\langle \mathrm{outcomes} \rangle \; \langle \mathrm{forward} \rangle \dots \langle /\mathrm{forward} \rangle \; \langle \mathrm{turn\_left} \rangle \dots \langle /\mathrm{turn\_left} \rangle \dots \langle /\mathrm{outcomes} \rangle$ 例如：<forward>premature_forward</forward>（过早前进，撞墙）、<turn_left>finish_turn</turn_left>（完成转向，正对门洞）、<stop>too_early</stop>（过早停止）。
信息论设计动机：作者在理论上证明，引入专家未来状态标签能够显著提升观测与专家动作之间的条件互信息下界；通过反事实后果语言建模，使单个样本提供多维度的对抗性判别监督。

举个例子（卡点降维装置 A：候选动作反事实推演）：设指令为：”穿过楼梯左侧的门洞并在那里等待”。机器人目前刚走到楼梯前，面临 4 个动作候选：
传统 BC 监督：标签为 turn_left。损失函数仅惩罚这一项的负对数似然，模型对于”为什么不能右转”没有任何梯度反馈；
LookStep 语言前瞻：模型自回归生成：
<progress>late</progress>
<outcomes>
  <forward>premature_forward</forward> 
  <turn_left>finish_turn</turn_left>    
  <turn_right>wrong_turn</turn_right>   
  <stop>too_early</stop>                
</outcomes>
模型在推理下一步动作前，已在语言语义空间内完成了对环境物理约束的”沙盒推演”，极大降低了盲目试错率。

2. 事件驱动滚动记忆（Event Driven Rolling Memory, EDRM）

输入：当前帧与全局任务上下文。
处理：将历史状态的维护转化为在线免微调的测试时记忆自适应（Test-Time Adaptation）：
- <event>：识别当前帧所发生的关键具身事件（如 turn_left_finishing、doorway_crossing）；
- <memory_write>：自主裁决是否写入历史记忆缓冲区（keep 写入，drop 丢弃）；
- <memory_role>：指定该帧的长期索引角色（如 turn_end 转向结束锚点、landmark 关键地标）。
有界滚动更新：记忆队列保持固定长度 $K$（仅容纳极少数关键帧），新关键帧写入时若队列溢出，则遵循先进先出或基于角色优先级的滚动替换，将长程轨迹的显存占用严格锁定在常量上限。

③ 读者视角：单步推理与记忆流转自制流程图（卡点降维装置 B）

graph TD
    A["输入: 导航指令 I + 历史关键帧 Ot-1 + 当前视点 xt"] --> B["MLLM 多模态大模型统一自回归生成"]
    
    subgraph "步骤 1: 记忆诊断与自适应写入"
        B --> M1["生成当前事件 <event>"]
        M1 --> M2{"决策: 是否保留当前帧 <memory_write>"}
        M2 -- "keep" --> M3["标记语义角色 <memory_role> -> 写入有界队列 Ot"]
        M2 -- "drop" --> M4["丢弃冗余过渡帧，保持原记忆 Ot = Ot-1"]
    end
    
    subgraph "步骤 2: 语言中心未来状态前瞻"
        B --> P1["预测宏观进度 <progress>"]
        P1 --> P2["推演全部候选动作后果 <outcomes>"]
        P2 --> P3["语义判别: 剔除危险/偏离动作，锁定成功候选"]
    end
    
    subgraph "步骤 3: 动作下发与环境交互"
        P3 --> ACT["生成最终动作 at+1 (Forward / Turn / Stop)"]
        ACT --> ENV["底层控制器执行，推进至新位姿"]
    end
    
    M3 -.-> A
    M4 -.-> A
    ENV -.-> A

④ 机制对比：LookStep vs 主流连续环境 VLN 方案（卡点降维装置 C）

机制维度	传统视频帧堆叠方案 (如 StreamVLN)	外置建图方案 (如 MapNav / g3D-LF)	本文 LookStep
历史记忆维护	滑动窗口截断或均匀固定间隔抽帧	维护稠密 2D/3D 拓扑图或体素网格	模型自主按事件触发写入并标注角色
动作监督信号	仅监督单一专家离散动作	依赖地图启发式几何航点规划	结构化语言推演所有候选动作的未来后果
运行时显存	随轨迹长度增加，或高达 40 GB+	需额外运行 SLAM/3D 模块，显存与计算重	严格恒定限制在 19.7 GB，消费级显卡可跑
额外训练数据	普遍依赖数百万额外多模态轨迹	需预先离线抽取 3D 几何特征	0 额外预训练数据，纯标准数据集训练

⑤ 训练与推理细节

骨干网络：采用统一的开源视觉-语言模型架构，在标准 R2R-CE / RxR-CE 训练集上使用标准自回归因果语言建模损失（Cross-Entropy）端到端微调。
测试期推理：单步推理中，模型顺次吐出记忆标签、前瞻标签与最终动作，随后直接解析动作 token 驱动机器人移动，无需调用外部渲染器或几何求解器。

3. 核心结果/发现

在连续环境视觉语言导航的核心基准 R2R-CE 与 RxR-CE 未见验证集（Val-Unseen）上进行了全面对比评估：

同等训练设定下夺冠 SOTA：在不借助任何额外训练数据（0 External Data）的前提下：
- R2R-CE Val-Unseen 成功率（SR）达到 49.7%，路径长度加权成功率（SPL）达到 45.5%；
- 全面碾压了传统模型（如 HPN+DN 36.0%、CMA 41.0%、VLN-BERT 44.0%、Sim2Sim 43.0%）；
- 性能匹敌甚至逼近了使用了千万级额外无监督轨迹预训练的超大模型方案（如 NaVILA 49.7%）。
极高的单位显存效率：如图 1 所示，LookStep 运行显存仅为 19.7 GB，其内存效率指标（SR / GB）达到 2.52，大幅高于同类先进 MLLM 方法 JanusVLN（1.19）和 StreamVLN（1.95）。
真实物理机部署验证：在室内复杂多房间真实机器人实验中（图 3 与图 7），即使遇到指令描述与实际光照视角不完全匹配的情况，智能体依靠准确的角色记忆与动作前瞻，依然展现出了平滑进出房门、准确识别转弯终点的稳健能力。

4. 局限性

候选动作的前瞻状态目前采用离散化语言标签（如 premature_forward、wrong_turn）进行粗粒度描述，难以刻画毫米级的连续角速度与线速度动力学细节。
记忆的写入和剔除完全依赖 MLLM 自身的语义判断，当遇到极端视觉退化（如全黑暗光、强反光）导致误判事件角色时，可能会错误丢弃关键帧。

23. MacroAction-VLN (2026)

——— 基于拓扑图宏动作分层 MDP 与动作感知 Critic 的连续环境闭环强化学习微调

📄 Paper: arXiv:2609.03906

精华

拓扑图宏动作空间（Macro Action Space）：将连续环境视觉语言导航（VLN-CE）重构为分层马尔可夫决策过程（Hierarchical MDP），高层策略在动态前沿节点构成的宏动作空间上决策，将长达数百步的微动作序列大幅压缩至 5~20 步，彻底攻克了连续环境中强化学习奖励极其稀疏与长期信用分配（Credit Assignment）难题。
动作感知 Critic（Action-Aware Critic Head）：针对动态前沿候选集合引起的状态价值不适定评估问题，设计了感知动态动作空间的价值估计头，与策略网络共享跨模态融合骨干，以几乎零额外显存开销消除了 Critic 的部分可观测性。
摆脱密集奖励整形的终局强化：无需手工设计易产生短视次优行为的密集奖励，仅依靠终局结果奖励（Success + SPL + nDTW）结合 PPO 与 KL 散度正则化，使智能体学会自主探索与闭环纠错，摆脱 DAgger 纠偏动作与语言指令语义冲突的宿疾。
0.5B 轻量模型刷新连续环境 SOTA：仅使用 0.5B 参数的紧凑多模态骨干，在 R2R-CE 和 RxR-CE 连续未见测试集上分别达到 68.1% 和 50.2% 的成功率（SR），大幅超越了 7B 参数的多模态大模型基线（如 UniNaVid、StreamVLN、VLN-R1）。

1. 研究背景/问题

连续环境视觉语言导航（VLN-CE）要求机器人在未见场景中根据自然语言指令执行数百步底层微动作（如前进 0.25 米、左右转向 15 度）。现有基于模仿学习（IL）与微动作强化学习（RL）的路线面临三大根本矛盾：

行为克隆的分布偏移：测试期智能体一旦发生微小漂移就会进入未见状态空间，误差急剧累积。
DAgger 专家动作的语义歧义：当机器人走偏时，DAgger 专家给出的最优纠偏动作（例如调头往回走）往往与自然语言指令（例如”一直往前走穿过走廊”）在语义上发生剧烈冲突，破坏了视觉与语言特征的对齐。
微动作强化学习的信用分配困境：微动作序列长达数百步，终局成功奖励在漫长的时序中被严重稀释，常规 RL 极难收敛；而手工设计稠密单步奖励又容易导致智能体陷入局部打转或指令错位的次优行为。

2. 主要方法/创新点

图 1：VLN-CE 三种训练范式对比。(a) DAgger 纠偏动作易与语言指令冲突；(b) 微动作空间 RL 面临长程信用分配难题；(c) 本文提出的拓扑图宏动作空间 RL，压缩决策步长，实现切实可行的长期信用分配。

① 整体框架概述

如图 2 所示，MacroAction-VLN 将 VLN-CE 重构为一个双层分层 MDP：

高层规划器（Macro MDP）：以增量构建的拓扑图为状态表征，在动态未探索前沿节点（Frontier Nodes）集合中选取子目标或下达停止指令；
底层控制器（Micro MDP）：采用免训练的确定性控制器（Rotate-then-Forward 启发式控制器结合避障），充当高层 MDP 的状态转移函数 $\mathcal{T}^H(s_{t+1}^H \mid s_t^H, a_t^H)$；
闭环强化微调（RFT）：在高层宏动作上直接通过近端策略优化（PPO）进行端到端优化。

图 2：系统整体框架。包含高层规划器（共享跨模态骨干、Actor 与动作感知 Critic）、底层微动作控制器、以及基于 Rollout Buffer 和终局结果奖励的 PPO 闭环强化学习优化流程。

② 逐模块讲解

1. 宏动作分层 MDP 构建（Hierarchical Macro MDP Formulation）

宏观状态 $S^H$：高层状态 $s_t^H = (I, \mathcal{H}_t)$，由自然语言指令 $I$ 和当前增量构建的拓扑图轨迹 $\mathcal{H}_t = (\mathcal{V}_t, \mathcal{E}_t)$ 组成，包含已探索节点与当前可见的前沿候选节点。
宏观动作 $A^H$：在动态可用的未访问前沿节点集合中选择目标航点 $a_t^H \in \mathcal{A}_t^H$，或选择终止动作 STOP。
状态转移压缩：底层控制器自动规划并执行几十步微动作使机器人行进至选定前沿点，并更新拓扑图，这使得一个长任务的宏观决策步数从原本的 100~300 步骤降至 5~20 步。

举个例子（卡点降维装置 A：微动作与宏动作的信用分配对比）：设一段 15 米长的走廊导航任务：

微动作 RL：每步前进 0.25 米或转弯 15 度，轨迹长达 $T = 120$ 步。假设到达终点获得奖励 $R=1$。在时间差分（TD）反向传播中，第 1 步动作的奖励折现为 $\gamma^{120} = 0.99^{120} \approx 0.30$；更严重的是，中间 120 步任何微小动作随机探索都会引入指数级累计方差，Critic 根本无法分清究竟是哪一步决策走对了路，导致训练崩溃。

拓扑图宏动作 RL：环境被抽象为起点、拐角、走廊中段、目标门前等 5 个拓扑节点。智能体只需做出 $T = 5$ 次宏动作选择！折现因子为 $\gamma^5 = 0.99^5 \approx 0.951$；终局奖励清晰直接地对这 5 次子目标抉择进行优势估计（GAE），方差极小，RL 策略仅需十余小时即可快速收敛。

2. 动作感知价值估计头（Action-Aware Critic Head）

设计动机：在传统 RL 中，Critic 仅以当前历史状态为输入 $V(s_t)$。但在宏动作空间中，前沿候选节点在数量、空间方位和可行性上随着探索动态改变。忽略当前可供挑选的前沿分布会导致 Critic 面临严重的部分可观测性（Partial Observability）。
共享骨干设计：Actor 与 Critic 完全共享语言编码器、图编码器及跨模态融合骨干。跨模态 Backbone 同时接收语言 Token、已访问拓扑 Token 和当前前沿 Token，Critic 并行利用这套包含候选动作信息的融合表征输出标量状态价值 $V^\pi(s_t^H)$，不增加额外参数负担且极大稳定了优势估计。

3. 终局驱动奖励函数（Outcome-Driven Reward） 无需复杂的密集步进距离差值塑形，设计轻量鲁棒的轨迹级终局奖励 $R_T$： $R_T = \mathrm{Success} + \mathrm{SPL} + \mathrm{nDTW}$

$\mathrm{Success}$：最终停止在目标 1.5 米内得 1 分；
$\mathrm{SPL}$：鼓励避免无效绕路与过长路径；
$\mathrm{nDTW}$（归一化动态时间规整）：衡量智能体轨迹与参考真值轨迹的时空吻合度。即使任务最终未完全成功，nDTW 依然能为”走对了绝大部分路途”的高质量探索提供稠密正反馈，支撑 RL 前期的平滑冷启动。

4. 三阶段递进式训练范式（Curriculum Training Paradigm）

阶段 1 & 2：预训练与带 Value 预热的 DAgger 阶段：在模仿学习阶段，同时对策略头和动作感知价值头进行预热监督： $\mathcal{L}_{DAgger} = \mathcal{L}_{CE} + c_v \mathcal{L}_V^{CLIP}$
阶段 3：闭环强化学习微调（Closed-Loop RFT）：采用 PPO 算法，并在损失中引入针对预训练参考模型 $\pi_{ref}$ 的 KL 散度约束，防止策略在强化探索中发生表征崩溃： $\mathcal{L}_{PPO} = \mathcal{L}_P^{CLIP} + c_v \mathcal{L}_V^{CLIP} + \beta \mathbb{D}_{KL}(\pi_\theta \parallel \pi_{ref})$

③ 读者视角：分层决策与强化优化闭环图（卡点降维装置 B）

graph TD
    subgraph "高层规划层 (Macro MDP - PPO 强化更新)"
        A["语言指令 I + 拓扑历史 Gt"] --> B["共享跨模态融合骨干"]
        B --> C1["Actor 头: 预测前沿节点宏动作分布 π(at|st)"]
        B --> C2["Action-Aware Critic 头: 联合动作分布评估状态价值 V(st)"]
        C1 --> ACT["下发选定前沿子目标 atH"]
    end

    subgraph "底层控制层 (Micro MDP - 启发式状态转移)"
        ACT --> D["Rotate-then-Forward 控制器"]
        D --> E["执行数十步底层 micro 动作 (Habitat 仿真环境)"]
        E --> F["抵达子目标，提取新全景观测，拓扑图增量扩展至 Gt+1"]
    end

    subgraph "终局评估与信用分配 (Optimization Loop)"
        F -.-> A
        E --> G{"是否到达终点或耗尽预算?"}
        G -- "是" --> H["计算终局综合奖励 RT = Success + SPL + nDTW"]
        H --> I["通过 GAE 广义优势估计反向更新共享骨干网络"]
    end

④ 机制对比：MacroAction-VLN vs 现有主流路线（卡点降维装置 C）

机制维度	传统纯模仿学习 (ETPNav / BEVBert)	微动作强化学习 (VLN-R1)	本文 MacroAction-VLN
决策动作空间	拓扑图宏动作（纯监督拟合专家）	连续微动作（前进/转弯/停止）	拓扑图宏动作（强化探索与闭环纠偏）
训练优化范式	DAgger 纠偏（易与语言指令语义冲突）	微动作直接 RL（长时序极难收敛）	宏动作空间闭环 PPO 强化微调
价值 Critic 设计	无 Critic 或仅有无动作感知的简单网络	简单单步价值网络（高方差）	Action-Aware 架构，共享跨模态全骨干
参数量与性能	0.3B 参数，R2R-CE SR 约 57%~59%	7B 参数大模型，R2R-CE SR 仅 30.2%	0.5B 参数，R2R-CE SR 达到 68.1%

3. 核心结果/发现

在 Habitat 仿真器中的连续环境视觉语言导航金牌基准 R2R-CE 和 RxR-CE 未见测试集（Val-Unseen）上进行了系统评测：

大幅刷新连续环境性能纪录：
- 在 R2R-CE Val-Unseen 上，成功率（SR）从 DAgger 基线的 65.1% 飙升至 68.1%（+3.0%），SPL 提升至 57.3%（+3.8%），导航误差（NE）降至 3.89 米；
- 在长程多语言高难度基准 RxR-CE 上，成功率达到 50.2%，路径保真度 nDTW 达到 66.8%；
- 整体表现全面超越了参数量大十倍以上的 7B 大模型方案（如 StreamVLN 的 56.9%、UniNaVid 的 47.0%、以及基于微动作 RL 的 VLN-R1 的 30.2%）。
消融实验证实动作感知 Critic 的决定性价值：
- 移除 Action-Aware 特性（改用仅依赖历史的传统 Critic），RFT 增益直接从 +3.0% 缩水至 +1.1%，证明感知动态候选动作对准确评估状态价值具有不可替代的作用；
- 采用终局驱动奖励（+nDTW）的训练收敛稳定性与最终表现显著优于单步密集距离奖励（Dense Soft Reward），有效规避了短视绕圈行为。
策略鲁棒性定性分析：
- 如图 5 所示，在面对相似房间死胡同、拐弯盲区等易错环境时，经过 RFT 训练的模型能够在高层宏动作中展现出高置信度的回溯重探索能力，从根本上消除了 DAgger 训练策略走偏后在原地徘徊死锁的缺陷。

4. 局限性

高层宏动作依赖拓扑图的前沿点提取算法与底层航位推算（Odometry），当里程计累积漂移过大或建图存在严重假阳性前沿时，宏动作选择空间会受到扰动。
目前底层微动作转移由启发式控制器硬编码完成，在极端崎岖或狭窄需要复杂机动动力学的场景中，缺乏高低层联合自适应调整能力。

24. NavMCP (2026)

———首个将导航基础模型（NFM）脚手架化封装为智能体执行器的长程具身导航框架

📄 Paper: arXiv:2608.30396

精华

核心洞察：长程物理世界交互面临“高层宏观推理”与“底层微观闭环”难以兼备的两难困境，现有视觉语言模型（VLM）长程动作漂移严重，而导航基础模型（NFM）虽具备优秀的局部具身执行能力，却受限于单次回合、缺乏跨轮次持久任务状态。
范式突破：NavMCP 打破了将导航模型简单视作黑盒单步工具（Episodic Tool Interface）的传统做法，提出首个将 NFM 作为长程具身智能体物理执行层的脚手架（Scaffolding）协议体系，在不微调任何底层模型的前提下实现长程闭环探索。
架构机制：构建“意图（Intent）- 观测（Observation）- 记忆（Memory）”三通道协议，分别解决指令与意图脱节、沿途关键观测丢失、跨调用记忆断层三大鸿沟，把一次性航点规划转变为可累积、可追溯的具身认知过程。
决策哲学：引入基于证据链的非对称仲裁机制，不仅记录“看到了什么”，更显式沉淀“排除了哪些区域”的否定证据（Negative Evidence），让智能体具备有目的的非单调假设检验探索能力。
迁移启示：在三大具身问答基准（HM-EQA、MT-HM3D、EXPRESS-Bench）上全面刷新最强成绩，并在宇树 Unitree Go2 四足机器人上实现超 50 米超长程真实环境探索，证明将领域基础模型与通用大模型分层脚手架化是通向物理智能体的重要路径。

1. 研究背景/问题

具身问答（Embodied Question Answering, EQA）与真实物理环境搜索要求智能体在大型未知场景中长程探索以收集视觉证据。现有方法陷入了两难架构分歧：若让通用大模型（VLM）直接预测底层动作或局部航点，在长时程、大跨度场景中会频繁发生轨迹漂移、死锁与执行脆弱；若引入专用导航基础模型（Navigation Foundation Model, NFM，如 Qwen-RobotNav、Uni-NaVid 等），传统智能体仅将其封装为常规的单次回合工具（Episodic Tool Call）——向导航模型发送单句指令，底层跑完后仅返回终点状态与最终单张视野。

这种传统的单回合接口在长程证据收集场景中存在严重的回合间隙（Episodic Interface Gap）：

指令与意图不匹配（Mismatch between instruction and intent）：高层 VLM 关注“要验证什么信息/找什么线索”，而底层导航模型需要具体的路径指令，单句路线命令无法传达搜索预算与语义边界；
中间观测丢失（Intermediate observation loss）：目标物体可能在机器人经过走廊或门缝的途中一闪而过，仅返回终止视角会丢弃整条轨迹中的海量高价值感知线索；
缺乏跨调用累积（Lack of cross-call accumulation）：单次调用结束后底层执行记忆清空，高层若缺乏结构化记忆账本，无法记录“哪些房间已完全排查”，导致重复搜索或盲目兜圈。在 HM-EQA 基准上，退化为传统单回合接口直接带来 14.9% 的剧烈性能断崖。

2. 主要方法/创新点

NavMCP 系统整体架构：高层 VLM 智能体通过意图通道向导航基础模型（NFM）派发子目标，NFM 在非特权自车视角下自主完成闭环运动，沿途轨迹数据经由观测通道转化为带来源引用的旅程证据，并在记忆通道中维护动态更新的 EQA 上下文状态。

① 整体框架概述

NavMCP（Navigation Model Context Protocol）采用双层分工架构：高层 VLM 智能体充当“推理大脑”，负责任务目标分解、证据需求推断、搜索区域规划与何时终止并回答；底层 NFM（以 Qwen-RobotNav 为代表）充当“物理执行肢体”，负责在非特权第一人称 RGB 视角与自建局部拓扑图下完成避障与鲁棒的闭环航点跟踪。二者通过解耦且紧密协同的三通道协议门控交互，既拓展了 VLM 的物理动作视野，又拓展了 NFM 的长程推理视野。

难点降维：传统工具调用 vs NavMCP 三通道协议

维度	传统工具调用（Episodic Interface）	NavMCP 脚手架协议（本文方案）
意图表达 (Intent)	单句控制指令（如 “向左转走向主卧”），缺乏预算约束与搜索模式区分	结构化语义调用 `(mode, goal, budget, constraints)`，区分物体搜索与指令导航双模式
观测反馈 (Observation)	仅返回最终终点终止状态与末帧图像，沿途关键视觉信息全部丢失	沿轨迹等步长采样关键帧序列，由轨迹摘要器生成带关键帧来源引用的旅程简报（Journey Artifact）
跨轮记忆 (Memory)	依赖原始交互对话上下文，面对长序列很快超出窗口且极易遗忘否定线索	显式维护三元状态 $C_t = (H_t, E_t, U_t)$，结构化沉淀正负证据账本，安全压缩原始工具轨迹
决策准则 (Arbitration)	仅凭单次视线是否看到目标直接草率回答	基于 `analyze_status` 的三阶段非对称仲裁：证实需直接图像支持，证伪需区域全覆盖证据

graph TD
    A["任务问题与初始自车视角"] --> B["高层 VLM 规划器"]
    B --> C{"是否已有充足证据?"}
    C -- "是" --> D["执行 analyze_status 仲裁并输出接地答案"]
    C -- "否" --> E["【意图通道】构造结构化调用 (mode, goal, budget)"]
    E --> F["【NFM 执行层】闭环生成航点轨迹与无碰撞运动"]
    F --> G["【观测通道】沿途采样关键帧序列 (Δ=4步, 上限16帧)"]
    G --> H["轨迹摘要器生成带来源引用的旅程证据 z_t"]
    H --> I["【记忆通道】更新证据账本 E_t 与未决目标 U_t"]
    I --> J["保守压缩原始交互历史 H_t"]
    J --> B

② 逐模块讲解：NavMCP 三通道核心机制

1. 意图通道（Intent Channel）：从证据需求到结构化导航调用

高层智能体在推断出缺失的信息后，无需编写底层的电机指令或细微航点，而是通过协议门控发出结构化语义导航调用： $\text{Call} _t = (\text{mode}, \text{sub\_goal}, \text{budget}, \text{constraints})$

双模式解耦：
- navigate_to_object（物体目标导航模式）：输入具体的物体类别名称或指代对象，底层 NFM 自主进行语义驱动的局部探索与逼近；
- navigate_by_instruction（视觉语言导航模式）：输入包含区域、路径或拓扑地标的高级自然语言指令（如“穿过走廊进入尽头的卧室”）。
预算与边界约束：通过 budget 控制底层最大步数，避免底层模型陷入局部死循环；通过 constraints 提供语义避障建议。底层执行器仅依赖本体自车 RGB 观测、位姿估计与探索过程中实时构建的拓扑占据图，无需预知场景真值或特权几何信息。

NavMCP 三通道脚手架内部流转逻辑：意图通道负责任务语义对齐，观测通道负责将时空轨迹映射为带置信度与图源标签的结构化感知证据，记忆通道负责支撑跨多轮交互的持久化证据账本更新。

2. 观测通道（Observation Channel）：从动态轨迹到来源锚定证据

底层执行器完成一次单模态导航后，输出原始轨迹记录 $r_t = (s_t, b_t, \ell_t, p_t, K_t)$，其中 $s_t$ 为完成标志，$b_t$ 为停止原因，$\ell_t$ 为行走总路径长度，$p_t$ 为最终位姿，$K_t = {I_{t,1}, \dots, I_{t,n}}$ 为沿途关键帧集合。

关键帧等距采样：为兼顾视觉覆盖率与上下文成本，系统每隔 $\Delta = 4$ 步采样一张自车视野帧，单次调用上限截断为 $M = 16$ 帧。
VLM 轨迹摘要器（Trajectory Summarizer）：将这批关键帧输入轻量多模态描述器，提取结构化旅程证据： $z_t = (q_t, R_t, O_t, P_t, D_t)$ 其中 $q_t$ 记录子目标达成状态；$R_t$ 总结途经房间与区域过渡；$O_t$ 提取显著观测物体；$P_t$ 记录规划拓扑线索（如发现未探索的楼梯口、虚掩的房门）；$D_t$ 记录不确定性与执行异常。
来源锚定元组（Source Grounding）：$O_t$ 与 $R_t$ 中的每一个物体或区域提及，都强制绑定一个五元组标签 $(n, i, v, h, c)$（名称、所属关键帧索引、视角方位、相对空间提示、置信度）。严禁摘要器无依据脑补未观察到的状态。

3. 记忆通道（Memory Channel）：跨调用证据账本与保守上下文压缩

为解决多轮调用引起的上下文爆炸，NavMCP 维持显式三元 EQA 上下文状态： $C_t = (H_t, E_t, U_t)$

证据账本 $E_t$：记录带有来源索引的正面证据（Positive Evidence，如“在主卧床头柜发现点亮的台灯，来源帧 keyframe_3”）、否定证据（Negative Evidence，如“书房全景视野排查完毕，未发现打印机”）。账本由 write_notebook 维护，采用 FIFO 队列上限保留 100 条去重记录，在每轮推理时直接注入 Prompt 头部。
未决目标池 $U_t$：维护尚未证实或存在模糊推断的待查目标，指导下一次意图通道的派发。
保守上下文压缩策略：仅当关键感知信息已被提炼外化至 $E_t$ 与 $U_t$ 并打上关键帧引用后，系统才允许将上一轮冗长的原始工具执行日志与中间视觉图替换为极简占位符。这保证了长时程交互中即使发生上下文截断，核心决策链条也完全不受破坏。

难点降维：Journey Analysis 沿途捕获与非对称仲裁具体实例

举个具体例子：机器人在回答“床头柜上的台灯是否开着？”这一问题时，意图通道发出 navigate_by_instruction("穿过走廊进入主卧")，底层连续移动了 16 步。

传统工具调用：底层走完停在主卧衣柜前，仅返回最后一帧衣柜图像。智能体完全错过床头柜，判断“未找到台灯”，不得不盲目再次寻找。

NavMCP 观测通道：按 $\Delta=4$ 采样 4 张关键帧。在第 2 张关键帧（机器人正路过主卧半开的房门）中，画面右侧门缝内隐约捕捉到床头柜与灯罩。VLM 轨迹摘要器提炼出证据元组：("台灯", frame_2, "右侧门缝", "主卧床旁", "uncertain")，直接写入未决目标 $U_t$。

非对称仲裁机制：下一轮规划器调用 analyze_status，激活专门的局部验证。此时系统遵守非对称证据法则：

证实（Positive）：必须依赖无歧义的高清直接视觉证据（调用 zoom_in_object 放大查看该台灯发光状态）；

证伪（Negative）：若要得出“房间里没有台灯”的否定结论，必须提供全景 360 度扫描且覆盖该房间所有死角的证据链。严禁将“仅仅没看到”武断视为“物体不存在”。

Explore-EQA 任务实录（寻找黑色小沙发）：智能体在长程探索中连续排查 5 个房间并沉淀否定证据，避免走回头路；中间距目标距离曲线呈现出理性的非单调特征（先拉大距离以系统性排除其他区域，随后精准收敛至目标角落）。

③ 辅助感知工具集与验证协议

为在最终决策前消除歧义，NavMCP 向智能体暴露了细粒度视觉感知工具库：

阅读型工具（Reader Tools）：
- look_around：调用全景四方向相机获取 360 度环视感知与场景可行拓扑；
- analyze_status：三阶段证据仲裁器，输入当前全景、历史关键帧与记事本，输出证据充足度与缺失类型；
- zoom_in_object：对候选目标裁剪放大，进行细粒度属性（开关状态、文字、细小部件）精细判别；
- review_image：调取归档的历史关键帧重新审视。
探测型工具（Detector Tools）：
- detect_objects_360、detect_objects：基于开放词表检测器与 SAM 进行目标定位与计数；
- estimate_depth：基于 Depth-Anything 进行度量级深度与可接触距离估计。

难点降维：等效探索步数（Equivalent Agent Steps）补偿计算

在具身导航评估中，传统 Frontier 探索基线（如 Explore-EQA、FAST-EQA）以瞬移方式移动，其单步决策位移被严格限制在 3 米以内。而 NFM 一次闭环调用可能自主移动十余米。如果直接把 NFM 一次长程调用仅计为 1 步，会对传统基线造成严重的评测不公；但如果把底层物理控制周期全都算作高层步数，又无法体现 NFM 闭环执行对高层大模型调用开销的节省。

为此，论文以 3 米为基础换算单元，设计了等效智能体步数（Equivalent Agent Steps）： $n_{\text{eq}} = H + \sum_{k=1}^K \max\left(0, \left\lceil \frac{L_k}{3\text{ m}} \right\rceil - 1\right), \quad \hat{n} _{\text{eq}} = \frac{n_{\text{eq}}}{N}$ 其中 $H$ 为高层 VLM 实际调用次数，$K$ 为 NFM 调用总次数，$L_k$ 为第 $k$ 次 NFM 实际运动轨迹的物理弧长，$N = \lfloor \sqrt{A \times 3} \rfloor$ 为基于场景可通行面积 $A$ 的理论总预算步数。

手算算例：设某场景总步数预算 $N = 50$ 步。智能体在高层共调用了 $H = 3$ 次 VLM：

第 1 次调用 NFM 移动了 2.5 米：由于 $L_1 \le 3\text{m}$，$\lceil 2.5/3 \rceil - 1 = 0$，补偿 0 步；

第 2 次调用 NFM 穿过长走廊，移动了 8.2 米：$\lceil 8.2/3 \rceil - 1 = 3 - 1 = 2$ 步补偿；

第 3 次调用 NFM 跨房间搜索，移动了 11.0 米：$\lceil 11.0/3 \rceil - 1 = 4 - 1 = 3$ 步补偿。

最终等效总步数 $n_{\text{eq}} = 3 + (0 + 2 + 3) = 8$ 步，归一化步数消耗： $\hat{n} _{\text{eq}} = \frac{8}{50} = 0.16$ 这种换算既严谨补偿了长程物理位移，又真实体现出 NavMCP 相比传统单步探索将高层大模型交互频次削减了 70% 以上。

3. 核心结果/发现

① 三大 EQA 基准全面超越 SOTA

在三大基准测试中，NavMCP 均取得了显著的突破性领先（采用 Qwen3.6-Plus 智能体与 Qwen-RobotNav-8B 执行器）：

HM-EQA（500 道多选问答）：NavMCP 达到 76.7% 准确率，大幅超越此前最强方法 FAST-EQA（69.2%）达 7.5 个百分点。同时归一化高层探索步数仅为 0.15，较 FAST-EQA 的 0.65 减少了 77% 的高层大模型调用，兼具极高精度与极致能效。
MT-HM3D（多目标跨房间复杂问答）：准确率达到 54.4%，领先 FAST-EQA（50.5%）3.9 个百分点。
EXPRESS-Bench（2,044 道长程自由形式问答）：自由形式问答评测中，LLM 打分达到 79.27，路径勘探效率加权指标 $E_{\text{path}}$ 达到 33.96，大幅领先 Fine-EQA（63.95 / 25.58）与 ToolEQA（65.77 / 25.82）。

② 严格控制变量下的全系统对齐测试（HM-EQA，固定 Qwen3.5-397B-A17B）

为消除大模型底座差异带来的影响，论文在统一使用开源 Qwen3.5-397B-A17B 作为决策智能体、统一初始状态、统一预算与感知工具的前提下进行了重测：

Explore-EQA：57.6%
ToolEQA：60.8%
FAST-EQA：63.5%
NavMCP + Qwen-RobotNav-8B：74.0%（领先基准 10.5 ～ 16.4 个百分点）。

③ 双层分工互补性消融（Architecture Ablation）

固定底层 NFM，变化高层智能体：
- 无智能体（仅凭初始视角盲猜）：38.2%
- 单轮被动 Agent（仅拍摄单次全景）：58.4%
- 传统反应式 Agent（固定探索循环）：62.0%
- 完整 NavMCP 脚手架（Qwen3.5）：74.0%（Qwen3.6-Plus 进一步达到 76.7%）。
- 结论：再强大的底层导航模型，缺乏高层自适应假设检验与记忆沉淀，也无法胜任复杂具身推理。
固定高层智能体，变化底层导航执行器：
- NavMCP + Random Walk（随机游走）：60.9%
- NavMCP + Frontier Exploration（传统前沿点探测）：65.3%
- NavMCP + StreamVLN：69.3%
- NavMCP + Qwen-RobotNav-4B：73.3%
- NavMCP + Qwen-RobotNav-8B：74.0%
- 结论：高层智能体无法弥补底层脆弱的物理执行，更强的语言条件闭环导航器能将高层语义需求转化为更高质量的时空观测。

④ 协议通道消融实验（Protocol Ablation on HM-EQA）

直接退化为传统单次回合工具接口（Episodic Interface）：性能暴跌 14.9 个百分点（74.0% $\to$ 59.1%），直接证实了回合间隙对长程物理交互的致命性；
退化为终点观测返回（Terminal-only Observation）：性能损失 5.9 个百分点（降至 68.1%），证实沿途关键帧与过程观测对证据收集至关重要；
移除记忆通道的 EQA 上下文账本：性能损失 4.6 个百分点（降至 69.4%）；
移除 VLM 旅程分析（Journey Analysis）：性能损失 4.4 个百分点（降至 69.6%）；
稀疏化关键帧采样（从 4 步/16 帧变为 8 步/8 帧）：性能损失 2.8 个百分点（降至 71.2%）。

宇树 Unitree Go2 四足机器人真实环境实测：面对长达 50 米以上跨越多个功能区的超长程探索任务，NavMCP 引导机器狗将高层目标分解为以地标为锚点的渐进子目标，成功率达 78.3%，相对反应式基线展现出巨大优势。

⑤ 真实机器人部署：宇树 Unitree Go2 物理验证

在真实办公大楼环境中，面对非结构化障碍、测距漂移与传感噪声，对单房间（Low）、跨房间（Medium）与超 20 米大尺度多区域（High）三级难度进行了实机测试（固定 Qwen3.6-Plus）：

单房间级（Low，20 回合）：Reactive 80%，Frontier 70%，NavMCP 90%；
跨房间级（Medium，20 回合）：Reactive 骤降至 35%，Frontier 60%，NavMCP 保持 85%；
超 20 米大范围探索（High，20 回合）：Reactive 彻底崩溃为 0%，Frontier 仅为 15%，而 NavMCP 依然保持高达 60% 的成功率！
总体真机成功率：NavMCP 达到 78.3%，相比 Frontier（48.3%）和 Reactive（38.3%）呈现压倒性优势，证明任务时程越长、环境越复杂，分层脚手架的优势越明显。

4. 局限性

高层模型计算开销与响应时延：NavMCP 依赖大参数量 VLM（如 Qwen3.6-Plus 或 397B 级模型）进行每轮多模态旅程分析与证据仲裁，高层大模型的推理延迟较传统轻量启发式算法更高，未来需探索端侧小模型或强化学习蒸馏方案；
多视角采样下的物体重复与计数歧义：沿途多个关键帧或不同相机视角多次拍到同一物体时，VLM 在密集小物体计数任务中仍偶发重复去重失误（Cross-view duplication error）；
动态环境与非稳态物理干扰：当前测试主要在相对静态的室内大场景展开，在包含剧烈动态人流穿行或光照突变的极具挑战性现实场景中，底层 NFM 的局部死锁与恢复机制仍有进一步提升空间。

25. OccPlanner (2026)

———把一个没有深度的像素，”顶”回局部 3D 占用栅格里再规划

📄 Paper: arXiv:2608.14160

精华

像素目标只有方向、没有深度和可通行性，OccPlanner 的解法是两段式条件注入——先让目标与时序视觉上下文对齐拿到粗方向，再与局部 3D 占用几何对齐落到可行点位；消融显示单独注入占用特征几乎无增益，补上顺序交互后 cluttered-hard 的 SR 从 75.55% 跳到 84.92%。
显式的局部 3D 占用不是当地图用的，而是作为几何先验的中间监督，让扩散策略在吐轨迹之前先”知道”哪里是墙。
L3ROcc 的核心洞察是把体素分成 occupied / observed-free / unknown 三态而非二值——”没看见”和”确实是空的”必须分开，否则策略会把遮挡区当通路。
因此单目 RGB 视频就能反向生成占用监督，数据来源从”必须有 3D 标注的仿真器”放宽到”任何导航视频”，真机仅用 829 条样本微调即见效。
开环指标与闭环成功率不同向——base model 开环 IoU/FDE 最好，闭环却明显低于完整模型，提醒别拿开环 proxy 选模型。

1. 研究背景/问题

导航目标的指定方式有度量坐标（PointGoal）、语义类别（ObjectGoal）、目标照片（ImageGoal）和自然语言（VLN）几种，而像素目标直接在当前相机视野里点一个点作为终点，不需要预建地图、也不需要度量坐标——对真机部署最友好。

但一个像素既不含深度、也不含可通行性：策略必须同时完成”这个点在 3D 里的哪个位置”和”怎么绕开障碍走过去”两件事。现有像素目标方法（PixNav、SSM-PixNav）直接在图像空间做条件，Goal2Pixel 预测可导航像素再反投影成航点；另一边的学习型局部规划器（iPlanner、ViPlanner、NavDP、LoGoPlanner）则从度量目标出发生成轨迹。两条线是断开的——连续的像素目标规划始终没有和显式的局部 3D 占用推理结合起来。

2. 主要方法/创新点

OccPlanner 与 L3ROcc 总览。(a) L3ROcc 把单目 RGB 导航视频转成可见性感知的局部占用与轨迹监督；(b) OccPlanner 把连续的像素目标轨迹生成条件化在 RGB-D 上下文与局部 3D 占用之上

① 卡点降维：像素目标到底难在哪

先把四种目标形式摆在一起，就能看清 PixelGoal 的”便宜”是拿什么换的：

目标形式	给了什么	缺了什么	代价
PointGoal（度量坐标）	精确的 3D 位置	—	需要预建地图或全局定位
ObjectGoal（”找沙发”）	语义类别	具体实例与位置	需要语义地图 + 探索
ImageGoal（一张目标照片）	目标外观	目标在哪、有多远	跨视角匹配，长程易失败
PixelGoal（像素坐标）	目标在当前视野里的方向	深度、可通行性	不用地图，但要自己把像素顶回 3D

最后一行就是这篇论文要付的那笔账：省掉了地图，就得把”深度 + 可通行性”这两样东西从模型内部补出来。OccPlanner 的答案是——用一个学出来的局部 3D 占用分支来补。

② 整体框架

系统由两半组成：L3ROcc 是离线数据生成流水线，负责把单目 RGB 导航视频变成局部占用监督；OccPlanner 是在线策略，由三个模块构成——共享 RGB-D 几何编码器负责抽时空上下文，占用分支负责显式预测局部 3D 占用并压成紧凑 token，目标感知轨迹分支负责把像素目标依次与上下文、与占用几何对齐，最后交给扩散去噪生成连续轨迹。

③ L3ROcc：从单目视频反向生成占用监督

L3ROcc 数据生成流水线：π³ 重建共享场景几何与相机运动，经度量对齐与机器人中心变换后，通过体素化和射线推理生成可见性感知的局部占用标注

输入：一段单目 RGB 导航视频。

处理分四步：

RGB 几何重建——均匀采样 K 帧送进 π³，得到共享坐标系 3D 点、局部 pointmap、稀疏相机位姿和置信度图。滤掉低置信点、用局部 pointmap 去掉深度边缘伪影，再体素下采样得到紧凑的共享场景点云。稀疏位姿用三次样条插值平移、SLERP 插值旋转，补齐到每一个视频时间戳。
度量与机器人中心对齐——单目重建天然尺度不确定。有参考位姿时，用重建轨迹与参考轨迹对齐恢复场景级尺度；没有参考位姿时直接换用具备度量能力的 π³ 变体。每个时刻把缩放后的共享几何变换到当前局部坐标系，再用相机到底盘的外参对齐机器人朝向，得到机器人中心几何与对齐后的视线射线。
可见性感知占用生成——把机器人中心几何体素化成候选占用栅格，然后沿射线做 ray marching（借鉴 Occ3D）。
输出：稀疏可见占用 + 打包的可见性掩码 + 对齐的轨迹元数据。

卡点降维 —— 三态标注为什么是关键：

举个例子：把一条射线上的体素排成一列，编号 1→6，机器人在 0 处往前看，假设第 3 个体素被桌子占住了。ray marching 走一遍的结果是：

体素 1、2 → observed free（射线确实穿过去了，是空的）

体素 3 → visible occupied（第一个命中点，这才是真障碍）

体素 4、5、6 → unknown（被桌子挡住，压根没看见）

关键在第三行。朴素做法会把 4~6 标成自由空间——因为点云里那儿本来就没有点——策略学完就会以为桌子后面能走。三态标注把”没看见”和”确实是空的”分开，模型才不会把遮挡区当通路。如果射线一路没有命中，则整条路径上的体素全部标为 observed free。

设计动机：占用监督传统上依赖带 3D 真值的仿真器。L3ROcc 把门槛降到”一段 RGB 视频 + 相机外参”，这正是后面真机只靠 829 条样本就能微调的前提。

④ OccPlanner 主架构

OccPlanner 架构。共享 RGB-D 几何编码器抽取时空上下文；占用分支预测局部 3D 占用并把近地面几何压成占用 token；轨迹分支顺序融合目标-上下文与目标-占用信息，形成目标感知状态供扩散生成连续轨迹

模块 1 · 共享 RGB-D 几何编码器

输入：RGB-D 观测历史，共 8 帧 224×224。
处理：RGB 流用 π³ 自带的 DINOv2 编码器，深度流沿用 LoGoPlanner 的做法，只取 DepthAnythingV2 的 ViT-S 骨干（轻量）。两路 patch 对齐后拼接、线性投影成融合的 RGB-D token，再经过 π³ 的”视角内自注意力 / 全局自注意力”交替堆叠，产出每帧潜特征，解码成时空几何特征。
输出：时空几何特征同时供占用分支和轨迹分支使用——两个分支共享同一套几何底座，这是参数效率的来源。
每帧几何特征被压成一个场景 token，最新一帧的潜特征额外压成当前观测 token，合起来构成时序局部上下文 $U_{ctx}$。

模块 2 · 占用分支

输入：最新一帧的几何特征。
处理：按主流 3D 占用方法的套路，先做 2D-to-3D lifting，再过 3D 卷积解码器，得到体素 logits 与稠密占用特征体。由于避障主要取决于近地面几何，从占用特征体里切出近地面切片投影成特征图，展平成地面平面记忆 $M_{gnd}$，再用可学习的占用 query 做 cross-attention 抽成紧凑占用 token：

\[Z_{occ} = \mathrm{CrossAttn}(Q_{occ};\, M_{gnd})\]

输出：占用 token（供轨迹分支条件化）+ 体素 logits（受 L3ROcc 的可见性感知监督）。
设计动机：不把整个占用体直接塞给规划器——那既贵又稀释信号；只留避障真正要用的近地面几何。

模块 3 · 目标感知轨迹分支

目标编码：与 NavDP 的掩码式像素目标表示不同，这里把归一化像素坐标用多频 Fourier 特征编码投影成目标 token，再加到可学习的 goal query 上。
两段式目标条件化（本文核心）：

\[\tilde z_e = \mathrm{CrossAttn}(q_g;\, U_{ctx}), \qquad z_e = \mathrm{CrossAttn}(\tilde z_e;\, Z_{occ})\]

目标感知状态解码：把目标 token、场景 token 序列、ego-goal 表征一起送进状态解码器，得到目标感知状态 token。

卡点降维 —— 为什么非得分两步？

一次性把目标、上下文、占用全拼在一起喂给 Transformer，直觉上信息量是一样的。但消融说明不是：

graph LR
    G["像素目标 (u,v)<br/>Fourier 编码"] --> Q["可学习 goal query"]
    CTX["时序视觉上下文<br/>场景 token + 当前观测 token"] --> S1
    Q --> S1["Stage 1<br/>目标 × 上下文 CrossAttn"]
    S1 --> ZE1["粗定位：目标大概在哪个方向"]
    OCC["占用 token<br/>近地面几何切片"] --> S2
    ZE1 --> S2["Stage 2<br/>目标 × 占用 CrossAttn"]
    S2 --> ZE["ego-goal 表征<br/>带辅助回归监督"]
    ZE --> DEC["目标感知状态解码器"]
    DEC --> DIFF["扩散去噪 → 24 个航点"]

顺序的意义在于：Stage 1 先把”目标在哪”定下来，Stage 2 才问”那条路能不能走”。反过来或者并行，占用特征不知道该关注哪片区域，就退化成一堆无差别的几何信息。表中 w/o Occ. Feature（单阶段、只有 ego-goal）在 cluttered-hard 上是 81.57%，而 w/o Two-Stage（单阶段、ego-goal 与占用都有）反而掉到 75.55%——占用特征在缺少顺序交互时是负收益。补上两段式后回到 84.92%。

⑤ 训练目标

三项联合优化：

\[L = \lambda_{occ} L_{occ} + \lambda_{traj} L_{traj} + \lambda_{ego} L_{ego}\]

$L_{occ}$：体素 logits 与 L3ROcc 标注之间的 focal loss，提供显式几何监督。
$L_{traj}$：DDPM / Diffusion Policy 框架下的去噪损失。给定真值动作序列 $A_0$，第 $\ell$ 步的带噪序列为

\[A_\ell = \sqrt{\bar\alpha_\ell}\, A_0 + \sqrt{1 - \bar\alpha_\ell}\,\epsilon, \qquad \epsilon \sim \mathcal N(0, I)\]

条件上下文由扩散时间步 token、目标感知状态、时序上下文、ego-goal 表征、占用 token 拼成，去噪网络预测注入噪声，用 SmoothL1 对齐。

$L_{ego}$：辅助 ego-goal 回归——从 ego-goal 表征预测目标在机器人坐标系下的位置，只在训练时用。这一项是把”像素顶回 3D”这件事显式教给模型的地方，消融里它是单阶段条件下增益最大的组件（cluttered-easy/hard 分别 +20.23 和 +15.30 个百分点）。

⑥ 推理流程

8 帧 RGB-D + 一个像素目标进去，几何编码器与占用分支各跑一次，轨迹分支构造条件上下文后做 10 步反向去噪，输出 24 个未来航点组成的连续轨迹。闭环执行时世界坐标系下的目标固定不变，每步重新投影回当前相机视野作为新的像素目标。

3. 核心结果/发现

评测设置：训练用 InternData-N1（20 万+ 条轨迹，差速底盘 + 顶置 RGB-D，机器人高度与相机俯仰随机化）。评测在 InternScenes 的 60 个未见场景（20 home、20 commercial、10 cluttered-easy、10 cluttered-hard），每场景采 50 对 3–5 m 与 50 对 5–8 m 起止点，共 6000 条闭环 episode。成功判据是停在目标 0.5 m 以内。对比 NavDP（适配到同一像素目标接口）与 PixNav。

闭环成功率（SR %）

方法	距离	Home	Commercial	Cluttered-Easy	Cluttered-Hard
NavDP	3–5 m	35.79	29.58	32.61	33.72
PixNav	3–5 m	21.23	21.91	24.89	21.31
OccPlanner	3–5 m	71.29	47.47	92.97	92.82
NavDP	5–8 m	24.98	19.07	19.43	19.77
PixNav	5–8 m	19.63	11.90	14.20	14.44
OccPlanner	5–8 m	69.90	45.17	86.20	84.92

几个值得注意的点：

5–8 m 四类场景平均 SR 从 NavDP 的 20.81% 提到 71.55%，且在 cluttered 场景增益最大（19.43→86.20、19.77→84.92），说明显式局部占用在复杂几何下的收益最明显。
长程几乎不掉点：OccPlanner 从 3–5 m 到 5–8 m 只掉 1~8 个百分点，而 PixNav 掉得很厉害——论文查了失败案例，PixNav 成功的 episode 几乎全是近似直线的路径，需要大幅绕行的基本都失败，这也解释了它的 SR 与 SPL 为何在报告精度下完全重合。
Commercial 是短板（45.17%），明显低于其他三类。

四类未见仿真场景下的定性规划结果。每例上方是带像素目标（红点）的 RGB 观测，下方是预测的局部占用与生成轨迹（红线）

消融（5–8 m，cluttered 场景；开环用 1496 条 InternData-N1 留出样本）

变体	两段式	Ego-Goal	占用特征	C-Easy SR	C-Hard SR	IoU	FDE
Base Model	—	—	—	66.60	72.42	50.79	0.18
w/o Two-Stage	—	✓	✓	84.34	75.55	43.61	0.28
w/o Ego-Goal	—	—	✓	64.11	60.25	45.60	0.24
w/o Occ. Feature	—	✓	—	79.88	81.57	38.03	0.23
Full Model	✓	✓	✓	86.20	84.92	46.01	0.19

Ego-Goal 是单阶段下增益最大的组件（+20.23 / +15.30 个百分点）。
两段式交互把 cluttered-hard 从 75.55% 推到 84.92%，DTG 从 0.87 m 降到 0.56 m。
开环指标会骗人：Base Model 的 IoU (50.79) 和 FDE (0.18) 都是全场最好，闭环 SR 却落后完整模型近 20 个百分点。开环 proxy 不能代表闭环导航能力。

真机（Unitree Go2，开环）

Unitree Go2 上的真机开环对比。上排为仿真训练模型的零样本预测，下排为真机微调后的预测。微调让局部占用预测更稠密、空间上更连贯，同时保持轨迹平滑

在堆满箱子、椅子、柜子和窄通道的办公室里录 RGB-D 序列。零样本的仿真训练模型已能捕捉粗略障碍几何、生成朝向目标的轨迹；用 L3ROcc 处理额外录制的机器人视频得到 829 条真实样本微调后，占用预测在家具与通道边界处明显更稠密、更连贯。

实现细节：4×H100 训练 30 epoch，Adam，单卡 batch 8（全局 32），bfloat16 混合精度，梯度裁剪 1.0；学习率在前 10000 步从 $1\times10^{-4}$ 线性衰减到 $5\times10^{-5}$ 后固定，约 48 小时。

4. 局限性

真机评测只做了开环定性对比，没有闭环物理部署，且局限于静态室内场景——动态障碍推理完全没有涉及。此外 commercial 场景的 SR（45.17%）明显落后于 cluttered 场景，说明大空间、弱几何约束的环境下，近地面占用提供的信号不足以支撑长程目标定位。

26. Harness Robotic OS (2026)

———把四足巡检从「导航栈」升级为「具身智能体运行时」

📄 Paper: arXiv:2609.11225

精华

这篇的真问题不是「怎么导航得更准」，而是「怎么让一堆现成模块在同一份上下文里协同、留痕、可回滚」——把系统集成本身当成研究对象。最值得借鉴的是它立的那道硬边界：实时控制回路（SLAM / 规划 / 控制）与认知回路（智能体编排 / 记忆 / 反思）分属两层，智能体只能「编排技能」而不能直接下发运动指令，于是推理出错也烧不穿到电机。记忆按「保留期限」而不是按「数据类型」切成 working / episodic / semantic 三层，检索由任务意图、空间位置、场景语义共同条件化，避免把整段运维史塞进每次推理上下文。自进化被刻意做成「离线候选 → 安全门 → 版本灰度 → 可回滚」，而不是在线改模型，这是长期运行的机器人能被审计的前提。但要清醒：认知运行时（语音 / 记忆 / 自进化）在本文只有协议没有数字，真正跑出实测的仍是那套经典导航加 VLM 巡检的流水线。

1. 研究背景/问题

住宅物业巡检要覆盖道路、消防通道、楼栋出入口、设备房、垃圾房等大范围公共空间，人工巡逻在频次、一致性和可追溯性上都受限于人力与个人经验。四足机器人能爬坡越坎、钻窄道，是合适的载体，但「会走」不等于「能巡检」——还需要持续定位、全局任务规划、反应式避障、场景级隐患理解、人机交互，以及与工单系统的对接。

作者指出当前落地系统的通病是把这些能力做成一堆松耦合模块：传感器驱动、导航算法、视觉语言服务、操作界面、企业应用各自持有状态，靠点对点适配器互通，由此产生三个缺口——语义任务意图与机器人位姿 / 观测 / 执行状态脱节、历史任务经验没有被系统性保留与检索、提示词 / 工具策略 / 任务图 / 技能的改动难以评估、溯源与安全回滚。

2. 主要方法/创新点

2.1 整体框架：四个平面 + 一条自进化环

HROS 把系统分成四层：Robot Runtime（硬件抽象：边缘算力、多模态传感、连接与 I/O、四足执行）、Embodied Autonomy Skills（把 SLAM、感知、全局规划、局部运动封装成有状态、可复用的「技能」）、Cognitive Agent Runtime（智能体编排、分层记忆、多模态推理、技能与工具调度，以及自进化闭环）、Interaction and Operations（语音与多模态 I/O、巡检任务控制台、企业闭环）。四层之间不是调用栈而是绑定关系：每个技能把自己的输入时间戳、执行状态、置信度或失败码、输出引用上报到共享上下文总线，认知层据此监控进度，但不进入实时控制回路。

HROS 四层架构。深色实线是运行时数据流，双向箭头是智能体与技能的绑定，虚线是自进化通路，绿线是安全门——只有过了安全门的候选版本才能回到技能运行时

卡点降维｜「具身智能体运行时」到底比普通导航栈多了什么

维度	常规四足巡检系统	HROS
状态归属	各模块自持状态，靠任务专用适配器点对点互通	共享上下文总线，物理状态与智能体推理同源
历史经验	跑完即弃，最多留一份日志	working / episodic / semantic 三级记忆，按意图加位置条件检索
变更治理	改提示词或技能直接上线，出事靠人肉回滚	候选版本走离线回归加安全门加版本灰度，可溯源可回滚
控制权边界	上层可直接下发运动指令	智能体只能编排技能，运动指令必须过 robot-runtime 接口

2.2 Robot Runtime：Vbot 四足平台

物理层用 Vbot 四足作为传感、算力、通信与移动的载体：双目相机、16 线激光雷达、IMU、GNSS 与 4G/5G，边缘计算机为地平线 RDK S100P（6 核 ARM Cortex-A78AE + 128 TOPS Nash BPU），机上跑感知与智能体服务。机器人控制器通过 HROS 的 robot-runtime 接口暴露运动指令与状态反馈——这层隔离的设计动机就是防止上层智能体绕过校验直接发底层执行器指令。

2.3 Embodied Autonomy Skills：四个有状态技能

这一层是全文唯一有实测数字的部分，四个模块全是现成开源件的工程化组合：

状态估计 · Fast-LIO2：输入激光雷达点云与 IMU，紧耦合估计 6-DoF 位姿并增量建图，输出先验点云地图与在线位姿。三种工作模式——建图（现场勘测阶段）、在线定位（日常巡逻，实时扫描配准到先验地图）、重定位（跟踪退化或重启后恢复位姿）。设计动机是一个共享地图坐标系：住宅巡逻会在不同光照、不同场景外观下反复重访同一资产，只有把每张图像、每个航点、每次隐患事件、每份报告都绑到这个坐标系，HROS 才能做空间相关的记忆检索与跨任务对比。
局部感知 · Hobot-Stereo：输入同步双目图像，输出稠密近场深度并与激光雷达障碍表示融合。设计动机是激光稀疏采样对近场矮障碍、细结构、遮挡边界表达不足。深度点先变换到地图系，按距离与置信度过滤后插入 EGO-Planner 消费的局部体素表示；双目是补充而非替代，不确定观测按保守处理，长时间未被重复观测就从局部地图过期删除。

两套互补的环境表示。左：Fast-LIO2 在共享任务坐标系下建出的全局三维点云图，用于重定位与任务规划；右：Hobot-Stereo 的稠密深度（左上）、融合点云（右上）、RGB 输入（左下）、局部鸟瞰几何（右下），补齐激光在近场的缺口

任务规划 · PCT-Planner：物业巡检是覆盖型任务而非单次起点到终点的查询，路线必须串起策略定义的视点（消防设施、设备房入口、垃圾收集点）且全程可通行。PCT-Planner 在三维先验点云图上算无碰路段，任务层按巡检策略排序并把结果存成可复用的任务模板。运行时全局路线只是参考而非直接运动指令，进度用「当前路段 + 当前航点 + 已完成视点 + 剩余巡检动作」表示——这样编排器可以暂停、恢复、重排非安全关键任务，而完全不碰局部控制器。

PCT-Planner 在先验点云图上生成的全局巡检路线，串联 8 个巡检航点，作为任务模板存档复用

运动智能 · EGO-Planner：输入全局参考路线、当前位姿、融合后的障碍表示，输出动力学可行的局部轨迹，再转成受速度、净空、连续性约束的四足控制指令。三种行为——标称跟踪、局部重规划（行人、违停车辆、保洁设备等临时遮挡时生成短绕行）、恢复（无可行局部轨迹时停机并上报带类型的失败码，交由任务层决定等待、重试还是呼叫操作员）。

EGO-Planner 在遛狗行人前方优化出的局部可通行走廊（蓝色区域），全局路线只给方向，让路的决策由局部规划器完成

2.4 Cognitive Agent Runtime（一）：接地的语音交互

流式 ASR 把语音转成带时间戳的意图假设，但不直接执行——要先用当前机器人位姿、活动任务、可见场景、权限策略做接地（grounding），有歧义或涉及安全的指令必须显式确认。TTS 回报任务受理、导航进度、发现的隐患、恢复动作、完成状态。设计动机是让文本、语音、图像、企业消息进同一个多模态任务接口，而不是各自散在独立应用里。

2.5 Cognitive Agent Runtime（二）：分层记忆

记忆按保留期限切三层：working 存短程信息（当前任务、近期对话、机器人状态、局部观测、待返回的工具调用）；episodic 存按时间索引的任务片段（轨迹、决策、观测、隐患事件、失败与恢复结果）；semantic 存稳定的场地知识（地图分区、资产标识、巡检规则、历史缺陷、物业处置流程）。检索由任务意图、空间位置、场景语义、执行状态共同条件化。

卡点降维｜三层各装什么、检索到底怎么发生

举个例子：机器人第 7 次巡检 3 号楼配电房门口，画面里地上有个纸箱。

working memory 装「此刻」：当前任务 ID、刚才那句「去 3 号楼看看」、当前位姿、最近两帧观测、还没返回的 Qwen3-VL 调用。任务结束即清。

episodic memory 装「哪一次」：第 3 次巡检在同一位置判过「杂物堆放」，人工复核改判为「临时快递件」；第 5 次因行人挡路触发过一次局部重规划。带时间戳，按次索引。

semantic memory 装「这地方一贯如此」：配电房属消防重点区域，规则是门前 1 米内不得堆物，历史缺陷记录里它是高频点位。不随单次任务变。

检索不是把三层全灌进上下文，而是拿「意图=巡检 + 位置=配电房 + 场景语义=地面有箱子」去条件化召回：semantic 给出适用规则，episodic 给出「上次这类箱子被人判成快递件」，working 给出当前画面。于是这次就有机会不再误报——而这正是论文说要用 Recall@5 与任务完成率去量的东西，只是数字还没给。

2.6 Cognitive Agent Runtime（三）：安全门把守的自进化

自进化被明确定义为「经验到更新」的受治理流程，而不是在线改模型。每次任务结束把执行轨迹与人工反馈写入经验缓冲区；反思与评估阶段做成败打分、失败归因、一致性检查，产出候选更新（记忆条目、提示词、工具选择策略、任务图、可复用技能）；候选版本在离线回归用例与安全规则上评估，带溯源记录，过了安全门才走版本化灰度上线。

graph TD
    A["任务执行轨迹 + 人工反馈"] --> B["经验缓冲区<br/>episodes · traces · failures"]
    B --> C["反思与评估<br/>成败打分 · 失败归因 · 一致性检查"]
    C --> D["候选更新<br/>记忆 / 提示词 / 工具策略 / 任务图 / 技能"]
    D --> E{"安全门<br/>离线回归 + 安全规则"}
    E -- "不通过" --> F["拒绝并留痕，不进运行时"]
    E -- "通过" --> G["带溯源的版本化灰度"]
    G --> H["部署进技能运行时"]
    G --> I["保留一键回滚到上一版本"]
    H -.-> A

注意这张图里 F 与 I 两个节点才是真正的设计主张：任何候选更新都有一条「被拒绝且留痕」的路径，任何已上线版本都有一条「回退」的路径。论文把这条边界称为长期运行机器人保持可复现、可审计所必需的东西。

2.7 端到端：从图像到工单的证据链

巡检推理流水线按「观测 → 解释 → 校验 → 上报 → 复核」组织。OpenClaw 选定与航点关联的图像，绑上位姿、时间戳、航点、任务 ID、适用巡检策略，再调 Qwen3-VL；返回的描述被解析进一个受约束的事件 schema（隐患类别、严重度、证据、位置、建议处置动作）。目标类别分两组——安全类（设备房周边堆物、消防通道占用、地面积水、线缆裸露）与环卫类（垃圾桶满溢、地面污渍、散落垃圾落叶、公共区域异常堆积）。

只有 schema 校验通过的事件才进入运营流水线。系统保留原始图像、模型原始响应、解析后字段、投递状态，打上位置与区域标签后生成结构化报告，经钉钉 / 飞书适配器路由给责任人做复核与派单。人工修正以带标签的反馈形式回写，而不是静默覆盖原结果——既保证后续评估与记忆更新有料，又保住了可审计、可回放的记录。这个设计同时把多模态推理挡在安全关键的运动回路之外。

2.8 关于「训练目标」

这篇没有训练环节，全系统由现成组件拼装，没有可学习参数也没有损失函数。全文唯一的公式是语音实验的词错率定义：

\[\text{WER} = (S + D + I) / N\]

其中 $S$、$D$、$I$ 分别是替换、删除、插入错误数，$N$ 为参考词总数。

3. 核心结果/发现

在真实住宅小区部署的系统级测量（Table 1）：

分组	子系统	指标	结果
导航与运动	任务执行	航点可达率	100%
	Fast-LIO2	室外定位误差	< 10 cm
	EGO-Planner	障碍响应时延	< 200 ms
语义巡检	Qwen3-VL	垃圾满溢检出率	95%
	Qwen3-VL	消防通道占用检出率	95%
	Qwen3-VL	车道占用检出率	90%
	Qwen3-VL	地面积水检出率	88%
	Qwen3-VL	公共设施损坏检出率	85%
	巡检推理	隐患误报率 / 漏检率	均 < 5%
运营闭环	钉钉 / 飞书适配器	告警投递成功率	99%
	HROS 报告	结构化报告生成准确率	99%
现场运行	机器人平台	连续续航	> 3 h
	端到端任务	全覆盖单次巡检耗时	≤ 60 min

几点值得注意的：

检出率随视觉类别下降得很规律：垃圾满溢与消防通道占用 95%，公共设施损坏只有 85%。作者归因于设施损坏这一类的视觉形态多样性远大于前两类——这与「隐患由空间与运营上下文定义、而非仅由物体身份定义」的立论是自洽的。
续航 3 h 对单次任务 60 min，留出了跑多轮的余量，这是能排班的前提。
最重要的一条反而是没有数字的那部分：论文 §5.6 为语音交互、分层记忆、安全门自进化写了完整的受控实验协议（WER、接地意图准确率、确认准确率、P95 端到端时延；Recall@5、时空接地准确率、上下文 token 缩减率、陈旧记忆错误率；任务成功率变化、回归率、安全规则违反率、安全门拒绝率、回滚成功率、要求安全门逃逸率为零），但 Table 1 里这三块一个数都没有，原文自陈「数值需待相应受控试验完成后才报告」。也就是说，HROS 的认知运行时目前是一份架构主张与一套评测设计，实证的是它下面那层经典导航加 VLM 巡检的流水线。

4. 局限性

作者列了四条：长期地图维护（停车格局、施工、植被、季节变化需要增量建图、变化检测与多会话地图管理）、开放世界隐患识别（更宽的隐患分类体系需要更多样的标注数据、校准置信度与歧义处理）、智能体评测与安全（记忆与自进化机制需要专门基准衡量检索质量、适配收益、回归风险与回滚可靠性，之后才谈得上在生产环境放开自动更新）、人机协作（户外噪声下的 ASR 鲁棒性、安全关键指令的确认设计、操作员负荷、与门禁广播报警数字孪生的集成）。

补一句读这篇时最该带着的判断：它是一篇系统与架构论文，导航与感知全部采用现成开源件，真正的新意在于层间边界与治理流程的设计；而这套设计里最有主张的三块（语音接地、分层记忆、安全门自进化）恰恰还停在协议阶段，尚未提供可比较的实验证据。

27. EgoPathBench (2026)

———把「导航决策」压成第一人称图上的一串编号，对错交给场景几何裁定

📄 Paper: arXiv:2609.16610

精华

把「整合式空间智能」这个虚概念落成一个可判定的动作：在当前第一人称图上，从编号好的可见路点里挑出一条有序路线，对错由场景几何直接判，不需要跑完整导航系统。关键设计是「同图、同编号、两套可行性图」——质点 agent 与 0.6 m 机身 agent 共享观测和动作词表，只换可通行图，从而把「具身约束」这一个变量单独隔离出来测量。评测不比对是否模仿专家轨迹，而看所选动作的几何后果（候选是否可行、每条相邻边是否合法、末点是否落进目标域），参考路线只用来证明「有解」，不是唯一答案。五个诊断口径拆开后暴露出真正的瓶颈既不是输出格式也不是第一步，而是中间边——首步合法率 88–96%，整条路线合法率在具身任务上掉到 5–7%。同一套几何标注顺手产出 31,852 条带 Spatial CoT 的训练数据，微调 Qwen3.5-4B 后本榜 3.9→38.9，三个外部空间基准也全部上涨。

1. 研究背景/问题

现有空间智能基准（SpatialVLM、VSI-Bench、3DSRBench、EmbSpatial-Bench 等）测的是孤立判断：两个物体谁左谁右、距离多远、什么朝向。但导航决策要求把目标识别、动作后果评估、距离估计、路径规划同时做对，这些孤立能力加起来不等于整合能力。另一端，完整导航系统的成败又被建图、定位、记忆、控制、重规划层层稀释，测不出基础 VLM 本身的空间决策水平。

EgoPathBench 卡在中间：给一张第一人称 RGB、一个自然语言目标、一组画在图上的编号路点，问 VLM 能不能直接输出一条几何上可行、目标上一致的路线。

同一个第一人称场景：「房间里有沙发吗」「茶几在沙发前面吗」这类识别与局部关系问题都答对了，但要求规划一条到茶几的路线时输出 [1,7,23] 却违反了路线与目标条件（右图红线）。这正是论文要测的能力缺口

2. 主要方法/创新点

EgoPathBench 构建流水线：选场景与第一人称视角、选目标、生成可见路点，再分别构建质点与具身两套导航图、目标域和几何校验过的参考路线；这些固化的场景标注之后才用来生成图文问题与 Spatial CoT，产出 2 个可通行性任务 + 3 个路线规划任务

① 整体框架概述

EgoPathBench 由三件东西组成：一个统一的动作接口（图像 + 编号路点 + 语言目标 → 一个 JSON 编号数组）、一套离线固化的场景标注（可见路点、两套可行性图、目标域、参考路线）、一个按顺序执行的几何判定器。模型全程只看得到 RGB 图和提示词，判分却发生在与这张图配准的 3D 场景里——这就是所谓「动作有明确后果」。

② 逐模块讲解

模块 1：任务接口与动作词表

输入：一张第一人称 RGB，上面叠了编号圆点；一段自然语言任务。
处理：模型要把显示 ID 与场景位置对应起来，判断哪些能走、怎么串成一条路。
输出：一个 JSON 数组。两个可通行性任务输出无序集合，三个路线任务输出从指定起点出发的有序序列。
设计动机：五个任务共用一套输入输出协议，差异只来自目标规格、agent 几何、评分约束，因此跨任务、跨模型可以直接比。

五个任务的分工：

任务	目标规格	Agent	输出	评分约束	基准题数
Point Traversability	无	质点	ID 集合	逐候选可通行分类	146
Embodied Traversability	无	0.6 m 机身	ID 集合	逐候选机身可行分类	146
Point Path	显式物名	质点	有序路线	合法 ID、指定起点、合法边、可接受终点	309
Embodied Path	显式物名	0.6 m 机身	有序路线	上面全部 + 机身宽度下的边合法性	309
Intent Path	意图 + 视觉线索	0.6 m 机身	有序路线	意图消歧后的终点 + 具身路线合法性	201

模块 2：场景、视角与目标筛选

输入：InternScenes 归一化后的可仿真室内资产（原始扫描来自 3RScan、ScanNet、ARKitScenes、Matterport3D）。
处理：在可通行空间里采样第一人称相机，剔除镜头紧邻处被挡住的视角；再用视锥投影、观测距离、投影尺寸、可见表面证据四道过滤筛目标实例，把出画、太小、被重度遮挡的目标去掉。
输出：一条「场景–视角」记录，绑定相机参数、场景几何、保留的目标与 RGB 观测。
设计动机：后面所有路点和路线标注都挂在这条记录上，保证图像里看到的和几何里算的是同一件事。

模块 3：路点与几何标签

输入：保留下来的视角。
处理：往图里投两类标记——地面动作候选，以及选中的物体/结构表面位置（作为不可通行负样本）。用深度、射线可见性、标记间距三重检查，保证每个显示 ID 对应一个独立的场景位置，且不会互相重叠或被前景挡住。
输出：每个候选带 ID、图像投影坐标、场景三维坐标。
设计动机：负样本的存在让「把所有编号都选上」这种偷懒策略失效——可通行性任务混了可行地面点、对宽度敏感的地面点、可见表面负样本三类。

模块 4：成对路线构造（本文最核心的控制变量设计）

输入：一条场景–视角记录 + 一个目标。
处理：起点锚在图像底部附近的可见地面；在目标足迹周围生成可行终点区域；然后分别在质点自由空间和具身自由空间里搜索，把连续路径稀疏化成路点，再投影回当前图像。
输出：一对共享目标、起点、视角、候选空间，但分别通过各自 agent 几何校验的参考路线。
设计动机：Point Path 和 Embodied Path 之间只差 agent 几何这一个变量。模型在两者上的差距，就是纯粹的「具身约束理解能力」。

卡点降维 · 两套可行性图到底差在哪

同一张图、同一组编号、同一个目标，为什么标签会不一样？

维度	Point Agent（质点）	Embodied Agent（0.6 m 直径机身）
观测与编号	一张 RGB，一套显示 ID	完全相同，不换图也不换编号
节点可行性	只要落在几何连通的自由空间	还要求该点周围有足够 clearance 容下机身
边合法性	两点之间几何直连即可	用 0.30 m 名义半径做扫掠走廊检查，整条走廊不能撞
典型后果	家具之间的窄缝、半开的门算可通行	同一批点被判不可行，路线必须绕远
榜单落差	Point Path 最高 SR 35.9%	Embodied Path 最高 SR 2.9%

一句话：同一个视觉上看着合理的动作，在两种 agent 模型下后果完全不同——这就是论文反复强调的「相同的视觉选择，几何后果不同」。

模块 5：问题文本与 Spatial CoT

输入：已经固定下来的目标身份、可见路点、目标域、参考路线。
处理：显式目标任务直接点名物体；Intent Path 则先从当前视角可见物体里构造候选宇宙，用关系、属性、颜色、距离线索生成描述，再回代验证这段描述在当前视角下能唯一锁定那个固定目标，否则丢弃。训练集额外由 GPT-5.5 把「目标 + 候选 + 可行性标签 + 合法边 + 参考路线」口语化成 Spatial CoT 推理文本，导出前再与形式化标注对账。
设计动机：语言生成始终在几何真值下游，改措辞不会改目标和路线几何。Intent Path 就是从已接受的 Embodied Path 实例派生的，只换语言规格。

③ 端到端数据流

整条流水线最反直觉的一点是顺序：几何先固化，语言最后长上去。

graph TD
    A["InternScenes 室内资产"] --> B["采样第一人称相机, 剔除被遮挡视角"]
    B --> C["筛目标: 视锥 + 距离 + 投影尺寸 + 可见表面"]
    C --> D["投可见路点: 地面候选 + 表面负样本"]
    D --> E["构建两套可行性图: 质点 / 0.6m 机身"]
    E --> F["搜索成对参考路线, 稀疏化并投回图像"]
    F --> G{"连通性 / 可行性 / 到达目标域 / 路点可显示"}
    G -- "任一不过" --> H["丢弃该路线单元"]
    G -- "全过" --> I["目标 / 路点 / 目标域 / 参考路线就此冻结"]
    I --> J["生成问题文本与 Spatial CoT, 回代校验"]
    J --> K["质量审计 + 难度选样, 得到 31852 / 1345 / 1111"]

④ 评测指标（这篇论文的「损失函数」）

没有训练损失，但有一套严格的打分定义。可通行性用平衡准确率和 F1：

\[\mathrm{BA} = \frac{\mathrm{TPR} + \mathrm{TNR}}{2}, \qquad F_1 = \frac{2PR}{P + R}\]

路线任务用三个逐级收紧的口径。记 $V_i$ 表示第 i 条预测可解析、ID 合法、起点正确、且每条相邻边都合法；$S_i$ 在此之上再要求终点可接受：

\[\mathrm{VPR} = \frac{1}{N}\sum_i V_i, \qquad \mathrm{SR} = \frac{1}{N}\sum_i S_i, \qquad \mathrm{SPL} = \frac{1}{N}\sum_i S_i \cdot \frac{\ell_i}{\max(\ell_i,\, p_i)}\]

其中 $\ell_i$ 是到可接受目标的最短合法参考长度，$p_i$ 是预测路线长度——失败路线 SPL 直接记 0。总分是五个任务的等权宏平均：

\[\mathrm{EgoPathScore} = \frac{100}{5}\Big[ (2\mathrm{BA}_{PT} - 1) + (2\mathrm{BA}_{ET} - 1) + \mathrm{SR}_{PP} + \mathrm{SR}_{EP} + \mathrm{SR}_{IP} \Big]\]

卡点降维 · 为什么 BA 要写成 2BA − 1

举个例子：假设一个模型对「这个点能不能走」完全瞎猜，可行类和不可行类各命中一半，那么 BA = 0.5。如果直接把 BA 平均进总分，这个瞎猜模型白拿 50 分；而三个路线任务上真实模型的成功率普遍只有 0–5%，两项「送分题」会把总分整个带偏，榜单就变成了在比谁的可通行性分类更准。换成 2BA − 1 之后：瞎猜 → 2×0.5 − 1 = 0，全对 → 2×1.0 − 1 = 1。这叫 chance-adjusted，把随机基线拉回零点，和成功率（瞎猜几乎必然是 0，全对是 1）统一了量纲。代回榜首 Gemini 3.1 Pro 手算一遍：(2×0.765 − 1) + (2×0.727 − 1) + 0.359 + 0.029 + 0.040 = 1.412，再 ÷5 ×100 = 28.2，就是表里的 28.3。

⑤ 判定流程（评测器怎么一步步扣分）

卡点降维 · VPR、SR、SPL 究竟卡在哪一环

这三个指标不是三个独立分数，而是同一条判定链上的三个不同深度。评测器严格按顺序走，一旦某一环失败就直接判负，后面的检查不再执行：

graph TD
    A["模型返回的 JSON 编号数组"] --> B{"可解析, 且 ID 全部可见合法"}
    B -- "否" --> X1["判负: 格式错误 / 非法 ID"]
    B -- "是" --> C{"首个 ID 等于指定起点"}
    C -- "否" --> X2["判负: 起点错误"]
    C -- "是" --> D{"每对相邻点都是该 agent 的合法直连边"}
    D -- "否" --> X3["判负: 非法边"]
    D -- "是" --> E["VPR 计入: 这是一条完全合法的路线"]
    E --> F{"末点落在可接受目标域内"}
    F -- "否" --> X4["判负: 走得合法但没到目标"]
    F -- "是" --> G["SR 计入, 再按最短参考长度折算 SPL"]

所以 VPR 减 SR 的差值 = 路走得合法但走错了地方，而 1 减 VPR = 路线本身就不合法。论文后面全部的诊断分析都建立在这个分解上。

顺带说明提示词协议：所有任务的用户提示都会明确「图中是编号候选点」「从显示 ID 1 出发」「机身直径 0.6 m」，并要求只返回一个 JSON 数组。每次评测用 8,192 token 完成预算、temperature 0、top-p 1。

3. 核心结果/发现

（1）九个基础 VLM 的榜单：最高分只有 28.3

模型	EgoPath Score	Point Trav. BA/F1	Embodied Trav. BA/F1	Point Path VPR/SR/SPL	Embodied Path VPR/SR/SPL	Intent Path VPR/SR/SPL
Gemini 3.1 Pro	28.3	76.5 / 79.0	72.7 / 56.2	63.7 / 35.9 / 28.7	9.1 / 2.9 / 2.4	10.4 / 4.0 / 3.3
GPT-5.5	27.3	74.1 / 77.1	77.3 / 62.5	60.5 / 31.1 / 24.8	5.5 / 1.3 / 1.3	9.0 / 1.5 / 1.4
Claude Opus 4.8	25.6	77.9 / 74.3	73.5 / 59.6	66.0 / 21.0 / 16.7	12.0 / 1.6 / 1.5	14.4 / 2.5 / 2.2
MiniMax M3	21.8	77.0 / 76.2	68.7 / 52.8	50.8 / 13.3 / 8.7	5.5 / 1.9 / 1.7	9.0 / 2.5 / 2.3
Qwen 3.6	16.4	67.4 / 72.1	64.8 / 49.1	49.2 / 15.2 / 10.9	2.6 / 1.0 / 0.9	5.0 / 1.5 / 1.3
Mistral L3	15.8	65.2 / 70.8	68.5 / 52.5	35.6 / 11.0 / 5.8	0.3 / 0.0 / 0.0	3.5 / 0.5 / 0.5
Llama 4	14.9	66.8 / 66.5	66.0 / 49.8	36.2 / 8.7 / 5.9	1.9 / 0.0 / 0.0	2.0 / 0.0 / 0.0
Kimi K2.6	9.7	60.2 / 69.8	57.8 / 44.2	40.5 / 11.7 / 8.2	1.3 / 0.7 / 0.5	1.5 / 0.5 / 0.4
Grok 4.3	1.4	52.3 / 58.4	50.0 / 35.8	18.4 / 2.6 / 1.2	5.2 / 0.0 / 0.0	3.5 / 0.0 / 0.0

两个读法：逐点判断远强于整体成图——可通行性 BA 都在 60–78%，但 Point Path SR 最高只有 35.9%；具身约束是断崖——同一个模型从 Point Path 到 Embodied Path，SR 从 35.9% 掉到 2.9%，直接掉一个数量级。

（2）失败到底发生在哪一步

九个 VLM 汇总的路线诊断（%）：输出可评测率 96% 以上说明格式不是瓶颈；首边合法率 88–96% 说明「第一步走哪」也不是瓶颈；但整条路线合法率在具身任务上跌到 4.8% / 6.5%，联合成功率只剩 1.0% / 1.4%

拆开来看非常清楚：

输出协议不是瓶颈：96.3–96.8% 的输出都是可评测的路线。
首步不是瓶颈：96.0% / 90.4% / 88.0% 的预测第一条边是合法的。
终点定位很弱：目标一致的终点率只有 28.9%（Point）、4.8%（Embodied）、5.2%（Intent）。模型可能认出了目标物在哪，却找不到一个紧邻它且对该 agent 可行的终端路点。
真正的病灶是中间边：整条路线合法率掉到 46.8% / 4.8% / 6.5%。在「首边合法」的预测里，有 51.3% / 94.7% / 92.7% 在后面某条边上违规。

更狠的一组控制实验：即使同时限定首边合法且终点正确，仍有 42.2%（Point）、75.8%（Embodied）、69.4%（Intent）的路线中间挂掉。把题目减半到路点更稀疏的一半上，比例几乎不变（42.8% / 76.6% / 67.3%），说明不是「图上点太密看花眼」。而且在只需一条边的具身/意图题上违规率已经是 90.6% / 88.4%，三条边以上才升到 94.0% / 92.4%——问题不在长程累积，而在对 agent 几何的基本理解。

（3）人类参照

同题对照的五任务雷达图：人类（粗绿线）EgoPath Score 54.2，最强 VLM 在这批题上只有 28.6，且优势覆盖全部五个轴而非集中在某一项

在随机抽取的 50 题（每任务 10 题）同接口对照上，人类 EgoPath Score 54.2 对最强 VLM 的 28.6；三个路线任务的平均有效路径率 70.0% 对 26.7%，平均成功率 46.7% 对 13.3%。论文明确说明这是探索性同接口参照，不是人类天花板估计。

（4）基准本身是否可信

依赖配对视觉输入：去掉图像或换成不匹配的路点叠加层，路线 SR 全面塌到接近 0（GPT-5.5 的 Point Path SR 从 30.0% 掉到 0.0% / 10.0%），说明模型确实在看图而不是只靠提示词猜。
非法边有真实几何后果：对 5,563 条含非法边的预测各抽一条边，沿 0.30 m 扫掠走廊按 0.05 m 采样查深度与物体索引渲染，88.7% 能找到明确注册的障碍物证据。
结论对离散化不敏感：改机身半径（0.25 / 0.35 m）、占据栅格（0.04 / 0.06 m）、目标环（0.05 / 0.15 m），九模型排序的 Spearman ρ 全部等于 1.0。把总分里的 SR 换成 SPL、或先按任务族内平均再等权，排序同样不变。

（5）训练资源确实有用

用 LoRA（rank 8、alpha 16、冻结视觉塔、两阶段 1e-4 到 5e-5）在 31,852 条带 Spatial CoT 的训练集上微调 Qwen3.5-4B：

设置	Score	Point Trav. BA/F1	Emb. Trav. BA/F1	Point Path VPR/SR/SPL	Emb. Path VPR/SR/SPL	Intent Path VPR/SR/SPL
Qwen3.5-4B base	3.9	54.6 / 55.6	54.9 / 33.1	9.1 / 0.7 / 0.1	0.3 / 0.0 / 0.0	0.0 / 0.0 / 0.0
+ EgoPathBench SFT	38.9	89.3 / 89.2	83.4 / 71.2	77.0 / 31.4 / 28.6	34.9 / 7.1 / 6.9	44.8 / 10.4 / 10.0

一个 4B 模型微调后拿到 38.9 分，超过了榜首的 Gemini 3.1 Pro（28.3），且 Embodied Path SR 7.1% 是全表最高。更值得注意的是外部迁移全部为正：

外部基准	设置	Base	SFT	Δ
VSI-Bench Route Planning	Full	29.38	33.51	+4.13
VSI-Bench Route Planning	Debiased	20.18	24.56	+4.38
SpatialEval-VTQA	Full	61.8	71.4	+9.6
3DSRBench	Full	58.0	59.4	+1.4

说明学到的不是「刷这个榜的输出格式」，而是可迁移的空间决策能力。

4. 局限性

人类参照只有 50 题、单名志愿者，论文自己定性为探索性对照而非人口层面的能力上限；场景全部来自 InternScenes 归一化的重建资产并经 Blender 渲染，与真实相机噪声、动态障碍、光照变化之间仍有分布差距。此外，任务形态是单张静态第一人称图上的一次性决策，不涉及探索、记忆与重规划，因此高分并不直接等价于闭环导航能力；场景后果审计中还有 11.3% 的非法边在辅助渲染下给不出明确障碍证据（论文认为这是证据不足而非标签错误）。

28. AdaGeoVLN (2026)

———沿「表征深度」与「导航时间」两条轴做几何取舍

📄 Paper: arXiv:2609.18789 · Project Page

精华

几何基础模型（GFM）不该只把最后一层输出丢给策略——AdaGeoVLN 把 VGGT 的第 11/17/23 层分别接到 VLM 前三个解码层，让不同成熟度的几何信息在策略推理的不同阶段进场。关键在于它设计了一个严格对照：把同一份终端特征在同样三个位置注入三次（Deep×3），SR 从无几何基线的 46.5% 反而掉到 42.1%，证明收益来自表征的多样性而非交互次数。时间轴上，它把 VGGT 全局注意力的 KV 历史当成一个按导航价值排序的可淘汰缓存，用指令相关性、几何置信度、转移新颖度三个信号打分后逐层 TopK。这个保留动作发生在当前帧推理之后、服务于下一帧，因此「选哪些历史」等于在塑造未来几何推理的上下文，而不是事后做压缩。单 RGB 流、零额外导航数据下取得 R2R-CE 55.7 SR / 51.4 SPL，同时比按新旧保留的基线省掉 39.7% 的 GFM-KV 显存。

1. 研究背景/问题

VLN 智能体在陌生环境里要做的不只是物体识别和语言-外观匹配，还得推理空间关系、视角变化和观测之间的时序联系，这让几何表征成为语义推理的天然补充。VGGT 这类几何基础模型能从纯 RGB 前馈推出场景结构，但两个问题一直没定论：（1）策略到底该看几何编码器的哪一层？ 主流做法只暴露终端表征，可中间层未必没有互补信息；（2）在有限显存下，哪些历史几何状态值得留？ 按新旧（recency）淘汰虽然能封住显存增长，却默认「越老越没用」——而一个早期观测可能恰好锚定了指令里的地标，或者提供了最可靠的几何。

2. 主要方法/创新点

① 整体框架

AdaGeoVLN 是一个流式 VLN 框架，由三部分构成：一个冻结的 VGGT 负责从单路 RGB 流吐出多层几何特征；一个 Qwen3.5-4B 策略负责把指令和视觉 token 变成离散动作；中间夹着两套「几何选择」机制——层级 GFM–VLM 融合决定策略在哪一层看到哪一档几何（深度轴），导航感知 GFM-KV 保留决定哪些历史几何状态留在 VGGT 缓存里供下一帧使用（时间轴）。两条轴正交：前者管「策略拿到什么」，后者管「这些表征是在什么历史上下文中算出来的」。

AdaGeoVLN 总览。(a) 深度轴：冻结 VGGT 的浅/中/深三档特征耦合进 VLM 策略的连续解码层；(b) 时间轴：候选 GFM-KV 按指令、转移、置信度三信号打分，在固定预算内保留、其余淘汰；(c) 与单 RGB 流式 VLN 基线的性能对比

形式化地，第 $t$ 步智能体看到 RGB 图 $I_t$ 和指令 $L$，几何基础模型 $G$ 在深度 $m$ 上暴露表征 $G_t^m$，策略按下式出动作：

\[a_t \sim \pi_\theta\!\left(a_t \mid L,\, I_{1:t},\, M_t\right)\]

其中 $M_t$ 是保留下来的几何侧记忆。

② 模块一：层级几何融合（深度轴）

输入：VGGT 第 11、17、23 层的空间 patch 特征（每个位置 2048 维）。这三档跨越了 VGGT 层级的分离阶段，且都注入得足够靠前，好让几何更新有机会在后续策略计算中传播开。

处理：每档特征先归一化并对齐到 VLM 的图像 token 分辨率——把相邻 2×2 的 patch 拼起来，得到 8192 维 token：

\[Z_t^m = \mathrm{Group}_{2\times 2}\!\left(\mathrm{RMSNorm}(G_t^m)\right)\]

然后走两条并行支路。一条是深度专属的适配器，把 8192 维压到语言隐空间的 2560 维：

\[\Phi_m : \mathbb R^{8192} \to \mathbb R^{4096} \to \mathbb R^{2560}\]

另一条是逐 token 的门控网络，为每个合并 token 输出一个标量 logit：

\[\Gamma_m : \mathbb R^{8192} \to \mathbb R^{2048} \to \mathbb R\]

两者相乘、再乘上一个可学习的标量 $s_m$ 控制该深度的整体贡献，就得到几何更新量：

\[\Delta_t^m = s_m \left[\sigma\!\left(\Gamma_m(Z_t^m)\right) \odot \Phi_m(Z_t^m)\right]\]

输出：几何更新以残差形式加在解码层的图像 token 位置上（文本 token 状态不被直接覆写）：

\[H_{t,\mathrm{img}}^{k,+} = H_{t,\mathrm{img}}^{k} + \Delta_t^m, \qquad (m,k) \in \{(11,0),\, (17,1),\, (23,2)\}\]

设计动机：论文刻意不给每个深度指派预设的语义角色（不说「浅层管纹理、深层管结构」），而是把层级本身当成一个待检验的经验假设——不同几何处理阶段的隐状态可能携带互补信息，只看终端状态会把它们抹掉。

跨表征深度的层级 GFM–VLM 融合。VGGT 的 11/17/23 层分别耦合到 Qwen3.5-4B 的前三个解码层，每条支路都经过 RMSNorm、2×2 分组、投影、逐 token 门控与可学习缩放，再残差加回图像 token 位置

卡点降维：「多深度注入」和「把终端特征多注几次」到底差在哪？

这是全文最容易被略过、却最关键的一处设计。作者专门造了一个 Deep×3 对照组：融合的次数、位置全部与层级融合对齐，唯一区别是三次注入的都是同一份终端特征 $G^{23}$。

维度	Single deep（单次终端注入）	Deep×3（重复终端注入）	Hier. 层级融合
策略看到的几何档位	仅第 23 层	仅第 23 层（重复 3 份）	第 11 / 17 / 23 层
融合次数	1	3	3
融合位置	L2	L0 / L1 / L2	L0 / L1 / L2
R2R-CE SR / SPL	48.9 / 44.1	42.1 / 36.9	55.7 / 51.4

结论很硬：Deep×3 不但没追平层级融合（差 13.6 / 14.5 个点），甚至跌破了完全不用几何的基线（46.5 / 42.3）。说明「更多几何-策略交互」本身不是收益来源，真正起作用的是让策略在不同推理阶段接触到不同成熟度的几何表征。

需要说明：论文只报告了这个现象，没有展开解释 Deep×3 为何会低于无几何基线。一个合理的推测是同一份残差被叠加三次，等于在同一方向上反复放大、持续挤压视觉 token 的原始语义分布，而三个门控网络又都在拟合同一个信号，白白消耗了容量——但这属于笔者推测，论文未做验证。

③ 模块二：导航感知 GFM-KV 保留（时间轴）

输入：VGGT 全局注意力层的 KV 缓存。注意作用域——Qwen/VLM 自己的 KV 缓存、以及为层级融合准备的那份帧对齐 $G^{11/17/23}$ 特征 CPU 缓冲，都是独立的，不在这里被裁剪。

处理：第 $g$ 个全局注意力层的候选池由「上一步保留的历史」加「当前帧新产生的 KV」组成：

\[C_t^g = M_{t-1}^g \cup (K_t^g,\, V_t^g)\]

每个候选 patch 由三个互补信号联合打分。

(a) 指令相关性 $r_{f,p}$ —— 把几何和具体的导航子目标挂上钩。先用标点、顺序词（then、next、after that）和引出导航动词的连词把指令切成片段（同时保住 next to 这类不该切的短语），每段做 mean-pooling 得到单位长度的段嵌入 $e_j$。设 $u_{f,p}$ 是从 $G^{11}$ 投影进 Qwen 空间（门控与缩放之前）的空间分组 token，为了剔除共享的嵌入分量，视觉 token 在帧内做中心化、段嵌入在指令内做中心化：

\[\bar u_f = \frac{1}{P_f}\sum_{p=1}^{P_f} u_{f,p}, \qquad \bar e = \frac{1}{J}\sum_{j=1}^{J} e_j\] \[r_{f,p} = \frac{1 + \max_j \cos\!\left(u_{f,p} - \bar u_f,\; e_j - \bar e\right)}{2}\]

取 max 而不是对整条指令求相似度，意味着每个 token 只需要跟某一个子目标对得上就算有用。

(b) 几何置信度 $c_{f,p}$ —— 光跟指令相关不等于几何可靠。把 VGGT 的深度置信场和点图置信场平均池化到对齐的 token 网格，把池化值 $\tilde c \in (1,\infty)$ 映射到 $1 - 1/\tilde c \in (0,1)$，再取两者的最小值：

\[c_{f,p} = \min\!\left(c_{f,p}^{\mathrm{depth}},\; c_{f,p}^{\mathrm{point}}\right)\]

用 min 是保守组合——两个预测器都有信心才算可靠。

(c) 转移新颖度 $\nu_{f\mid t}$ —— 压掉冗余历史。每帧用均匀池化的浅层投影 token 做一个 $\ell_2$ 归一化描述子 $d_f$，然后看它跟所有已观测帧中最近的那一个有多远：

\[\nu_{f\mid t} = \frac{1 - \max_{f' \in F_{\le t},\, f' \neq f} \cos(d_f,\, d_{f'})}{2}\]

值高说明没有别的帧提供过类似几何。描述子在 KV 被淘汰后依然保留，所以这个分数每步都会重算。同一帧的所有候选 patch 共享该分数。

(d) 联合打分与逐层预算 —— 相关性和置信度在插入时缓存、跨层共享，新颖度每步刷新。三者量纲不同，先在每层的候选 patch 上各自做 z-score 再等权相加：

\[S_{t,g}(f,p) = \lambda_r\, z_{t,g}(r_{f,p}) + \lambda_c\, z_{t,g}(c_{f,p}) + \lambda_\nu\, z_{t,g}(\nu_{f,p\mid t})\]

总容量按层重要性 $\rho_g$ 切分（离线按 GHOST 的逐层输入-输出余弦相似度算出），然后各层独立 TopK：

\[B_g = \lfloor \rho_g B_{\mathrm{total}} \rfloor, \qquad \sum_{g=1}^{24} \rho_g = 1, \qquad M_t^g = \mathrm{TopK}\!\left(C_t^g,\, S_{t,g},\, B_g\right)\]

输出：$M_t$，供第 $t+1$ 帧的 VGGT 前向使用。

导航感知的 GFM-KV 保留。(a) 指令相关性：分段嵌入与投影浅层 token 做中心化余弦、逐行取最大；(b) 几何置信度：深度与点图置信场池化标定后取 min；(c) 转移新颖度：帧描述子在描述子空间中与最近邻的距离。三路分数在每层做 z-score 后相加，按预算 Bg 取 TopK，结果带到下一步

卡点降维（一）：「900K 预算」到底是什么单位？

论文特意写了一句澄清，说明作者知道这里必被误读——900K 指的是跨 24 个全局注意力层加总的 layer-token 容量，不是场景里有 90 万个不重复的 token。

举个例子：假设预算 $B_{\mathrm{total}} = 2400$（真实设置是 900K，这里缩小到手算得动）。层重要性 $\rho_g$ 离线算好，比如第 3 层拿到 8%、第 20 层只拿 2%，那么 $B_3 = \lfloor 0.08 \times 2400 \rfloor = 192$，$B_{20} = 48$。走到第 5 帧时，第 3 层的候选池 = 上一步留下的 192 个 + 本帧新产生的 256 个 = 448 个；三路信号各自在这 448 个里做 z-score、等权相加，取分数最高的 192 个存下，其余 256 个丢掉。换句话说每层的占用是恒定的，与轨迹长度无关——这正是「有界记忆」的含义。

卡点降维（二）：保留下来的 KV 是给谁用的？

论文里 Selection follows the current VGGT pass 那句话很容易被一眼带过，但它决定了整个机制的性质：筛选发生在当前帧已经算完之后，因此不会改动当前帧的表征，只影响 $t+1$ 帧能看到的几何上下文。也就是说，保留不是「事后压缩」，而是「提前布置下一步的推理条件」。

graph TD
    A["第 t 帧 RGB 进入冻结 VGGT"] --> B["全局注意力: 当前帧 K/V 与上一步保留的 M(t-1) 一起参与"]
    B --> C["VGGT 输出第 t 帧的 11/17/23 层几何特征"]
    C --> D["层级融合注入 VLM 前三个解码层, 预测动作 a(t)"]
    B --> E["构造候选池 C(t) = M(t-1) 并上当前帧 K/V"]
    E --> F["三信号打分: 指令相关性 + 几何置信度 + 转移新颖度"]
    F --> G["每层独立 z-score 归一化, 按预算 B(g) 取 TopK"]
    G --> H["保留为 M(t), 只服务于第 t+1 帧"]
    H -.-> B

④ 训练与推理配置

论文没有引入新的损失项——策略在 R2R 与 RxR 训练集上联合做标准监督微调，约 100 小时 / 8× NVIDIA H100。Qwen3.5 的全部参数和几何融合模块参与优化，VGGT 全程冻结。观测端只有单路 RGB：无全景、无里程计、无深度输入（深度置信场来自 VGGT 自己的预测头，不是传感器）。

推理时每一步的流程就是上面 mermaid 图的那一圈：VGGT 前向 → 层级融合 → 出动作 → 打分筛 KV → 带入下一步。没有 beam search 或迭代 refinement。

3. 核心结果/发现

主榜对比（Val-Unseen，均为单 RGB 流）

方法	R2R-CE SR / SPL / OS / NE	RxR-CE SR / SPL / nDTW / NE	额外训练数据
Uni-NaVid	47.0 / 42.7 / 53.3 / 5.58	48.7 / 40.9 / – / 6.24	3577K
NaVILA*	49.7 / 45.5 / 57.6 / 5.37	49.3 / 44.0 / 58.8 / 6.77	12574K
JanusVLN*	52.8 / 49.2 / 58.0 / 5.17	51.4 / 44.3 / 59.1 / 6.46	0K
AdaGeoVLN	55.7 / 51.4 / 60.7 / 5.27	54.1 / 44.7 / 61.8 / 5.64	0K

相对 JanusVLN*，R2R-CE 上 SR/SPL 分别 +2.9 / +2.2 个点，OS 从 58.0 升到 60.7，只有 NE 略逊（5.27 对 5.17 m）；RxR-CE 上 SR +2.7、nDTW +2.7，NE 直降 0.82 m。值得强调的是这些数字建立在零额外导航数据之上，而 NaVILA 用了约 1257 万条外部样本。

深度轴消融：层级融合相对无几何策略 +9.2 / +9.1（SR/SPL），相对单次终端注入 +6.8 / +7.3，相对匹配了次数与位置的 Deep×3 高达 +13.6 / +14.5。唯一的例外是 NE——无几何策略反而略低（5.19 对 5.27 m），说明几何主要提升的是「成功与否」而非「停得多准」。

时间轴消融：在相近的 KV 占用下，Nav. 900K 比 Hybrid Inc.(8+24) 高 0.6 SR / 1.1 SPL，同时少用 3.33% 的 GFM-KV 显存和 9.35% 的总分配显存；相对 Hybrid Inc.(8+48) 是 +0.4 SR / +1.4 SPL，KV 显存省 39.73%、总显存省 20.22%。预算敏感性上，600K → 800K → 900K 对应 SR 53.1 → 54.2 → 55.7、SPL 49.2 → 50.2 → 51.4，多花 1142 MB 换来 2.6 / 2.2 个点，是一条清晰的精度-显存权衡曲线。不过表 IV 也诚实标出：OS 和 NE 的最好值仍然属于按时序保留的基线。

R2R-CE Val-Unseen 上的消融。(a) 几何融合方式对 SR/SPL 的影响，Deep×3 明显低于无几何基线；(b) 保留策略的精度-显存散点，红线串起 600K/800K/900K 三档预算，下方色条为相对 Hybrid 8+48 的显存节省

信号贡献（900K 预算下留一消融）：去掉置信度掉得最狠（SR −2.1），其次是指令相关性（−1.5）和转移新颖度（−1.4），而 KV 显存在四种配置间只差 0.20 MB——说明性能变化确实来自「选得对不对」，而不是「选了多少」。

定性与实机：仿真里选的那条 R2R-CE 轨迹要求离开壁炉、爬弧形楼梯、最后停在卧室门口，AdaGeoVLN 走通，Qwen3.5 SFT 和 JanusVLN 都失败。实机部署在 Unitree G1 上，配 ZED X Mini 相机，Jetson AGX Orin 做图像预处理并与远端 RTX A6000 工作站通信完成策略推理，两组室内实验涵盖地标转向、从指定一侧绕过盆栽、忽略无关门口、在指定目标附近停下。

仿真轨迹与人形机器人部署。上：需要爬楼梯、多次转向并精确停止的 R2R-CE 路线，仅 AdaGeoVLN 到达目标；下：Unitree G1 上的两组室内导航序列，第三人称与第一人称视角按指令片段对齐

4. 局限性

三个保留信号采用等权系数且未做调优，作者明确说留一消融只能证明每个信号都有贡献，不能说明当前权重是最优的，权重的调参或学习留作未来工作。此外，在导航误差 NE 和 oracle 成功率 OS 这两项上，按时序保留的基线仍然更好，说明导航感知筛选换来的是成功率与路径效率，而非停止精度；实机部署也依赖远端工作站推理，尚未做到板载实时。

29. VLingNav (2026)

——Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory

📄 Paper: arXiv:2601.08665

VLingNav 整体架构概述，展示了AdaCoT推理和VLingMem记忆模块。

精华

该论文提出了VLingNav框架，通过自适应链式思考（AdaCoT）和视觉辅助语言记忆（VLingMem）赋予具身智能体认知能力，实现了高效且可解释的具身导航。其核心亮点在于动态推理机制和跨模态记忆，使其在各种具身导航基准测试中达到SOTA性能，并展示了强大的零样本迁移能力和跨任务泛化能力，为资源受限机器人平台上的智能导航提供了启发。

研究背景/问题

当前的具身导航VLA模型在复杂、长周期任务中缺乏明确的推理能力和持久性记忆，难以泛化到不同环境和任务变体。现有模型多为被动式系统，缺少自适应推理机制，并且依赖有限的上下文窗口，导致在复杂场景下无法有效规划和避免重复探索。

主要方法/创新点

本文提出了VLingNav，一个以语言驱动的VLA框架，旨在通过两个核心组件赋予具身智能体认知能力：

VLingNav 整体架构。

自适应链式思考 (Adaptive Chain-of-Thought, AdaCoT)：受人类双进程理论启发，AdaCoT机制在必要时动态触发显式推理，使智能体能够根据任务复杂性在快速、直观执行和缓慢、深思熟虑的规划之间灵活切换。这解决了现有CoT方法中推理频率固定导致效率低下的问题。

VLingNav的自适应CoT标注流程图。

视觉辅助语言记忆 (Visual-Assisted Linguistic Memory, VLingMem)：为了处理长周期的空间依赖性，VLingMem构建了一个持久的、跨模态的语义记忆，使智能体能够回忆过去的观察结果，防止重复探索，并推断动态环境中的移动趋势，从而确保在长时间交互中的连贯决策。

训练数据和策略：

Nav-AdaCoT-2.9M数据集：构建了目前最大的具身导航数据集，包含推理标注和自适应CoT标注。
在线专家引导强化学习 (Online Expert-guided RL)：在模仿学习（SFT）之后引入了在线专家引导RL阶段，使模型能够获得更鲁棒、自探索的导航行为，超越监督演示的局限性。

在线后训练的混合rollout过程。

核心结果/发现

VLingNav在多项具身导航基准测试（如ObjectNav, EVT, ImageNav）上实现了最先进的性能。
在HM3Dv1 ObjectNav上，SR和SPL显著优于Uni-NaVid，展现了强大的探索和记忆能力。
在HM3D OVON上，VLingNav在所有测试拆分中均表现最佳，证明了其强大的跨领域泛化能力。
在EVT-Bench上，VLingNav在单目标跟踪和分心跟踪任务中均达到SOTA性能，尤其在复杂混乱场景中优势明显。
在Image Goal Navigation上，VLingNav的成功率和导航效率显著高于UniGoal，表明其先进的推理和规划能力。
在真实世界机器人平台上实现了零样本迁移，成功执行了未见过的导航任务，展示了强大的真实世界泛化和实用性。

局限性

当前模型主要依赖单目自我中心观测，这限制了其感知能力。未来工作可以探索多视角观测以提高导航效率。
模型采用单系统架构，限制了预测频率，可能影响在高度动态环境中的快速决策和障碍物处理。未来可升级为双系统结构以支持高频动作输出。
当前方法仅使用基于MPC的路点控制器，缺乏更灵活的运动模型，未来可集成更多运动能力。

30. Hydra-Nav (2026)

——Object Navigation via Adaptive Dual-Process Reasoning

📄 Paper: arXiv:2602.09972

精华

Hydra-Nav 最值得借鉴的核心思想是：将”慢思考”（CoT 推理）与”快行动”（低级反应控制）统一在单个 VLM 内，避免了多模型架构的碎片化问题。其关键创新在于通过 Iterative Rejection Fine-Tuning (IRFT) 让模型自主学习”何时触发推理”，而非固定频率触发，从而在成功率与推理开销之间取得最优平衡。三阶段课程训练（空间-动作对齐 → 记忆-推理集成 → 自适应推理）的渐进式设计，为构建具身导航智能体提供了可复用的训练范式。新提出的 SOT 指标（Success weighted by Operation Time）将推理延迟纳入评估，比 SPL 更贴近实际部署需求，值得在其他具身任务中推广使用。

研究背景/问题

Object goal navigation 要求机器人仅凭自我中心感知在真实环境中主动探索并定位目标物体。当前 VLM-based 方法存在两大核心缺陷：（1）时空推理能力不足，导致对已探索区域的记忆维护失效，引发重复探索；（2）在每步推理（chain-of-thought）的做法带来大量不必要的计算开销，而在关键”停滞点”又未能及时触发推理。现有双系统架构（slow-fast paradigm）依赖独立模型，存在架构割裂和切换灵活性不足的问题。

主要方法/创新点

Hydra-Nav 将高层规划与低层元动作统一在单一 VLM（基于 Qwen2.5-VL-7B）内，通过输出特殊 transition token obs 自主触发从快系统到慢系统的切换。

Hydra-Nav 整体架构：慢系统负责全局时空推理与高层规划，快系统负责低级元动作的高效执行，通过特殊 token obs 自适应切换。

双过程系统（Dual-process System）

慢系统（Slow system）：接收目标指令、当前全景观测（4 张 90° 间隔 RGB 图）和结构化长期记忆，生成 CoT 推理文本与高层计划，随后输出第一个元动作。
快系统（Fast system）：基于上一慢系统的对话历史，利用 KV-caching 仅编码最新自我中心帧，自回归解码低级原子动作（MoveAhead 0.25m、TurnLeft/Right 30°），避免重复处理完整历史上下文。
自适应切换机制：当智能体完成子目标或当前观测与现有计划矛盾时，输出 obs 触发全景扫描，构建新的地标节点并更新长期记忆，随后重新进入慢系统。

推理期间的上下文组织方式：短期记忆为交错图像-动作对，遇到 obs token 时更新记忆并清空短期上下文。

三阶段课程训练（Curriculum Training Pipeline）

Stage 1 — 空间-动作对齐（Spatial-Action Alignment）

使用 A* planner 在 HM3D、MP3D、OVON 训练集上生成 500K 条轨迹（20.1B tokens），训练 Qwen2.5-VL-7B 学习基本导航动作执行。每条轨迹格式化为多轮对话，通过单次前向-反向传播完成梯度计算。

Stage 2 — 推理-记忆集成（Reasoning-Memory Integration）

Stage 2 数据合成流程：左侧为启发式路点选择的轨迹生成策略，右侧为用 Qwen3-VL-235B-Thinking 合成高质量推理文本的流程。

使用启发式路点选择策略生成包含探索行为的轨迹（而非仅最短路径），每条轨迹选取分数最高的两个探索路点。
将轨迹分段（固定长度 16 步），在每段开头插入长期记忆和推理文本，段尾插入 obs token。
推理文本合成：先用 Qwen3-VL-235B-Thinking 对历史图像进行记忆摘要，再结合当前视图与”未来正确视图”（信息泄漏防止）生成前瞻性规划文本。
共生成 565K 条混合样本（8.3B tokens），同时混入 VQA 数据防止过拟合。

Stage 3 — 自适应推理（Adaptive Reasoning via IRFT）

定义两类停滞点（Stagnation Points）：

重复探索：智能体在过去 $T_{stag}=20$ 步内回到距离 $\delta_{stag}=0.5$m 内的位置。
缺乏进展：在随机时间窗口 $\Delta t \sim \mathcal{U}(20,35)$ 内到目标距离未缩短。

IRFT 流程：在快系统模式下运行，于停滞点触发慢系统；对失败轨迹（超时或目标误识别）进行”拒绝-修复”——找到干预时间戳 $t^*$，用 A* 最优路径替换后续轨迹，重新合成修正段的推理文本；使用最新 checkpoint 迭代执行，每轮生成约 60K 条轨迹（4.5B tokens）。

核心结果/发现

多轮 IRFT 训练过程中 SR 和 SOT 在 HM3D、MP3D、OVON Val-Unseen 上的提升曲线。

与 SOTA 对比（Table 2）：

Benchmark	指标	Hydra-Nav-IRFT	第二名	提升
HM3D Val	SR	84.8%	73.7%	+11.1%
MP3D Val	SR	64.0%	46.6%	+17.4%
OVON Val-Unseen	SR	66.3%	45.2%	+21.1%

SOT 指标分析（Table 5）：

Hydra-Nav-IRFT 推理触发比例仅 3.0%（HM3D），而 VLMnav/Nav-R²/WMNav 均为 100%。
SOT 得分：Hydra-Nav-IRFT 24.0（HM3D）vs Nav-R² 1.9（最高 SR 竞争者），提升约 12×。
说明频繁推理虽提高 SR，但严重拖累效率；自适应推理是实际部署的关键。

消融实验关键发现：

记忆模块对 SPL 提升显著（无记忆 SPL=13.9 vs 有记忆 28.8），说明长期空间记忆是路径效率的核心。
探索性轨迹数据 vs 最短路径数据：SR 下降 25.4%（HM3D），说明探索能力对高成功率不可或缺。
Co-training with VQA 防止导航专有数据过拟合，维持泛化性（SR: 69.1→72.9，HM3D）。

真实世界导航演示：机器人成功定位 Box、Trash Can、Oven，零样本迁移无需真实环境微调。

局限性

评估仅在 Habitat 模拟器（HM3D/MP3D/OVON）中进行，缺乏在 Isaac Sim 等更高保真度仿真环境中的验证；当前框架专为 object navigation 设计，向移动操作等更复杂具身任务的扩展有待探索。

31. 3DGSNav (2026)

———用主动 3DGS 记忆增强 VLM 空间推理，实现零样本目标导航

📄 Paper: arXiv:2602.12159

精华

3DGSNav 最值得借鉴的核心思想：

将 3DGS 作为持久记忆替代语义地图/文字描述，让 VLM 直接”看”到几何连续的场景，而非依赖中间抽象层，从而释放 VLM 本身的视觉空间推理能力。
主动感知（Active Perception）+ 自由视角优化：代理不被动旋转扫描，而是通过不透明度场（opacity field）主动定位视觉盲区，再利用 3DGS Novel View Synthesis 渲染最优视角——这种”按需生成观测”的模式可推广到其他需要视角控制的具身任务。
结构化视觉提示（Structured Visual Prompts）+ CoT 融合：在渲染图像上叠加注释（gaze point、未探索区域标注），配合 Chain-of-Thought，让 VLM 的长程规划推理能力得到充分激活，无需额外训练。
实时检测 + VLM 重验证（Re-verification）：先用轻量检测器初筛候选目标，再用 VLM 主动切换视角确认——分两阶段解耦效率与可靠性，是目标确认模块的通用设计范式。

研究背景/问题

现有零样本目标导航（ZSON）方法通常将环境转换为语义地图或文字描述，导致高层决策被低层感知精度所制约，VLM 的视觉空间推理能力无法充分发挥。如何让 VLM 直接基于高质量视觉观测进行空间推理，而非依赖降维后的语义抽象，是本文解决的核心问题。

div align=”center”>

3DGSNav 整体架构：该系统通过主动感知，利用机器人位姿和 RGB-D 观测数据构建面向导航的环境表示。自由视角优化与结构化视觉提示引导基于 VLM（视觉语言模型）的零样本导航规划，而在线物体检测与视角重验证技术则实现了高效的目标定位。

</div>

主要方法/创新点

3DGSNav 是一个基于 3D Gaussian Splatting 的 ZSON 框架，核心由三个模块组成：

1. 主动感知（Active Perception）模块

使用虚拟相机渲染全景不透明度场（panoramic opacity field），定量估计当前观测完整性
利用 DBSCAN 聚类低不透明度区域，识别视觉盲区，计算最优俯仰角 θ* 和偏航角 ϕ*，驱动真实相机主动补偿缺失视角
避免机械旋转带来的定位误差与冗余观测

2. 自由视角规划（Free-Viewpoint Planning）模块

前沿点提取与聚类：在 3DGS 空间构建探索地图，提取 frontier points（已探索与未探索边界），通过距离场 + 分水岭分割（watershed segmentation）自适应聚类冗余前沿点，选代表性点降低 VLM 分析开销
引导轨迹（Guidance Trajectory）：基于 Dijkstra + 指数惩罚障碍物距离的代价函数，为每个前沿点生成安全路径，作为自由视角优化的参考基准
虚拟视角初始化：利用轨迹曲率 κ 和距离 d 加权得分选最优初始位置，确保既不过近（优化不稳定）也不过远（信息量低）
多约束视角优化：最小化复合损失函数 ℒ = λ_opa·ℒ_opa + λ_vis·ℒ_vis + λ_cos·ℒ_cos + λ_traj·ℒ_traj，包含：
- Opacity Loss：控制可见/不可见区域比例
- Ray Occlusion Loss：确保虚拟相机视线直达前沿点（无遮挡）
- Cosine Loss：约束视角方向与前沿点方向一致
- Trajectory Loss：约束相机位置在轨迹附近

3. 结构化视觉提示 + VLM 推理

渲染 Bird’s-Eye View（BEV）+ 多个前沿点的 First-Person Views（FPVs）
在图像上叠加结构化注释：注视点（gaze point）、未观测区域表示（unobserved region）
配合 Chain-of-Thought（CoT）提示，驱动 planner VLM（Gemini 3）对候选前沿点进行空间语义推理，选择最优探索目标

4. 实时检测 + VLM 主动重验证（Re-verification）

导航过程中使用轻量实时检测器（YOLOE）初步筛选候选目标
当检测置信度不足时，action-decision VLM（GLM-4.1V-Thinking）主动切换视角——将所选动作投影回 3DGS 渲染新视角，获取更具判别力的观测，完成目标二次确认
有效降低漏检率和误停率

核心结果/发现

div align=”center”>

Gemini3-Pro 与 Qwen3-235b-Thinking 在 ZSON 任务中的自我解释对比：

</div>

在 HM3D、MP3D、Gibson 等多个 ObjectNav 标准 benchmark 上取得 SOTA 或竞争性性能
消融实验验证：自由视角优化、结构化注释、CoT、Re-verification 模块均对最终 Success Rate 有显著贡献
不同 VLM（Gemini 3、GPT-4V、GLM-4.1V 等）可灵活替换，框架具备良好兼容性
在四足机器人真实环境实验中成功复现（定位厕所等目标），验证了 sim-to-real 迁移能力
Runtime 分析显示主动感知显著优于被动旋转扫描，探索效率更高

局限性

3DGS 的在线增量重建和自由视角优化带来一定计算开销，在计算资源受限的嵌入式平台上实时性仍有挑战；此外，真实场景的动态物体、运动模糊和视觉感知噪声会影响 3DGS 质量，进而影响导航可靠性。

32. SysNav (2026)

———Multi-Level Systematic Cooperation Enables Real-World, Cross-Embodiment Object Navigation

📄 Paper: arXiv:2603.06914 · Project Page · Code

精华

SysNav 将 ObjectNav 重新定义为系统级问题，将语义推理、导航规划、运动控制三层彻底解耦，值得借鉴。核心洞见是：VLM 不应被用于细粒度的 frontier 级别决策，而应限制在房间级别的高层规划，从而在推理能力与空间可靠性之间取得最佳平衡。三层场景图（Room→Viewpoint→Object）为 VLM 提供了结构化上下文，是 VLM 高效推理的关键基础设施。Early-stop 和 Room-query 两种 VLM 调用模式按需触发，有效避免了 VLM 的冗余调用。该系统在三种机器人平台上部署，验证了模块化设计对跨平台泛化的价值。

1. 研究背景/问题

Object Navigation（ObjectNav）要求机器人在未知室内环境中自主找到目标物体，需同时处理复杂空间结构、长程规划和语义理解。现有方法将 ObjectNav 作为单一策略学习问题，端到端模型难以兼顾多个子挑战；而过度依赖 VLM 进行 frontier 级别决策会因 VLM 缺乏精确 3D 空间理解而导致频繁回溯和低效行为。

2. 主要方法/创新点

SysNav 在多种真实环境和跨平台机器人上实现楼宇级别长程 ObjectNav

SysNav 是一个三层解耦的 ObjectNav 系统，各层专注于不同粒度的子问题：

高层——语义推理（Semantic Reasoning）

构建三层场景图表示 $\mathcal{R}$：

Room Node $v^r$：通过点云垂直分布拟合墙面并划分独立房间，每个节点存储房间类别、2D 顶视图和代表性 RGB 图像
Viewpoint Node $v^v$：在覆盖范围发生显著变化时新增，存储位置、覆盖区域和全景图像，实现高效语义存储
Object Node $v^o$：使用开放词汇检测（YOLOv8x + SAM2）实例化，每个节点存储类别、置信度、3D 点云、bounding box 及自属性

边类型包括：Room-Room（门道连通）、Room-Viewpoint（包含关系）、Room-Object（包含关系）、Viewpoint-Object（可见性）、Object-Object（空间约束，按需添加）。

VLM Reasoning 组件（Gemini-2.5-flash）基于上述场景图进行语义推理，提供房间级别导航指导。

中层——基于房间的导航（Room-based Navigation）

SysNav 系统架构：高层语义推理、中层房间导航、低层运动控制三层解耦

将房间作为最小语义规划单元，在房间内使用高效经典探索算法，仅在房间切换时调用 VLM：

In-room Exploration：两级规划（局部 + 全局），以覆盖分数 $w_{cov}(c_i) = \lvert \mathcal S_{cov}(c_i) \cap \hat{\mathcal S} \rvert$ 选取位姿候选，用 TSP 生成探索路径，滚动窗口机制协调局部与全局计划
Early-stop 模式：进入新房间时，VLM 根据上下文信息 $\mathcal C_{es}$（房间属性、已观测物体、任务目标）判断是否提前终止当前房间探索并切换到新房间
Room-query 模式：当前房间探索完毕仍未找到目标时，VLM 基于未探索房间信息 $\mathcal C_{rq}$ 推理最可能包含目标的下一个房间

低层——基础自主（Base Autonomy）

设计跨平台基础自主模块，将路径点转换为各平台（轮式机器人、四足 Unitree Go2、人形 Unitree G1）的具体运动控制指令，包含路径点跟随、碰撞回避和地形可通行性分析。

3. 核心结果/发现

SysNav 在轮式、四足、人形三种机器人平台上的真实环境定性结果

仿真基准（4个benchmark，与 SOTA 对比）：

HM3D-v1：SR 63.7%，SPL 30.5%（大幅领先次优 ApexNav 的 59.6%/33.0%）
HM3D-v2：SR 80.8%，SPL 37.2%（次优 ApexNav 76.2%/38.0%）
MP3D：SR 50.7%，SPL 18.1%
HM3D-OVON：SR 54.9%，SPL 26.1%（次优 MTU3D 40.8%/12.1%，提升 14.1%/6.5%）

真实环境（190 次实验，对比 VLFM 和 InstructNav）：

Hard 设置（目标在不同房间）：SR 97.5%，SPT 71.8，AT 67.6s（Hard setting SR 较次优提升 61.1%，SPT 提升 51.1%，AT 减少 29.8s）
导航效率较现有 ObjectNav 基线提升 4-5×

4. 局限性

仿真中 SPL 提升幅度小于 SR，原因是面向真实场景设计的严格覆盖策略在仿真中会造成轻微过度覆盖；此外，多房间布局对系统的额外挑战有限，因为中等难度场景中障碍物更密集反而会降低速度。

33. WAM-Nav (2026)

———非对称隐空间「世界-动作」联合建模，用一个 DiT 统一三类视觉导航

📄 Paper: arXiv:2606.04907 — WAM-Nav: Asymmetric Latent World-Action Modeling for Unified Visual Navigation

精华

把”想象未来画面”与”生成动作”塞进同一个共享 DiT 里联合扩散，而不是先想象再用逆动力学解算动作的解耦式 pipeline，从根上消除了模块间的状态-动作错配与误差累积。
核心 insight 是非对称视界（asymmetric horizon）：动作用长视界（$H_{act}=24$）保证轨迹连续，视觉前瞻只用极短视界（$H_{vis}=1$）。因为导航的视角变化剧烈，长自回归视觉 rollout 既慢又容易误差爆炸，短视界恰好提供可靠的近未来几何约束。
视觉前瞻全部在 Stable Diffusion VAE 的隐空间里预测（不解码成像素），让”未来感知”以低成本反过来约束动作生成（视觉速度匹配损失惩罚动作-场景不一致）。
双流上下文条件（DSCC）：视觉记忆流管空间避障，自我运动历史流管运动学动量（平滑性），用运动 token 去 query 视觉空间，兼顾几何安全与轨迹顺滑。
统一目标对齐：把 Image-Goal / Point-Goal / No-Goal 都编码成”视觉语义查询 $g_V$ + 几何查询 $g_G$”两路互补 embedding，一个策略零样本支持三类任务且性能均衡，无需切换架构。

1. 研究背景/问题

视觉导航要在复杂几何与物理约束下生成平滑、无碰撞的轨迹。现有范式各有硬伤：反应式端到端策略（GNM/ViNT/NoMaD）直接把观测映射到动作，缺乏预测性推理，在杂乱环境里容易陷入局部最优和碰撞；模块化解耦的世界模型方法（先想象未来子目标，再用逆动力学/轨迹打分）虽有前瞻能力，但预测与决策分离训练，带来高延迟和累积误差。已有的「世界-动作模型」在机器人操作上验证了联合建模的价值，但其自回归生成范式在导航大视角变化下实时性差、误差累积严重。此外多数方法只支持单一目标类型，换任务就得重新设计训练；即便 NavDP 支持多目标，其单模态对齐也导致跨任务性能不均衡。

2. 主要方法/创新点

图 1：WAM-Nav 范式与性能概览。(a) 与纯反应式映射（①）、解耦模块化 pipeline（②）相比，WAM-Nav（③ Joint Modeling）在统一框架内联合建模动作生成与隐空间视觉前瞻；(b) 在 Image-Goal / Point-Goal / No-Goal 三类任务上对比主流基线均取得领先。

① 整体框架概述

如图 2，WAM-Nav 由三个核心组件构成：(1) 统一目标对齐（Unified Goal Alignment），把异构目标投影到统一空间，产出视觉语义查询 $g_V$ 与几何查询 $g_G$；(2) 双流上下文条件（DSCC），分别编码序列视觉观测和自我运动历史，经目标调制后融合成紧凑条件上下文 $C$；(3) 非对称动作-前瞻生成（Asymmetric Action-Foresight Generation），以 $C$ 为条件，用一个共享 DiT 通过非对称去噪同时生成未来动作轨迹与隐空间视觉前瞻。

图 2：WAM-Nav 整体架构。异构导航目标被显式路由为视觉语义查询 gV 与轨迹几何查询 gG，二者调制历史 RGB-D 序列与相对自我运动轨迹，合成紧凑条件上下文 C；共享 DiT 在 C 的条件下非对称联合生成未来控制动作与隐空间视觉前瞻。

② 逐模块讲解

模块一：统一目标对齐（Unified Goal Alignment）

输入：一个目标 $g$，可能是目标图像（Image-Goal）、相对坐标（Point-Goal）或空目标（No-Goal）。
处理：先用模态专属特征提取器 $E_\phi(\cdot)$ 把 $g$ 转成基础 embedding $e_g$（图像目标用从零训练的 ViT，相对坐标用正弦位置编码，无目标用 masked 零状态）；再通过两个可学习线性映射 $\psi_V,\psi_G$ 投到两路功能 token 空间：$g_V=\psi_V(e_g)$、$g_G=\psi_G(e_g)$。
输出：视觉语义查询 $g_V$（用于视觉记忆检索）与几何查询 $g_G$（用于轨迹级方向引导）。
设计动机：与 NavDP 等”把所有任务都重写成 point-goal”的做法不同，本设计保留模态特异性信息，又提供统一接口，从而在三类目标上性能均衡。

模块二：双流上下文条件 DSCC（Dual-Stream Contextual Conditioning） 仅靠视觉条件会因缺乏显式动量约束而生成抖动、运动学不一致的轨迹。DSCC 在 $t-k+1$ 到 $t$ 的滑动窗口上融合两条流：

目标调制视觉记忆流：历史 RGB 观测 $O_t$ 经 DINOv2 编码成记忆张量 $V$；用视觉查询 $g_V$ 对每个 patch token 算缩放点积相关性分数 $\alpha=\sigma\!\left(\tfrac{g_V V^\top}{\sqrt D}\right)$，再残差强化与目标相关的空间 token：$\tilde V = V + \alpha \odot V$。输出：被目标”点亮”的视觉空间记忆。
轨迹感知运动历史流：把执行过的位姿序列 $S_t$ 转成坐标无关的相对位移与朝向变化 $\tilde S_t=\{(\Delta x_i,\Delta y_i,\Delta\theta_i)\}$（在当前自我中心坐标系下，见 Algorithm 1），经因果 Transformer 编码为 $H$；再用几何目标 $g_G$ 通过 cross-attention query 出一个浓缩的运动学向量 $o_{kin}=\mathrm{CrossAttn}(g_G,H,H)$。输出：相对目标方向的历史运动连续性摘要。
跨注意力条件融合：用运动学 token $o_{kin}$ 去偏置一组可学习 query $Q_c$，再用多层 Transformer Decoder 让”运动动量”主动 query “目标调制后的视觉空间”：$C=\mathrm{TransformerDecoder}\big(Q_c+\phi(o_{kin}),\,\tilde V,\,\tilde V\big)$。输出：统一条件上下文 $C$，同时编码几何安全（避障）与执行平滑（动量）。

模块三：非对称动作-前瞻生成（Asymmetric Action-Foresight Generation） 这是全文最关键的设计。在 $C$ 条件下，模型联合建模：长视界动作轨迹 $A_t={a_t,\dots,a_{t+H_{act}-1}}$ 与短视界隐空间视觉前瞻 $Z_{t+1:t+H_{vis}}=\{z_{t+1},\dots,z_{t+H_{vis}}\}$，其中 $H_{vis}\le H_{act}$。未来视觉状态 $z_i=\mathcal E(o_i)$ 由预训练 SD-VAE 压成 $N$ 个隐 patch 的紧凑网格。

训练用 flow-matching：把高斯先验 $(A_0,Z_0)$ 到数据流形的概率路径建成直线，任意流时刻 $\tau$ 的插值态为 $A_\tau=(1-\tau)A_0+\tau A_1$、$Z_\tau=(1-\tau)Z_0+\tau Z_1$，目标速度场 $u_A=A_1-A_0$、$u_Z=Z_1-Z_0$。
共享 DiT：$A_\tau$ 与 $Z_\tau$ 被 token 化后拼接，送入多层 DiT。每个 block 内两类异构 token 先做共享 self-attention（让动作路径与视觉表征逐层交换时空约束），再各自 cross-attend 到条件 $C$，时间步 $\tau$ 经 adaLN 注入，回归联合速度场 $\hat u_A,\hat u_Z=f_\theta(A_\tau,Z_\tau,\tau,C)$。共享参数让隐空间前瞻成为”感知接地”的约束，通过视觉速度匹配损失惩罚动作-场景不一致。
为何非对称：操作类 WAM 的未来视觉变化局部、以物体为中心；而导航涉及大幅自我中心视角变化，长自回归视觉 rollout 会同时带来推理延迟和累积视觉误差，反而误导动作。故采用”动作长视界保连续 + 视觉短视界给可靠近未来几何约束”的非对称设计。

图 5：共享 DiT block 结构（堆叠 N 次）。带噪动作 token 与隐空间视觉前瞻 token 各经独立 adaLN 分支调制，经共享 self-attention 早期耦合，再通过共享的 cross-attention 与 FFN（仅做流特异性调制）接地到条件上下文 C，最终投影出 û_A 与 û_Z。

③ 端到端数据流：单步样本流经路径为——目标 $g$ → 对齐成 $g_V,g_G$；历史观测 $O_t$、运动历史 $S_t$ → 经 DSCC 双流调制融合成 $C$；高斯噪声 $(A_0,Z_0)$ → 在 $C$ 条件下经共享 DiT 的 10 步 Euler 积分去噪 → 输出执行动作轨迹 $A_t$ 与隐空间未来观测 $Z_{t+1}$。

④ 训练目标：端到端最小化联合损失 $\mathcal L_{total}=\mathbb E\big[\lVert\hat u_A-u_A\rVert_2^2+\lambda_{img}\lVert\hat u_Z-u_Z\rVert_2^2\big]+\lambda_{align}\mathcal L_{align}$ 其中第一项为动作流速度回归，第二项为视觉前瞻速度匹配（$\lambda_{img}=0.25$），第三项 $\mathcal L_{align}$ 为对称对比 InfoNCE 损失（$\lambda_{align}=0.1$），通过最大化跨空间投影的互信息保证多目标模态一致性。训练时 DINOv2 ViT-S/14 与 SD-VAE 冻结，目标图像编码器、融合解码器、因果运动编码器与共享 DiT 从零训练。

⑤ 推理流程：采用 receding-horizon 控制循环。与 NavDP 一致，每步在当前 $C$ 下采样 16 条候选轨迹，按 NoMaD 做法选第一条执行；flow-matching ODE 求解器跑 10 步 Euler 积分，平衡生成质量与实时性。

3. 核心结果/发现

主结果（零样本，IsaacSim，ClutterScenes + InternScenes，6000 episodes）：WAM-Nav 在三类任务上平均最优——Image-Goal 达 50.2% SR / 48.2% SPL（较 NavDP 提升 15.7% SR），Point-Goal 80.4% SR / 78.0% SPL（提升 3.3%），No-Goal 探索面积 171.1 m²。

图 3：Image-Goal 导航定性对比。相比 NavDP（红线，常在逼近障碍后才反应、轨迹突变），WAM-Nav（绿线）借短视界隐空间前瞻提前预判几何约束、轨迹更平滑且主动避障；其在压缩隐空间生成的视觉前瞻解码后仍与真值（GT）高度一致。

效率（Q3）：推理延迟 0.26s，每决策仅 0.7 TFLOPs（NavDP 1.3、NWM 8.3），可训练参数与 NavDP 相当；避免了 NWM 那种 1.43s 的多候选视觉 rollout，满足实时导航。
消融（Q4）：纯隐空间前瞻把 SR 从 42.1%→45.7%；纯运动轨迹在 ClutterScenes 有益但在语义更复杂的 InternScenes 反而下降；两者结合最佳（50.2% SR）——印证 DSCC 设计：运动历史稳定轨迹生成、隐空间前瞻提供安全所需几何约束。
非对称视界验证：$H_{vis}=1$ 最佳（50.2 SR），随视觉视界拉长（4/8/24）性能单调下降（直至 30.4 SR），强力支撑”视觉前瞻应给近未来约束而非长自回归 rollout”的核心动机。
耦合架构：完全共享 DiT 优于解耦/部分共享变体，说明隐空间前瞻在直接通过共享表征正则化动作生成时最有用。
跨本体 & 真实世界：单策略零样本迁移到 Dingo 轮式、Unitree G1/H2 人形机器人均稳定领先 NavDP；真实部署（G1 + RealSense D455，会议室/仓库/大厅/停车场四场景）平均 85% 成功率，验证有效的 sim-to-real 零样本迁移。难度越高（长程）相对 NavDP 优势越大（Hard 子集 +7.6% SR）。

4. 局限性

真实部署发现两类失败：(1) 相机高度与视野受限，对近场低矮障碍感知弱，易漏看导致碰撞或避障延迟；(2) 当前策略未显式建模机器人本体形状，轨迹规划只保证相机能通过，导致身体与侧方障碍碰撞。未来方向：自适应视角控制、以及融入多形态本体的 embodiment-aware 训练。

34. EvoMemNav (2026)

——— 零样本具身导航中基于轻量化图先验与多视图反思的高效自进化细粒度拓扑记忆框架

📄 Paper: arXiv:2606.03509 · Code（待发布）

精华

纯视觉记忆设计：提出视觉-语义记忆图（VSMGraph），将原始视觉视图（View）作为一等公民（first-class）存储在图节点中，避免了传统检测中心化场景图的信息压缩与噪声积累，且无需高昂的 3D 重建开销。
预算受限的粗到细决策（Budgeted Coarse-to-Fine）：将决策分解为粗阶段（Explore，过滤并路由至前沿或锚点）和细阶段（Search+Verify，仅针对短名单进行 VLM 决策和多视图 Stop 验证），在降低 VLM 延迟与 Token 数的同时，解决了同类多实例歧义和过早停止（premature stop）问题。
反思驱动的自进化记忆（RDCMA）：设计了一种无需训练的在线先验更新机制，在子任务结束后通过评估轨迹事件与停止结果，更新附着于图节点上的轻量级目标条件先验（Episode-STM 和 Scene-LTM），指导后续决策。
开箱即用且高效通用：在 GOAT-Bench 和 HM3D 上取得显著的 SR/SPL 提升，相比 3D-Mem 表现更佳，同时 VLM 调用次数减少了 41%，总耗时缩短了 39%，且无需任何权重训练或微调。

1. 研究背景/问题

在长程零样本具身导航（Zero-Shot Embodied Navigation）中，建立能够支撑长期规划的记忆系统至关重要。然而，现有的记忆表征方案存在以下局限性：

基于检测器的场景图（Detector-centric Scene Graphs）：将观测压缩成稀疏的对象节点，会丢弃纹理、空间布局等细粒度视觉线索，且检测器的错误（如类别噪声）会在下游推理中累积，导致决策失误。
基于 3D 重建的记忆方法（3D-reconstruction-based Memory）：在运行时会产生高昂的计算和存储开销，且与只能直接推理图像的强大 VLM 不兼容。
基于图像的拓扑图缓存（Image-based Topological Graphs）：缺乏房间、前沿或可达性的结构化组织，容易在同类别物体的多实例场景中混淆，导致在错误的实例前过早停下（Premature Stop），且记忆缺乏演进能力，失败教训无法复用。

2. 主要方法/创新点

整体框架概述

EvoMemNav 由三个核心部分构成：构建于 occupancy grid 上的层次化拓扑记忆图（VSMGraph）、双阶段“粗到细”导航控制器（Coarse-to-Fine Policy）以及无训练的反思驱动在线自进化先验模块（RDCMA）。系统在每个时间步接收 posed RGB-D 观测，更新拓扑图；导航决策时，由粗决策进行候选过滤并导航，随后利用 VLM 进行细粒度的精确路由与多视图 Stop 验证；子任务结束时，反思机制将结果写回图中的轻量化统计量（STM/LTM），以指导未来的导航。

EvoMemNav 核心理念与流程总览（VSMGraph、粗到细导航决策、反思写入）

EvoMemNav 详细框架：包含基于图像的 VSMGraph 拓扑记忆图、受预算限制的“粗到细”导航决策系统，以及反思驱动的在线自进化先验写入策略

逐模块讲解

① 视觉-语义记忆图 (VSMGraph) 构建

输入：posed RGB-D 观测流 $I_t = \langle I_t^{rgb}, I_t^{depth}, p_t \rangle$ 和作为度量支撑的二维占用网格（occupancy grid）$M_t$。
处理：在线在占用网格上添加沿着机器人运动轨迹的视图节点，并根据无碰撞路径建立可达性边（navigability edges）。通过轻量级目标检测模型（YOLOv8-World & SAM）维护一个 3D 目标候选缓存 $O_{map}$，但它仅用于给视图节点添加“目标可见性”的弱标签（visibility edges），并不用于压缩图像信息。视图节点被划分为：
- 锚点视图 (Anchor Views) $V_{A,t}$：富含物体观测的已探索区域，存储原始图像、位姿及可见的目标弱标签。
- 前沿视图 (Frontier Views) $V_{F,t}$：位于探索边界的未探索区域，连接至最近的已探索视图，代表可探索的前沿方向。同时，利用 CLIP 提取房间类别对每个视图进行分类 $\rho_v$，形成“房间-视图-物体”（Room-View-Object）的层次化拓扑图。
输出：图结构 $G_t = (R_t, V_t, O_t, E_t)$。
设计动机：以原始视图作为一等公民记忆，完全保留细粒度细节供 VLM 进行直接的图像级分析验证，避免检测误差引起的硬分类错误；同时，利用拓扑边和房间类别软标签加速检索。

VSMGraph 构建过程：基于拓扑关系和房间-视图-物体层次化结构组织视觉信息

② 预算受限的粗到细导航决策（Coarse-to-Fine Policy）

输入：多模态目标 $g$、当前拓扑图 $G_t$。
处理：
- 粗阶段 (Explore - 候选压缩与路由)：从大量的锚点和前沿视图中过滤，仅保留最相关的 Top-K 个候选（锚点候选集 $C_t^A$ 预算限制为 $K_A$，前沿候选集 $C_t^F$ 预算限制为 $K_F$）。候选通过房间类别关联和轻量目标命中进行初步筛选。如果锚点集为空，则直接路由至前沿；若不为空，则进入细阶段。
- 细阶段 (Search+Verify - 局部选择与验证)：将过滤后的候选池 $C_t = C_t^A \cup C_t^F$ 输入给 VLM（Qwen3-VL-8B），VLM 只需对这个精简的短名单进行单步推理： $a_t, \sigma_t = \text{VLM}(g, C_t)$ 其中 $a_t$ 是选择的目标点，$\sigma_t \in {\text{certain}, \text{uncertain}, \text{unknown}}$ 为置信度。若 VLM 选择锚点视图但置信度不足（uncertain/unknown），系统会强制降级为前沿探索以避免盲目决策。
- 验证步骤 (Verify - 多视图停止验证)：当智能体抵达选择的锚点视图时，不立即停止，而是调用 VLM 结合智能体在当前位置的多角度视图进行最终的多视图 Stop 验证，返回 STOP 或 RESELECT。如果判定为 RESELECT，则将当前锚点拉入冷却队列并重新回到粗阶段，防止由于局部视野限制而产生的过早停止错误。
- 恢复机制 (Recover)：如果检测到死锁或多次冷却，会触发 Recover 机制，强制智能体进行一段时间的纯前沿探索。
输出：下一个运动路径终点或 STOP 指令。
设计动机：用粗筛选控制 VLM 的计算开销（避免对全图检索的 Token 爆炸），同时在局部进行多视角图像级的细粒度对比，提高多实例判别的准确度。

③ 反思驱动在线记忆自适应 (RDCMA)

输入：历史子任务的运动轨迹事件（如常去的房间、探索受阻的前沿、环路检测等）以及多视图验证结果（STOP / RESELECT）。
处理：任务结束时，将结果以目标条件签名 $s_g$（类别或模态）归纳为轻量化统计先验，写回图结构中附着于对应的房间/视图/前沿节点：
- 短时记忆 (Episode-STM)：缓存当前 episode 内的避障与路径惩罚信息，避免在一个任务中反复打转，在 episode 结束时重置。
- 长时记忆 (Scene-LTM)：记录房间中特定物体的支持概率（例如，厨房更容易有冰箱）和特定锚点的停止可靠度，长效留存，跨子任务复用。在 Explore 阶段，这些先验以“加权平局决胜（tie-breakers）”的方式调整过滤后的候选排序，指导探索方向；在 Verify 阶段，作为 hint 输入给 VLM 提示当前区域此前是否曾被成功验证过。通过指数衰减（exponential decay）来淘汰陈旧先验，且仅保留 Top-K 项并对冲突先验进行抑制。
输出：图附着的记忆先验。
设计动机：实现非参数化的轻量自适应，使得智能体在未知的终身学习任务中能够随着时间“越走越聪明”，越熟悉当前环境，导航成功率越高。

反思驱动在线记忆自适应 (RDCMA) 的运作原理

3. 核心结果/发现

GOAT-Bench 终身多模态导航：在 GOAT-Bench VAL-UNSEEN 验证集上，EvoMemNav 取得了 59.6% SR 和 38.9% SPL 的最佳结果（见下表），大幅领先于先前的图像级拓扑记忆方法 3D-Mem（42.6% SR / 22.8% SPL）和 MSGNav（52.0% SR / 29.6% SPL）。

方法	类别	是否无需训练	SR (%) ↑	SPL (%) ↑
SenseAct-NN Monolithic [20]	单体学习型	❌	12.3	6.8
CLIP on Wheels [20]	模块化零样本	✓	16.1	10.4
Modular GOAT [20]	模块化零样本	✓	24.9	17.2
TANGO [28]	模块化零样本	✓	32.1	16.5
3D-Mem [46]	模块化拓扑	✓	42.6	22.8
MSGNav [17]	模块化拓扑	✓	52.0	29.6
EvoMemNav (Ours)	模块化拓扑 (自进化)	✓	59.6	38.9

HM3D ObjectGoal 导航：在纯目标导航（ObjectGoal）的 HM3D 任务上，EvoMemNav 在 HM3Dv1（59.2% SR / 33.6% SPL）和 HM3Dv2（63.8% SR / 39.4% SPL）上均创下或逼近了免训练方法的最高水准。
消融实验与效率分析：
- 相比于完全不带有 coarse 筛选的拓扑 baseline，加入 VSMGraph 使 SR 提升了 7.2%，而粗筛选（Coarse）模块直接带来了 +11.6% 的巨大 SR 跃升，是性能提升的主要因素。
- 反思模块 RDCMA 使整体 SR 进一步提升了 4.0%（从 60.8% 提升至 64.8%），并且这种增益在第 3 至第 5 个子任务（Mid subtasks）中最为明显，说明随着记忆在场景中的不断写入和演进，智能体表现越发稳健。
- 相比于 3D-Mem，得益于粗阶段的决策短名单机制，VLM 调用次数从 10.7 次降至 6.5 次（减少 39%），单次子任务的耗时从 102.2s 骤降至 58.7s（降低 42.5%），实现了性能与效率的完美兼顾。

4. 局限性

多模态目标识别依然受限于感知模块：尽管使用 VSMGraph 规避了下游推理对目标检测框的绝对依赖，但粗筛选阶段生成 soft tags 仍需依靠 YOLOv8-World 和 SAM 等 2D 检测器。在极其嘈杂或低光照环境下，若检测标签完全丢失或偏离，可能导致过滤时的 Top-K 列表中漏掉正确的锚点，从而拖累粗筛选的准确性。
反思先验的表达与检索粒度仍可优化：目前的 RDCMA 先验写入是通过对离散的 CLIP 房间类型和停止事件做简单的支持度与错误率计数来实现的。对于极其复杂、分布非常离散的房间结构或者开箱即用的大规模开放世界，简单的图计数可能会面临记忆冲突问题，未来可考虑融入基于小规模向量嵌入的非参数化情境记忆检索。

35. LocalNav (2026)

———基于知识蒸馏与具身强化学习的端侧轻量化三维场景图目标导航框架

📄 Paper: arXiv:2606.27871

精华

本文提出了 LocalNav，一个将前沿云端大模型（如 Claude 3.5 Sonnet）的复杂空间-语义推理能力蒸馏到端侧轻量化 4B VLM（Qwen3.5-4B）的框架，实现完全本地化运行，摆脱云端依赖。
在在线构建的三维拓扑场景图（Scene Graph）基础上，采用仅 500 条高质量云端模型导航轨迹进行监督微调（SFT），将 4B 小模型的导航成功率（SR）大幅度提升。
引入具身可验证奖励强化学习（E-RLVR）与 Token 生成长度正则化奖励，对小模型的输出动作 and CoT 链长度进行压缩与规范，减少了 72.1% 的输出 Token 冗余。
结合 llama.cpp 的 4-bit 量化（IQ4-XS），在 Jetson Orin AGX 边缘计算平台上实现了累计 82.8% 的推理延迟降低，将单回合运行时间从 305.2 秒压缩至 52.5 秒。
整个系统是模块化解耦的，高层 VLM 负责语义推理和宏观决策，低层 PointGoal 导航策略负责避障与运动控制，并在 Unitree 机器狗和手持设备上进行了实车验证。

1. 研究背景/问题

开放词汇目标导航（Open-Vocabulary ObjectNav）：传统的导航算法通常局限于训练时定义的封闭类群，而引入视觉语言模型（VLM）可以利用其强大的开集感知和语义推理能力，指导机器人进行复杂目标搜索。
云端依赖与高延迟问题：目前性能优异 VLM 导航方案（如基于 GPT-4o 或 Claude 3.5 Sonnet）多依赖云端 API 交互。这不仅对网络连接提出了严苛要求，还引入了巨大的通信延迟和隐私泄露风险。
本地部署与自回归生成的计算瓶颈：尽管 2B-7B 级别的轻量级 VLM 理论上可在端侧（如英伟达 Jetson 平台）部署，但其零样本的语义导航能力极差（SR 仅 21%）。此外，小模型在生成高层决策指令时常伴随大量的思维链（CoT）冗余，使得自回归解码（Token Generation）成为端侧运行的主要延迟瓶颈（占 93.3% 运行时间）。

2. 主要方法/创新点

LocalNav 框架概述：通过 SFT 从云端前沿 VLM 蒸馏，并使用具身可验证奖励强化学习（E-RLVR）对动作与 Token 长度进行优化，实现端侧高效部署。

① 整体框架概述

LocalNav 系统由三维拓扑场景图（Scene Graph）构建模块、高层 VLM 决策规划器以及低层 PointGoal 运动规划策略三大核心模块构成。高层 VLM 通过结合环境 360° 拼接全景图（含物体 ID 投影）与文本形式的场景图节点列表，选择宏观语义动作（导航、探索、寻找新房间或停止）；低层运动策略则负责执行点对点三维路径规划与运动避障。

LocalNav 系统架构：实时构建三维场景图（SG），将 PoV 内的物体 ID 投影至图像中，与文本场景描述一同输入 VLM。VLM 决策后通过低层规划器（PointGoal Policy）控制机器人执行动作。

② 逐模块讲解

3D 拓扑场景图（Scene Graph）构建
- 输入：传感器获取的 RGB-D 深度图、机器人里程计（Odometry），以及预训练的目标检测分割模型（如 Mask2Former）提供的物体类别标签（或仿真环境中的真实标注）。
- 处理：利用开源 Hydra 框架在线构建和维护一个包含 Room 节点和 Object 节点的三维场景拓扑图。该图提供明确的拓扑连接结构和物体空间位置，充当机器人的显式空间记忆。
- 输出：在决策点为 VLM 组装两种模态的信息：
  1. 文本 Prompt：当前所在 Room、已探索/未探索 Room 列表、已知物体类别与空间 ID。
  2. 图像 Prompt：将当前视场角（PoV）内场景图物体 ID 直接投影叠加在 360° 全景图上（类似于 Set-of-Mark 提示），完成符号 ID 与像素区域的对齐锚定。
- 设计动机：显式三维场景图提供了非连续的抽象状态空间，能将机器人高频运动与 VLM 的低频决策解耦，降低计算开销，并具有极佳的可解释性。
监督微调（SFT）知识蒸馏
- 输入：在 Habitat 仿真器环境（HM3D OVON 数据集）中使用 privileged action space（特权最短路径导航）获取的、由 Claude 3.5 Sonnet、GPT-4o/5.4、Gemini 3.1 Pro 引导并成功完成任务的原始推理轨迹日志（包含图像对和拓扑状态），约 500 条样本。
- 处理：将高层前沿 VLM（Teacher）的推理决策行为作为标签，对本地轻量级 VLM 学生模型（Qwen3.5-4B）进行监督微调。
- 输出：微调后的 Local VLM，初步具备在当前三维拓扑图上选择合理宏观动作的能力。
- 设计动机：小模型直接在 ObjectNav 上表现差。利用前沿模型的推理痕迹进行行为克隆（Behavior Cloning），能以极小的数据量（~500 样本）快速赋予小模型开集场景推理与决策的常识。
具身可验证奖励强化学习（E-RLVR）动作优化
- 输入：SFT 后的小 VLM 模型，在 Habitat 仿真环境中的闭环交互回放轨迹。
- 处理：基于 LoRA 参数高效微调，应用 Group Relative Policy Optimization (GRPO) 算法。在每个决策点，生成 N = 4 个独立的动作补全并复制当前仿真环境状态进行并行轨迹 rollout。
- 输出：优化动作准确率并压缩了 CoT 冗余的 Local VLM 权重。
- 设计动机：SFT 训练的模型输出字数较多，且在推理时可能会出现空间记忆幻觉或无用的重复打转。E-RLVR 采用“实践中学习”的方法，结合仿真环境中的可验证反馈来调整模型行为。

E-RLVR 在 Habitat 中的训练循环：对同一状态生成 4 个独立动作补全，并行在独立的环境分支中运行，并通过最终计算的奖励来更新策略。

③ 训练目标与损失函数

在 E-RLVR 阶段，模型通过并行 rollout 轨迹的相对优势更新，所采用的累加奖励函数定义如下： $R_{tot} = R_{done} + R_{nav} + R_{exp} + R_{brev}$ 其中各项公式的定义及作用为：

终点可验证奖励 $R_{done}$： $R_{done} = \begin{cases} 1.0 & \text{若执行 done() 且机器人距离目标物体符合成功阈值} \\ -1.0 & \text{若执行 done() 但未成功（误报）} \\ 0.0 & \text{执行其他动作} \end{cases}$ 用于惩罚妄动终止和奖励正确归航。
导航进步奖励 $R_{nav}$： $R_{nav} = \begin{cases} \Delta d & \text{当目标物体已被收入场景图且机器人向其靠近} \\ 0 & \text{其他情况} \end{cases}$ \Delta d 代表向目标移动的归一化距离增量，鼓励快速缩短与目标的距离。
探索拓展奖励 $R_{exp}$： $R_{exp} = \begin{cases} 0.0 & \text{若目标 G 已在场景图中} \\ \lambda_{found} & \text{当目标 G 首次被收入场景图} \\ \Delta n & \text{发现新拓扑节点的归一化增量} \end{cases}$ 激励机器人在目标未知时探索未知区域。
输出长度惩罚（Brevity Reward）$R_{brev}$： $R_{brev} = \begin{cases} 1.0 & L \le L_t \\ 1 - 2 \frac{L - L_t}{L_m - L_t} & L_t < L < L_m \\ -1.0 & L \ge L_m \end{cases}$ 其中 L 为生成动作的 Token 字符长度，L_t 为目标理想短字数，L_m 为最大字数。该惩罚以线性惩罚模型过度长篇大论，迫使其精简 CoT 思维链，只保留最核心的空间推理，在保障 SR 的同时极大削减 Token 生成的计算量。

④ 推理与量化部署流程

为了在低算力移动机器人平台上运行，作者将 E-RLVR 微调后的模型通过 llama.cpp 进行量化。经 Pareto 前沿评估，选择了 IQ4-XS（4-bit 量化）格式，使 Token 生成速度从 17.68 tok/s 提升至 39.43 tok/s，在保留模型推理精确性的同时，突破了端侧 GPU 的内存和带宽限制。

3. 核心结果/发现

SFT 蒸馏来源评估：在 HM3D OVON 测试集上，采用不同前沿模型作为教师，微调后的 Qwen3.5-4B 表现出差异。使用 Claude 3.5 Sonnet 蒸馏 of 4B 模型最为优秀，SR 从 Base 的 21% 跃升至 47%，甚至超过了混合源蒸馏（41%）。
E-RLVR 的双重优化作用：SFT 训练后的模型虽强但冗余较多（平均输出 535.2 个 Token，单回合耗时 305.2 秒）。叠加 E-RLVR 训练后，输出 Token 数直降 72.1% 至 149.36，使得在 Jetson Orin AGX 上的物理推理延迟降低 71.8%（下降至 86.0 秒），且成功率甚至微幅上升至 49%。
量化联合提速：最终“SFT + E-RLVR + 4-bit 量化 (IQ4-XS)”的完整路线，使推理吞吐量翻倍（~39.43 tok/s），在 Jetson Orin AGX 端侧将物理运行时间大幅缩减 82.8%（仅耗时 52.5 秒），而成功率仅微弱损耗 2% 左右。
Benchmark 对比：在 HM3D OVON 标准评测（含低层 PointGoal 执行误差）中，基于云端 Claude 3.5 Sonnet 的高层方案取得了 39.7% SR，而完全本地化运行的 Qwen3.5-4B-Claude 学生模型取得了 34.5% SR，与前沿云端模型的性能差距缩窄至仅 5.2%，处于端侧部署方案的业界领先水平。

真实世界部署测试：机器人在真实公寓中执行多目标连续导航任务，右侧显示机器人的视场 PoV 视角、高层 VLM 规划器的宏观决策与动作输出。

4. 局限性

时空语义局限性：拓扑场景图目前难以融合动态/瞬时或具有多重语义组合的属性（例如无法区分“普通椅子”与“坐了人的椅子”），必须依赖机器人反复触发 VLM 进行稠密视觉验证。
三维感知依赖：对于物体分割检测的精度（如 Mask2Former）和三维重建算法（如 Hydra）的鲁棒性高度敏感，感知模块的误检或漏检会直接导致场景图拓扑结构崩塌，进而引发 VLM 决策链错误。

36. AECNav (2026)

———把”找物体”改写成”攒证据”：一次编码、按需分割、对数几率累积信念

📄 Paper: arXiv:2608.10817 · Project Page

精华

目标确认不该是”单帧分数过阈值就停”，而应是”多视角证据的累加”：借用占据栅格的 log-odds 加法更新，让一致的观测能把置信度推高到任何单帧都达不到的水平。
负证据和正证据同样重要：相似干扰物（confuser）得分更高、以及”该看到却没看到”（miss），都应主动扣减信念，而不只是”不加分”。
一个共享骨干（C-RADIOv4）同时服务场景打分、patch 定位与实例分割，既消除多模型语义不一致，又省去重复编码；昂贵的分割头再用几乎免费的 patch 相似度做门控。
前沿选择要同时考虑”方向对不对 + 沿途能看到多少新区域 + 走过去要多远”；信息增益若没有路程代价约束，会把机器人引向空旷大区域白白消耗步数。
训练-free 管线在精度上反超训练方法的同时，单 episode 耗时比 VLFM 还快 2.2 倍，说明”少做无用功”本身就是精度来源。

1. 研究背景/问题

零样本开放词汇物体导航（ZSON）要求机器人在陌生环境中找到任意语言描述的物体。现有基于价值地图的方法存在三个瓶颈：前沿选择与目标确认使用互不相干的多套视觉模型（CLIP/BLIP-2 + GroundingDINO/MobileSAM），造成重复编码与高延迟；目标确认靠单帧阈值或”平均化”融合，难以区分真目标与外观相似的干扰物；前沿选择只看语义相关度，忽略到达代价与可获得的新信息量，在语义线索弱时容易在远处低收益前沿之间来回摆动。

2. 主要方法/创新点

AECNav 概览：左侧为导航器需回答的三个问题（高效感知、弱线索下的有效探索、干扰物下的准确识别）；右上为 HM3D-v2 上成功率–单 episode 耗时的权衡；右下为去掉任一模块带来的成功率下降

AECNav 框架：证据门控感知用共享 C-RADIOv4 编码器打分并仅在可能看到目标时触发 SAM3；证据整合把检测反投影成 3D 簇，并用目标/干扰物/缺失三类证据更新 log-odds 信念；主动证据获取综合语义相关度、信息增益与路径代价选择前沿，直到某个簇被确认

① 整体框架概述

AECNav 把 ZSON 重新表述为”证据驱动的感知→决策”问题，由三个模块闭环构成：证据门控感知（Evidence-Gated Perception）负责用一次前向提取所有语义线索，并决定要不要跑昂贵的分割；证据整合（Evidence Consolidation）把分割结果变成 3D 候选簇，并为每个簇维护一个”它是不是目标”的累积信念；主动证据获取（Active Evidence Acquisition）在信念不足以停下时，挑选”最值得去看一眼”的前沿。底层运动交给 VLFM 同款预训练 PointNav 策略。

下面是读者版的数据流（一次决策循环）：

graph TD
    A["RGB-D 观测 + 目标文本"] --> B["C-RADIOv4 单次前向: summary token + patch tokens"]
    B --> C["场景相似度写入价值地图"]
    B --> D{"最大 patch 相似度 > 门控阈值?"}
    D -- "否 (约 62% 的步)" --> G["跳过分割"]
    D -- "是" --> E["SAM3 同时分割目标与干扰类别"]
    E --> F["反投影成 3D 簇, 按 log-odds 更新信念"]
    G --> H{"某簇信念稳定超过停止阈值且足够近?"}
    F --> H
    H -- "是" --> I["STOP"]
    H -- "否" --> J["按 语义+信息增益-路程代价 选前沿"]
    C --> J
    J --> K["PointNav 执行动作, 获得新观测"]
    K --> A

② 逐模块讲解

模块 1：证据门控感知

输入：当前 RGB 图像 $I_t$、目标类别名 $g$。
处理：C-RADIOv4 编码器 $E$ 一次前向输出 summary token $z_t^{\text{sum}}$（整幅图的全局语义）与 $N$ 个 patch token $z_t^{\text{patch}}$（每个局部区域的语义）。目标名只用 SigLIP2 文本塔编码一次得到 $e_g$ 并缓存整个 episode。
- 场景相关度：summary token 经 SigLIP2 adaptor $f$ 对齐到文本空间，$\sigma_t^{\text{scene}} = \cos(f(z_t^{\text{sum}}), e_g)$，再按深度和位姿投影到俯视价值地图 $V_t$，作为”哪个方向可能有目标”的持久先验。
- 局部目标指示：同一个 adaptor 作用到每个 patch 上，取最大值 $\sigma_t^{\text{patch}} = \max_i \cos(f(z_{t,i}^{\text{patch}}), e_g)$——直觉上就是”画面里最像目标的那一小块有多像”。
- 门控：只有 $\sigma_t^{\text{patch}} > \tau_{\text{gate}}$（取 0.08）时，才把已算好的特征送进 SAM3 mask decoder 做实例分割，否则整步跳过分割。
输出：价值地图更新；以及（可能有的）带目标分与干扰分的实例分割结果。
设计动机：旧方法用 BLIP-2 打场景分、YOLO/GroundingDINO 做检测、MobileSAM 做分割，三套编码语义不一致且重复计算。共享骨干让所有阶段”看同一份表征”；而门控判断复用已算好的 patch 相似度，几乎零成本，却能跳过 60% 以上的 SAM3 调用。

模块 2：证据整合（核心卡点）

输入：SAM3 输出的实例 mask、深度、位姿；每个实例带目标分 $s_g$ 与最高干扰分 $s_{\text{conf}}$（干扰类别由 LLM 离线为每个目标生成至多 3 个，如 couch 的干扰物为 chair / daybed / chaise lounge，并跨 episode 缓存）。低于 $\tau_{\text{det}}=0.4$ 的检测直接丢弃。
处理：实例反投影成 3D 点云，若与最近观测到的某簇距离小于 0.75 m 就融合进去，否则新建簇。每个簇 $C_k$ 维护一个标量对数几率信念——可以理解为”支持它是目标的证据分”，0 表示中立，正数偏向是目标，负数偏向不是：

\[l(C_k) = \log \frac{P(C_k = g)}{1 - P(C_k = g)}\]

每次观测按加法更新并截断在 $[-4, 4]$ 内：

\[l(C_k) \leftarrow l(C_k) + \Delta l^{\text{sem}}(C_k) + \Delta l^{\text{miss}}(C_k)\]

语义项（对被检测命中的簇）：比较目标分与干扰分，谁明显占优就朝谁的方向推，差距在中性边界 $\delta=0.10$ 内则不动：

\[\Delta l^{\text{sem}}(C_k) = \begin{cases} +\alpha_{\text{sem}} \, \rho_k \, \text{logit}(\tilde s_g), & s_g \ge s_{\text{conf}} + \delta \\ -\alpha_{\text{sem}} \, \rho_k \, \text{logit}(\tilde s_{\text{conf}}), & s_{\text{conf}} \ge s_g + \delta \\ 0, & \text{otherwise} \end{cases}\]

其中 $\tilde s_g, \tilde s_{\text{conf}}$ 是重标定后的分数（保证过了 $\tau_{\text{det}}$ 的检测 logit 非负），$\rho_k \in [0,1]$ 是新实例与簇的空间重叠度，$\alpha_{\text{sem}}=0.7$。

缺失项（对信念为正、且落在视野内却没被检测到的簇）：”该看见却没看见”本身就是反证：

\[\Delta l^{\text{miss}}(C_k) = -\alpha_{\text{miss}} \, v_k \, \text{logit}(1 - s_{\text{miss}})\]

$v_k$ 是簇的 3D 点落在当前视锥内的比例，$s_{\text{miss}}=0.2083$ 是由统计估计的单帧漏检率，$\alpha_{\text{miss}}=0.3$。视野外的簇不受影响。

输出：每个簇的累积信念。当某簇信念超过 $\tau_{\text{stop}}=1.0$，机器人朝它走并持续更新；只有在连续 5 帧中至少 2 帧超过阈值、且距离簇 0.5 m 以内时才真正 STOP。
设计动机：ApexNav 也做时序融合，但它是平均——置信度永远不会超过最强那一帧，而且模糊视角和决定性视角权重相同。log-odds 的加法让一致观测复利累积；干扰项和缺失项则让错误假设被主动”撤销”。

举个例子（取 $\rho_k = 1$，假设重标定后分数即为下文数值）：

真目标：连续 3 帧看到同一把沙发，每帧 $\tilde s_g = 0.8$，$\text{logit}(0.8) = \ln 4 \approx 1.39$，每帧加 $0.7 \times 1.39 \approx 0.97$。3 帧后信念 $\approx 2.91$，稳稳超过 $\tau_{\text{stop}} = 1.0$。若用平均法，置信度始终停在 0.8，”看得再多也不会更确定”。

干扰物：找 chair 时看到沙发，目标分 0.47、干扰分 0.86（Fig. 4 真机数据），干扰分高出 $\delta$ 以上，若 $\tilde s_{\text{conf}} = 0.8$ 则该簇扣 0.97，直接变成负信念，机器人不会被它吸走。

误检撤回：某帧把远处杂物误检成垃圾桶，信念升到 +0.97。走近后它完整落在视野内（$v_k = 1$）却连续没被检测到，每帧扣 $0.3 \times \text{logit}(0.79) \approx 0.3 \times 1.34 \approx 0.40$；仅 1 帧后信念就降到 0.57、跌破停止阈值，机器人被”释放”回去继续探索；3 帧后变为 −0.23。

模块 3：主动证据获取

输入：价值地图 $V_t$、占据栅格（1000×1000，0.05 m/格）、当前前沿集合。
处理：对每个前沿 $f$ 计算复合效用（三项先在当前前沿集合内做 min-max 归一化，使尺度可比）：

\[U_t(f; g) = \tilde S_t(f; g) + \lambda_{\text{info}} \, \tilde G_t(f) - \lambda_{\text{dist}} \, \tilde C_t(f)\]

$S_t$：与 VLFM 相同，聚合前沿附近的价值地图值——”这个方向像不像有目标”。
$G_t$：在占据栅格上用 BFS 求到前沿的最短可通行路径 $\pi_t(f)$，沿路径每 0.75 m 采样一个视点（朝向沿路径切线，终点朝向附近未知区域），在 79° 水平视场内每 5° 射一条光线、最远 5 m，碰到已知障碍即停；所有光线扫过的未知格子并集就是信息增益 $G_t(f) = \lvert U_t \cap \text{Vis}(\pi_t(f)) \rvert$。关键在于它统计的是”一路上能看到多少新东西”，而不只是终点。
$C_t$：路径长度 $\lvert \pi_t(f) \rvert$。
输出：效用最高的前沿，交给 PointNav 执行。
设计动机：纯语义排序只说明”往哪边可能有”，不管”去那里能新看到多少、要走多远”。弱语义线索时，这正是来回摆动、步数浪费的根源。

维度	传统做法（VLFM / ApexNav 等）	AECNav
视觉编码	场景打分、检测、分割各用一套模型	一个 C-RADIOv4 前向，多个 adaptor 头共享
分割调用	每步都跑	patch 相似度门控，跳过约 62.5%
目标确认	单帧阈值，或多帧平均	3D 簇级 log-odds 累加，含干扰物与漏检负证据
前沿选择	语义价值（ApexNav 弱线索时退回几何）	语义 + 沿途信息增益 − 路径代价

③ 端到端数据流

一步决策的完整路径为：RGB-D 进入 C-RADIOv4 → summary token 更新价值地图、patch 相似度决定是否触发 SAM3 → 若触发，SAM3 以”目标 + LLM 生成的干扰类别”为提示分割 → 实例反投影并入 3D 簇、更新 log-odds 信念（视野内未命中的正信念簇扣 miss 分）→ 若某簇满足”稳定 + 足够近”则 STOP，若只是超阈值则朝它导航，否则按复合效用选前沿 → PointNav 输出 MOVE_FORWARD（0.25 m）/ TURN（30°）等离散动作 → 新观测回到开头。

④ 训练目标

完全 training-free：没有任何损失函数或微调，所有组件（C-RADIOv4 + SigLIP2/SAM3 adaptor、DeepSeek-V4-Flash 生成的干扰类别、预训练 PointNav）均直接复用，只有少量阈值与权重超参。

⑤ 推理流程

默认超参：$\tau_{\text{gate}}=0.08$，$\tau_{\text{det}}=0.4$，信念范围 $[-4,4]$，$(\alpha_{\text{sem}}, \alpha_{\text{miss}})=(0.7, 0.3)$，$\lambda_{\text{info}}=\lambda_{\text{dist}}=1.0$，C-RADIOv4（SO400M）输入 672×672。LLM 只在离线阶段为每个目标类别生成一次干扰类别，推理时没有在线 LLM 调用，这是它比 SG-Nav / InstructNav 快一到两个数量级的原因之一。

3. 核心结果/发现

主结果（全部为 training-free，与训练方法同表比较）：

基准	AECNav SR / SPL	此前最佳	提升
HM3D-v2	84.7 / 45.3	TrajRAG 78.1 / 40.2	SR +6.6，SPL +5.1
MP3D	51.3 / 25.9	WMNav 45.4 / 17.2	SR +5.9，SPL +8.7
HM3D-OVON	57.3 / 30.5	MSGNav 48.3 / 27.0	SR +9.0

开放词汇最难的 HM3D-OVON 上提升最大，与”类别越多、相似干扰物越多，log-odds 抗干扰越有用”的设计相吻合。

效率（HM3D-v2 前 100 个 episode）：AECNav 平均 108.63 步、24.39 s/episode；VLFM 53.36 s，ApexNav 177.97 s，SG-Nav 超过 1400 s。步数比第二名 ASCENT 少 33%，耗时比 VLFM 快 2.2 倍。

感知管线分析：把 BLIP-2 + YOLOv7 + MobileSAM 换成 C-RADIO，SR 从 75.9 升到 84.7、延迟从 0.402 降到 0.248 s/step；再加门控（$\tau_{\text{gate}}=0.08$）跳过 62.5% 的 SAM3 调用，延迟降到 0.178 s/step 且精度不掉，整体比多模型基线快 2.3 倍。

消融：

去掉证据整合（检测到就直接走过去）掉得最多：SR −12.8。
仅保留目标分的 log-odds 累积就已达 81.9 SR（比无累积高 10 个点）——累积本身是主要收益来源；干扰项再 +1.8，缺失项再 +1.3，两者修复的是互不重叠的错误类型，合计到 84.7。
去掉主动证据获取：SR −2.9，SPL −3.5。

信息增益权重与路径代价权重的扫描：单独加入路径代价项即显著提升；单独加入信息增益几乎无效（81.9 vs 81.8），必须与代价项搭配；任一权重过大都会伤害性能

一个反直觉的发现：信息增益单独使用几乎没用。没有代价约束时，它总偏爱视野开阔的大区域，把机器人派去长途远行，既耗步数又偏离语义有希望的区域；只有与路径代价配对，它才成为有效的”性价比”信号。

真机：Unitree Go2 + RealSense D455，4 个室内场景、8 个开放词汇目标（含”饮水机”“咖啡机”等标准词表外类别，椅子实验刻意放了沙发和长凳作干扰），40 次中成功 38 次（95%），单次决策 197.4 ms（约 5 Hz）。

Unitree Go2 真机实验：上排找椅子时，干扰分连续两次压过目标分，两张沙发被拒绝；下排找垃圾桶时，远处误检在走近后因漏检证据被撤回，机器人继续探索并找到真目标

4. 局限性

干扰类别依赖 LLM 离线生成的固定小集合（至多 3 个），若真实干扰物不在列表中，负证据就无法生效；方法大量依赖手调阈值与权重（门控阈值、漏检率先验、停止窗口等）。真机实验规模较小（40 次），两次失败分别来自前视相机从未看到的角落和大空旷区域的步数耗尽，说明探索策略在这两类场景仍有盲区。

参考资料

论文引用

NAVCON (2024). 认知启发与语言落地的首个大规模 Vision-Language Navigation 概念数据集. arXiv: 2412.13026
LoGoPlanner (2025). 定位接地的端到端导航策略：把度量尺度的视觉几何”植入”规划. arXiv: 2512.19629 · ICRA 2026
VL-Nav (2025). 实时零样本 Vision-Language 导航系统，融合像素级视觉-语言特征与启发式空间推理. arXiv: 2502.00931 · IROS 2026
GaussNav (2025). Gaussian Splatting for Visual Navigation. arXiv: 2403.11625 · IEEE TPAMI 2025
NavDP (2025). 只用仿真数据训练，零样本迁移到真实机器人的导航扩散策略. arXiv: 2505.08712 · ICRA 2026 · Code: InternRobotics/NavDP
FantasyVLN (2026). 统一多模态 Chain-of-Thought 推理用于视觉-语言导航. arXiv: 2601.13976
SparseVideoNav (2026). Sparse Video Generation Propels Real-World Beyond-the-View Vision-Language Navigation. arXiv: 2602.05827
WorldVLN (2026). Autoregressive World Action Model for Aerial Vision-Language Navigation. arXiv: 2605.15964
NavWAM (2026). 首个将未来预测、价值评估与动作决策集成于单一具身世界模型的导航模型. arXiv: 2606.13494
ABot-AgentOS (2026). 面向具身智能的通用机器人 Agent 操作系统与终身多模态记忆系统. arXiv: 2607.10350
Agentic Embodied Control (2026). 极简接口下的通用智能体直接掌控具身交互循环，零样本性能比肩工业级训练策略. arXiv: 2607.26148
Route2Step (2026). 解耦语义进度与局部执行，通过显式步级接口赋能具身导航纠偏. arXiv: 2608.03143 · ECCV 2026
HumanoidVLN (2026). 首个面向多样化双足人形机器人的物理真实 VLN 仿真平台与基准. arXiv: 2608.12860 · IEEE RA-L
CONDVLN (2026). 首个基于分层 3D 场景图的视觉语言导航条件分支诊断基准与神经符号探针. arXiv: 2608.17318
ReMEmbR (2024). 基于检索增强长程时空记忆的机器人导航问答与物理目标生成. arXiv: 2409.13682 · ICRA 2025
SuperMap (2026). 面向视觉-语言导航的实时 4D 时空语义 SLAM 与动态场景图系统. RSS 2026 · Code（待发布）: superxslam/SuperMap
GSMem (2026). 3D Gaussian Splatting 作为具身探索与推理的持久空间记忆. arXiv: 2603.19137
PROSPECT (2026). 流式 VLA + 潜空间预测：训练时预演未来，推理时零开销. arXiv: 2603.03739
Qwen-Drive (2026). 首个不改动 VLM 架构、统一 3D 感知/问答/轨迹规划的端到端自动驾驶基础模型. arXiv: 2609.00111
CGFM-Nav (2026). 耦合显式关系图记忆与隐式连续语义场的终身多模态具身导航. arXiv: 2608.29114
CanonNav (2026). 解耦相机几何与导航行为的跨平台视觉扩散导航策略. arXiv: 2608.30242
LookStep (2026). 基于语言前瞻推演与事件驱动记忆的高效端到端视觉语言导航. arXiv: 2609.02350
MacroAction-VLN (2026). 基于拓扑图宏动作分层 MDP 与动作感知 Critic 的连续环境闭环强化学习微调. arXiv: 2609.03906
NavMCP (2026). 首个将导航基础模型（NFM）脚手架化封装为智能体执行器的长程具身导航框架. arXiv: 2608.30396
OccPlanner (2026). 把一个没有深度的像素，”顶”回局部 3D 占用栅格里再规划. arXiv: 2608.14160
Harness Robotic OS (2026). 把四足巡检从「导航栈」升级为「具身智能体运行时」. arXiv: 2609.11225
EgoPathBench (2026). 把「导航决策」压成第一人称图上的一串编号，对错交给场景几何裁定. arXiv: 2609.16610
AdaGeoVLN (2026). 沿「表征深度」与「导航时间」两条轴做几何取舍. arXiv: 2609.18789
VLingNav (2026). Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory. arXiv: 2601.08665 · Project Page: wsakobe/VLingNav-web
Hydra-Nav (2026). Object Navigation via Adaptive Dual-Process Reasoning. arXiv: 2602.09972
3DGSNav (2026). 用主动 3DGS 记忆增强 VLM 空间推理，实现零样本目标导航. arXiv: 2602.12159
SysNav (2026). Multi-Level Systematic Cooperation Enables Real-World, Cross-Embodiment Object Navigation. arXiv: 2603.06914 · Code: zwandering/SysNav
WAM-Nav (2026). 非对称隐空间「世界-动作」联合建模，用一个 DiT 统一三类视觉导航. arXiv: 2606.04907
EvoMemNav (2026). 零样本具身导航中基于轻量化图先验与多视图反思的高效自进化细粒度拓扑记忆框架. arXiv: 2606.03509v1 · Code（待发布）: caicaiya123/EvoMemNav
LocalNav (2026). 基于知识蒸馏与具身强化学习的端侧轻量化三维场景图目标导航框架. arXiv: 2606.27871
AECNav (2026). 把”找物体”改写成”攒证据”：一次编码、按需分割、对数几率累积信念. arXiv: 2608.10817

原文作者：Tingde Liu · 原文链接 · 原创文字许可：CC BY 4.0

由 GaryLee1210 维护学习镜像。正文保持原样；调整了站点配置、站内链接和反馈入口，并补充来源说明。论文配图及第三方引用材料的权利归原作者或出版方，沿用正文中的出处标注。

反馈

📮 参与改进这篇文章

发现错误、想推荐相关论文、或有修改建议？点击下方按钮通过 GitHub Issue 提交，提交后你将出现在社区贡献者墙中。

🐛 报告错误 📄 推荐论文 ✏️ 修改建议