时序建模对于机器人操作至关重要，因为有效的控制既需要记忆过去的交互经验，也需要想象未来的状态演变。然而，大多数 VLA（视觉 - 语言 - 动作）模型主要依赖当前观测，因此在长时序、时间依赖的任务上面临挑战。认知科学表明，人类依赖工作记忆来缓冲短暂上下文，利用海马系统保存过去经验的情景记忆，并通过内部模型想象可能的未来状态演变。受这些机制启发，我们提出 MemoryVLA++，这是一个完整的时序建模框架，旨在为机器人操作中的 VLA 模型配备记忆与想象能力。一个预训练的 VLM（视觉 - 语言模型）将当前观测编码为感知和认知标记，从而形成工作记忆。这些标记查询一个感知 - 认知记忆库（Perceptual-Cognitive Memory Bank），以检索相关的历史上下文。该记忆库存储来自过去交互的底层细节和高层语义，并通过基于冗余感知的整合机制进行更新。一个世界模型在去噪潜在空间中想象未来状态，并在记忆指导下整合这些想象的潜在表示，以形成完整的时序感知标记。所得到的标记作为条件输入，引导扩散动作专家预测时间一致的动作序列。我们在 5 个仿真基准和 3 类真实机器人任务上进行了广泛实验，涉及 3 种机器人，涵盖一般操作、长时序任务、鲁棒性及泛化能力。我们的方法在 Libero、SimplerEnv、Mikasa-Robo、Calvin、Libero-Plus 以及多种真实机器人任务上均取得了优异性能，验证了具备记忆与想象能力的完整时序建模的有效性。例如，在真实机器人上，该方法在一般任务、记忆依赖任务和想象依赖任务上分别实现了 +9%、+26% 和 +28% 的性能提升。项目页面：https://shihao1895.github.io/MemoryVLA-PP-Web

Temporal modeling is essential for robotic manipulation, as effective control requires both memory of past interactions and imagination of future states. However, most VLA models rely primarily on the current observation and therefore struggle with long-horizon, temporally dependent tasks. Cognitive science suggests that humans rely on working memory to buffer short-lived context, the hippocampal system to preserve episodic memory of past experience, and internal models to imagine possible future state evolution. Inspired by these mechanisms, we propose MemoryVLA++, a full temporal modeling framework that equips VLA models with memory and imagination for robotic manipulation. A pretrained VLM encodes the current observation into perceptual and cognitive tokens, forming working memory. These tokens query a Perceptual-Cognitive Memory Bank to retrieve relevant historical context. This bank stores low-level details and high-level semantics from past interactions, and is updated through redundancy-aware consolidation. A world model imagines future states in a denoising latent space, and the imagined latents are integrated under memory guidance to form full temporal-aware tokens. The resulting tokens condition a diffusion action expert to predict temporally consistent action sequences. We conduct extensive experiments on 5 simulation benchmarks and 3 categories of real-robot tasks across 3 robots, covering general manipulation, long-horizon temporal tasks, robustness, and generalization. Our method achieves strong performance across Libero, SimplerEnv, Mikasa-Robo, Calvin, Libero-Plus, and diverse real-robot tasks, validating the effectiveness of full temporal modeling with memory and imagination. For example, on real robots, it achieves +9%, +26%, +28% gains on general, memory-dependent, and imagination-dependent tasks. Project Page: https://shihao1895.github.io/MemoryVLA-PP-Web

评分理由: 论文核心在于将世界模型（World Models）和记忆机制整合到视觉 - 语言 - 动作模型（VLA/MLLM）中，因此相关关键词得分较高。Visual Encoder 和 MultiModal 是基础架构核心。model-based RL 通过世界模型想象未来状态体现。Tokenizer 在 VLM 中存在但非主要创新点。Unify Models 指代记忆与想象的统一，相关性中等。作者列表中未包含指定的专家。

Vision-Language-Action Models, Temporal Modeling, World Model, Memory Bank, Robotic Manipulation, Diffusion Action Expert, Pretrained VLM

Chinese Title: MemoryVLA++：通过记忆与想象在视觉-语言-动作模型中进行时序建模

Summary: 本文提出MemoryVLA++，一个受认知科学启发的全时序建模框架，旨在增强视觉-语言-动作（VLA）模型在机器人操作中的记忆与想象能力。现有VLA模型主要依赖当前观测，难以处理长时程、时间依赖的任务。MemoryVLA++通过预训练VLM编码当前观测生成感知和认知令牌，形成工作记忆；这些令牌查询感知-认知记忆库（PCMB）以检索相关历史上下文，并通过冗余感知合并更新记忆库。同时，一个视频生成世界模型在去噪潜空间中想象未来状态，并在记忆引导下集成到完整时序令牌中，最终条件化扩散动作专家以预测时序一致的动作序列。在5个模拟基准和3类真实机器人任务上的实验表明，该方法在Libero、SimplerEnv、Mikasa-Robo、Calvin、Libero-Plus等基准上均取得领先性能，真实机器人任务中在通用操作、长时程记忆依赖和想象依赖任务上分别提升9%、26%和28%。

Innovations:

• 将VLA时序建模从仅依赖过去记忆扩展到涵盖过去、现在和未来的全时序建模，同时引入记忆与想象机制。
• 提出感知-认知记忆库（PCMB），同时存储低层感知细节和高层认知语义，并通过冗余感知合并实现紧凑更新。
• 利用视频生成世界模型在潜空间中进行部分去噪，生成决策相关的未来想象令牌，避免像素级预测的高成本。
• 设计记忆引导的想象集成模块，自适应地将想象未来潜变量与记忆增强令牌融合，生成全时序感知表示。
• 在扩散动作专家中，认知令牌提供高层语义指导，感知令牌提供细粒度视觉细节，共同产生时序一致的动作序列。

Methodology: MemoryVLA++采用端到端框架，首先使用预训练VLM（如Qwen）编码当前RGB观测和语言指令，生成感知令牌和认知令牌作为工作记忆。工作记忆通过交叉注意力查询感知-认知记忆库（PCMB），检索相关历史上下文，并通过门控机制自适应融合。PCMB通过冗余感知合并（合并时间相邻且语义相似的条目）进行更新。未来想象部分使用视频生成世界模型（基于扩散模型）在潜空间中进行部分去噪，生成未来状态潜变量，并在记忆引导下与当前令牌集成。最终全时序令牌条件化扩散动作专家，通过迭代去噪预测连续动作序列。训练采用模仿学习，结合动作预测损失和记忆检索损失。

Key Results:

• 在Libero模拟基准上达到98.4%的成功率，在SimplerEnv上达到74.0%，相比基线最高提升16.7个百分点。
• 在长时程任务Mikasa-Robo上达到44.4%的成功率，在Calvin上得分4.29，相比基线提升15.0个百分点。
• 在鲁棒性与泛化基准Libero-Plus上达到82.7%的成功率。
• 真实机器人实验中，通用操作任务得分85%，长时程记忆依赖任务得分83%，长时程想象依赖任务得分77%，分别比基线提升9%、26%和28%。
• 消融实验验证了记忆库、世界模型想象、记忆引导集成等组件的有效性。

Tech Stack:

• 视觉-语言模型（VLM）：Qwen系列
• 扩散模型（Diffusion Model）用于动作预测和视频生成
• 感知-认知记忆库（PCMB）
• 交叉注意力机制（Cross-Attention）
• 门控融合机制（Gating Mechanism）
• 冗余感知合并（Redundancy-aware Consolidation）
• 潜空间部分去噪（Partial Denoising in Latent Space）
• 模仿学习（Imitation Learning）
• 大规模机器人数据集（OXE, Agibot等）

Strengths:

• 受认知科学启发，设计了完整的记忆与想象机制，理论动机清晰。
• 在多个模拟和真实机器人基准上均取得显著性能提升，泛化性强。
• 潜空间想象避免了像素级预测的高计算成本，效率较高。
• 端到端框架，无需外部VLM或规划器，部署简洁。
• 支持多种机器人平台（单臂、双臂），实验覆盖广泛。

Limitations:

• 世界模型训练需要额外的视频数据，可能增加数据收集成本。
• 记忆库的容量和更新策略在极长时程任务中可能仍需优化。
• 当前方法主要针对操作任务，在移动操作或复杂导航任务中的适用性未验证。
• 对VLM基座模型依赖较强，更换基座可能需要重新训练或调参。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 本文使用世界模型进行未来状态想象，属于世界模型与表征学习的结合。
• 原生多模态大模型，多模态大模型的理解和生成一体化: 基于VLM（多模态大模型）进行感知和认知编码，同时生成动作，体现理解与生成一体化。
• 表征学习: 通过感知和认知令牌学习高效的状态表征，并利用记忆库进行长期依赖建模。
• 世界模型: 视频生成世界模型用于想象未来状态，属于基于模型的方法。
• 强化学习，后训练: 论文采用模仿学习，未直接使用强化学习，但世界模型和记忆机制可与强化学习结合进行后训练。

具身世界模型已成为视觉机器人决策与交互式环境模拟中的关键范式。然而，传统的具身框架依赖于低维结构化动作向量（如关节角度和末端执行器姿态），其存在表达能力有限、在不同具身体之间泛化能力差以及复杂物理交互下动态建模不自然等缺陷。为了解决这些局限性，本文提出了 iMac（Image as Action Control，图像即动作控制），这是一种新颖的统一控制范式，它将原始视觉图像视为具身世界模型的原生动作表示。与传统显式运动学动作编码不同，iMac 将连续视觉操作表述为基于图像的动作令牌，这些令牌天然地封装了空间运动意图、交互式几何约束以及细微的物理动力学。我们构建了一个双分支具身架构，包含图像 - 动作编码器和动态世界预测器：编码器将目标驱动视觉图像压缩为紧凑的动作嵌入，而预测器则学习基于图像动作的环境转换规则，以实现高保真的未来状态预测和闭环具身控制。我们在公共具身操作基准和真实机器人场景上进行了广泛的实验。实验结果表明，iMac 在预测准确率、任务成功率以及跨场景泛化能力方面均优于基于向量的动作控制基线。此外，我们的图像 - 动作设计消除了对手动定义动作空间的依赖，实现了对异构具身代理的灵活且通用的控制。这项工作为具身世界模型提供了一种创新的视觉 - 动作视角，为可扩展的机器人感知与操作提供了一个简单而有效的范式。

Embodied world models have emerged as a pivotal paradigm for visual robotic decision-making and interactive environment simulation. However, conventional embodied frameworks rely on low-dimensional structured action vectors (e.g., joint angles and end-effector poses), which suffer from limited expressive capacity, poor generalization across diverse embodiments, and unnatural dynamic modeling for complex physical interactions. To address these limitations, this paper proposesiMac (Image as Action Control), a novel unified control paradigm that treats raw visual images as native action representations for embodied world models. Departing from traditional explicit kinematic action encoding, iMac formulates continuous visual manipulation as image-based action tokens, which inherently encapsulate spatial motion intentions, interactive geometric constraints and subtle physical dynamics. We construct a dual-branch embodied architecture consisting of an image-action encoder and a dynamic world predictor: the encoder compresses target-driven visual images into compact action embeddings, while the predictor learns environment transition rules conditioned on image actions to achieve high-fidelity future state prediction and closed-loop embodied control. Extensive experiments are conducted on public embodied manipulation benchmarks and real-world robotic scenarios. The results demonstrate that iMac outperforms vector-based action control baselines in prediction accuracy, task success rate and cross-scene generalization ability. Moreover, our image-action design eliminates the reliance on manually defined action spaces, realizing flexible and universal control for heterogeneous embodied agents. This work provides an innovative visual-action perspective for embodied world models, offering a simple yet effective paradigm for scalable robotic perception and manipulation.

评分理由: 论文核心围绕具象化世界模型（World Models）展开，提出统一控制范式（Unify Models）并使用图像动作令牌（Tokenizer），包含视觉编码器（Visual Encoder）和世界预测器（model-based RL）。虽涉及视觉与动作结合（MultiModal），但未涉及语言模型（MLLM），故后者得分较低。作者列表中未包含指定的专家，故无额外加分。

Embodied World Models, Image as Action Control, Visual Action Tokens, Dynamic World Predictor, Unified Control Paradigm, Robotic Manipulation

Chinese Title: iMaC: 将动作转化为运动和接触图像用于具身世界模型

Summary: 本文提出iMaC，一种具身世界模型，旨在通过显式的空间控制信号提升动作条件视频预测的精度，从而支持机器人策略的离线评估。现有方法将动作编码为紧凑向量，模型需间接推断空间后果，在精细操作中易出错。iMaC将未来动作转化为两类图像控制：运动图像（通过URDF和正向运动学渲染未来机器人外观）和接触图像（基于当前场景与未来机器人的点云构建双流几何距离场）。同时，模型预测深度以增强空间理解，并采用训练时滚动策略（用生成帧作为下一参考）支持分钟级长时程生成。在8个真实机器人长时程操作任务上，iMaC的世界模型评估分数与真实策略成功率呈强正相关，能有效区分不同策略检查点的性能。

Innovations:

• 将未来动作转化为运动图像：利用URDF和正向运动学渲染未来机器人外观，提供像素级引导，减少模型对机器人运动的推断负担。
• 构建双流接触图像：从当前场景点云和未来机器人点云分别计算场景到夹爪和机器人到场景的距离场，显式编码接触相关的空间几何关系。
• 训练时滚动策略：在训练阶段使用生成帧作为下一参考，减少闭环生成中的曝光偏差，支持分钟级长时程视频预测。
• 深度预测辅助：预测深度图并用于后续接触图像构建，提升世界模型的空间理解能力。

Methodology: iMaC基于WAN2.2图像到视频DiT模型，将多视图（一个固定头相机和两个腕部相机）拼接为单张图像处理。运动图像通过URDF和正向运动学计算未来关节状态，并从相同相机视角渲染机器人模型。接触图像通过Depth Anything 3估计初始深度，生成点云，然后计算当前场景点云到未来夹爪点云的距离（场景到夹爪）以及未来机器人点云到当前场景点云的距离（机器人到场景），形成两个距离场图像。这些控制图像经VAE编码和专用patchify层后，通过潜在加法注入到噪声化的未来视频令牌中。模型使用flow matching损失训练。为支持长时程，采用训练时滚动：将生成块的最后一帧作为下一块的参考图像，使模型适应自身预测误差。

Key Results:

• 在8个真实机器人长时程操作任务上，iMaC的世界模型评估分数与真实策略成功率呈强正相关（Spearman相关系数高）。
• iMaC能够有效区分不同策略检查点的相对性能，为策略选择提供可靠依据。
• 相比使用紧凑动作编码的基线，iMaC在长时程闭环生成中误差累积更小，支持分钟级视频预测。

Tech Stack:

• WAN2.2图像到视频DiT模型
• VAE编码器
• URDF（统一机器人描述格式）
• 正向运动学（Forward Kinematics）
• Depth Anything 3（深度估计）
• 点云生成与距离场计算
• Flow Matching损失函数
• Patchify层（视频/控制专用）
• 多视图拼接（头相机+腕部相机）

Strengths:

• 动作表示显式空间化：运动图像和接触图像直接提供像素级和几何级控制，减少模型对抽象动作向量的依赖。
• 支持长时程闭环生成：训练时滚动策略有效缓解曝光偏差，使模型能稳定生成分钟级视频。
• 与真实性能强相关：在多个真实操作任务上验证了世界模型评估的可靠性，可用于策略比较和故障分析。
• 无需额外标注：URDF和动作序列是策略评估场景下的自然输入，接触图像基于深度估计自动构建。

Limitations:

• 依赖机器人URDF和相机标定，限制了跨平台迁移的便利性。
• 深度估计精度（Depth Anything 3）影响接触图像质量，在复杂场景或透明物体上可能引入误差。
• 训练时滚动策略增加了训练复杂度，且模型泛化到未见过的场景或物体时可能性能下降。
• 计算成本较高：渲染运动图像和点云距离场需要额外计算资源，可能影响实时性。

Relevance To Keywords: 论文直接聚焦于世界模型（World Models），通过视频生成模拟环境用于策略评估，属于模型基强化学习（Model-Based RL）的典型应用。动作转化为图像表示体现了表征学习（Representation Learning）思想，将低维动作映射为高维空间控制信号。视频生成模型属于多模态大模型范畴，但论文未涉及原生多模态大模型的理解与生成一体化，而是专注于生成侧。后训练（post-training）方面，训练时滚动策略可视为一种后训练适应闭环生成的技术。整体上，论文与世界模型、表征学习、模型基强化学习、多模态大模型（生成）高度相关，与原生多模态大模型的理解一体化相关性较弱。

我们提出**Echo-Memory**，一项针对动作条件化世界模型（action-conditioned world models）中记忆机制的受控研究。这些模型基于第一帧、文本提示和相机动作序列生成多段视频，但其核心失败往往并非局部图像合成，而是记忆机制：当相机离开并返回后，场景或显著物体可能会悄然发生改变。现有的记忆设计难以比较，因为性能提升往往与骨干网络、训练策略、检索方法及评估标准的差异混杂在一起。Echo-Memory 固定了动作到视频的接口，仅改变生成器对历史的存储与读取方式。在共享的视频扩散骨干网络（video diffusion backbone）、优化器、相机动作表示、采样器和评估流程下，我们比较了原始上下文、基于压缩的记忆、具有不同读出路径的空间摘要以及状态空间循环机制（state-space recurrence）。这一匹配矩阵分离了四个 otherwise 混淆的维度：容量（capacity）、压缩（compression）、读出（read-out）和循环（recurrence）。我们还通过一个三分支协议评估记忆：回放质量（replay quality）、领域内循环重访（in-domain loop revisit）和领域外返回探测（open-domain return probes）。各分支经常不一致，表明回放保真度并非衡量记忆世界的充分代理指标。得出以下三个发现：原始上下文是一个强大的容量基线，其对领域外返回的提升远大于对回放指标的提升。紧凑性并非无需代价的容量替代：激进的基于空间摘要和混合压缩的记忆会丢失返回所需的显著证据。最后，块级状态空间循环机制在我们的矩阵中表现最强，表明隐式记忆的结构与其使用决策同样重要。这些结果提供了一个紧凑的协议，用于在动作世界模型（action world models）中研究记忆，超越了孤立的重放指标。

We present \textbf{Echo-Memory}, a controlled study of memory mechanisms in action-conditioned world models. These models generate multi-segment videos from a first frame, text prompt, and camera-action sequence, but their central failure is often memory rather than local image synthesis: after the camera leaves and returns, the scene or salient object may silently change. Existing memory designs are hard to compare because gains are entangled with backbone, training, retrieval, and evaluation differences. Echo-Memory fixes the action-to-video interface and varies only how history is stored and read by the generator. Under a shared video diffusion backbone, optimizer, camera-action representation, sampler, and evaluation pipeline, we compare raw context, compression-based memory, spatial summaries with different read-out paths, and state-space recurrence. This matched matrix separates four otherwise conflated axes: \emph{capacity}, \emph{compression}, \emph{read-out}, and \emph{recurrence}. We also evaluate memory through a three-branch protocol: replay quality, in-domain loop revisit, and open-domain return probes. The branches routinely disagree, showing that replay fidelity is not a sufficient proxy for remembering a world. Three findings follow. Raw context is a strong capacity baseline and improves open-domain return far more than it improves replay metrics. Compactness is not a free substitute for capacity: aggressive spatial and hybrid-compression memories lose the salient evidence needed for return. Finally, block-wise state-space recurrence is the strongest open-domain return mechanism in our matrix, showing that the structure of implicit memory matters as much as the decision to use it. These results provide a compact protocol for studying memory in action world models beyond isolated replay metrics.

评分理由: 论文核心聚焦于世界模型（World Models）中的记忆机制研究，标题与摘要均明确提及，故该项得满分；研究涉及视频、文本及动作输入，属于多模态系统，且动作条件世界模型是模型强化学习（model-based RL）的基础组件，故相关度高；论文通过统一评估框架比较不同记忆机制，体现了 Unify Models 的思想；视觉编码器作为扩散模型 backbone 的一部分存在，Tokenizer 和 MLLM 虽有涉及但非核心创新点。作者列表中不包含指定的 Yang Shi 等专家，故无额外加分。

World Models, Memory Mechanisms, Action-conditioned, Video Generation, State-space Recurrence, Diffusion Backbone, Controlled Study, Open-domain Return

Chinese Title: 回响记忆：动作世界模型中记忆的受控研究

Summary: 本文提出Echo-Memory，一项针对动作条件世界模型中记忆机制的受控研究。研究背景是，现有世界模型在生成多段视频时，常因记忆不足导致场景在相机离开并返回后发生静默变化。现有记忆设计因骨干网络、训练、检索和评估差异而难以比较。Echo-Memory固定了视频扩散骨干、优化器、相机动作表示、采样器和评估流程，仅改变历史信息的存储与读取方式，比较了原始上下文、基于压缩的记忆、空间摘要和状态空间递归四种记忆家族。通过三分支评估协议（回放质量、域内循环重访、开放域返回探测）发现：原始上下文是强容量基线，显著提升开放域返回；紧凑性不能替代容量；块状状态空间递归是最强的开放域返回机制。结论表明，回放保真度不足以代理世界记忆，记忆的结构与使用同等重要。

Innovations:

• 提出受控比较框架，固定所有非记忆组件，仅变化记忆表示，实现公平对比。
• 将记忆设计分解为容量、压缩、读取和递归四个正交轴，系统评估各轴影响。
• 设计三分支评估协议（回放、域内循环、开放域返回），揭示回放指标不足以衡量世界记忆。
• 发现块状状态空间递归在开放域返回上表现最优，强调隐式记忆结构的重要性。
• 明确原始上下文作为容量基线的强大效果，以及紧凑压缩记忆在开放域中的局限性。

Methodology: 论文采用受控实验方法，基于固定视频扩散Transformer骨干（Video DiT），使用每帧VAE潜在表示和相对RT相机动作编码。记忆设计空间包括四种家族：原始上下文（Context）、压缩记忆（Compression）、空间记忆（Spatial）和状态空间递归（State-Space）。所有变体共享相同训练流程、优化器（AdamW）、学习率、分辨率（352×640）、段长（81帧）和评估管道。评估使用三分支协议：回放质量（PSNR、SSIM、LPIPS）、域内循环重访（相机离开并返回的固定轨迹）和开放域返回探测（使用VLM判断场景和物体一致性）。

Key Results:

• 原始上下文从K=1增至K=20时，回放图像质量提升，开放域VLM返回得分从12.25升至58.63。
• 空间记忆在回放PSNR上有竞争力，但开放域返回较弱；混合压缩丢失了长度压缩保留的信号。
• 读取方式比存储更重要：保留但不可读的令牌无法改善重访一致性。
• 块状状态空间递归达到开放域VLM得分69.00，虽回放PSNR较低，但重访一致性最强。
• 三分支评估结果常不一致，证明回放保真度不是世界记忆的充分代理。

Tech Stack:

• Video DiT（视频扩散Transformer）
• VAE（变分自编码器）潜在表示
• 流匹配（Flow Matching）回归损失
• 相对RT相机动作编码（12维：9旋转+3平移）
• AdamW优化器
• PSNR、SSIM、LPIPS、FID、FVD评估指标
• VLM（视觉语言模型）作为裁判的开放域评估
• 上下文检索器（基于相机重叠、场景几何等）
• 压缩操作（令牌加权、时间窗口池化、帧打包）
• 状态空间模型（块状递归）

Strengths:

• 严格的受控实验设计，隔离记忆机制影响，提高结论可信度。
• 三分支评估协议全面覆盖不同记忆需求场景，避免单一指标偏差。
• 清晰分解记忆设计的四个正交轴，提供系统化理解。
• 发现原始上下文和状态空间递归的强效性，为实际设计提供指导。
• 开源代码和项目页面，促进可复现研究。

Limitations:

• 仅使用单一骨干（Video DiT），结论可能不直接迁移到其他架构。
• 动作表示限于相对RT，未探索绝对编码或更复杂动作类型。
• 评估限于视频生成任务，未涉及强化学习或交互式环境。
• 上下文长度上限为20，未探索更长序列下的记忆行为。
• 未深入分析记忆与生成质量之间的计算成本权衡。

Relevance To Keywords:

• Unify Models: 论文研究世界模型中的记忆机制，属于统一模型中的关键组件。
• World Models: 直接聚焦动作条件世界模型，探讨其记忆失效问题。
• Representation Learning: 记忆表示（上下文、压缩、空间、状态空间）是表征学习的核心。
• Model-Based RL: 世界模型是基于模型强化学习的基础，记忆影响长期规划。
• 原生多模态大模型: 视频生成与记忆机制是多模态大模型的重要能力。
• 多模态大模型的理解和生成一体化: 三分支评估中VLM用于理解场景一致性，生成由扩散模型完成。
• 表征学习: 不同记忆家族本质上是不同的历史表征学习方式。
• 世界模型: 论文标题和内容直接围绕世界模型中的记忆问题。
• 强化学习: 世界模型可用于强化学习中的环境模拟，记忆影响长期一致性。
• 后训练: 论文中的微调训练（5k步）可视为后训练阶段。

世界 - 动作模型（World-action models）已成为机器人操作的一种有前景的范式，通过联合建模视觉场景动力学与动作，将物理先验注入策略学习过程中。然而，现有的世界 - 动作模型在相同的时间分辨率下耦合世界预测与动作执行，迫使世界分支建模近期帧变化，而这些变化既冗余又信息量微弱。我们认为，严格将世界预测与动作执行绑定到同一时序节奏，可能会未充分利用视频分支在具身控制中的潜力。因此，我们提出 AHA-WAM，一种基于双扩散变换器（DiT）架构的异步 horizon 自适应世界 - 动作模型，该模型围绕这种时序不对称性重新组织世界 - 动作建模。AHA-WAM 将视频 DiT 实例化为低频世界规划器，维护过去观测的滚动键值记忆，并暴露可重用的逐层潜上下文以编码长 horizon 场景演化；而高频动作 DiT 则通过逐层联合注意力查询此上下文，在闭环中执行短动作块。为支持异步执行，我们引入 horizon 自适应偏移训练和观测引导视频上下文路由（OVCR），二者共同使动作专家能够利用长 horizon 世界上下文，同时保持对实时执行状态的响应，而无需重新运行视频 DiT。在 RoboTwin 和真实世界操作任务上的实验表明，AHA-WAM 在未进行任何机器人数据预训练的情况下实现了最先进的性能，在 RoboTwin 上平均成功率为 92.80%，在 4 个真实世界任务上成功率为 78.3%，同时达到 24.17 Hz 的闭环控制，相较于 Fast-WAM 实现了 4.59 倍加速。

World-action models have emerged as a promising paradigm for robot manipulation, jointly modeling visual scene dynamics and actions to inject physical priors into policy learning. However, existing world-action models couple world prediction and action execution at the same temporal resolution, forcing the world branch to model near-term frame variations that are redundant and weakly informative. We posit that strictly binding world prediction and action execution to the same temporal rhythm may underutilize the potential of the video branch for embodied control. Therefore, we propose AHA-WAM, an Asynchronous Horizon-Adaptive World-Action Model built on a dual Diffusion Transformer (DiT) architecture that reorganizes world-action modeling around this temporal asymmetry. AHA-WAM instantiates the video DiT as a low-frequency world planner that maintains rolling key-value memory over past observations and exposes reusable layerwise latent context encoding long-horizon scene evolution, while a high-frequency action DiT executes short action chunks in closed loop by querying this context through layerwise joint attention. To support asynchronous execution, we introduce horizon-adaptive offset training and Observation-Guided Video-Context Routing (OVCR), which together let the action expert exploit long-horizon world context while remaining responsive to real-time execution state without rerunning the video DiT. Experiments on RoboTwin and real-world manipulation tasks show that AHA-WAM achieves state-of-the-art performance without any robot-data pretraining, attaining 92.80% average success on RoboTwin and 78.3% success across 4 real-world tasks, while reaching 24.17 Hz closed-loop control with a 4.59x speedup over Fast-WAM.

评分理由: 论文核心提出世界动作模型（World Models），结合视觉与动作（MultiModal），用于机器人控制（model-based RL）。架构上统一了世界预测与动作执行（Unify Models），使用视觉变换器但未强调分词器（Tokenizer）或语言模型（MLLM）。

World-Action Modeling, Asynchronous Horizon-Adaptive, Diffusion Transformer, Observation-Guided Context Routing, Robot Manipulation, Closed-loop Control, Visual Scene Dynamics

Chinese Title: AHA-WAM：基于观测引导上下文路由的异步自适应视界世界-动作建模

Summary: 现有世界-动作模型将世界预测与动作执行绑定在同一时间分辨率下，导致世界分支在冗余且信息量低的近邻帧变化上浪费计算资源。为此，本文提出AHA-WAM，一种基于双扩散Transformer（DiT）架构的异步自适应视界世界-动作模型。AHA-WAM将视频DiT设计为低频世界规划器，维护滚动键值记忆并暴露可复用的逐层潜上下文，编码长视界场景演化；同时将动作DiT设计为高频执行器，通过逐层联合注意力查询该上下文，实现短动作块的闭环执行。为支持异步执行，引入自适应视界偏移训练和观测引导视频上下文路由（OVCR），使动作专家能利用长视界世界上下文同时保持对实时执行状态的响应。在RoboTwin和真实世界操作任务上，AHA-WAM无需机器人数据预训练即达到92.80%和78.3%的成功率，闭环控制频率达24.17 Hz，较Fast-WAM加速4.59倍。

Innovations:

• 提出异步自适应视界世界-动作模型（AHA-WAM），将视频DiT世界规划与动作DiT闭环执行解耦为不同时间尺度，并引入自适应视界偏移训练以支持任意规划器-执行器相位关系。
• 开发观测引导视频上下文路由（OVCR），动态从当前观测构建动作块特定的潜视频上下文，使异步规划器上下文与实时执行状态对齐，无需重新运行视频DiT。
• 在无需大规模机器人数据预训练的条件下，在仿真和真实世界操作任务上达到最先进水平，并显著提升推理效率（闭环控制频率达56.9 Hz，较Fast-WAM加速10.82倍）。

Methodology: AHA-WAM采用双DiT架构：低频视频DiT作为世界规划器，以较长视界预测未来视频潜变量，并维护滚动键值记忆以连接过去观测与未来规划；高频动作DiT作为执行器，以较短视界预测动作块，并通过逐层联合注意力从视频DiT的潜上下文中获取视觉信息。OVCR机制利用最新观测构建查询，更新视频DiT的键值状态，使动作专家获得观测条件化的规划器上下文。训练时采用自适应视界偏移训练，暴露模型于多种规划器-执行器相位偏移。推理时通过ODE蒸馏和CUDA优化加速动作流。

Key Results:

• 在RoboTwin 2.0的50个任务上平均成功率达92.80%，达到最先进水平。
• 在4个真实世界操作任务（涵盖可变形操作、长视界整理、精细工具使用和空间泛化）上平均成功率为78.3%。
• 在真实世界分布外评估中，与π0.5并列表现出最小的性能下降，显示更强的分布偏移鲁棒性。
• 闭环控制频率最高达56.9 Hz，较Fast-WAM加速10.82倍。

Tech Stack:

• 扩散Transformer（DiT）
• 变分自编码器（VAE）
• 滚动键值记忆（Rolling KV Memory）
• 逐层联合注意力（Layerwise Joint Attention）
• 观测引导视频上下文路由（OVCR）
• 自适应视界偏移训练（Horizon-Adaptive Offset Training）
• ODE蒸馏（ODE Distillation）
• CUDA优化

Strengths:

• 创新性地解耦世界模型与动作模型的时间尺度，使视频分支专注于长视界规划，动作分支专注于高频闭环控制，结构设计合理。
• OVCR机制有效解决异步执行中规划器上下文过时问题，无需重算视频DiT，兼顾效率与准确性。
• 无需大规模机器人数据预训练即可在仿真和真实世界任务上达到最先进性能，实用性强。
• 推理效率显著提升，闭环控制频率高，适合实际部署。

Limitations:

• 双DiT架构和OVCR机制增加了模型复杂度和训练难度。
• 实验仅在RoboTwin和少量真实世界任务上验证，泛化到更广泛场景和任务类型的能力有待进一步评估。
• 异步执行中视频规划器上下文更新频率较低，可能在某些快速变化场景中引入延迟或信息滞后。

Relevance To Keywords:

• Unify Models: AHA-WAM将世界模型与动作模型统一在双DiT架构中，实现联合建模。
• World Models: 视频DiT作为世界规划器，学习视觉场景动态，属于世界模型范畴。
• Representation Learning: 通过OVCR和滚动KV记忆学习可复用的长视界潜上下文表示。
• Model-Based RL: 世界-动作模型为策略学习注入物理先验，属于基于模型的强化学习范式。
• 原生多模态大模型: 使用DiT处理视觉和语言多模态输入，但非典型大语言模型。
• 多模态大模型的理解和生成一体化: 模型同时理解视觉观测和语言指令，并生成动作和未来视频。
• 表征学习: 视频DiT学习场景演化的潜表征，动作DiT利用该表征进行控制。
• 强化学习: 论文未明确使用强化学习，但世界-动作模型可服务于强化学习中的规划与策略学习。
• 后训练: 论文未涉及后训练，但模型可进一步通过微调适应新任务。

自回归（AR）模型在视觉生成领域展现出巨大潜力，凭借简单的架构和优化目标实现了卓越的性能。然而，现有方法通常局限于单模态条件（例如文本），限制了其在需要从多样控制进行图像合成的现实场景中的适用性。本文提出了 OmniGen-AR，一个用于任意到图像（Any-to-Image）生成的统一自回归框架。通过共享视觉标记器对各种视觉条件进行离散化，并使用文本标记器处理文本提示，OmniGen-AR 在单个模型中支持广泛的条件输入，包括文本（文本到图像生成）、空间信号（分割到图像和深度到图像）以及视觉上下文（图像编辑、帧预测和文本到视频生成）。为了缓解条件 token 向内容 token 泄露信息的风险，我们引入了解耦因果注意力（DCA），该机制将全序列因果掩码分离为条件因果注意力和内容因果注意力。它在训练过程中充当正则化器，同时不影响推理期间的标准下一个 token 预测。借助此设计，OmniGen-AR 在一系列基准测试上取得了新的最先进或至少具有竞争力的结果，例如在 GenEval 上达到 0.63，在 VBench 上达到 80.02，证明了其在灵活且高保真视觉生成方面的有效性。

Autoregressive (AR) models have demonstrated strong potential in visual generation, offering superior performance with simple architectures and optimization objectives. However, existing methods are typically limited to single-modality conditions, e.g., text, restricting their applicability in real-world scenarios that demand image synthesis from diverse controls. In this work, we present OmniGen-AR, a unified autoregressive framework for Any-to-Image generation. By discretizing various visual conditions through a shared visual tokenizer and text prompts with a text tokenizer, OmniGen-AR supports a broad spectrum of conditional inputs within a single model, including text (text-to-image generation), spatial signals (segmentation-to-image and depth-to-image), and visual context (image editing, frame prediction, and text-to-video generation). To mitigate the risk of information leakage from condition tokens to content tokens, we introduce Disentangled Causal Attention (DCA), which separates the full-sequence causal mask into condition causal attention and content causal attention. It serves as a training-time regularizer without affecting the standard next-token prediction during inference. With this design, OmniGen-AR achieves new state-of-the-art or at least competitive results across a range of benchmark, e.g., 0.63 on GenEval and 80.02 on VBench, demonstrating its effectiveness in flexible and high-fidelity visual generation.

评分理由: The paper presents a unified autoregressive framework for diverse input conditions, strongly aligning with 'Unify Models' (9.0) and 'Tokenizer' (9.0) as it uses shared tokenizers for text and visual inputs. It handles multiple modalities ('MultiModal': 8.0). While it involves visual processing, the core novelty is the AR generation and attention mechanism rather than a specific encoder architecture ('Visual Encoder': 5.0). It shares architecture with MLLMs but focuses on generation ('MLLM': 6.0). Frame prediction relates loosely to world models but it is primarily a generative model ('World Models': 3.0). There is no reinforcement learning content ('model-based RL': 1.0).

Any-to-Image Generation, Autoregressive Framework, Shared Visual Tokenizer, Disentangled Causal Attention, Text-to-Image, Image Editing, Frame Prediction

Chinese Title: OmniGen-AR: 自回归任意到图像生成

Summary: 本文提出OmniGen-AR，一个统一的自回归框架，用于任意条件到图像的生成。该框架通过共享的视觉分词器将多种视觉条件（如分割掩码、深度图、参考图像）离散化为视觉令牌，并结合文本分词器处理文本提示，从而在单一模型中支持文本到图像、分割到图像、深度到图像、图像编辑、帧预测以及文本到视频等多种生成任务。为解决条件令牌到内容令牌的信息泄露问题，作者引入了解耦因果注意力（DCA），在训练时将全序列因果掩码分离为条件因果注意力和内容因果注意力，作为正则化手段，推理时仍采用标准的下一个令牌预测。实验表明，OmniGen-AR在GenEval上达到0.63，在VBench上达到80.02，在多个基准上取得了新的最优或具有竞争力的结果，验证了其在灵活、高保真视觉生成方面的有效性。

Innovations:

• 首次提出统一的自回归框架支持任意到图像生成，涵盖文本、空间信号和视觉上下文等多种条件输入。
• 采用共享视觉分词器处理不同视觉条件，无需为每种条件设计独立编码器。
• 提出解耦因果注意力（DCA），在训练时分离条件与内容的注意力路径，有效防止信息泄露，且不影响推理过程。
• 相比现有自回归模型，额外支持视频生成任务（文本到视频生成和视频预测）。

Methodology: OmniGen-AR采用解码器-only Transformer架构，使用VQ-VAE作为视觉分词器将图像和视觉条件离散化为令牌，使用语言模型分词器处理文本。所有令牌按序列拼接（文本、条件、内容），通过自回归方式预测内容令牌。训练时，随机将标准因果注意力替换为解耦因果注意力（DCA），其中条件令牌只能关注自身和文本令牌，内容令牌可关注所有前置令牌（包括文本和条件），但条件令牌不能关注内容令牌。推理时仍使用标准因果注意力。模型在多个任务上联合训练，采用下一个令牌预测损失。

Key Results:

• 在GenEval基准上达到0.63，实现新的最优结果。
• 在VBench基准上达到80.02，表现具有竞争力。
• 在文本到图像、文本到视频、帧预测、图像编辑、深度到图像、分割到图像等六个任务上均取得最优或接近最优的性能。
• 通过消融实验验证了DCA对防止信息泄露、提升生成质量的有效性。

Tech Stack:

• 自回归模型（Autoregressive Model）
• VQ-VAE（Vector Quantized Variational Autoencoder）视觉分词器
• 文本分词器（如GPT-2 tokenizer）
• 解码器-only Transformer
• 因果注意力（Causal Attention）
• 解耦因果注意力（Disentangled Causal Attention, DCA）
• 下一个令牌预测（Next-Token Prediction）

Strengths:

• 统一框架：单一模型支持多种条件输入和生成任务，无需额外适配器。
• 简洁高效：保持自回归模型的简单架构和优化目标，易于扩展。
• 防止信息泄露：DCA作为训练正则化，有效避免模型利用条件与内容间的捷径，提升指令遵循能力。
• 性能优异：在多个标准基准上达到SOTA或竞争水平。
• 兼容性：推理过程与标准自回归模型一致，无需修改。

Limitations:

• 依赖视觉分词器的质量，可能影响生成细节。
• 训练时随机应用DCA增加了超参数调优的复杂性。
• 当前仅支持短时视频生成，长视频生成能力未验证。
• 与扩散模型相比，自回归模型在生成速度上可能较慢。
• 未探索与强化学习或后训练技术的结合。

Relevance To Keywords:

• 原生多模态大模型：OmniGen-AR是统一的多模态生成模型，支持文本、图像、视频等多种模态的输入和输出。
• 多模态大模型的理解和生成一体化：模型同时具备理解（条件编码）和生成（自回归预测）能力，但侧重于生成。
• 表征学习：通过共享视觉分词器学习统一的视觉表征，将不同视觉条件映射到同一离散空间。
• 世界模型：自回归模型可视为对视觉序列的因果建模，具备世界模型的部分特性（预测未来帧）。
• 强化学习：论文未直接使用强化学习，但自回归生成可通过后训练（如RLHF）进一步优化，具有潜在关联。
• 后训练：模型训练采用标准的下一令牌预测，但DCA可视为一种训练正则化技术，与后训练概念相关。

多模态情感分析旨在通过联合建模文本和图像等异构模态来理解人类的情感与情绪。然而，多模态模型往往无法始终如一地超越强大的纯文本基线，且性能在不同融合策略下存在显著差异。在这项工作中，我们将独立预训练的模态编码器之间的表征错位识别为有效多模态学习的关键瓶颈，并通过控制实验表明，融合前的对齐通常比融合复杂度更为重要。为了解决这一问题，我们提出了一种统一的多模态情感分析框架，该框架利用视觉语言模型 (VLMs) 将视觉内容转换为结构化文本描述，将异构模态投射到共享的语言空间中，从而实现可解释的以文本为中心的推理。为了进一步提高鲁棒性，我们引入了一种混合学习策略，该策略结合了语义 token 选择与批次级均匀性正则化目标，旨在鼓励更分散且稳定的全局特征空间，同时缓解由 VLM 生成描述所引入的噪声。在多个多模态情感与情绪基准上的实验表明，我们的方法始终优于强大的单模态和多模态基线，实现了最先进的性能。我们的分析进一步强调了表征对齐在多模态情感学习中的关键作用。

Multimodal affective analysis aims to understand human sentiment and emotion by jointly modeling heterogeneous modalities such as text and images. However, multimodal models often fail to consistently outperform strong text-only baselines, with performance varying significantly across fusion strategies. In this work, we identify representation misalignment between independently pretrained modality encoders as a key bottleneck for effective multimodal learning, and show through controlled experiments that alignment prior to fusion is often more important than fusion complexity. To address this issue, we propose a unified multimodal affective analysis framework that leverages vision-language models (VLMs) to convert visual content into structured textual descriptions, projecting heterogeneous modalities into a shared linguistic space and enabling interpretable text-centric reasoning. To further improve robustness, we introduce a hybrid learning strategy that combines semantic token selection with a batch-level uniformity regularization objective, encouraging a more dispersed and stable global feature space while mitigating noise introduced by VLM-generated descriptions. Experiments on multiple multimodal sentiment and emotion benchmarks show that our method consistently outperforms strong unimodal and multimodal baselines, achieving state-of-the-art performance. Our analysis further highlights the critical role of representation alignment in multimodal affective learning.

评分理由: 论文聚焦多模态情感分析，'MultiModal'为核心主题（10 分）；利用 VLM 进行视觉编码和文本转换，故'MLLM'和'Visual Encoder'高度相关（8 分）；提出统一框架将视觉映射至语言空间，体现'Unify Models'理念（8 分）；涉及'Tokenizer'的语义选择但非核心（5 分）；'World Models'和'model-based RL'与情感分析及表征对齐无关（1 分和 0 分）。未发现指定专家作者。加权总分 60.0，高于动态及格分 27.8。

Multimodal Sentiment Analysis, Representation Alignment, Vision-Language Models, Shared Linguistic Space, Text-centric Reasoning, Semantic Token Selection, Batch-level Uniformity

Chinese Title: 面向多模态情感分析的显式表示对齐

Summary: 本文针对多模态情感分析中模型性能常未能显著超越纯文本基线的问题，指出独立预训练的多模态编码器之间存在表示不对齐，这是制约多模态学习效果的关键瓶颈。作者提出统一多模态情感分析框架，利用视觉-语言模型将视觉内容转化为结构化文本描述，将异构模态投影到共享语言空间，实现可解释的文本中心推理。为增强鲁棒性，引入混合学习策略，结合语义令牌选择与批次级均匀性正则化目标，鼓励更分散稳定的全局特征空间，并抑制VLM生成描述带来的噪声。在多个多模态情感与情绪基准上的实验表明，该方法一致优于强单模态和多模态基线，达到最先进性能。研究还系统分析了表示对齐在多模态学习中的关键作用。

Innovations:

• 提出显式表示对齐策略，在融合前利用视觉-语言模型将视觉内容转化为结构化文本，实现模态统一。
• 设计混合学习策略，结合Top-K语义令牌选择与批次级均匀性正则化，提升特征鲁棒性和判别性。
• 通过系统实验和可视化，揭示表示不对齐导致模态偏差并损害性能的机制。
• 构建统一多模态情感分析框架，支持不同编码器组合的可控比较。

Methodology: 论文采用以下技术路线：首先，使用视觉-语言模型（如CLIP）将图像转换为结构化文本描述，实现模态对齐；其次，将原始文本与VLM生成的描述在令牌级拼接，输入单一预训练语言编码器进行文本中心融合；然后，引入Top-K令牌选择机制筛选情感相关令牌，并施加批次级均匀性正则化以分散特征空间；最后，在多个基准数据集上进行分类或回归任务评估。

Key Results:

• 所提方法在多个多模态情感与情绪基准上一致超越强单模态和多模态基线，达到最先进性能。
• 显式表示对齐比融合复杂度对性能提升更为关键。
• 混合学习策略有效抑制VLM生成噪声，提升特征鲁棒性。
• 可视化分析证实表示不对齐会导致模型偏向文本模态。

Tech Stack:

• 视觉-语言模型（VLM，如CLIP）
• 预训练语言编码器（如BERT）
• Top-K令牌选择
• 批次级均匀性正则化（Uniformity Regularization）
• 结构化提示工程（四阶段推理：OCR理解、视觉场景分析、跨模态整合、高层推理）
• 交叉熵损失与对比学习目标

Strengths:

• 问题定位精准，揭示了表示不对齐这一关键瓶颈。
• 方法简洁有效，通过模态统一避免复杂跨模态注意力。
• 实验充分，在多个基准上验证了一致优势。
• 提供了深入的分析和可视化，增强了可解释性。

Limitations:

• 依赖VLM生成质量，低质量描述可能引入噪声。
• 文本中心策略可能丢失视觉特有信息（如细微表情）。
• 未在语音或视频模态上验证泛化性。
• 计算开销因VLM推理而增加。

Relevance To Keywords:

• {'keyword': '表征学习', 'relevance': '核心贡献在于通过显式对齐改进多模态表征，属于表征学习范畴。'}
• {'keyword': '多模态大模型', 'relevance': '利用VLM（如CLIP）实现模态转换，与多模态大模型技术紧密相关。'}
• {'keyword': '世界模型', 'relevance': '间接相关，文中结构化推理涉及常识和背景知识，但未直接构建世界模型。'}
• {'keyword': '强化学习', 'relevance': '不直接相关，论文未使用强化学习方法。'}
• {'keyword': '后训练', 'relevance': '不直接相关，论文主要关注前向推理和微调，未涉及后训练策略。'}

通常在生成的帧之间保持 3D 空间一致性的视频世界模型，依赖于在 RGB 空间中构建的显式点云内存。这种设计不仅计算成本高，需要重复渲染和 VAE 编码，而且本质上是有损的，因为通过像素空间的往返过程会丢弃学习到的潜在表示中的丰富特征。在本文中，我们为视频世界模型引入了潜在空间内存（latent spatial memory），这是一种持久 3D 缓存，直接在扩散潜在空间中存储场景信息，从而避免了像素空间重建。在此基础上，我们提出了 Mirage，一种潜在空间空间内存框架，该框架通过深度引导的反投影将潜在标记提升为 3D 来构建该内存，并通过直接潜在空间扭曲合成新视角来查询该内存。这种统一表述既消除了像素空间重建的信息损失，也消除了重复编码和渲染的计算负担。实验表明，潜在空间内存实现了比显式 3D 基线快 10.57 倍的端到端视频生成，并且内存占用降低了 55 倍。利用扩散模型的几何先验，Mirage 在 WorldScore 上达到了最先进的性能，并在 RealEstate10K 上展现出强大的重建质量。

Video world models that maintain 3D spatial consistency across generated frames typically rely on explicit point cloud memory constructed in RGB space. This design is both computationally expensive, requiring repeated rendering and VAE encoding, and inherently lossy, as the round trip through pixel space discards rich features of the learned latent representation. In this paper, we introduce \emph{latent spatial memory} for video world models, a persistent 3D cache that stores scene information directly in the diffusion latent space, avoiding pixel-space reconstruction. Building on this, we propose Mirage, a latent-space spatial memory framework that constructs the memory by lifting latent tokens into 3D via depth-guided back-projection and queries it by synthesizing novel views through direct latent-space warping. This unified formulation eliminates both the information loss of pixel-space reconstruction and the computational burden of repeated encoding and rendering. Experiments show that latent spatial memory achieves up to \textbf{10.57}$\times$ faster end-to-end video generation and \textbf{55}$\times$ reduction in memory footprint relative to explicit 3D baselines. Leveraging the geometric prior of the diffusion model, Mirage attains state-of-the-art performance on WorldScore and strong reconstruction quality on RealEstate10K.

评分理由: The paper centers on Video World Models (10/10) and proposes a unified latent memory formulation (Unify Models, 7/10). It leverages diffusion latent space (Tokenizer, 4/10; Visual Encoder, 5/10) without proposing new architectures. World Models are closely linked to model-based RL (6/10) via the WorldScore metric. MLLM (3/10) and MultiModal (5/10) are less relevant as the work focuses on video generation without explicit language or multi-modal fusion.

Latent Spatial Memory, Video World Models, Diffusion Latent Space, 3D Spatial Consistency, Mirage Framework, Depth-guided Back-projection, WorldScore

Chinese Title: 视频世界模型的潜在空间记忆

Summary: 本文提出潜在空间记忆（Latent Spatial Memory），用于视频世界模型，以解决传统RGB点云记忆在像素空间往返计算昂贵且信息损失的问题。作者构建Mirage框架，将场景信息直接存储在扩散模型的潜在空间中，通过深度引导反投影将潜在令牌提升到3D，并在读取时通过潜在空间扭曲合成新视角，避免了像素级渲染和VAE编码。实验表明，该方法在WorldScore和RealEstate10K上达到最先进性能，同时实现高达10.57倍的端到端加速和55倍的GPU内存减少。Mirage通过初始化-读取-更新的循环生成几何一致的视频，并利用扩散模型的几何先验保持多视角一致性。

Innovations:

• 提出潜在空间记忆，完全在扩散模型的潜在空间中存储和查询3D场景信息，避免像素空间往返。
• 设计Mirage框架，包含深度引导反投影、潜在分辨率下的遮挡感知读取和动态物体排除的迭代更新机制。
• 实现端到端视频生成速度提升10.57倍，GPU内存减少55倍，同时保持或超越RGB点云记忆的生成质量。
• 将潜在空间记忆与ControlNet侧分支结合，实现高效的条件注入，无需额外编码步骤。

Methodology: 论文采用以下技术路线：1）使用预训练VAE将输入帧编码为潜在张量；2）通过深度估计和反投影将潜在令牌映射到3D世界坐标，构建潜在缓存；3）在生成每个视频块时，通过潜在分辨率投影从缓存中读取目标视角的潜在特征，并利用ControlNet侧分支注入扩散骨干；4）生成帧后，重新估计深度、排除动态物体，并将新帧的潜在特征反投影更新缓存；5）重复该循环以生成长序列。整个过程在潜在空间操作，仅在块级更新时涉及像素空间。

Key Results:

• 在WorldScore基准上达到最先进的世界生成性能。
• 在RealEstate10K上取得有竞争力的新视角合成质量。
• 端到端视频生成速度比RGB点云基线快10.57倍。
• GPU内存使用量降低55倍。
• 生成视频在几何一致性上显著优于无记忆或RGB记忆方法。

Tech Stack:

• VAE编码器/解码器
• 扩散模型（Diffusion Transformer）
• ControlNet侧分支
• 深度估计（单目深度预测）
• 深度引导反投影（Depth-guided back-projection）
• 潜在空间扭曲（Latent-space warping）
• Z-buffer投影（遮挡处理）
• 动态物体分割（如天空、移动物体排除）
• WorldScore评估指标
• RealEstate10K数据集

Strengths:

• 创新性地将3D记忆完全置于潜在空间，避免了像素空间的信息损失和计算瓶颈。
• 显著提升生成效率，使长序列几何一致视频生成变得实用。
• 在多个基准上取得SOTA或竞争性结果，验证了方法的有效性。
• 设计简洁，与现有扩散模型架构兼容，易于集成。

Limitations:

• 依赖单目深度估计的质量，深度误差可能导致缓存中的几何不一致。
• 动态物体排除策略可能不完美，快速运动或复杂场景下仍有残留伪影。
• 方法主要针对相机轨迹可控的场景，对于自由动作或交互式世界模型可能需进一步扩展。
• 潜在空间记忆的容量受限于GPU内存，极长序列可能需要压缩或遗忘机制。

Relevance To Keywords:

• 世界模型：论文直接针对视频世界模型中的3D一致性挑战，提出潜在空间记忆作为核心组件。
• 表征学习：潜在空间记忆本质上是学习到的场景表征，在扩散潜在空间中存储和查询。
• 多模态大模型的理解和生成一体化：方法将生成（视频合成）与理解（深度、几何）结合，但未涉及多模态输入。
• 模型基强化学习：论文未直接涉及RL，但世界模型是模型基RL的基础，本文方法可为其提供更一致的场景表示。
• 后训练：方法基于预训练扩散模型，通过添加记忆模块进行后训练或微调，但论文未详细说明训练过程。

空间推理是多模态大语言模型（MLLMs）感知并操作于物理世界的基础能力。然而，现有基准主要依赖被动评估（例如静态 VQA）或模拟器特定管道，未能评估通用的交互式空间理解能力。我们提出 SpatialWorld，这是一个专为评估多模态智能体在复杂真实任务中的交互式空间理解而设计的统一基准。SpatialWorld 在共享的模拟器无关协议下整合了八个异构仿真后端，涵盖了跨多样领域（例如家庭例行、旅行、社会协作）的 760 个人工标注任务。智能体必须在仅视觉部分可观测的条件下完成任务，主动收集第一人称视觉证据，并通过统一、基于文本的动作接口表达决策，该接口原生适用于 MLLMs。为确保评估的可靠性，每个任务均包含人工验证的初始状态、参考轨迹以及终端状态验证器。对 15 种先进智能体的评估表明，稳健的空间任务求解仍然具有挑战性：最强模型 GPT-5 的平均任务成功率（TSR）仅为 17.4%，而领先的开源模型 Qwen-3.5 达到 14.1%。进一步分析揭示了任务成功率与执行效率之间的明显不匹配，以及显著的领域特定性能差异。这些在主动探索和长程规划方面的瓶颈，使 SpatialWorld 成为未来空间智能体严格的测试平台。

Spatial reasoning is a foundational capability for multimodal large language models (MLLMs) to perceive and operate within the physical world. However, existing benchmarks predominantly rely on passive evaluation (e.g., static VQA) or simulator-specific pipelines, failing to assess general interactive spatial understanding. We introduce SpatialWorld, a unified benchmark designed specifically for evaluating the interactive spatial understanding of multimodal agents in complex real-world tasks. Integrating eight heterogeneous simulation backends under a shared, simulator-agnostic protocol, SpatialWorld features 760 human-annotated tasks across diverse domains (e.g., household routines, travel, social collaboration). Agents must solve tasks under vision-only partial observability, actively gathering egocentric visual evidence and expressing decisions via a unified, text-based action interface native to MLLMs. For reliable evaluation, each task includes a human-validated initial state, a reference trajectory, and a terminal-state verifier. Evaluating 15 advanced agents reveals that robust spatial task solving remains challenging: the strongest model, GPT-5, achieves an average task success rate (TSR) of only 17.4%, while the leading open-source model, Qwen-3.5, reaches 14.1%. Further analysis exposes a clear mismatch between task success and execution efficiency, alongside substantial domain-specific performance variations. These bottlenecks in active exploration and long-horizon planning position SpatialWorld as a rigorous testbed for future spatial agents.

评分理由: 论文核心贡献是 SpatialWorld 基准测试，用于评估多模态代理的空间推理能力。MLLM 和多模态（MultiModal）高度相关，因直接评估此类模型；世界模型（World Models）中度相关，因涉及空间世界理解；统一模型（Unify Models）中度相关，因基准框架是统一而非模型架构本身；基于模型的强化学习（model-based RL）中度相关，因任务涉及规划与探索；Tokenizer 和视觉编码器（Visual Encoder）相关性低，因未涉及组件创新。作者列表中未包含指定专家，故无额外加分。

SpatialWorld, Multimodal Agents, Interactive Spatial Reasoning, Real-World Tasks, Benchmarking, Vision-Language, Long-horizon Planning

Chinese Title: SpatialWorld：多模态智能体在真实世界任务中交互式空间推理的基准测试

Summary: 该论文提出了SpatialWorld，一个用于评估多模态大语言模型（MLLM）在复杂真实世界任务中交互式空间理解能力的统一基准。现有基准主要依赖静态VQA或特定模拟器，无法评估通用的交互式空间推理。SpatialWorld整合了八个异构仿真后端，包含760个人工标注的任务，涵盖家庭日常、旅行、社交协作等多个领域。智能体需在仅视觉部分可观测条件下，主动收集自我中心视觉证据，并通过统一的文本动作接口表达决策。实验评估了15个先进智能体，最强模型GPT-5的平均任务成功率仅为17.4%，领先开源模型Qwen-3.5达到14.1%。分析揭示了任务成功与执行效率之间的明显不匹配，以及领域间性能差异。该基准为未来空间智能体的主动探索和长程规划能力提供了严格的测试平台。

Innovations:

• 提出了统一的多仿真后端基准架构，将八个异构3D环境封装为共享的观察-动作接口，实现模拟器无关的评估。
• 设计了纯视觉部分可观测的交互式任务范式，智能体仅依赖自我中心RGB图像进行主动探索和决策。
• 引入了执行验证机制，通过终端状态验证器客观判断任务成功，而非依赖预定义轨迹。
• 构建了涵盖多领域（家庭、工作、娱乐、旅行、社交、数字游戏）的760个高质量人工标注任务。
• 系统性地解耦了视觉语义与纯几何推理，通过抽象3D游戏与日常具身场景对比分析空间认知瓶颈。

Methodology: 论文采用模块化架构，包括环境接口、观察接口、动作接口、智能体模块和验证接口。任务形式化为部分可观测马尔可夫决策过程（POMDP），智能体接收自然语言目标和自我中心RGB图像，输出高层文本动作。通过统一接口将异构仿真后端（如AI2-THOR、CARLA、VirtualHome等）标准化，实现跨平台评估。数据构建包括环境收集、人工标注指令、定义成功条件，并通过自动执行验证和人工交叉验证校准。评估使用任务成功率（TSR）和执行效率指标。

Key Results:

• 最强模型GPT-5的平均任务成功率为17.4%，领先开源模型Qwen-3.5-397B-A17B为14.1%。
• 任务成功与执行效率之间存在明显不匹配，高成功率模型常伴随冗余探索。
• 模型排名在不同领域差异显著：GPT-5在家庭日常、旅行和社交协作中领先；Qwen-3.5在工作和物理娱乐中表现突出；Gemini-3.1-Pro在数字游戏中最高。
• 当前智能体在主动探索和长程规划方面存在显著瓶颈。

Tech Stack:

• 部分可观测马尔可夫决策过程（POMDP）
• 多模态大语言模型（MLLM）
• 仿真后端：AI2-THOR、ProcTHOR、VirtualHome、CARLA、EmbodiedCity等
• 自我中心RGB观察
• 文本动作接口
• 任务成功率（TSR）
• 执行效率指标

Strengths:

• 统一跨平台架构，消除了模拟器特定偏差，提供更通用的空间推理评估。
• 纯视觉部分可观测设计更贴近真实世界交互条件。
• 任务覆盖多个领域，具有多样性和现实相关性。
• 执行验证机制确保评估的客观性和可重复性。
• 系统性地揭示了当前MLLM在空间推理中的多个独立瓶颈。

Limitations:

• 基准任务数量相对有限（760个），可能不足以覆盖所有空间推理场景。
• 依赖仿真环境，与现实世界的物理复杂性和感知噪声仍有差距。
• 动作接口为高层文本形式，可能无法完全反映低层控制能力。
• 未深入探讨模型在失败任务中的具体错误类型（如感知错误、规划错误、执行错误）。

Relevance To Keywords:

• 多模态大模型：论文直接评估MLLM在空间推理任务中的表现，与原生多模态大模型高度相关。
• 世界模型：空间推理是世界模型的核心能力之一，基准测试了模型对3D世界的理解和预测。
• 表征学习：任务要求模型从视觉观察中学习空间表征，与表征学习紧密相关。
• 强化学习：任务形式化为POMDP，智能体通过交互学习决策策略，与基于模型的强化学习相关。
• 后训练：论文评估了多个经过后训练的先进模型，揭示了后训练对空间推理能力的影响。

近年来，统一多模态模型（UMMs）应运而生，旨在单一框架内同时支持理解与生成。掌握动态、多轮交错图像 - 文本对话是 UMMs 在现实应用中的关键任务。然而，现有基准未能评估这一重要任务，因为它们通常局限于单轮或静态设置，且通常忽略多轮交互中的暴露偏差。为弥合这一差距，我们提出 IMUG-Bench，这是一个针对 UMMs 多轮交错图像 - 文本对话的综合基准，旨在联合评估其理解与生成能力。我们的 IMUG-Bench 包含三类：静态空间（Static Spatial）、时序因果（Temporal Causal）和混合（Hybrid），涵盖 3,113 个样本和 12,034 次交互轮次。它还包含动态理解问题，从而支持更能反映现实世界多轮交互场景的评估。在 IMUG-Bench 上进行的大规模实验系统性地评估了主流开源和闭源 UMMs，揭示了它们的能力边界和失效模式，并揭示了多轮交互中生成侧显著的暴露偏差。我们进一步探索了若干测试时缩放策略，包括思维链（Chain-of-Thought）、自我验证（Self-Verification）和最佳 N 采样（Best-of-N Sampling），这些策略有效提高了生成准确性并减轻了生成任务中的暴露偏差。这些发现为增强未来 UMMs 的鲁棒性和多轮交互能力提供了重要见解。

In recent years, unified multimodal models (UMMs) have emerged to support both understanding and generation within a single framework. Mastering dynamic, multi-turn interleaved image-text dialogues is a crucial task for UMMs in real-world applications. However, existing benchmarks fail to evaluate this important task, as they are often limited to single-turn or static settings, and typically overlook exposure bias in multi-turn interactions. To bridge this gap, we propose IMUG-Bench, a comprehensive benchmark for multi-turn interleaved image-text dialogue of UMMs that jointly evaluates their understanding and generation capabilities. Our IMUG-Bench comprises three classes: Static Spatial, Temporal Causal, and Hybrid, covering 3,113 samples and 12,034 interaction turns. It also includes dynamic understanding questions, thereby supporting evaluation that better reflects real-world multi-turn interaction scenarios. Large-scale experiments on IMUG-Bench systematically evaluate mainstream open-source and closed-source UMMs, revealing their capability boundaries and failure modes, and uncovering pronounced exposure bias on the generation side in multi-turn interactions. We further explore several test-time scaling strategies, including Chain-of-Thought, Self-Verification, and Best-of-N Sampling, which effectively improve generation accuracy and mitigate exposure bias in generation tasks. These findings provide insights into enhancing the robustness and multi-turn interaction capability of future UMMs.

评分理由: 论文核心围绕统一多模态模型（Unify Models, MultiModal, MLLM）的评测，因此这三个关键词高度相关。视觉编码器（Visual Encoder）隐含于图像文本处理中但未作为核心创新，相关性中等。Tokenizer、World Models 及 model-based RL 在摘要中未提及，相关性极低。作者列表中未包含指定的专家（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang）。

Unified Multimodal Models, Interleaved Understanding and Generation, IMUG-Bench, Multi-turn Dialogue, Exposure Bias, Test-time Scaling, Image-text Generation

Chinese Title: IMUG-Bench：面向交错理解与生成的统一多模态模型基准测试

Summary: 本文提出IMUG-Bench，一个专门用于评估统一多模态模型（UMMs）在多轮交错图像-文本对话中理解与生成能力的综合基准。现有基准多局限于单轮或静态设置，且忽视多轮交互中的暴露偏差。IMUG-Bench包含静态空间、时间因果和混合三类任务，覆盖19个领域、97个子任务，共3,113个样本和12,034轮交互。通过大规模实验，系统评估了主流开源和闭源UMMs，揭示了模型在多轮生成任务中显著的暴露偏差，即生成质量随对话轮次增加而下降。进一步探索了测试时扩展策略（如思维链、自我验证和最佳N采样），这些策略能有效提升生成准确性并缓解暴露偏差。研究为增强UMMs的鲁棒性和多轮交互能力提供了新见解。

Innovations:

• 构建了首个面向多轮交错图像-文本对话的统一多模态模型基准IMUG-Bench，包含3,113个样本和12,034轮交互，覆盖静态空间、时间因果和混合三类任务。
• 系统揭示了主流UMMs在多轮生成任务中存在的暴露偏差现象，即生成质量随对话轮次增加而显著下降。
• 探索并验证了测试时扩展策略（思维链、自我验证、最佳N采样）在缓解暴露偏差和提升生成准确性方面的有效性。
• 提出了动态理解问题设计，使评估更贴近真实多轮交互场景，并支持基于模型历史响应的答案更新。

Methodology: 论文采用模板设计、LLM/VLM填充和人工验证的流水线构建基准。首先手动设计多轮交互模板，包括问题、答案和评估点；然后调用LLM生成关键词序列填充模板，并收集多源图像；最后使用LLM或VLM完成模板填充，并经过两人人工验证。评估时，对理解任务使用静态和动态多选题，对生成任务使用图像生成指令，并采用任务特定的评分策略。实验部分系统评估了多个开源和闭源UMMs，并引入思维链、自我验证和最佳N采样等测试时扩展策略进行优化。

Key Results:

• 当前主流UMMs在多轮交错生成任务中表现不足，生成质量随交互轮次增加而显著下降，暴露偏差明显。
• 即使顶级闭源模型在多轮生成任务上仍有较大改进空间。
• 引入测试时扩展策略（思维链、自我验证、最佳N采样）能有效提升生成准确性并缓解暴露偏差。
• IMUG-Bench提供了细粒度的评估，揭示了模型在理解与生成能力上的不平衡。

Tech Stack:

• LLM（大语言模型）用于关键词序列生成和模板填充
• VLM（视觉语言模型）用于图像理解和模板填充
• 思维链（Chain-of-Thought）
• 自我验证（Self-Verification）
• 最佳N采样（Best-of-N Sampling）
• 多轮交互模板设计
• 静态多选题（Static-MCQ）和动态多选题（Dynamic-MCQ）
• 图像生成指令（I）

Strengths:

• 基准设计全面，覆盖静态空间、时间因果和混合三类任务，共19个领域和97个子任务，样本量大。
• 首次系统评估多轮交错交互中的暴露偏差，并提供了有效的缓解策略。
• 采用动态理解问题设计，更贴近真实应用场景，评估更具生态效度。
• 实验规模大，系统评估了多个主流开源和闭源模型，结果具有代表性。

Limitations:

• 基准构建依赖人工模板设计和LLM/VLM填充，可能存在模板偏差和生成偏差。
• 评估主要针对图像-文本模态，未涉及视频、音频等其他模态。
• 测试时扩展策略的实验仅在部分模型上验证，泛化性有待进一步研究。
• 暴露偏差的缓解策略虽然有效，但计算成本较高，可能限制实际部署。

Relevance To Keywords:

• Unify Models: 论文直接研究统一多模态模型（UMMs）在多轮交互中的理解与生成能力，与统一模型高度相关。
• World Models: 时间因果类任务涉及对隐含自然规律和常识因果的推理，与世界模型中的因果建模相关。
• Representation Learning: 基准评估模型对图像和文本的联合表征能力，涉及跨模态表征学习。
• Model-Based RL: 测试时扩展策略（如思维链、自我验证）可视为模型在推理阶段的规划与验证，与基于模型的强化学习中的规划思想相关。
• 原生多模态大模型: 论文评估的UMMs即原生多模态大模型，研究其多轮交互能力。
• 多模态大模型的理解和生成一体化: 基准核心目标正是评估理解与生成一体化模型在多轮交互中的表现。
• 表征学习: 与Representation Learning类似，强调跨模态表征的联合学习与评估。
• 世界模型: 时间因果任务要求模型具备对世界动态规律的理解，与世界模型概念契合。
• 强化学习: 最佳N采样策略可视为一种简单的强化学习式搜索，未来可结合更复杂的RL方法优化生成。
• 后训练: 测试时扩展策略可视为后训练阶段的一种推理优化方法，论文探索了其在多轮生成中的应用。

视频世界模型在生成可控视觉体验方面取得了快速进展，但大多数模型仍仅从单一观察者的视角模拟世界。将此类模型扩展到多智能体场景提出了一个核心挑战：若每个智能体的未来状态独立生成，重叠视图可能会实例化同一场景的不同版本，从而导致智能体之间的对象、布局和外观不一致。传统的相机条件化方法虽能控制单个轨迹，但并未显式耦合那些应在共享场景几何下保持一致的视图生成过程。我们提出 Prisma-World，一种相机可控的多智能体世界模型，它将多智能体生成建模为一种联合几何感知去噪过程，以确保跨视图一致性。Prisma-World 在一个全注意力序列中处理所有智能体的视频，采用多智能体 RoPE（旋转位置编码）设计以区分智能体身份，同时保持同步的时间坐标，并将相对相机几何信息注入注意力机制，从而引导重叠视点趋向于共享的场景证据。为进一步增强多视图一致性及全局空间感知能力，我们在框架中引入了重叠衰减课程学习训练范式，并结合了小地图条件化的结构引导。为了促进多智能体模型的训练与评估，我们引入了 PrismaDataset，这是一个基于虚幻引擎 5 (UE5) 构建的大规模数据集，包含跨多样场景的全景采集、具有灵活智能体数量和复杂相机轨迹的可组合多智能体视图组，以及用于一致性训练与评估的精确相机/动作标注。实验表明，单个 Prisma-World 模型即可生成高保真度的多智能体视频，具备灵活的智能体数量、相机可控性、改进的跨视图一致性，以及在小地图引导下的空间锚定能力。

Video world models have made rapid progress in generating controllable visual experiences, but most of them still simulate the world from a single observer. Extending such models to multiple agents raises a central challenge: if each agent's future state is generated independently, overlapping views may instantiate different versions of the same scene, leading to inconsistent objects, layouts, and appearances across agents. Conventional camera conditioning controls individual trajectories, but it does not explicitly couple the generation of views that should agree under shared scene geometry. We introduce Prisma-World, a camera-controllable multi-agent world model that formulates multi-agent generation as a joint geometry-aware denoising process for cross-view consistency. Prisma-World processes all agent videos within one full-attention sequence, uses a multi-agent RoPE design to distinguish agent identities while preserving synchronized temporal coordinates, and injects relative camera geometry into attention to bias overlapping viewpoints toward shared scene evidence. To further strengthen multi-view consistency and enhance global spatial perception, we augment our framework with an overlap-decaying curriculum training paradigm alongside minimap-conditioned structural guidance. To facilitate the training and evaluation of multi-agent models, we introduce PrismaDataset, a large-scale UE5 dataset with panoramic acquisition across diverse scenes, composable multi-agent view groups with flexible agent counts and complex camera trajectories, and precise camera/action annotations for consistency training and evaluation. Experiments show that a single Prisma-World model can generate high-fidelity multi-agent videos with flexible agent numbers, camera controllability, improved cross-view consistency, and spatial grounding under minimap guidance.

评分理由: World Models 为核心主题（10 分），标题与摘要均明确聚焦于此。Unify Models 高度相关（8 分），论文统一了多智能体跨视图生成过程。model-based RL 中度相关（6 分），涉及相机可控性与最小地图空间指导，适用于强化学习场景。MultiModal 中度相关（5 分），涵盖多视图视频输入处理。Visual Encoder 隐含但非创新重点（5 分）。Tokenizer 与 MLLM 未在摘要中明确提及（2-3 分）。

Multi-Agent Video World Model, Camera-Controllable, Cross-View Consistency, Geometry-Aware Denoising, Full-Attention Sequence, Minimap Guidance, PrismaDataset

Chinese Title: Prisma-World：相机可控的多智能体视频世界模型

Summary: 本文提出Prisma-World，一个相机可控的多智能体视频世界模型，旨在解决现有单智能体视频生成模型无法保证多视角一致性的问题。传统方法独立生成每个智能体的视频会导致场景不一致，而简单拼接视频序列又无法区分智能体身份和同步帧。Prisma-World将所有智能体视频作为联合去噪过程处理，采用全注意力机制、多智能体RoPE设计（区分智能体身份并保持时间同步）以及相对相机几何注入（促进重叠视角共享场景证据）。此外，引入重叠衰减课程训练和迷你地图条件引导以增强全局空间感知。为支持训练和评估，构建了基于UE5的大规模数据集PrismaDataset，包含全景采集、可组合的多智能体视图组和精确标注。实验表明，单个Prisma-World模型能生成高保真多智能体视频，支持灵活智能体数量、相机控制、跨视角一致性提升和迷你地图空间定位。

Innovations:

• 提出多智能体视频世界模型框架，将多智能体生成视为联合几何感知去噪过程，实现跨视角一致性。
• 设计多智能体RoPE位置编码，在保持时间同步的同时区分不同智能体身份。
• 将相对相机几何变换注入注意力机制，使重叠视图共享场景证据，非重叠视图保留视角特有内容。
• 引入重叠衰减课程训练策略，从强重叠视图逐步过渡到复杂轨迹组合，增强多视角一致性。
• 构建大规模UE5数据集PrismaDataset，支持全景采集、灵活智能体数量组合和精确相机/动作标注，并配套多智能体一致性评估基准。

Methodology: Prisma-World基于扩散模型架构，将所有智能体视频帧拼接成一个完整序列，使用全注意力机制进行联合去噪。通过多智能体RoPE（旋转位置编码）为每个智能体分配独立的位置偏移，同时保持相同时间步的帧在时间维度上对齐。在注意力计算中注入相对相机变换（如相对旋转和平移），使注意力权重偏向于几何上一致的重叠区域。训练时采用重叠衰减课程：先使用高重叠度的多视图数据训练，逐渐降低重叠度以增强泛化能力。可选地，将全局迷你地图（俯视图）作为结构条件输入，通过交叉注意力为每个智能体提供局部空间引导。数据集构建：在UE5中录制全景视频，投影为多个同步的透视视图，并记录相机位姿、动作和迷你地图。

Key Results:

• 单个Prisma-World模型能生成高保真多智能体视频，支持灵活指定智能体数量（如2-4个）。
• 在跨视角一致性指标上显著优于单智能体独立生成和简单拼接基线。
• 迷你地图条件引导能提升空间定位和场景级连贯性。
• 重叠衰减课程训练有效增强了模型对复杂轨迹组合的鲁棒性。
• 在PrismaDataset上训练后，模型能泛化到未见过的场景和智能体配置。

Tech Stack:

• 扩散模型（Diffusion Model）
• 全注意力机制（Full Attention）
• 旋转位置编码（RoPE, Rotary Position Embedding）
• 相对相机几何变换注入（Relative Camera Transformation Injection）
• 重叠衰减课程训练（Overlap-Decaying Curriculum Training）
• 迷你地图条件引导（Minimap Conditioning）
• UE5（Unreal Engine 5）全景录制与投影
• Plücker坐标或相对相机编码（参考PRoPE等）

Strengths:

• 首次系统性地解决多智能体视频生成中的跨视角一致性问题，具有理论创新性。
• 模型设计灵活，支持可变智能体数量，无需重新训练。
• 结合相机几何信息，使一致性具有几何可解释性。
• 构建了大规模高质量数据集和评估基准，推动该领域研究。
• 迷你地图条件提供了显式空间结构先验，增强实用性。

Limitations:

• 当前模型仅在合成数据集（UE5）上训练和评估，真实场景泛化能力未知。
• 多智能体全注意力机制的计算复杂度随智能体数量和帧数线性增长，可能限制大规模应用。
• 相对相机几何注入依赖精确的相机位姿标注，实际应用中获取困难。
• 未涉及智能体之间的交互（如物体操作、碰撞），仅关注视觉一致性。
• 迷你地图条件为可选，但生成质量可能对迷你地图精度敏感。

Relevance To Keywords:

• 世界模型：论文直接提出多智能体视频世界模型，旨在模拟共享环境中的多视角动态。
• 表征学习：通过联合去噪和几何约束学习场景的共享表征，促进跨视角一致性。
• 模型基强化学习：虽然论文未直接涉及RL，但多智能体世界模型可作为环境模拟器用于多智能体RL规划。
• 原生多模态大模型：模型处理视频、相机参数、动作、迷你地图等多模态输入，但未采用大语言模型架构。
• 多模态大模型的理解和生成一体化：论文聚焦生成，但一致性建模隐含对场景几何的理解。
• 后训练：论文中的课程训练可视为一种后训练策略，但未涉及强化学习后训练。

世界模型（World Models）近年来在普及度和能力上均快速增长，作为一种生成机器人训练数据或模拟真实世界环境的数据高效工具，许多研究提议将其集成到机器人学习流程中。尽管具有极高的实用性，但在本工作中，我们发现世界模型为机器人学习供应链引入了一个独特且隐蔽有效的数据投毒入口点，这可能导致部署不安全或被破坏的机器人策略，尽管训练数据看似是安全的地面真值数据。与传统的直接将危险轨迹植入销售或上传数据集的数据投毒技术不同，我们的新颖攻击方法将恶意提示或破坏性的状态转移动力学注入到表面上看似安全的遥操作数据集中，这些攻击仅在数据通过世界模型作为输入时才会被激活。这可能导致生成合成的危险机器人训练轨迹，进而导致不安全或被破坏的机器人策略。我们证明了我们的攻击对最先进的动作条件世界模型（Action-conditioned World Models）和文本条件世界模型（Text-conditioned World Models）均有效，展示了在下游深度强化学习（DRL）策略上的完整端到端后门，以及视觉 - 语言 - 动作（VLA）设置下的概念验证。总体而言，这些发现促使人们需要研究更安全的世界模型，并重新评估其在机器人学习供应链中的地位。

World models have recently seen a rapid growth in both their popularity and capability as more data efficient tools for generating robot training data or simulating real world environments, with many works proposing their integration into the robot learning pipeline. While highly practical, in this work we demonstrate that world models introduce a uniquely stealthy and effective data poisoning entry point into the robot learning supply chain that can result in the deployment of unsafe or otherwise compromised robotic policies despite training on seemingly safe ground truth training data. In contrast to traditional data poisoning techniques which directly implant dangerous trajectories into sold or uploaded datasets, our novel attack methods inject malicious prompts or compromising transition dynamics into visibly safe teleoperated datasets which are only activated once fed through a world model as input. This can result in the generation of synthetic, dangerous robot training trajectories and subsequently unsafe or compromised robot policies. We demonstrate the effectiveness of our attacks against both state of the art action conditioned and text conditioned world models, showing a full end-to-end backdoor on a downstream DRL policy and a proof-of-concept for the VLA setting. Overall these findings necessitate research into more secure world models and reevaluating their position within the robot learning supply chain.

评分理由: The paper explicitly centers on World Models (10/10) in robot learning, linking to model-based RL (7/10) and multimodal contexts like VLA (MultiModal/MLLM at 6/10). Unify Models is tangential (4/10) as the focus is security, while Tokenizer and Visual Encoder are only implicit (2-3/10). No specified experts are authors.

World Models, Robot Learning, Data Poisoning, Backdoor Attack, VLA Setting, Text Conditioned, Synthetic Trajectories

Chinese Title: 针对世界模型以破坏机器人学习流水线

Summary: 本文研究了世界模型在机器人学习流水线中的安全漏洞，提出两种新型数据投毒攻击方法：针对文本条件世界模型的“视觉提示劫持”（VPH）和针对动作条件世界模型的“视觉转换劫持”（VTH）。攻击者通过向看似安全的遥操作数据中注入微不可见的视觉扰动，使得世界模型生成危险的合成训练轨迹或操纵转换动力学，从而在下游机器人策略中植入后门。实验表明，这些攻击能有效欺骗最先进的文本条件和动作条件世界模型，并在深度强化学习策略中实现端到端后门植入，同时在视觉-语言-动作（VLA）设置中提供了概念验证。研究揭示了世界模型引入的独特脆弱性，呼吁开发更安全的世界模型并重新评估其在机器人学习供应链中的地位。

Innovations:

• 首次提出针对世界模型的攻击方法，利用视觉扰动间接操纵机器人学习流水线。
• 发现文本条件世界模型在分布外或欠指定提示下更易被操纵，拓展了可信AI研究的新方向。
• 实现了首个仅通过操纵世界模型输入就在深度强化学习策略中植入后门的攻击。
• 提出了两种具体攻击范式：视觉提示劫持（VPH）和视觉转换劫持（VTH），分别针对文本条件和动作条件世界模型。
• 攻击无需直接访问训练环境或数据集，通过隐蔽的视觉扰动绕过安全检测，具有高实用性和隐蔽性。

Methodology: 论文采用白盒攻击假设，攻击者具有对目标世界模型的完全访问权限（可查询和计算梯度）。攻击者将微小的视觉扰动（在LAB颜色空间的ℓp范数球内）嵌入到遥操作视频帧中，使得世界模型在接收到这些帧后产生异常输出。对于文本条件世界模型，VPH攻击通过扰动帧覆盖用户输入的文本提示，导致世界模型生成危险轨迹；对于动作条件世界模型，VTH攻击使世界模型在未选择预定动作时预测未来状态崩溃。攻击者通过优化对抗损失函数（如使策略在触发对象出现时转向恶意目标）来植入后门，同时保持正常状态下的行为不变。实验在多个世界模型（如Cosmos-Predict等）和下游策略（DRL、VLA）上进行验证。

Key Results:

• 文本条件世界模型在分布外或欠指定提示下表现出显著更高的操纵脆弱性。
• VPH攻击能成功覆盖用户提示，使世界模型生成包含危险行为的合成轨迹。
• VTH攻击能操纵动作条件世界模型的转换动力学，使策略在未选择预定动作时性能崩溃。
• 在深度强化学习策略中实现了端到端后门植入：触发对象出现时策略转向恶意行为，无触发时保持正常。
• 在VLA设置中提供了概念验证，表明攻击可扩展到更复杂的机器人学习范式。

Tech Stack:

• 世界模型：文本条件（如Cosmos-Predict）、动作条件（如UniSim, DayDreamer）
• 攻击方法：视觉提示劫持（VPH）、视觉转换劫持（VTH）
• 优化技术：对抗损失函数、梯度下降、ℓp范数约束（在LAB颜色空间）
• 下游策略：深度强化学习（DRL）、行为克隆（BC）、视觉-语言-动作模型（VLA）
• 数学框架：部分可观测马尔可夫决策过程（POMDP）、后门攻击定义（攻击成功与攻击隐蔽性）
• 评估指标：攻击成功率、策略价值函数

Strengths:

• 提出了新颖且实用的攻击向量，揭示了世界模型在机器人学习供应链中的关键安全漏洞。
• 攻击方法隐蔽性强，仅通过视觉扰动即可实现，无需直接修改数据集或访问训练环境。
• 实验覆盖了两种主流世界模型范式（文本条件和动作条件），并展示了端到端后门植入，验证了攻击的有效性。
• 研究具有前瞻性，为未来世界模型的安全设计和防御研究提供了重要基础。
• 论文结构清晰，问题定义严谨，攻击约束合理，符合实际威胁场景。

Limitations:

• 攻击假设白盒访问世界模型，实际中攻击者可能难以获得完全梯度信息。
• 仅考虑了视觉扰动在LAB空间内的ℓp范数约束，未探索其他隐蔽性更强的扰动形式。
• 实验主要针对特定世界模型和下游策略，泛化性需进一步验证。
• 未提出具体的防御机制或鲁棒性提升方法，仅指出了问题。
• 对VLA设置的攻击仅为概念验证，缺乏完整的端到端实验。

Relevance To Keywords:

• 世界模型：论文核心研究对象，分析了文本条件和动作条件世界模型的安全脆弱性。
• 机器人学习：攻击目标为机器人学习流水线，包括DRL和VLA策略。
• 安全与鲁棒性：论文聚焦于世界模型引入的安全威胁，呼吁更安全的模型设计。
• 视觉-语言-动作模型：作为下游策略之一，论文提供了针对VLA的初步攻击验证。
• 后门攻击：论文提出的攻击方法本质上属于数据投毒和后门植入，与关键词高度相关。

视觉推理需要整合分布在区域、属性和关系中的证据，这使得单链推理容易出现早期感知承诺和幻觉。我们提出 Visual Para-Thinker++，这是一种单策略多智能体框架，其中共享的多模态大语言模型（MLLM）策略被实例化为角色条件化的主智能体、工作智能体和总结智能体。主智能体采用固定分配模式分解任务；工作智能体在上下文隔离下并行推理；而总结智能体整合完整的工作智能体推理轨迹，而非对最终标签进行多数投票。共享策略通过多智能体能力注入和角色解耦多智能体优化进行训练，该方法将角色特定的奖励和优势分配给相应的 token 段，以减少协作角色之间的梯度冲突。原生推理引擎通过共享视觉前缀和 KV 缓存重用实现高效的多智能体推理过程。在 V*、CountBench、RefCOCO 系列及 HallusionBench 上，Visual Para-Thinker++ 始终优于单轨迹和推理时并行基线，尤其在幻觉敏感的视觉推理上表现尤为显著。

Visual reasoning requires integrating evidence distributed across regions, attributes, and relations, making single-chain reasoning prone to early perceptual commitment and hallucination. We propose Visual Para-Thinker++, a single-policy multi-agent framework in which one shared MLLM policy is instantiated as role-conditioned Main, Worker, and Summary Agents. The Main Agent decomposes the task with fixed allocation patterns; Worker Agents reason in parallel under context isolation; and the Summary Agent reconciles full Worker reasoning traces rather than majority-voting on final labels. The shared policy is trained by Multi-Agent Capability Injection and Role-Decoupled Multi-Agent Optimization, which assign role-specific rewards and advantages to corresponding token segments to reduce gradient conflict among collaborative roles. A native inference engine enables efficient multi-agent rollout through shared visual prefix and KV cache reuse. Across V*, CountBench, the RefCOCO family, and HallusionBench, Visual Para-Thinker++ consistently outperforms single-trajectory and inference-time parallel baselines, with especially strong gains on hallucination-sensitive visual reasoning.

评分理由: 论文核心在于利用共享 MLLM 策略构建多智能体框架进行视觉推理，因此 MLLM 和多模态相关性最高。视觉编码器通过视觉前缀隐含存在，相关性较高。统一模型体现在单策略多角色设计上。Tokenizer 仅在优化细节中提及 token segment，相关性较低。世界模型和基于模型的强化学习在摘要中未体现核心地位，相关性低。

Visual Reasoning, Multi-Agent Framework, MLLM Policy, Shared Visual Prefix, Role-Decoupled Optimization, Hallucination Reduction, Inference Efficiency

Chinese Title: 视觉并行思考者++：一种用于视觉推理的单策略多智能体框架

Summary: 本文提出Visual Para-Thinker++，一种单策略多智能体视觉推理框架。该框架通过共享一个多模态大语言模型（MLLM）策略，实例化为角色条件化的主智能体、工作智能体和总结智能体。主智能体使用固定分配模式分解任务；工作智能体在上下文隔离下并行推理；总结智能体整合所有工作智能体的推理轨迹而非仅对最终标签进行多数投票。共享策略通过多智能体能力注入和角色解耦多智能体优化进行训练，为不同角色分配特定奖励和优势，减少梯度冲突。推理时通过共享视觉前缀和KV缓存复用实现高效多智能体 rollout。在V*、CountBench、Pixmo、MMVP、RefCOCO系列和Hallusion-Bench等多个视觉基准上，Visual Para-Thinker++一致优于单轨迹和推理时并行基线，尤其在幻觉敏感的视觉推理任务上表现突出。

Innovations:

• 提出单策略多智能体视觉推理框架，通过角色条件化将共享MLLM策略实例化为主、工作、总结三种智能体，实现多角色协作。
• 引入多智能体能力注入（角色感知SFT）和角色解耦多智能体优化（角色特定奖励与优势），减少不同角色间的梯度冲突。
• 设计固定任务分配模式（基于块和扫描顺序），使主智能体无需开放规划即可有效分配子任务。
• 实现基于KV缓存复用的原生推理引擎，提升多智能体 rollout 效率。
• 在多个视觉推理基准上显著优于单轨迹和并行推理基线，尤其在幻觉敏感任务上表现优异。

Methodology: 本文采用两阶段训练方法。第一阶段：多智能体能力注入，使用更强的MLLM教师合成多智能体轨迹数据，通过角色感知SFT训练共享策略，并应用上下文隔离掩码确保工作智能体独立推理。第二阶段：角色解耦多智能体优化，基于DAPO进行组相对强化学习，为工作智能体设计局部奖励（基于跨工作多数投票启发式），为总结智能体设计全局结果奖励，通过角色特定优势组合（全局优势+局部优势）更新策略。推理时采用固定协议：主智能体→工作智能体（并行）→总结智能体，并复用KV缓存加速。

Key Results:

• 在V*、CountBench、Pixmo、MMVP、RefCOCO系列和Hallusion-Bench上，Visual Para-Thinker++一致优于单轨迹（如贪婪解码、长CoT）和并行推理基线（如自一致性、多智能体辩论）。
• 在幻觉敏感的视觉推理任务上，性能提升尤为显著。
• 通过KV缓存复用，推理效率得到有效提升。

Tech Stack:

• 多模态大语言模型（MLLM）作为共享策略
• 角色条件化（角色token嵌入）
• SFT（监督微调）
• DAPO（组相对策略优化）
• KV缓存复用（vLLM-based引擎）
• 上下文隔离掩码
• 跨工作多数投票启发式奖励
• 固定任务分配模式（块分配、扫描顺序分配）

Strengths:

• 单策略多智能体设计避免了使用多个独立模型的高计算成本，同时实现角色分工。
• 角色解耦优化有效缓解了不同角色目标冲突导致的梯度问题。
• 固定分配模式简化了主智能体的规划负担，同时保证了任务分解的多样性。
• 推理时KV缓存复用显著提升了效率，使多智能体协作实用化。
• 在多个视觉推理基准上取得一致且显著的性能提升，尤其在幻觉敏感任务上。

Limitations:

• 依赖更强的MLLM教师合成训练数据，可能引入教师偏差。
• 固定分配模式（块/扫描顺序）可能无法覆盖所有视觉推理任务类型，灵活性有限。
• 工作智能体数量固定为四个，对于某些任务可能过多或过少。
• 跨工作多数投票启发式奖励可能不够精确，尤其在任务答案非唯一时。
• 未探讨在更复杂视觉推理（如视频、3D场景）上的适用性。

Relevance To Keywords:

• Unify Models: 框架使用单一MLLM策略统一不同角色，体现了模型统一思想。
• World Models: 未直接涉及世界模型，但视觉推理可视为对视觉世界的理解。
• Representation Learning: 角色token和上下文隔离隐式学习不同角色的表征。
• Model-Based RL: 使用强化学习（DAPO）优化策略，属于后训练阶段。
• 原生多模态大模型: 基于MLLM，处理图像和文本输入。
• 多模态大模型的理解和生成一体化: 框架同时涉及视觉理解（推理）和文本生成（答案）。
• 表征学习: 角色token嵌入和共享权重下的角色分化涉及表征学习。
• 世界模型: 不直接相关。
• 强化学习: 核心训练方法为角色解耦的强化学习。
• 后训练: 两阶段训练（SFT+RL）属于后训练范式。

联合嵌入预测架构（JEPAs）展现出了有前景的世界建模能力，能够通过交叉熵方法（CEM）等优化动作轨迹，从而在隐空间中进行规划。然而，这些方法计算开销过大，且在长时程规划中效果不佳。此外，这些方法通常需要目标状态的显式图像，而在现实任务中这并不总是可行的。在本文中，我们通过提出前向 - 前向 - JEPA（FF-JEPA）来解决这些局限性，这是一种利用两个前向动力学模型的分层方法。除了标准的动作条件化前向模型外，我们还引入了一种无动作潜在规划器，该规划器根据当前状态预测下一个子目标。这种方法消除了对目标图像的需求，并通过将复杂轨迹分解为一系列易于求解的短期优化问题，实现了长时程规划。在 PushT 上的初步结果表明，FF-JEPA 成功克服了平坦世界模型的长时程崩溃问题，突显了该方法作为无目标规划方向的前景。

Joint Embedding Predictive Architectures (JEPAs) have shown promising world modeling capabilities, enabling planning in latent space by optimizing action trajectories using methods like the Cross-Entropy Method (CEM). These methods are, however, too computationally expensive and ineffective for long-horizon planning. Furthermore, these methods typically require an explicit image of the goal state, which is not always possible in real-world tasks. In this work, we tackle these limitations by proposing Forward-Forward-JEPA (FF-JEPA), a hierarchical approach leveraging two forward dynamics models. Alongside a standard action-conditioned forward model, we introduce an action-free latent planner that predicts the next subgoal given the current state. This approach removes the need for goal images and enables long-horizon planning by decomposing complex trajectories into a sequence of tractable, short-term optimization problems. Preliminary results on PushT demonstrate that FF-JEPA successfully overcomes flat world models' long-horizon collapse, highlighting this approach as a promising direction for goal-free planning.

评分理由: 论文核心聚焦于世界模型（World Models）框架下的长时程规划，利用前向模型进行动作轨迹优化，因此与 World Models (10) 和 model-based RL (9) 高度相关。方法通过结合标准前向模型与潜在规划器实现了模型层面的统一（Unify Models, 7），且基于视觉隐空间工作隐含了视觉编码器（Visual Encoder, 6）。论文未提及离散分词器（Tokenizer, 1）、大语言模型（MLLM, 1）或多模态输入（MultiModal, 3）。作者列表中未包含指定的 Yang Shi 等专家。

World Models, Latent Planners, Long-Horizon Planning, Forward Models, Joint Embedding Predictive Architectures, Goal-free Planning, Latent Space

Chinese Title: FF-JEPA：基于潜在规划器的世界模型中的长时域规划

Summary: 本文针对现有联合嵌入预测架构（JEPA）世界模型在长时域规划中计算成本高、需要显式目标图像等问题，提出了一种层次化方法FF-JEPA。该方法在预训练的世界模型潜在空间中引入一个无动作的潜在规划器（latent planner），该规划器根据当前状态预测下一个子目标，从而将复杂的长轨迹分解为一系列短时域优化子问题，无需目标图像。作者实验了两种规划器架构：确定性Transformer和扩散DiT。在PushT任务上的实验表明，FF-JEPA成功克服了平坦世界模型的长时域崩溃问题，在75步规划中达到91.80%的成功率，而基线LeWM仅3.52%；在随机初始化场景下也达到82.42%的成功率，展示了该方法在无目标图像规划中的潜力。

Innovations:

• 提出Forward-Forward JEPA（FF-JEPA）层次化框架，在潜在空间中引入无动作的潜在规划器，实现长时域规划分解。
• 无需显式目标图像，规划器仅基于当前潜在状态预测子目标，适用于实际任务中目标不可知场景。
• 将世界模型重新解释为逆动力学模块，通过采样优化（CEM）在想象轨迹上提取动作序列，统一预测与控制。
• 实验了两种潜在规划器架构（确定性Transformer和扩散DiT），并验证了扩散规划器在长时域和随机初始化下的优越性能。

Methodology: 基于预训练的LeWM世界模型（含编码器E和前向预测器P），冻结编码器，在潜在空间训练一个无动作的潜在规划器G。训练数据来自成功演示的潜在表示，子目标通过步长H下采样获得。确定性规划器G_Det使用与P相同架构的Transformer，最小化预测子目标与真实子目标的MSE；扩散规划器G_DM使用DiT骨干，训练去噪分数匹配目标。推理时，G每H步预测下一个子目标，然后世界模型P使用CEM在H步内优化动作序列达到该子目标。实验在PushT任务上进行，比较短时域（25步）、长时域（75步）和随机初始化三种场景，评估成功率。

Key Results:

• 平坦LeWM在长时域（75步）中成功率仅3.52%，随机初始化下为0.00%，而FF-JEPA（DM）分别达到91.80%和82.42%。
• FF-JEPA（DM）在短时域（25步）中达到96.09%，优于层次化DINO-WM的89.0%。
• 确定性规划器在短时域中表现略差（76.95%），但在长时域和随机初始化中与扩散规划器相当。
• 成功率随规划预算增加而稳定，剩余失败主要源于子目标预测误差而非规划步数不足。

Tech Stack:

• LeWM（LeWorldModel）JEPA世界模型
• Cross-Entropy Method (CEM) 采样优化
• Transformer架构（用于确定性规划器）
• DiT（Diffusion Transformer）骨干（用于扩散规划器）
• 去噪分数匹配（Denoising Score Matching）训练目标
• 滑动窗口上下文（WG=3或1）
• 稳定预训练库（stable-pretraining）和稳定世界模型库（stableworldmodel）

Strengths:

• 有效解决了长时域规划中计算成本高和误差累积的问题。
• 无需目标图像，提升了实际应用中的灵活性。
• 层次化分解使得世界模型可以专注于短时域优化，降低了CEM的搜索难度。
• 扩散规划器具有较好的鲁棒性和泛化能力，在随机初始化下仍保持高成功率。
• 潜在规划器可基于无标签数据训练，降低了对动作标注的依赖。

Limitations:

• 实验仅在PushT单一任务上进行，泛化性有待验证。
• 确定性规划器在短时域中表现不佳，可能受限于上下文窗口未充分利用。
• 子目标预测误差仍是失败的主要原因，规划器精度有待提升。
• 与DINO-WM等基线并非完全公平比较（评估协议略有不同）。
• 未讨论规划器训练对演示数据质量和数量的敏感性。

Relevance To Keywords:

• 世界模型（World Models）：论文核心是改进世界模型的长时域规划能力，直接相关。
• 表征学习（Representation Learning）：利用JEPA世界模型的潜在空间进行规划，涉及表征学习。
• 基于模型的强化学习（Model-Based RL）：通过世界模型进行规划，属于模型基强化学习范畴。
• 后训练（Post-training）：潜在规划器是在预训练世界模型基础上训练的，属于后训练阶段。
• 原生多模态大模型/多模态大模型的理解和生成一体化：论文未直接涉及多模态大模型，但JEPA架构与多模态表征学习有潜在联系。
• Unify Models：论文尝试统一前向模型和逆动力学模型，具有统一建模思想。

多模态大语言模型（MLLMs）通常继承为单模态文本建模设计的深层、对称的 Transformer 骨干网络，并对图像令牌和文本令牌一致地应用相同的计算。这种设计忽视了一个关键的模态不对称性：图像令牌和文本令牌在信息密度、冗余度以及所需的推理深度上存在显著差异。通过对 LLaVA-1.5 的逐层分析，我们发现视觉令牌倾向于在中间层趋于饱和。具体而言，文本到图像注意力从第 0 层的 0.68 下降至第 4 层的 0.07，并在第 18 层后稳定在 0.04 左右，而文本令牌则继续从深层语义处理中获益。这些发现表明架构对称性与深度异步模态演化之间存在不匹配，导致冗余视觉计算，并在深层任务特定适应过程中可能导致感知表征的漂移。基于此，我们提出双路径视觉令牌路由（DPVR），这是一种用于高效多模态大语言模型的模态不对称路由框架。其核心实例化方案 DPVR-LF（晚期融合），在饱和点将视觉令牌路由至一层可训练的侧分支，执行十三层仅文本的前向传播（跳过深层堆栈中的图像位置），并仅在最后一层重新融合视觉与文本流。仅需约 3% 的可训练参数，DPVR-LF 便在标准基准测试上保持了具有竞争力的多模态性能，同时减少了深层 Transformer 堆栈中的视觉计算。研究结果挑战了视觉令牌必须遍历所有深层语言模型层的传统假设，并表明单个晚期融合层足以维持 LLaVA 风格多模态大语言模型中的强感知能力。

Multimodal large language models (MLLMs) commonly inherit the deep, symmetric Transformer backbone designed for unimodal text modeling, and apply the same computation uniformly to image and language tokens. This design overlooks a key modality asymmetry: image and text tokens differ substantially in information density, redundancy, and required reasoning depth. Through a layer-wise analysis of LLaVA-1.5, we observe that vision tokens tend to saturate in the middle layers. Specifically, text-to-image attention decreases from 0.68 at layer 0 to 0.07 by layer 4, and stabilizes near 0.04 after layer 18, whereas text tokens continue to benefit from deep semantic processing. These findings suggest a mismatch between architectural symmetry and depth-asynchronous modality evolution, resulting in redundant visual computation and possible drift in perceptual representations during deep task-specific adaptation. Motivated by this, we propose Dual-Path Vision Token Routing (DPVR), a modality-asymmetric routing framework for efficient MLLMs. Its core instantiation, DPVR-LF (Late-Layer Fusion), routes vision tokens at the saturation point into a one-layer trainable side branch, runs a thirteen-layer text-only forward that skips image positions in the deep stack, and re-fuses the visual and textual streams only at the final layer. With approximately 3% trainable parameters, DPVR-LF preserves competitive multimodal performance on standard benchmarks while reducing visual computation in the deep Transformer stack. The results challenge the conventional assumption that vision tokens must traverse all deep language-model layers, and indicate that a single late fusion layer can be sufficient for maintaining strong perceptual competence in LLaVA-style MLLMs.

评分理由: 论文核心聚焦于多模态大语言模型（MLLM）的架构优化，针对视觉令牌饱和问题提出双路径路由方案，因此与 MLLM 和多模态高度相关。论文涉及视觉令牌处理与模态融合，与统一模型和视觉编码器中度相关。论文未涉及分词器设计、世界模型构建或强化学习，故相关度低。作者列表中未包含指定的五位专家。

Multimodal Large Language Models, Vision Token Routing, Late-Layer Fusion, Visual Saturation, Modality Asymmetry, Efficient MLLMs, Dual-Path

Chinese Title: 晚期融合足矣：视觉饱和条件下多模态大语言模型的双路径视觉令牌路由

Summary: 本文针对多模态大语言模型（MLLMs）中视觉与文本令牌在深度Transformer骨干中对称处理导致的计算冗余问题，通过层间分析发现视觉令牌在中层即出现饱和现象（文本-图像注意力从第0层的0.68骤降至第4层的0.07，之后稳定在0.04附近），而文本令牌仍需深层语义处理。基于此，提出双路径视觉令牌路由（DPVR）框架，其核心方法DPVR-LF在视觉饱和点（7B模型第18层）将视觉令牌路由至单层可训练侧分支，后续13层仅处理文本令牌，最后在最终层通过单层全注意力块进行图像-文本融合。仅需约3%可训练参数（7B模型202M），DPVR-LF在8个标准基准上匹配或超越全微调性能，同时节省25-30%前向FLOPs（实测延迟降低28%）。实验表明，视觉令牌无需遍历所有深层语言模型层，单层晚期融合足以维持强感知能力。

Innovations:

• 提出三视角分析（相邻层余弦相似度、文本-图像注意力质量、logit-lens转换）揭示视觉饱和现象，为模态非对称深度分配提供实证依据。
• 设计DPVR-LF方法：单层可训练视觉侧分支 + 十三层纯文本前向 + 单层最终融合，在保持梯度回传的同时大幅减少深层视觉计算。
• 验证视觉令牌在LLaVA-1.5中于第18层（7B）/第28层（13B）饱和，且融合层数在1层时即饱和（增加第二层仅提升0.18个百分点）。
• 实现与现有令牌缩减方法（如FastV、VTW）正交，可组合使用进一步加速。

Methodology: 首先对LLaVA-1.5-7B进行层间分析，从隐藏状态演化、注意力脱离、logit-lens转换三个角度量化视觉饱和。基于此设计DPVR-LF：在饱和点（第18层）将视觉令牌路由至单层LlamaDecoderLayer侧分支，后续13层跳过图像位置进行纯文本前向，最后在最终层通过全注意力块融合。训练时仅微调侧分支和融合层参数（约3%），其余参数冻结。在LLaVA-1.5-7B和13B上评估8个标准基准，进行分割点扫描、视觉深度消融、融合层数消融等实验。

Key Results:

• DPVR-LF在7B模型上仅用3%可训练参数（202M）即匹配全微调性能，8个基准平均准确率0.66。
• 实测延迟降低28.0%（A800），理论FLOPs节省26.8%（填充率0.70）。
• 分割点扫描显示第18-24层为鲁棒平台（六基准均值波动<0.1个百分点）。
• 融合层数消融表明单层融合即饱和（第二层仅+0.18 pp）。
• 13B模型上视觉饱和点在第28层，DPVR-LF同样有效。
• 延迟节省完全来自预填充阶段（13B/5880 Ada上-23.4%），且在不同硬件（A800、Blackwell RTX PRO 6000、5880 Ada）上一致复现。

Tech Stack:

• LLaVA-1.5架构（ViT视觉编码器 + 线性投影器 + Llama解码器）
• 层间余弦相似度分析
• 注意力质量（文本-图像注意力权重）
• logit-lens / tuned lens技术
• LoRA（低秩适应）作为对比基线
• FLOPs理论计算与实测延迟（A800、5880 Ada等）
• LlamaDecoderLayer（单层侧分支）
• PyTorch实现

Strengths:

• 基于实证观察（视觉饱和）提出简洁有效的非对称路由方案，无需改变投影器或视觉编码器。
• 仅需极少量可训练参数（3%），与全微调性能相当，显著降低计算成本。
• 设计正交于现有令牌缩减方法，可组合使用。
• 在多个硬件和模型规模上验证鲁棒性，分割点选择具有宽泛的鲁棒平台。
• 提供了机制性分析（融合层注意力集中度1.77倍基线，共享浅层堆栈与原始LLaVA位一致）。

Limitations:

• 仅针对LLaVA-1.5系列验证，未在其他MLLM架构（如Qwen-VL、MiniGPT-4）上测试。
• 视觉饱和点依赖于模型规模和训练数据，可能需针对不同模型重新扫描。
• 单层融合假设视觉表示在饱和后不再需要深层交互，但某些任务（如细粒度视觉推理）可能仍需更深融合。
• 未与令牌缩减方法（如FastV）联合实验，组合效果未知。
• 训练时冻结大部分参数，可能限制下游任务适应能力。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究LLaVA类原生多模态大模型，提出非对称路由改进。
• 多模态大模型的理解和生成一体化：DPVR-LF保持理解（视觉感知）和生成（文本推理）的一体化架构，仅改变计算路径。
• 表征学习：通过层间分析揭示视觉表征的饱和特性，为表征学习提供新视角。
• 世界模型：论文未直接涉及世界模型，但视觉饱和现象可能影响世界模型中的感知模块设计。
• 强化学习/后训练：论文主要关注前向计算效率，未涉及强化学习或后训练，但DPVR-LF可作为一种高效微调策略用于后训练阶段。
• Unify Models：论文提出的非对称路由可视为统一模型中模态特异性处理的范例。

视觉 - 语言 - 动作 (VLA) 模型已在多种机器人操作任务中展现出卓越的端到端性能。然而，这些策略无法保证避免与场景中无关任务的对象发生碰撞。现有的安全滤波器通过查询视觉 - 语言模型 (VLM) 来识别障碍物及其位置从而规避这一问题。然而，这在控制回路中运行速度过慢，且只能在回合初始化时调用，导致滤波器无法跟踪移动障碍物。我们发现，VLA 模型中少量的注意力头能够可靠地定位策略意图接近的目标对象。这些注意力头可在无需训练的安全框架中被利用：该框架在每个步骤从注意力头获取活跃目标，将场景其余部分视为障碍物，并将这些信息输入至控制屏障函数 (CBF) 滤波器。结合轻量级实时目标跟踪器，该方法实现了对非静态障碍物的碰撞避免。我们在 SafeLIBERO 基准上评估了我们的框架，并扩展了该基准以包含移动障碍物。在原始静态基准上，我们的方法与利用特权模拟器状态来识别目标的 oracle 表现相当，这模拟了在回合初始化时运行一次的基于 VLM 的识别步骤。在动态变体中，当 oracle 的初始化目标分配变得过时，我们的方法平均比其高出 43%，表现显著优于它。我们的发现表明，实时安全滤波所需的感知信号已存在于 VLA 策略之中，且可在无需额外训练或重型辅助模型的情况下被利用。

Vision-Language-Action (VLA) models have demonstrated impressive end-to-end performance across a variety of robotic manipulation tasks. However, these policies offer no guarantees against collisions with task-irrelevant objects in the scene. Existing safety filters sidestep this problem by querying a vision-language model (VLM) to identify obstacles and their locations. This, however, is too slow to run in the control loop and can only be invoked at episode initialization, leaving the filter unable to track moving obstacles. We discover that a small number of attention heads within a VLA model reliably localize the object the policy intends to approach. These heads can be exploited within a training-free safety framework that obtains the active target from the attention heads at every step, treats the remainder of the scene as obstacles, and feeds these into a Control Barrier Function (CBF) filter. Together with a lightweight real-time object tracker, this allows for collision avoidance for non-static obstacles. We evaluate our framework on SafeLIBERO, which we extend with moving obstacles. On the original static benchmark, our method performs comparably to an oracle that uses privileged simulator state to identify the target, emulating a VLM-based identification step run once at episode initialization. On the dynamic variant, where the oracle's init-time target assignment becomes stale, our method substantially outperforms it by 43%, on average. Our findings suggest that the perceptual signals needed for real-time safety filtering are already present within VLA policies and can be exploited without additional training or heavy auxiliary models.

评分理由: The paper focuses on safety filtering for Vision-Language-Action (VLA) models. Unify Models (5.0) relates to VLA's unified nature but isn't the core focus. Tokenizer (2.0) and World Models (2.0) are largely irrelevant as they aren't discussed or central. Visual Encoder (4.0) is a component but not the contribution. MLLM (8.0) and MultiModal (8.0) are highly relevant as VLA is a multimodal large model variant. model-based RL (6.0) is relevant due to Control Barrier Functions used in control tasks. None of the specified experts (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) appear in the author list, so no bonus points were added.

Vision-Language-Action, Safety Filter, Attention Heads, Control Barrier Function, Collision Avoidance, Moving Obstacles, Training-free

Chinese Title: 你的模型已经知道：面向视觉-语言-动作模型的注意力引导安全过滤器

Summary: 本文针对视觉-语言-动作（VLA）模型在机器人操作任务中缺乏碰撞保证的问题，提出了一种无需额外训练的安全过滤框架KNOWS。研究发现，VLA模型中的少量注意力头能够可靠地指示策略当前意图接近的目标物体。通过提取这些注意力头的注意力图，结合滑动窗口累积注意力密度，动态识别目标物体，并将场景中其余物体视为障碍物。利用轻量级实时目标跟踪器更新障碍物位置，并采用控制障碍函数（CBF）二次规划（QP）过滤器将候选动作投影到安全集。在静态SafeLIBERO基准上，KNOWS与使用特权状态信息的oracle性能相当；在扩展的动态障碍物场景中，碰撞率平均降低43%。该方法无需额外训练或重型辅助模型，实现了实时安全过滤。

Innovations:

• 发现VLA模型中少量注意力头可作为每步目标物体的可靠指示器，无需额外训练或监督。
• 提出KNOWS无训练安全框架，结合注意力头、轻量级目标跟踪器和CBF-QP过滤器，实现控制频率下的实时碰撞避免。
• 扩展SafeLIBERO基准，引入动态移动障碍物场景，验证了方法在动态环境中的优势。
• 利用注意力头的空间注意力分布，通过滑动窗口和注意力密度归一化，鲁棒地识别目标物体。
• 在静态场景中达到与使用特权状态信息的oracle相当的性能，在动态场景中显著超越（碰撞率降低43%）。

Methodology: 首先，使用冻结的VLA策略（如π0.5）生成候选动作，并通过隐藏状态钩子提取特定注意力头的注意力图。其次，在初始化时使用SAM分割模型获取每个物体的掩码，并拟合最小体积包围椭球（MVEE）表示物体；运行时通过HSV颜色直方图跟踪更新椭球中心。然后，将每个椭球投影到图像平面，计算注意力质量分配给各物体，并在滑动窗口内累积注意力密度，通过密度差距阈值确认目标物体，其余物体视为障碍物。最后，构建CBF-QP优化问题，将候选动作投影到安全集，确保末端执行器椭球与所有障碍物椭球分离。

Key Results:

• 在静态SafeLIBERO基准上，KNOWS与使用特权状态信息的oracle性能相当。
• 在动态障碍物场景中，KNOWS的碰撞率平均比oracle低43%。
• 注意力头选择实验表明，π0.5策略中特定层和头的注意力图能可靠定位目标物体。
• 方法在控制频率下运行，额外计算开销主要来自分割模型的前向传播，但整体延迟可接受。

Tech Stack:

• VLA模型：π0.5（扩散解码）
• 注意力头提取：通过隐藏状态钩子手动计算softmax(Q_act K_vis^T / sqrt(d))
• 实例分割：SAM（Segment Anything Model）
• 椭球拟合：最小体积包围椭球（MVEE）算法
• 目标跟踪：HSV颜色直方图 Bhattacharyya 距离匹配
• 安全过滤：控制障碍函数（CBF）二次规划（QP）求解器
• 滑动窗口累积：K帧窗口，注意力密度归一化（β=-1）
• 参数：K、β、δ通过经验确定

Strengths:

• 无需额外训练或微调VLA模型，直接利用模型内部注意力信号。
• 实时性强，可在控制频率下运行，适用于动态环境。
• 与现有安全过滤方法相比，计算开销低，无需频繁调用重型VLM。
• 在静态和动态场景中均表现良好，动态场景优势显著。
• 方法具有通用性，可应用于不同VLA架构（如π0.5）。

Limitations:

• 注意力头选择依赖于特定VLA模型，可能不适用于所有VLA架构，需要预先进行头选择实验。
• 初始化时需要一次分割模型运行，且假设物体为刚性，对非刚性或变形物体可能不适用。
• 滑动窗口参数（K、β、δ）需针对具体场景调优，缺乏自适应机制。
• 当目标物体被严重遮挡或注意力信号模糊时，可能无法正确识别目标，导致保守地视所有物体为障碍物。
• 未考虑机器人自身与其他物体（如桌面）的碰撞，仅关注可操作物体。

Relevance To Keywords:

• 原生多模态大模型：VLA模型是原生多模态大模型在机器人领域的应用，本文直接研究其内部注意力机制。
• 表征学习：通过分析注意力头表征，发现其隐含目标定位能力，属于表征学习范畴。
• 世界模型：CBF安全过滤器可视为对世界状态（物体位置）的建模，但本文未显式构建世界模型。
• 模型-Based RL：本文方法属于推理时安全过滤，不涉及强化学习训练，但与模型预测控制（MPC）思想相关。
• 后训练：本文方法无需后训练，直接利用预训练模型，但注意力头选择可视为一种后训练分析。

理解和推理抽象视觉内容仍然是当前多模态大语言模型（MLLMs）面临的挑战。本文探索了一种新颖的抽象数据类型，称为复杂视觉查询（CVQ），旨在探测符号推理与抽象推理，这是面向 MLLMs 的人类类似神经符号推理中关键却尚未被充分探索的维度。我们从三个视角进行了全面的研究：数据 × 范式 × 探索。具体来说，我们提出了一种可扩展的流水线，基于大规模多模态知识图谱合成 CVQ，通过一阶逻辑算子的系统组合生成了一个涵盖 14 种不同查询类型的多样化数据集。我们进一步引入了一种两阶段训练框架，逐步赋予 MLLMs 鲁棒的视觉推理能力。我们进行了广泛的实验，从多个维度严格评估 MLLMs，包括在 CVQ 上的推理性能，以及跨任务和跨场景的泛化能力。我们相信我们的工作为拓展 MLLMs 的推理前沿开启了新的视角和途径。

Understanding and reasoning over abstract visual content remains a challenge for current multi-modal large language models (MLLMs). In this paper, we explore a novel abstract data type termed complex visual query (CVQ), designed to probe symbolic and abstractive reasoning, which is a critical yet underexplored dimension of human-like neuro-symbolic reasoning for MLLMs. We present a comprehensive investigation from three perspectives: \textbf{Data $\times$ Paradigm $\times$ Exploration}. Specifically, we propose a scalable pipeline for synthesizing CVQs grounded in large-scale multi-modal knowledge graphs, generating a diverse dataset encompassing 14 distinct query types via systematic combinations of first-order logic operators. We further introduce a two-stage training framework that progressively equips MLLMs with robust visual reasoning capabilities. We conduct extensive experiments to rigorously evaluate MLLMs across multiple dimensions, including reasoning performance on CVQs, as well as cross-task and cross-scenario generalization. We believe our work opens new perspectives and avenues for advancing the reasoning frontiers of MLLMs.

评分理由: 论文核心聚焦于多模态大语言模型（MLLM）的视觉推理能力，因此 MLLM 和 MultiModal 得分为 10。研究涉及视觉内容处理，Visual Encoder 有一定关联（4 分）。未涉及 Tokenizer 架构、World Models 或 Model-Based RL 的具体技术，故得分低（2 分）。虽提出统一查询范式，但未明确涉及模型架构统一，Unify Models 给中等分（5 分）。作者列表中不包含指定的专家，无额外加分。

Complex Visual Queries, Symbolic Reasoning, Abstractive Reasoning, Multi-modal Large Language Models, First-order Logic, Two-stage Training Framework, Visual Reasoning

Chinese Title: 复杂视觉查询的符号与抽象推理

Summary: 本文针对多模态大语言模型（MLLMs）在抽象视觉内容理解与推理上的不足，提出了一种新型抽象数据类型——复杂视觉查询（CVQ），旨在探索符号与抽象推理能力。作者从数据、范式、探索三个维度展开系统研究：首先设计可扩展的CVQ数据合成流水线，基于大规模多模态知识图谱生成涵盖14种一阶逻辑查询类型的多样化数据集QUASAR；其次提出两阶段训练框架，逐步赋予MLLMs鲁棒的视觉推理能力；最后通过大量实验评估MLLMs在CVQ上的推理性能、跨任务及跨场景泛化能力。实验结果表明，所提方法能有效提升模型对复杂视觉查询的理解与推理，并展现出良好的泛化性。该工作为推进MLLMs的推理前沿提供了新视角和方向。

Innovations:

• 提出复杂视觉查询（CVQ）概念，将一阶逻辑组合查询可视化，开辟MLLMs符号与抽象推理新方向。
• 构建QUASAR数据集，涵盖14种标准查询类型，并附带细粒度思维链（CoT）标注，数据规模大且多样性高。
• 设计两阶段训练框架（CQU与CQR任务），逐步提升MLLMs对视觉查询的结构理解与多步逻辑推理能力。
• 提出基于CLIP的语义图像筛选策略，有效过滤多模态知识图谱中的噪声图像，提升数据质量。
• 系统评估MLLMs在CVQ上的推理性能及跨任务、跨场景泛化能力，揭示当前模型的不足与改进方向。

Methodology: 论文采用数据合成与两阶段训练相结合的技术路线。首先，从VisualSem、MKG-Y、FB15K-237三个多模态知识图谱中，通过模板引导的遍历采样获取查询实例；利用CLIP计算图像与实体描述的语义相似度，筛选高质量图像；使用GraphViz将查询渲染为有向计算图，并设计不同视觉编码表示一阶逻辑算子（投影、交、并、否）。然后，定义复杂查询理解（CQU）和复杂查询推理（CQR）两个任务，分别对应结构识别与答案预测；设计28种细粒度CoT模板（每查询类型×任务类型）用于监督训练。最后，采用两阶段训练框架：第一阶段训练CQU，第二阶段训练CQR，逐步提升模型能力。评估时使用准确率、F1等指标，并测试跨查询类型和跨场景的泛化能力。

Key Results:

• 在14种查询类型上，所提两阶段训练方法在CQU和CQR任务上均显著优于基线MLLMs（如GPT-4V、LLaVA等）。
• 模型在简单查询（如1p）上表现较好，但在涉及否定（negation）和复杂组合（如pin、pni）的查询上仍有较大提升空间。
• 跨任务泛化实验表明，经过CVQ训练的模型在统计图表、几何图形等抽象视觉推理任务上也有性能提升。
• 跨场景泛化实验显示，模型能适应不同知识图谱来源的CVQ，但泛化能力受训练数据分布影响。

Tech Stack:

• 多模态知识图谱：VisualSem、MKG-Y、FB15K-237
• 图像-文本匹配模型：CLIP（视觉编码器Mvis、文本编码器Mtxt）
• 图可视化工具：GraphViz
• 一阶逻辑算子：投影（p）、交（i）、并（u）、否（n）
• 思维链（Chain-of-Thought, CoT）模板
• 两阶段训练框架（CQU→CQR）
• 评估指标：准确率、F1分数

Strengths:

• 首次将复杂查询推理引入视觉模态，填补了MLLMs在抽象符号推理方面的研究空白。
• 数据集QUASAR规模大、类型全，且附带高质量CoT标注，便于监督训练和评估。
• 两阶段训练框架设计合理，逐步提升模型能力，实验验证有效。
• 系统评估了泛化能力，包括跨查询类型和跨场景，具有实际参考价值。
• 语义图像筛选策略有效提升了数据质量，可推广至其他多模态数据集构建。

Limitations:

• 数据集依赖现有知识图谱，覆盖的实体和关系有限，可能影响模型对真实世界复杂查询的泛化。
• 当前模型在涉及否定和复杂组合的查询上性能仍较低，推理能力有待进一步提升。
• 两阶段训练框架需要大量人工设计的CoT模板，扩展至更多查询类型时成本较高。
• 实验仅评估了部分MLLMs，未涵盖最新的大型模型（如GPT-4o、Gemini等）。
• 视觉查询的渲染方式固定，可能无法完全模拟真实场景中抽象视觉信息的多样性。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文聚焦于多模态大模型（MLLMs）的推理能力，属于统一模型和世界模型的研究范畴；通过视觉查询的符号推理，涉及表征学习（CLIP特征提取）和结构化推理，与模型基强化学习中的推理规划有间接关联。
• 原生多模态大模型，多模态大模型的理解和生成一体化: 论文研究MLLMs对抽象视觉查询的理解与推理，属于多模态理解任务，与理解和生成一体化方向相关（但未涉及生成）。
• 表征学习: 使用CLIP进行语义图像筛选，属于表征学习技术。
• 世界模型: 复杂视觉查询可视为对知识图谱中世界知识的抽象表示，模型需构建内部世界模型进行推理。
• 强化学习，后训练: 论文采用两阶段训练（先CQU后CQR），可视为一种后训练策略，但未直接使用强化学习。

视觉 - 语言 - 动作（VLA）模型在机器人操作中展现出强大的潜力，然而自然语言主要用于指定任务意图，而非在高频低层执行过程中被反复处理。基于这种分离，我们提出了一种受小脑 - 丘脑启发的视觉 - 动作模型（CT-VAM），用于高效的基于任务的视觉运动控制。CT-VAM 作为一种紧凑的本地执行策略，能够从双视角视觉观测、本体感觉和轻量级任务条件中预测动作块，从而可能实现一种实用的云边范式：高层语义推理由大型模型处理，而快速闭环控制则在本地硬件上运行。为了有效融合异构输入，CT-VAM 引入了 TARS（丘脑动作路由流），这是一种流分离的条件注意力解码器，独立路由动作、视觉和任务流，防止密集的感官 tokens 淹没紧凑的任务相关条件。仅使用 6800 万参数，CT-VAM 在 LIBERO 上的成功率即可与显著更大的 VLA 模型相媲美，同时降低了推理延迟。结合用于异步块执行的光流一致 inpainting，CT-VAM 支持高频控制，并在资源受限的机器人平台上展示了稳健的实地部署能力。

Vision-language-action models have shown strong promise for robot manipulation, yet raw language is primarily needed to specify task intent rather than to be repeatedly processed during high-frequency low-level execution. Motivated by this separation, we propose a cerebello-thalamic-inspired vision-action model (CT-VAM) for efficient task-conditioned visuomotor control. CT-VAM acts as a compact local execution policy that predicts action chunks from dualview visual observations, proprioception, and a lightweight task condition, potentially enabling a practical cloud-edge paradigm in which high-level semantic reasoning can be handled by large models while fast closed-loop control runs on local hardware. To fuse heterogeneous inputs effectively, CT-VAM introduces TARS (Thalamic Action Routing Stream), a stream-separated conditional attention decoder that independently routes action, visual and task streams, preventing dense sensory tokens from overwhelming compact task-relevant conditions. With only 68M parameters, CT-VAM achieves LIBERO success rates competitive with substantially larger VLA models, while reducing inference latency. Together with flow-consistent inpainting for asynchronous chunk execution, CT-VAM supports high-frequency control and demonstrates robust realworld deployment on resource-constrained robotic platforms.

评分理由: 论文聚焦视觉 - 动作控制，强调云端 - 边缘分离而非模型统一，故 Unify Models 得分低；Tokenizer 仅在注意力机制中提及，非核心贡献；Visual Encoder 为基础组件；World Models 与 model-based RL 因控制策略与流一致插补技术具相关性；MLLM 相关但侧重动作生成；MultiModal 因融合视觉、本体感受及语言任务条件得分最高。

Vision-Action Model, Visuomotor Control, TARS, Cloud-Edge Paradigm, Flow-Consistent Inpainting, Efficient Control, Dualview Observations

Chinese Title: CT-VAM：一种小脑-丘脑启发的视觉-动作模型，用于高效视觉运动控制

Summary: 本文提出了一种名为CT-VAM的视觉运动控制模型，灵感来源于生物小脑-丘脑通路。该模型将语言指令转化为紧凑的任务条件，避免在高速闭环控制中重复处理原始语言，从而降低推理延迟和硬件需求。CT-VAM采用双视角视觉观测、本体感知和任务条件作为输入，通过流分离条件注意力模块TARS（丘脑动作路由流）分别处理动作、视觉、本体感知和任务流，防止密集的视觉令牌淹没紧凑的任务条件。模型仅含68M参数，在LIBERO基准测试中达到了与更大规模VLA模型相当的成功率，同时推理延迟更低。此外，引入流一致修补（FCI）实现异步块执行，支持高频控制，并在资源受限的Jetson Orin NX平台上实现了完全机载部署。

Innovations:

• 提出将语言语义接地与高频视觉反馈控制分离的框架，语言仅用于生成紧凑任务条件，避免执行中重复处理。
• 设计TARS（丘脑动作路由流）模块，通过流分离条件注意力机制独立路由动作、视觉、本体感知和任务流，防止密集视觉令牌主导任务相关条件。
• 引入流一致修补（FCI）技术，实现异步块执行，在重叠推理与执行的同时保持动作连续性。
• 在仅68M参数下达到与大规模VLA模型相当的LIBERO成功率，并支持在Jetson Orin NX上高效机载部署。

Methodology: 本文采用模仿学习框架，基于双视角视觉观测和本体感知历史，结合任务标识符，预测动作块。模型由三部分组成：双视角编码器生成层视觉记忆；TARS解码器通过流分离注意力机制融合动作、视觉、本体感知和任务流；流一致修补（FCI）实现异步块执行。训练采用整流流（rectified flow）进行连续动作生成，并利用预训练视觉骨干的注册令牌初始化动作查询。

Key Results:

• CT-VAM在LIBERO基准测试中达到与大规模VLA模型（如RT-2）相当的成功率，但参数量仅68M。
• 推理延迟显著低于同等性能的VLA模型，支持高频闭环控制。
• 在真实机器人平台上成功部署，实现完全机载运行，无需依赖云端推理。
• 流一致修补（FCI）有效保证了异步块执行时的动作连续性。

Tech Stack:

• Transformer架构
• 整流流（Rectified Flow）
• 流分离条件注意力（Stream-Separated Conditional Attention）
• 动作块预测（Action Chunking）
• 预训练视觉骨干（如ViT）
• 注册令牌初始化（Register Token Initialization）
• Jetson Orin NX边缘计算平台

Strengths:

• 创新性地将语言接地与低层控制分离，兼顾语义泛化与实时性。
• TARS模块设计精巧，有效处理异构输入，防止信息淹没。
• 模型轻量（68M参数），适合资源受限的机器人平台。
• 在仿真和真实场景中均验证了有效性和鲁棒性。

Limitations:

• 任务条件目前采用简单的一热编码，未充分探索更丰富的语义表示。
• 未与高层语言模型进行端到端集成，实际应用需额外接地模块。
• 仅在桌面操作任务上验证，复杂长程任务泛化性待进一步评估。

Relevance To Keywords:

• Unify Models: 模型将视觉、本体感知和任务条件统一为动作生成框架，但未涉及多模态大模型的一体化。
• World Models: 未显式构建世界模型，但整流流生成动作可视为隐式建模。
• Representation Learning: TARS通过流分离注意力学习异构输入的联合表示。
• Model-Based RL: 本文基于模仿学习，未涉及强化学习或模型预测控制。
• 原生多模态大模型: 未使用原生多模态大模型，但借鉴了视觉-语言预训练骨干。
• 多模态大模型的理解和生成一体化: 未实现理解与生成一体化，仅聚焦动作生成。
• 表征学习: 流分离注意力机制可视为一种表征学习策略。
• 世界模型: 不直接相关。
• 强化学习: 不直接相关。
• 后训练: 未涉及后训练技术。

基础模型提供了一种有前景的途径，可将多模态生理信号压缩为人类健康的紧凑表示，在睡眠医学、心脏病学、神经病学及其他医疗领域具有广泛应用。现有模型通常使用掩码重构或对比目标进行训练。然而，掩码重构可能不太适合这些信号的随机特性，而对比方法依赖于正样本对定义，尽管生理信号的语义不变性尚不明确。在这项工作中，我们表明下一个词预测是一种简单且可扩展的替代方案。我们开发了 Hypnos，一种多模态睡眠基础模型，使用八种不同的传感模态（例如 EEG、ECG、呼吸信号）进行训练，数据源自超过 20,000 次夜间多导睡眠图记录。我们使用残差向量量化将每种模态量化为离散令牌流，然后训练一个大型自回归 RQ-Transformer，以并行方式联合预测所有模态的下一个令牌。训练完成后，Hypnos 可应用于来自任何支持模态子集的连续传感器数据流，生成用于下游任务的嵌入表示。在一系列基准测试中，Hypnos 显著优于现有基础模型。在睡眠阶段分类任务中，我们在保留测试集上达到了强监督基线的性能，同时标记数据用量仅为 1/100。Hypnos 甚至泛化至日间生理，在检测心房颤动方面超越了专门的 ECG 基础模型。我们的结果表明，下一个词预测是从多模态生理信号中进行表示学习的一种强大自监督目标。

Foundation models offer a promising route to compress multi-modal physiological signals into compact representations of human health, with broad applications across sleep medicine, cardiology, neurology and other healthcare domains. Existing models have typically been trained with masked-reconstruction or contrastive objectives. However, masked reconstruction may be poorly suited to the stochastic nature of these signals, while contrastive approaches rely on positive-pair definitions despite the semantic invariances of physiological signals being poorly understood. In this work, we show that next-token prediction is a simple and scalable alternative. We develop Hypnos, a multi-modal sleep foundation model trained using eight different sensing modalities (e.g. EEG, ECG, respiratory signals) drawn from over 20,000 overnight polysomnography recordings. We tokenize each modality into streams of discrete tokens using residual vector quantization, then train a large auto-regressive RQ-Transformer to jointly predict the next token across all modalities in parallel. After training, Hypnos can be applied to continuous streams of sensor data from any subset of supported modalities, generating embeddings for downstream tasks. Across a range of benchmarks, Hypnos significantly outperforms existing foundation models. In sleep stage classification, we match the performance of strong supervised baselines on held-out test sets whilst using \(100\times\) less labelled data. Hypnos even generalises to daytime physiology, surpassing a dedicated ECG foundation model at detecting atrial fibrillation. Our results demonstrate that next-token prediction is a strong self-supervised objective for representation learning from multi-modal physiological signals.

评分理由: 论文核心为多模态生理信号的基础模型构建。MultiModal（10 分）和 Tokenizer（9 分）高度相关，因论文明确使用 8 种模态及残差向量量化分词。MLLM（6 分）和 Unify Models（5 分）中度相关，因采用类似 LLM 的自回归架构统一多模态表征。Visual Encoder、World Models 及 model-based RL 均低相关（1 分），因论文不涉及图像编码、环境建模或强化学习。作者列表中未包含指定的 Yang Shi 等专家，故无额外加分。加权总分为 49.5，高于动态及格分 27.8。

Next-Token Prediction, Multi-modal, Foundation Model, Sleep Physiology, Residual Vector Quantization, RQ-Transformer, Representation Learning

Chinese Title: 下一词元预测学习睡眠生理学的可泛化表征

Summary: 本文提出Hypnos，一种基于下一词元预测的多模态睡眠基础模型。针对现有生理信号基础模型（掩码重建或对比学习）在随机性、多模态互补性及流式推理方面的不足，Hypnos采用残差向量量化（RVQ）将EEG、ECG、呼吸等8种模态信号离散化为词元流，并训练自回归RQ-Transformer并行预测所有模态的下一词元。模型在超过20,000条多导睡眠图记录上预训练，支持任意模态子集和任意长度序列的流式推理。实验表明，Hypnos在睡眠分期、皮质觉醒检测等任务上显著优于现有基础模型，在睡眠分期中仅用1%标注数据即可匹配强监督基线，并泛化至日间生理信号，在房颤检测上超越专用ECG基础模型。研究证明下一词元预测是生理信号多模态表征学习的有效自监督目标。

Innovations:

• 首次将下一词元预测应用于多模态生理信号，统一生成式建模与表征学习
• 采用残差向量量化（RVQ）对8种生理模态进行离散化，支持高采样率信号的高效压缩
• 设计RQ-Transformer架构，通过随机子组交叉模态注意力实现训练时模态缺失泛化
• 模型支持流式推理，以1Hz频率生成嵌入，适用于实时闭环神经调控等应用
• 在睡眠分期任务中仅用1%标注数据即达到强监督基线性能，展现极强数据效率

Methodology: 使用残差向量量化（RVQ）将每个模态的连续信号编码为K个离散词元流（词元率1Hz），编码器/解码器由因果卷积（SeaNet）和因果滑动窗口Transformer组成。预训练阶段，训练自回归RQ-Transformer，在给定历史词元序列条件下并行预测所有模态的下一词元（多模态下一词元预测）。训练时随机采样模态子组限制交叉注意力，增强测试时对任意模态组合的泛化能力。预训练后，模型可对任意长度传感器数据流生成嵌入，用于下游任务（如睡眠分期、房颤检测）。

Key Results:

• Hypnos在睡眠分期、皮质觉醒检测、房颤检测等基准上显著优于现有睡眠基础模型（如SleepFM、NeuroLM等）
• 在睡眠分期任务中，仅使用1%标注数据即可匹配强监督基线（100倍数据效率提升）
• 模型泛化至日间生理信号，在房颤检测上超越专用ECG基础模型
• 下一词元困惑度和下游探测性能随模型规模增大持续提升，验证了缩放定律
• 支持任意模态子集和任意长度序列的流式推理，嵌入生成频率为1Hz

Tech Stack:

• 残差向量量化（Residual Vector Quantization, RVQ）
• RQ-Transformer（自回归Transformer，处理多级残差词元）
• 因果卷积（SeaNet）
• 因果滑动窗口Transformer
• 多模态下一词元预测（Multi-modal Next-token Prediction）
• 自监督学习（Self-Supervised Learning）
• 多导睡眠图（Polysomnography, PSG）数据集（SHHS, CCSHS, CFS, CHAT, MESA, MrOS, NCHSDB, WSC, DOD-H, DOD-O）

Strengths:

• 方法简单且可扩展，继承自语言建模和音频建模的成功经验
• 有效处理生理信号的随机性和多模态互补性，避免对比学习中的正对定义问题
• 模型设计支持流式推理和任意模态组合，实用性强
• 数据效率极高，在睡眠分期中仅需少量标注数据
• 跨任务泛化能力强，甚至迁移至日间生理信号

Limitations:

• 仅基于睡眠数据预训练，对非睡眠场景的泛化能力可能有限（论文仅展示了日间ECG任务）
• 依赖大量公共数据集，可能存在数据偏差（如特定人群、设备配置）
• RVQ词元化过程可能丢失细微生理信息（如精确波形形态），尽管论文声称通过概率建模避免
• 未与基于扩散的连续信号生成模型进行直接比较
• 计算资源需求较高（大Transformer模型训练）

Relevance To Keywords:

• 原生多模态大模型：Hypnos是典型的多模态生理基础模型，统一处理EEG、ECG、呼吸等8种模态，符合原生多模态大模型定义
• 表征学习：通过下一词元预测自监督目标学习可泛化的生理信号表征，是表征学习的典型应用
• 世界模型：下一词元预测本质上是学习生理信号的时序动态模型，可视为生理世界模型的一种形式
• 模型-Based RL：论文未直接涉及强化学习，但流式推理和实时嵌入生成能力为闭环神经调控（可结合RL）提供了基础
• 后训练：论文主要关注预训练，未涉及后训练（如指令微调），但模型可应用于下游任务探测

皮层中相邻的神经元具有相似的响应特征，从而在感觉和认知系统中产生系统性的空间组织。最近的拓扑模型复制了该结构的某些方面，但仍局限于单模态，并且分别对每一层进行空间约束，产生了碎片化的图谱，既无法捕捉皮层处理流的连续性，也无法捕捉跨模态的整合。我们引入了 Topo-Omni，这是一种拓扑多模态模型，其中视觉、听觉和语言/认知处理共享一个单一的连续计算模拟平面。该架构通过利用空间平滑目标对预训练基础模型进行微调构建而成，它在跨模态之间发展出与人类神经影像（从感觉到认知系统）一致的簇。选择性地激活或抑制某个簇会偏置或损害感知，这与人类干预研究类似。最后，我们利用该模型在计算模拟中筛选出新簇，发现了新的自然景观和动物网络，并在人类数据中对其进行了验证。因此，单一的空间原则组织了跨模态和处理阶段的表征，产生了关于皮层组织的可检验假设。

Nearby neurons in cortex share similar response profiles, producing systematic spatial organization across sensory and cognitive systems. Recent topographic models reproduce aspects of this structure but remain unimodal and spatially constrain each layer separately, yielding fragmented maps that capture neither the contiguity of cortical processing streams nor their integration across modalities. We introduce Topo-Omni, a topographic multimodal model in which visual, auditory, and language/cognitive processing share a single contiguous in-silico sheet. Built by fine-tuning a pretrained foundation model with a spatial smoothness objective, this architecture develops clusters across modalities that are consistent with human neuroimaging, from sensory to cognitive systems. Driving or suppressing a cluster selectively biases or impairs perception, paralleling human intervention studies. Finally, we use our model to screen for novel clusters in-silico and discover new natural landscape and animal networks which we validate in human data. A single spatial principle thus organizes representations across modalities and processing stages, yielding testable hypotheses about cortical organization.

评分理由: The paper focuses on a topographic multimodal model (MultiModal: 10) unifying visual, auditory, and language representations (Unify Models: 8) via a foundation model (MLLM: 7). Visual Encoder is a component (5), while Tokenizer (2), World Models (1), and model-based RL (0) are not core contributions. None of the listed expert authors are present, so no bonus points apply.

Topographic Multimodal Model, Brain Regions, Spatial Organization, Foundation Model, Neuroimaging, Visual Auditory Language, Cortical Organization, Functionally Selective

Chinese Title: 利用深度拓扑多模态模型发现功能选择性脑区

Summary: 本文提出Topo-Omni，一种将视觉、听觉和语言/认知处理整合到单个连续模拟皮层片上的拓扑多模态模型。通过微调预训练基础模型（Qwen2.5-Omni）并加入空间平滑目标，模型自发形成与人类神经影像一致的跨模态功能选择性聚类（如面孔、场景、物体、文字等区域）。驱动或抑制特定聚类可选择性影响感知，模拟人类干预研究。模型还用于在硅片中筛选新聚类，发现了自然景观和动物选择性网络，并在人类fMRI数据中得到验证。研究表明，单一空间平滑原则即可组织跨模态和跨处理阶段的表征，为皮层组织提供可检验假设。

Innovations:

• 首次构建跨模态（视觉、听觉、语言/认知）的连续拓扑模型，突破以往单模态和分层分离的局限。
• 利用预训练基础模型（Qwen2.5-Omni）进行微调，赋予拓扑模型强大的多模态能力，避免从零训练。
• 通过空间平滑损失在单一连续皮层片上实现跨模态聚类，重现人类视觉、听觉、语言等类别选择性区域。
• 通过因果性实验（驱动或抑制聚类）验证了模型聚类与感知行为的因果关系。
• 利用模型在硅片中预测并发现新的功能选择性网络（自然景观和动物），并在人类fMRI数据中验证。

Methodology: 基于Qwen2.5-Omni多模态架构，将各层单元投影到统一的二维连续皮层片上，通过自蒸馏任务损失保持模型能力，同时引入空间平滑损失（Lspatial）鼓励相邻单元响应相似。使用人类fMRI局部器（如EMFL）定义功能区域，通过交叉验证评估模型聚类与人类脑区的匹配度。采用旋转楔形和收缩环刺激测试视网膜拓扑映射。通过聚类分析和特征聚类发现新网络，并在Spacetop fMRI数据集上验证。

Key Results:

• 模型在视觉编码器中形成与人类腹侧视觉通路一致的面孔、场景、物体、文字等类别选择性区域，响应轮廓与人类fMRI高度相关（FFA: r=0.88, LOC: r=0.89）。
• 模型发展出视网膜拓扑映射（极角、离心度），与早期视觉皮层组织一致。
• 在保持拓扑结构的同时，模型在脑对齐和下游任务上仍具竞争力。
• 因果性实验：驱动或抑制特定聚类可选择性影响或损害感知，类似人类干预研究。
• 模型发现新的自然景观和动物选择性网络，并在人类fMRI数据中得到空间验证。

Tech Stack:

• Qwen2.5-Omni（预训练多模态基础模型）
• 自蒸馏任务损失（self-distillation task loss）
• 空间平滑损失（spatial smoothness loss）
• fMRI功能局部器（EMFL localizer）
• 交叉验证（odd/even runs）
• 聚类分析（agglomerative hierarchical clustering）
• 视网膜拓扑映射（旋转楔形、收缩环刺激）
• Spacetop fMRI数据集

Strengths:

• 首次实现跨模态连续拓扑建模，更贴近真实皮层组织。
• 利用预训练模型，兼具高性能和脑对齐能力。
• 通过因果实验验证了模型聚类的功能意义。
• 在硅片中发现新聚类并得到人类数据验证，具有预测价值。
• 方法通用，可推广至其他多模态架构。

Limitations:

• 部分区域（如PPA、VWFA）的响应轮廓与人类数据仅达趋势水平相关（p=0.077, p=0.063），未达显著。
• 模型仅基于视频/音频/文本刺激，未涵盖更复杂的自然场景。
• 空间平滑损失可能限制模型在非空间任务上的灵活性。
• 人类验证仅基于有限数据集（Spacetop），泛化性待检验。

Relevance To Keywords:

• 原生多模态大模型：模型基于Qwen2.5-Omni，整合视觉、听觉、语言处理。
• 多模态大模型的理解和生成一体化：模型通过自蒸馏任务损失保持多模态理解能力。
• 表征学习：空间平滑目标促使模型学习具有拓扑结构的表征。
• 世界模型：模型模拟皮层空间组织，可视为对感知世界的一种结构化表征。
• 强化学习：论文未直接涉及强化学习，但因果干预实验类似于强化学习中的动作-结果关系。
• 后训练：模型通过微调预训练基础模型实现拓扑结构，属于后训练阶段。

多模态大语言模型（MLLMs）在视频时间定位任务中，通过强化学习生成推理路径取得了显著进展。然而，现有模型往往产生表面化的推理，这对精确的时间定位提供的指导有限。这一局限性源于（1）低效的随机探索以及（2）仅关注答案正确性而忽略推理质量的奖励函数。为了解决这些问题，我们提出 TaRO（时间感知推理优化），该框架显式增强了模型的时间感知推理能力。首先，我们引入了一种构造性推理探索（Constructive Reasoning Exploration），利用预生成的密集字幕构建基于显式视觉线索和时间戳的推理路径，从而实现高质量时间感知推理的高效探索。其次，为了评估推理质量，我们设计了一种时间敏感性奖励（Temporal-Sensitivity Reward）。高质量推理应锚定在特定事件和时间戳上。如果在推理过程中事件边界被破坏，此类推理应变得无效，导致推理路径的 logit 下降。我们将这种下降作为评判推理质量的依据。最后，TaRO 遵循一种渐进式课程策略，首先利用该奖励选择构造更优的推理路径，随后演化为自由探索阶段，在此阶段模型自主生成有效的推理。实验表明，TaRO 在视频时间定位（VTG）基准上实现了最先进的性能。代码可在 https://github.com/oceanflowlab/TaRO 获取。

Multi-modal Large Language Models (MLLMs) have achieved remarkable progress in video temporal grounding with reinforcement learning for generating reasoning paths. However, existing models often produce superficial reasoning, which offers limited guidance for precise temporal localization. This limitation stems from (1) inefficient random exploration and (2) reward functions that focus solely on the answer correctness while ignoring reasoning quality. To address these issues, we propose TaRO (Temporal-Aware Reasoning Optimization), a framework that explicitly enhances the model's ability of thinking with time. First, we introduce a Constructive Reasoning Exploration that leverages pre-generated dense captions to construct reasoning paths grounded in explicit visual cues and timestamps, enabling efficient exploration of high-quality time-aware reasoning. Second, to evaluate reasoning quality, we design a Temporal-Sensitivity Reward. High-quality reasoning should be anchored to specific events and timestamps. If the event boundary under thinking is disrupted, such reasoning should become invalid, leading to a drop in the logit of the reasoning path. We utilize this drop as a critique of reasoning quality. Finally, TaRO follows a progressive curriculum, which starts by utilizing this reward to select better constructed reasoning paths, and evolves to a free exploration phase where the model autonomously generates effective reasoning. Experiments demonstrate that TaRO achieves state-of-the-art performance on VTG benchmarks. Code is available at https://github.com/oceanflowlab/TaRO.

评分理由: The paper explicitly utilizes Multi-modal Large Language Models (MLLM) for Video Temporal Grounding, making MLLM and MultiModal highly relevant (scores 9 and 8). It employs Reinforcement Learning to optimize reasoning paths, which is moderately related to model-based RL (score 5). Other keywords like Tokenizer and Visual Encoder are implicit components of the MLLM architecture but not the focus of this work (scores 2-3). Unify Models and World Models are tangential as the paper focuses on specific task optimization rather than general model unification or generative world modeling.

Video Temporal Grounding, MLLM, Reinforcement Learning, Temporal-Aware Reasoning, Temporal-Sensitivity Reward, Constructive Reasoning Exploration, Progressive Curriculum

Chinese Title: 面向视频时序定位的时间感知推理优化

Summary: 本文针对多模态大语言模型（MLLM）在视频时序定位（VTG）任务中推理浅层化的问题，提出TaRO框架。现有基于强化学习的方法存在随机探索低效和奖励函数仅关注答案正确性而忽视推理质量两大局限。TaRO通过三方面改进：首先，提出建设性推理探索策略，利用预生成的密集视频字幕（含显式时间戳）构建高质量推理路径，引导模型关注关键视觉线索；其次，设计时间敏感性奖励，通过局部打乱真实边界附近的帧，利用推理token在原始与打乱视频下的log概率差作为推理质量的评判标准，鼓励推理锚定关键事件和时间戳；最后，采用渐进课程学习，先利用构建的推理路径进行监督训练，再过渡到自由探索阶段。实验表明，TaRO在多个VTG基准上达到最先进性能，有效提升了模型的时间感知推理能力。

Innovations:

• 提出TaRO框架，显式增强MLLM在VTG中的时间思考能力，解决推理浅层化问题。
• 提出建设性推理探索策略，利用密集字幕构建高质量推理路径，替代低效的随机探索。
• 设计时间敏感性奖励，通过局部帧打乱评估推理对时间信息的依赖程度，鼓励推理锚定关键事件和时间戳。
• 采用渐进课程学习，先使用构建的推理路径进行监督，再过渡到自由探索，实现引导与自主学习的有效结合。

Methodology: TaRO基于GRPO算法进行策略优化。首先，使用现成字幕器生成视频的密集字幕（含时间戳），随机选择子集按时间顺序拼接作为构建的推理轨迹。然后，对于生成的推理路径，通过局部打乱真实边界附近的帧，计算推理token在原始视频和打乱视频下的log概率差，差值越大表示推理对时间信息越敏感，从而给予正奖励。训练采用渐进课程：初期使用构建的推理路径进行监督学习，后期转为标准随机rollout，结合时间敏感性奖励和IoU奖励进行优化。

Key Results:

• 在VTG基准上达到最先进性能，显著优于现有RL方法（如Time-R1）。
• 分析表明Time-R1的推理链与直接答案性能相当，说明其推理贡献有限，而TaRO的时间感知推理有效提升了定位精度。
• 统计显示Time-R1仅8.3%的推理包含显式时间戳，而TaRO通过建设性探索和时间敏感性奖励大幅提高了推理的时间锚定性。

Tech Stack:

• GRPO (Group Relative Policy Optimization)
• Chain-of-Thought (CoT) 推理格式
• IoU奖励 (Intersection over Union)
• 格式奖励 (format reward)
• 密集视频字幕生成器 (off-the-shelf captioner)
• 局部帧打乱 (local frame shuffling)

Strengths:

• 针对现有RL方法在VTG中的两大核心问题（随机探索低效、奖励忽视推理质量）提出了系统性解决方案。
• 时间敏感性奖励设计新颖，通过局部扰动直接度量推理对时间线索的依赖，避免了全局打乱导致答案失效的问题。
• 渐进课程学习有效结合了引导探索与自主探索，使模型既能快速学习高质量推理范式，又能进一步优化。
• 实验充分，在多个基准上验证了SOTA性能，并提供了消融分析。

Limitations:

• 依赖预生成的密集字幕，字幕质量可能影响构建推理路径的效果，且引入额外计算开销。
• 局部帧打乱策略仅适用于有明确边界标注的场景，在弱监督或无监督设置下可能不适用。
• 时间敏感性奖励的计算需要多次前向传播，增加了训练复杂度。
• 未探讨在更复杂视频（如多事件、长视频）中的泛化能力。

Relevance To Keywords:

• 多模态大模型：论文以MLLM为基础，通过RL后训练增强其时间推理能力。
• 强化学习：采用GRPO算法，并设计新的奖励函数和探索策略。
• 后训练：TaRO属于RL后训练范式，在预训练MLLM基础上进行推理优化。
• 表征学习：通过时间敏感性奖励促使模型学习更鲁棒的时间表征。
• 世界模型：视频时序定位涉及对视频中事件动态的理解，可视为世界模型中对时间维度的建模。

我们提出 SUPERBROWSER，一种自主网页导航代理，其设计基于单一指导假设：网页代理应当像人类一样进行浏览。人类在阅读页面时并不会保留所见的所有像素；他们会查看少数几个候选目标，选定其中一个，并仅记住维持目标所需的信息。我们将这一感知 - 认知 - 行动三元组（perception-cognition-action triad）操作化为三个耦合机制。首先，一个基于视觉的边界框（bounding-box）管道在每个截图上标记候选交互区域，并将它们异步预取后馈送给语言模型，从而实现“眼”先于“手”。其次，一个三角色大脑（three-role brain）——包括负责分类与路由的编排者（Orchestrator）、负责每隔几步评估进度的规划者（Planner）以及负责发出每一步动作的执行者（Worker）——将战略推理与操作推理分离开来。第三，一个结构化的账本（Ledger）仅存储人类会保留的信息：目标、最近三个动作、少量事实与死胡同以及若干检查点；一个六阶段驱逐循环系统地从当前上下文中丢弃过时的截图、状态块和推理轨迹。动作执行采用三层点击级联（从 Chrome DevTools Protocol 到 Puppeteer 再到脚本化），并辅以拟人化的贝塞尔（Bezier）运动，此外还包括一个感知 chevron（箭头状）的边界框捕捉器，用于解决“大标签旁小箭头”的歧义问题。在 Mind2Web Hard 基准（66 个任务）上，SUPERBROWSER 取得了 89.47% 的成功率，总体排名第三，且大幅领先于所有已发布的开源/研究浏览器代理基线。我们认为，这一性能提升并非源于任何单一技巧，而是源于在整个系统中一致贯彻的认知契约（cognitive contract）。

We present SUPERBROWSER, an autonomous web-navigation agent designed against a single guiding hypothesis: a web agent should browse the way a person browses. A human reading a page does not retain every pixel they have seen; they look at a few candidate targets, decide on one, and remember only what is needed to keep the goal alive. We operationalize this perception-cognition-action triad as three coupled mechanisms. First, a vision-first bounding-box pipeline labels candidate interactive regions on every screenshot and feeds them, asynchronously prefetched, to the language model so that the "eye" precedes the "hand". Second, a three-role brain -- an Orchestrator that classifies and routes, a Planner that evaluates progress every few steps, and a Worker that emits per-step actions -- separates strategic from operational reasoning. Third, a structured Ledger stores only what a person would: the goal, the last three actions, a small set of facts and dead-ends, and a handful of checkpoints; a six-phase eviction loop systematically discards stale screenshots, state blobs, and reasoning traces from the live context. Action execution is a three-tier click cascade (Chrome DevTools Protocol to Puppeteer to scripted) with humanized Bezier motion, plus a chevron-aware bounding-box snapper that resolves the "small arrow beside a large label" ambiguity. On the Mind2Web Hard benchmark (66 tasks), SUPERBROWSER attains 89.47% success, placing third overall and ahead of every published open/research browser-agent baseline by a large margin. We argue that the gain comes not from any single trick but from the consistent application of a cognitive contract throughout the system.

评分理由: The paper presents SuperBrowser, an autonomous web navigation agent. It scores highly on MLLM and MultiModal due to its use of language models processing visual screenshots and text. Visual Encoder is relevant for the vision-first pipeline. However, it does not focus on Tokenizer design, World Model learning (Ledger is memory, not latent dynamics), or Model-Based RL algorithms (uses LLM planning). Unify Models refers to the architectural unification of perception/action. No target experts (Yang Shi, etc.) are authors, so no bonus points applied.

Autonomous Web Navigation, Human Browsing Behaviour, Vision-first Pipeline, Structured Ledger, Mind2Web Benchmark, Perception-Cognition-Action, LLM Agent

Chinese Title: RunAgent SuperBrowser：基于人类浏览行为的自主网页导航理论

Summary: 本文提出SUPERBROWSER，一个自主网页导航智能体，其核心假设是：网页智能体应像人类一样浏览网页。人类阅读页面时不会记住每个像素，而是关注少数候选目标，决定一个，并仅记住维持目标所需的信息。论文将感知-认知-行动三元组操作化为三个耦合机制：首先，视觉优先的边界框管道标记每个截图上的候选交互区域，并异步预取给语言模型；其次，三角色大脑——编排器（分类和路由）、规划器（每几步评估进度）和工作器（每步发出动作）——分离战略与操作推理；第三，结构化账本仅存储人类会记住的内容：目标、最近三个动作、少量事实和死胡同、以及少数检查点；六阶段驱逐循环系统性地从实时上下文中丢弃过时的截图、状态块和推理痕迹。动作执行采用三层点击级联（Chrome DevTools协议→Puppeteer→脚本化），带有拟人化的贝塞尔曲线运动，以及一个尖角感知边界框捕捉器，解决“大标签旁的小箭头”歧义。在Mind2Web Hard基准（66个任务）上，SUPERBROWSER达到89.47%的成功率，排名第三，大幅领先所有已发表的开源/研究浏览器智能体基线。论文认为，收益并非来自单一技巧，而是整个系统中认知契约的一致应用。

Innovations:

• 提出基于认知理论的自主网页导航系统契约，将人类浏览行为的感知-认知-行动三元组作为系统设计原则，而非隐喻。
• 设计三角色大脑架构（编排器、规划器、工作器），通过动词分类器路由和每N步进度评估，分离战略与操作推理。
• 引入结构化账本记忆系统，仅存储目标、最近三步动作、事实、死胡同和检查点，并通过六阶段驱逐循环保持上下文大小恒定。
• 提出尖角感知边界框捕捉算法和三层拟人化点击级联（CDP→Puppeteer→脚本化），解决视觉接地智能体的常见失败模式。
• 在Mind2Web Hard基准上取得89.47%的成功率，大幅超越所有开源/研究基线，验证了认知契约的有效性。

Methodology: 论文采用认知科学驱动的系统设计方法。首先，从人类浏览行为（扫描路径、工作记忆限制、结构化情节回忆）中提取设计原则。然后，构建SUPERBROWSER系统：感知层使用视觉模型（如Set-of-Mark）生成候选交互区域边界框，并通过DOM富化和异步预取增强；认知层分为三个角色，每个角色有严格范围化的提示词；记忆层使用结构化账本和六阶段驱逐循环；动作层使用三层点击级联和边界框捕捉器。在Mind2Web Hard基准上评估，包含66个长时域任务，并与多个基线（如WebVoyager、AutoWebGLM、UI-TARS等）比较成功率。

Key Results:

• 在Mind2Web Hard基准（66个任务）上，SUPERBROWSER达到89.47%的成功率，排名第三。
• 领先所有已发表的开源/研究浏览器智能体基线（如WebVoyager、AutoWebGLM、UI-TARS等）一个数量级。
• 验证了认知契约（感知-认知-行动三元组、结构化记忆、角色分离）在长时域任务中的有效性。
• 六阶段驱逐循环使上下文大小保持恒定，避免了长提示中的注意力漂移问题。
• 尖角感知边界框捕捉器解决了“小箭头旁大标签”的UI歧义问题。

Tech Stack:

• 视觉模型：Set-of-Mark提示（用于生成候选区域边界框）
• 语言模型：GPT-4V或类似多模态LLM（用于认知推理）
• 动作执行：Chrome DevTools Protocol (CDP)、Puppeteer、脚本化点击
• 贝塞尔曲线运动（拟人化鼠标轨迹）
• 尖角感知边界框捕捉算法（chevron-aware bounding-box snapper）
• 结构化账本（Ledger）：包含目标、计划、最近三步动作、事实字典、死胡同列表、检查点列表
• 六阶段驱逐循环：丢弃过时的截图、状态块、推理痕迹
• DOM缓存子系统（用于缓存页面状态，避免重复感知）
• Mind2Web Hard基准（66个长时域任务）

Strengths:

• 理论驱动：基于认知科学（工作记忆、情节回忆、扫描路径）设计系统，具有坚实的理论基础。
• 系统完整性：从感知、认知、记忆到动作执行，每个组件都遵循认知契约，形成一致的整体。
• 高效记忆管理：结构化账本和驱逐循环避免了上下文膨胀，使智能体在长时域任务中保持稳定性能。
• 实用创新：尖角感知捕捉器和拟人化点击级联解决了实际部署中的常见问题（UI歧义、反爬虫检测）。
• 显著性能：在Mind2Web Hard上取得89.47%成功率，大幅超越现有开源基线，验证了方法的有效性。

Limitations:

• 依赖特定视觉模型和语言模型：当前实现基于GPT-4V等商业模型，可能受限于API成本和可用性。
• 基准覆盖有限：仅在Mind2Web Hard上评估，未在更广泛的在线环境（如Online-Mind2Web）或沙盒环境（如WebArena）上验证。
• 认知契约的泛化性：理论假设可能不完全适用于所有类型的网页任务（如动态内容、复杂表单）。
• 未讨论失败案例：论文未详细分析89.47%成功率之外的失败任务类型，缺乏对失败模式的深入剖析。
• 与关键词相关性较弱：论文主题是网页导航智能体，与“世界模型”、“表征学习”、“模型统一”等关键词的直接关联度不高。

Relevance To Keywords: 论文研究自主网页导航智能体，其核心方法基于认知科学，而非直接涉及“Unify Models”、“World Models”、“Representation Learning”、“Model-Based RL”、“原生多模态大模型”、“多模态大模型的理解和生成一体化”、“表征学习”、“世界模型”、“强化学习”、“后训练”等关键词。然而，论文使用了多模态大模型（如GPT-4V）进行视觉感知和推理，这与“原生多模态大模型”和“多模态大模型的理解和生成一体化”有一定关联；其结构化记忆和认知架构可视为一种轻量级的“世界模型”（网页状态和任务进展的内部表示）；但论文未涉及强化学习或后训练技术。总体相关性较低，属于间接应用。

预训练基础模型的快速发展使得更通用的图像分割成为可能。多模态大语言模型（MLLMs）已被广泛探索用于需要高级推理的复杂查询图像分割。尽管取得了有前景的进展，现有方法通常受限于训练数据不足以及 MLLMs 与掩码生成模块之间的差距。为了更好地将 MLLMs 的感知和推理能力转移到基于复杂推理的分割任务中，我们提出了一种用于掩码生成和选择的两阶段框架 Rea2Seg。具体而言，该框架首先基于分割 MLLM 的注意力图识别潜在区域作为候选掩码。然后它使用一个 MLLM 对问题和候选掩码进行推理，并为每个掩码分配分数。最终分割结果通过重新排序候选者并选择得分最高的掩码获得，从而将图像分割重新表述为候选发现随后进行判别性掩码选择。我们还注意到，现有基准中的大部分问题集中在常识推理上，这些问题通常不完全需要联合视觉观察和推理。为了解决这一问题，我们引入一个新的基准 ReasonSeg-SGDR，该基准在多个维度上全面评估模型的感知、定位和推理能力，包括判别性识别、空间推理、几何推理和多步推理，并带有细粒度的掩码生成。此外，我们收集训练数据以增强 MLLMs 联合理解多模态查询和候选掩码的能力，并通过推理分配分数。在提出的基准和 ReasonSeg 上的实验结果表明了统一掩码生成和选择框架的有效性。

The rapid development of pretrained foundation models has enabled more general image segmentation. Multimodal large language models (MLLMs) have been widely explored for image segmentation with complex queries that require high-level reasoning. Despite promising progress, existing methods are often constrained by limited training data and the gap between MLLMs and mask generation modules. To better transfer MLLMs' perception and reasoning ability to complex reasoning-based segmentation tasks, we propose a two-stage framework Rea2Seg for mask generation and selection. Specifically, the framework first identifies potential regions as candidate masks based on the attention maps of a segmentation MLLM. It then employs an MLLM to reason over the question and candidate masks and assign scores to each mask. The final segmentation result is obtained by reranking the candidates and selecting the highest-scoring mask, reformulating image segmentation as candidate discovery followed by discriminative mask selection. We also notice that a large portion of questions in existing benchmarks focus on commonsense reasoning, and these questions usually do not fully require joint visual observation and reasoning. To address this issue, we introduce a new benchmark called ReasonSeg-SGDR that comprehensively evaluates a model's perception, grounding, and reasoning abilities across multiple dimensions, including discriminative recognition, spatial reasoning, geometric reasoning, and multi-step reasoning, with fine-grained mask generation. In addition, we collect training data to enhance MLLMs' ability to jointly understand multimodal queries and candidate masks, and to assign scores through reasoning. Experimental results on the proposed benchmark and ReasonSeg demonstrate the effectiveness of the unified mask generation and selection framework.

评分理由: The paper heavily utilizes MLLMs for image segmentation, scoring high on MLLM and MultiModal. It proposes a unified framework for mask generation and selection, moderately aligning with Unify Models. Visual Encoder is implicitly used within the MLLM architecture. Tokenizer, World Models, and model-based RL are not discussed or relevant to the core contribution. No specified expert authors were found in the author list.

MLLM, Image Segmentation, Candidate Discovery, Comparative Reasoning, MultiModal Queries, Mask Generation, Two-stage Framework, Reasoning Benchmark

Chinese Title: 再次推理：通过候选发现与比较推理进行分割

Summary: 本文提出一种两阶段推理分割框架Rea2Seg，旨在解决多模态大语言模型（MLLM）在复杂推理分割任务中因训练数据不足和与掩码生成模块之间的鸿沟而导致的性能瓶颈。第一阶段利用分割MLLM的注意力图生成候选掩码，第二阶段使用MLLM对候选掩码进行推理评分，通过重排序选择最高分掩码作为最终结果，将分割任务转化为候选发现与判别性掩码选择。此外，作者指出现有基准（如ReasonSeg）大多依赖常识推理，未能充分评估联合视觉感知与推理能力，因此构建了新基准ReasonSeg-SGDR，涵盖判别性识别、空间推理、几何推理和多步推理四个维度，要求精细掩码生成。实验表明，Rea2Seg在多个基准上取得一致改进，并支持语义、物体和部件级不同粒度的分割。

Innovations:

• 提出两阶段推理分割框架Rea2Seg，将分割任务重新定义为候选发现与判别性掩码选择，更契合MLLM的感知与推理优势。
• 设计新基准ReasonSeg-SGDR，从判别性、几何、空间和多步推理四个维度全面评估模型的视觉感知与推理联合能力。
• 构建训练数据集，增强MLLM对生成掩码的理解以及多候选掩码的比较与评分能力。
• 利用MLLM注意力图生成候选掩码，避免直接端到端掩码预测的脆弱性，提升复杂查询下的分割质量。

Methodology: 采用两阶段流水线：第一阶段，基于分割MLLM（如LISA）的Transformer注意力图，通过阈值化和连通域分析提取潜在区域作为候选掩码；第二阶段，将问题与候选掩码（以掩码图像或掩码嵌入形式）输入MLLM，让模型进行推理并为每个掩码分配分数，最后通过重排序选择最高分掩码。训练时，收集包含问题、图像、候选掩码及对应分数的数据，微调MLLM使其具备掩码理解与比较推理能力。

Key Results:

• 在ReasonSeg-SGDR基准上，Rea2Seg相比现有方法（如LISA、GSVA）在多个维度（判别性、几何、空间、多步推理）上均取得显著提升。
• 在原有ReasonSeg基准上，Rea2Seg也实现一致改进，验证了框架的有效性。
• 消融实验表明，候选掩码生成阶段和比较推理评分阶段均对最终性能有重要贡献。
• Rea2Seg支持语义、物体、部件级不同粒度的分割，展示了判别性公式的潜力。

Tech Stack:

• 多模态大语言模型（MLLM）：如LISA、LLaVA等作为基础模型。
• 注意力图（Attention Maps）：从MLLM Transformer块提取，用于候选掩码生成。
• SAM（Segment Anything Model）：作为掩码解码器或候选掩码生成的后端。
• 阈值化与连通域分析：用于从注意力图提取候选区域。
• 重排序（Reranking）：基于MLLM评分的掩码选择策略。
• 微调（Fine-tuning）：使用收集的候选掩码-评分数据训练MLLM。

Strengths:

• 创新性地将分割任务转化为候选发现+判别性选择，避免了MLLM直接生成像素级掩码的困难。
• 新基准ReasonSeg-SGDR填补了现有基准对复杂推理评估不足的空白，更贴近实际需求。
• 实验充分，在多个基准和不同粒度上验证了方法的通用性和有效性。
• 利用MLLM已有的注意力图作为候选线索，无需额外训练即可获得高质量候选。

Limitations:

• 两阶段框架增加了推理计算开销，实时性可能受限。
• 候选掩码的质量高度依赖于第一阶段MLLM的注意力图，若注意力图不准确则候选可能遗漏目标。
• 训练数据收集和标注成本较高，需要人工或自动生成候选掩码及评分。
• 当前方法主要针对单目标分割，扩展到多目标或全景分割可能需要进一步设计。

Relevance To Keywords:

• 原生多模态大模型：论文直接使用MLLM作为核心组件，属于原生多模态大模型在分割任务中的应用。
• 多模态大模型的理解和生成一体化：Rea2Seg将MLLM的理解（推理评分）与生成（掩码选择）结合，体现一体化思想。
• 表征学习：注意力图作为视觉表征用于候选发现，MLLM的隐层表征用于评分，涉及表征学习。
• 世界模型：论文未直接涉及世界模型，但推理分割需要模型对场景有常识性理解，可视为世界模型能力的体现。
• 强化学习：论文未使用强化学习，但相关研究（如参考文献[21,40,41,85,97]）将RL用于MLLM分割，本文未采用。
• 后训练：论文通过收集新数据微调MLLM，属于后训练阶段，提升模型在特定任务上的能力。

大语言模型 (LLM) 代理正越来越多地部署在人与人交互的场景中，例如会议助手和临床文档系统，在这些场景中，它们必须观察对话并保留信息以应对下游查询。与传统的人 - 助手设置不同，这些环境本质上是多模态的，涉及回指（anaphora）和指示语（deixis）等复杂话语现象，并包含来自多个参与者的异步或冲突信息。然而，现有的记忆基准主要关注单用户、纯文本交互，未能捕捉这些挑战。为了解决这一差距，我们引入了 H2HMem，这是一个用于评估复杂人与人交互中记忆能力的人人多模态记忆基准。H2HMem 包括双人及多方对话，并包含多模态信息流，并从三个维度评估代理：记忆回忆、推理与应用。对先进代理的实验揭示了在跨模态、跨参与者和跨会话构建、保留和利用记忆方面的显著局限性，突出了下一代大语言模型代理仍有巨大的改进空间。

Large language model agents are increasingly deployed in human-human interaction settings, such as meeting assistants and clinical documentation systems, where they must observe conversations and retain information for downstream queries. Unlike traditional human-assistant settings, these environments are inherently multimodal, involve complex discourse phenomena such as anaphora and deixis, and contain asynchronous or conflicting information from multiple participants. However, existing memory benchmarks largely focus on single-user, text-only interactions, failing to capture these challenges. To address this gap, we introduce H2HMem, a Human-to-Human Multimodal Memory Benchmark for evaluating memory capabilities in complex human-human interactions. H2HMem includes both dyadic and multi-party conversations with multimodal information streams, and evaluates agents along three dimensions: memory recall, reasoning, and application. Experiments with advanced agents reveal substantial limitations in constructing, retaining, and utilizing memories across modalities, participants, and sessions, highlighting substantial room for improvement in next-generation LLM agents.

评分理由: 论文核心在于构建多模态记忆基准（Benchmark），评估人类交互中代理的记忆能力。因此与 MultiModal 和 MLLM 高度相关，涉及多模态大模型代理评估。与 World Models 有一定关联（记忆是世界模型组件），但非核心架构贡献。与 Unify Models, Tokenizer, Visual Encoder, model-based RL 相关性较低，因论文未涉及模型统一架构、分词器设计、视觉编码器细节或强化学习算法。作者列表中未包含指定的 Yang Shi, Xuanyu Zhu 等专家，故未添加专家分。

Multimodal Memory Benchmark, Human-Human Interactions, LLM Agents, Memory Recall, Multi-party Conversations, Asynchronous Information, Memory Limitations, Downstream Queries

Chinese Title: H2HMem：面向人类-人类交互中智能体的多模态记忆基准

Summary: 论文提出H2HMem，一个用于评估智能体在复杂人类-人类交互中多模态记忆能力的基准。现有记忆基准大多聚焦于单用户、纯文本的人机交互，无法捕捉多模态、多人对话中的复杂现象（如指代、异步信息、冲突观点）。H2HMem包含双人和多人对话，结合文本与图像等多模态信息，从记忆回忆、推理和应用三个维度设计评估任务。通过隐私保护的人机协同数据生成管道构建大规模多会话数据集。实验表明，当前先进的多模态大模型在跨模态记忆对齐和结构化推理方面存在显著局限，揭示了下一代LLM智能体需要改进的方向。

Innovations:

• 首个同时覆盖双人和多人交互场景的多模态记忆基准，填补了现有基准的空白。
• 提出隐私保护的人机协同数据生成管道，避免真实对话的隐私风险，同时生成逼真的多模态、多会话、多参与者交互数据。
• 设计全面的记忆评估分类体系，涵盖回忆（事实检索、跨模态关联、知识消解）、推理（因果推理、指代演化、时间推理）和应用（测试时学习、冲突检测、拒绝回答）三个维度。
• 构建大规模多模态数据集，包含25个对话、309个会话、7078轮对话、1300张图像和2236个问答对。

Methodology: 采用人机协同（human-in-the-loop）范式：人类作为导演，确保场景一致性、视觉基础和质量控制；LLM作为脚本生成器，生成参与者档案、多会话场景大纲、图像关键词，并基于图像描述生成对话文本。随后由人类验证并构建问答对。对话类型包括双人（dyadic）和多人（multi-party）交互，模拟在线对话环境。评估任务沿三个功能维度设计：记忆回忆（UPR、CRR、KR）、记忆推理（MCR、RET、TR）和记忆应用（TTL、CD、AR）。

Key Results:

• H2HMem数据集包含25个对话（20个双人、5个多人），共309个会话，7078轮对话，1300张图像，2236个问答对。
• 双人对话平均每会话18.7轮，多人对话平均每会话70.5轮，平均每会话包含4.21张图像。
• 实验发现当前多模态大模型在跨模态记忆对齐（如文本与图像关联）和结构化推理（如因果推理、时间推理）任务上表现不佳，存在显著改进空间。
• 现有基准（如LoCoMo、EverMemBench）在交互类型、多模态信息、评估维度等方面均不如H2HMem全面。

Tech Stack:

• 大型语言模型（LLM）：ChatGPT、DeepSeek等作为脚本生成器
• 多模态大模型（MLLM）：用于评估的智能体
• 人机协同数据生成管道
• 图像描述生成（用于对话生成）
• 评估指标：记忆回忆、推理、应用三类任务

Strengths:

• 首次系统性地评估多模态记忆在人类-人类交互中的表现，覆盖双人和多人场景。
• 隐私保护的数据生成方法，避免真实对话的伦理风险。
• 评估维度全面，从简单回忆到复杂推理和应用，反映真实应用需求。
• 数据集规模较大，包含丰富的多模态信息（图像、文本、多会话）。

Limitations:

• 数据集规模有限（仅25个对话），可能无法完全代表真实世界交互的多样性。
• 对话生成依赖LLM，可能存在与真实人类对话的偏差。
• 评估任务主要基于问答形式，可能无法全面覆盖记忆的连续性和动态性。
• 未涉及语音、视频等其他模态，仅包含文本和图像。

Relevance To Keywords:

• 原生多模态大模型：论文评估了多模态大模型在跨模态记忆对齐和推理上的能力，直接相关。
• 表征学习：记忆回忆和推理任务涉及多模态表征的构建与检索。
• 世界模型：记忆应用中的测试时学习和冲突检测要求智能体构建对交互世界的动态理解。
• 强化学习：论文虽未直接使用强化学习，但记忆应用中的动态决策与强化学习中的经验回放相关。
• 后训练：评估结果揭示了当前模型在记忆能力上的不足，为后训练优化提供方向。

有效的危机响应需要基于空间情境的沟通，这种沟通将平民的语言指导与物理环境相连接，同时需考虑结构瓶颈、动态演变的威胁以及智能体特定情境。然而，当前危机通信中的 NLP 研究主要局限于静态、仅文本的分类设置，忽略了 AI 代理（AI operators）在动态、具身场景中的关键沟通角色。我们提出了一种新颖的基准测试框架，用于评估视觉 - 语言模型（VLMs），这些模型的任务是通过模拟疏散引导平民智能体，从而填补这一空白。我们在九个具有不同结构复杂度的地图上测试了两种沟通策略（窄播（Narrowcast）与广播（Broadcast））、两种环境表征（基于视觉与基于图）以及两种威胁行为（静态与移动）。结果显示，窄播（Narrowcast）在所有难度级别上均一致地降低了平民的失败率，相较于广播（Broadcast）。指导质量高度依赖于 VLM 代理如何表征世界：视觉模态驱动性能，而添加邻接图则取决于模型，且通常有害。移动威胁在所有条件下均提高了失败率，因为通信必须随时间持续适应。综上所述，这些发现表明，在疏散场景中部署 VLMs 作为 AI 代理仍然是一个非平凡挑战，其中沟通策略和输入表示的选择可直接决定干预措施的成功或失败。

Effective crisis response requires spatially grounded communication that bridges linguistic guidance of civilians with the physical environment, accounting for structural bottlenecks, evolving threats, and agent-specific contexts. Yet, current NLP research in crisis communication remains mainly limited to static, text-only classification settings, overlooking the critical communicative role of AI operators in dynamic, embodied scenarios. We address this gap with a novel benchmarking framework for evaluating Vision-Language Models (VLMs) tasked with guiding civilian agents through simulated evacuations. We test two communication strategies (narrowcast vs. broadcast), two environment representations (visual vs. graph-based), and two threat behaviors (static vs. moving) across nine maps of varying structural complexity. Our results show that Narrowcast consistently reduces civilian Fail rates compared to Broadcast across all difficulty levels. Guidance quality depends heavily on how the VLM operator represents the world: the visual modality drives performance, while adding an adjacency graph is model-dependent and often harmful. Moving threats raise Fail rates across all conditions as communication must continuously adapt over time. Together, these findings show that deploying VLMs as AI operators in evacuation scenarios remains a non-trivial challenge, where the choice of communication strategy and input representation can directly determine the success or failure of the intervention.

评分理由: 论文核心为 VLM 在危机场景中的通信基准测试，与 MLLM 和多模态高度相关（8 分）；环境表示中的视觉模态涉及视觉编码器（5 分）；未涉及模型统一、分词器、世界模型架构及模型强化学习，相关性低（2-3 分）；作者列表无指定专家，无额外加分。

Vision-Language Models, Crisis Scenarios, Communication Strategies, Environment Representations, Evacuation Benchmark, Narrowcast vs Broadcast, Visual Modality, Civilian Guidance

Chinese Title: 引导我出去：一个在危机场景中基准测试VLM操作员通信的框架

Summary: 本文提出一个新颖的基准测试框架，用于评估视觉语言模型（VLM）作为操作员在模拟疏散场景中引导平民的能力。该框架通过多智能体模拟，在九张不同结构复杂度的地图上，比较两种通信策略（窄播 vs. 广播）、两种环境表示（视觉 vs. 图结构）以及两种威胁行为（静态 vs. 移动）对疏散效果的影响。实验结果表明，窄播策略在所有难度级别上均显著降低平民的失败率；视觉模态对操作员性能至关重要，而额外添加邻接图反而可能有害；移动威胁在所有条件下均提高失败率，因为通信需要持续适应动态变化。研究揭示了将VLM部署为危机操作员仍面临重大挑战，通信策略和输入表示的选择直接决定干预成败。

Innovations:

• 首次提出针对VLM在危机通信中引导平民的基准测试框架，填补了现有NLP研究仅关注静态文本分类的空白。
• 系统比较了窄播（个性化消息）与广播（统一消息）两种通信策略在动态疏散场景中的效果。
• 探索了环境表示（视觉图像 vs. 图结构文本）对VLM操作员引导性能的影响，发现视觉模态不可或缺。
• 引入移动威胁的动态行为，考察通信策略在时间演化下的适应性。
• 构建了九张不同结构复杂度的地图，并设计拓扑评分量化难度，为实验提供可控变量。

Methodology: 采用多智能体模拟框架，将操作员和平民均实现为VLM智能体。模拟以离散时间步进行：操作员观察全局状态（视觉或图表示）并生成消息，平民接收消息并结合局部观察选择下一步移动。地图分为易、中、难三个等级，通过出口数量和平均距离量化。威胁分为静态和随机游走两种。实验控制通信策略（窄播/广播）、环境表示（视觉/图）、威胁行为（静态/移动）三个变量，在九张地图上重复运行，记录平民的Save、Fail、Timeout三种结局。

Key Results:

• 窄播策略在所有地图难度下均显著降低平民失败率，优于广播策略。
• 视觉模态是操作员性能的关键驱动因素，仅使用图表示时性能下降明显。
• 添加邻接图作为辅助输入对部分模型有帮助，但对其他模型有害，效果依赖模型。
• 移动威胁在所有条件下均提高失败率，因为通信需要持续适应动态变化。
• 地图结构复杂度（如瓶颈、单一出口）显著影响疏散成功率，硬地图失败率最高。

Tech Stack:

• 视觉语言模型（VLM）作为操作员和平民智能体
• 多智能体模拟环境（离散时间步、图结构地图）
• 拓扑评分（出口数量、平均距离）用于量化地图难度
• 随机游走模型模拟移动威胁
• 窄播与广播两种通信策略的实现
• 视觉输入（俯视图）与图结构输入（邻接列表）的对比

Strengths:

• 研究问题具有现实意义，填补了危机通信中VLM应用的评估空白。
• 实验设计系统全面，同时控制通信策略、环境表示、威胁动态三个关键变量。
• 模拟环境可控且可复现，为后续研究提供基准。
• 结果揭示了视觉模态的重要性，对实际系统设计有指导价值。
• 论文结构清晰，方法描述详细，便于理解与复现。

Limitations:

• 模拟环境简化了真实危机场景的复杂性（如人类心理、多模态感知噪声）。
• 仅使用单一VLM模型（未明确说明具体模型），结果可能不具广泛泛化性。
• 未考虑平民之间的交互或群体行为，仅关注操作员-平民单向通信。
• 威胁行为仅采用随机游走，未模拟更复杂的智能威胁。
• 未评估通信延迟、消息长度等实际因素对效果的影响。

Relevance To Keywords:

• Unify Models: 论文使用VLM作为统一模型处理视觉和语言输入，体现了多模态统一的思想。
• World Models: 模拟环境中的地图、威胁、平民构成一个简化的世界模型，操作员需基于此进行推理。
• Representation Learning: 比较视觉与图结构两种环境表示，探讨不同表征对模型性能的影响。
• Model-Based RL: 虽然未直接使用强化学习，但模拟框架中的决策循环（观察-行动-反馈）与模型基强化学习范式相似。
• 原生多模态大模型: VLM作为操作员，直接处理视觉和文本，符合原生多模态大模型的应用场景。
• 后训练: 论文未涉及后训练，但基准测试可用于评估后训练策略的效果。

视觉 - 语言 - 动作（VLA）策略为语言条件操作提供了强大的先验，但在需要针对性恢复的非标称状态下仍然脆弱。我们提出 ReCoVLA——一种基于故障条件的残差恢复框架，该框架保持预训练 VLA 策略冻结，使用外部视觉 - 语言模型（VLM）推断故障模式和恢复阶段，并从任务相关组件编译结构化奖励。与直接使用 VLM 生成动作或奖励不同，ReCoVLA 将其用作语义奖励选择器：它预测恢复描述符和奖励掩码，用于仿真内的残差策略训练，随后将训练好的恢复策略进行零样本仿真 - 真实部署。这解耦了高层故障理解与底层纠正控制，从而支持不同的 VLA。在短期、长期以及接触丰富操作任务上的实验表明，ReCoVLA 平均优于所测试的基线方法。在仿真中，我们的奖励编译器将微调的 π₀.₅ 基线平均成功率从 36.7% 提升至 66.7%。在物理零样本仿真 - 真实实验中，ReCoVLA 取得了最佳平均性能，成功率为 61.7%。

Vision-language-action (VLA) policies provide strong priors for language-conditioned manipulation, but remain brittle in off-nominal states requiring targeted recovery. We propose ReCoVLA -- a failure-conditioned residual recovery framework that keeps a pretrained VLA policy frozen, uses an external vision-language model (VLM) to infer the failure mode and recovery stage, and compiles a structured reward from task-relevant components. Rather than using the VLM to generate actions or rewards directly, ReCoVLA uses it as a semantic reward selector: it predicts a recovery descriptor and reward mask for in-simulation residual-policy training, followed by zero-shot sim-to-real deployment of the trained recovery policies. This decouples high-level failure understanding from low-level corrective control to support different VLAs. Experiments across short-horizon, long-horizon, and contact-rich manipulation tasks show that ReCoVLA outperforms the tested baselines on average. In simulation, our reward compiler improves average success from 36.7% for the fine-tuned $π_{0.5}$ baseline to 66.7%. In physical zero-shot sim-to-real experiments, ReCoVLA achieves the best average performance, with 61.7% success.

评分理由: 论文核心在于利用视觉语言模型（MLLM）指导视觉 - 语言 - 动作（MultiModal）策略的奖励编译，因此 MLLM 和多模态相关性最高。虽然涉及仿真训练（关联 model-based RL 和 World Models），但重点在于奖励编译而非世界模型学习或未统一架构，故相关性中等。Tokenizer 和视觉编码器仅为 VLM 组成部分，未作为创新点提及，相关性较低。作者列表中不包含指定的专家。

Vision-Language-Action, Failure Recovery, Reward Compilation, Vision-Language Model, Residual Policy, Sim-to-Real, VLM-Guided

Chinese Title: ReCoVLA: 视觉语言模型引导的奖励编译用于视觉-语言-动作策略的失败恢复

Summary: 本文提出ReCoVLA框架，旨在解决预训练的视觉-语言-动作（VLA）策略在遇到失败状态时缺乏针对性恢复能力的问题。该框架保持基础VLA策略冻结，利用外部视觉语言模型（VLM）分析失败模式并生成结构化的恢复描述符，包括失败类型、恢复阶段、活跃实体和奖励掩码。随后，一个确定性的奖励编译器根据描述符从奖励库中选择组件并插入阶段门控，为残差强化学习训练编译结构化奖励。训练后的残差策略在零样本模拟到真实部署中提供纠正动作。实验在短时、长时和接触丰富的操作任务上进行，模拟中平均成功率从微调π0.5基线的36.7%提升至66.7%，物理实验中达到61.7%，优于所有基线。该方法将高层失败理解与低层纠正控制解耦，支持不同的VLA骨干网络。

Innovations:

• 提出VLM引导的奖励编译器，将结构化失败描述符转换为可执行的残差RL奖励，而非直接生成动作或奖励。
• 将VLA失败恢复建模为混合残差专家学习，在VLA潜在空间上学习纠正控制，同时保持名义行为。
• 引入阶段门控奖励机制，根据恢复阶段激活相应奖励组件，避免过早奖励激活和奖励黑客问题。
• 实现零样本模拟到真实部署，无需真实世界微调即可迁移恢复策略。

Methodology: ReCoVLA采用三阶段方法：首先，在模拟中执行冻结的VLA策略，使用外部VLM分析失败轨迹，构建失败类别目录和恢复描述符；其次，奖励编译器根据描述符从奖励库中选择组件并插入阶段门控，训练残差策略；最后，在真实部署中，VLM监控观测历史，检测已知失败类别时调度对应残差策略。残差策略在VLA潜在特征上输出纠正动作，与名义动作相加后执行。评估使用六种变体（M1-M6），比较不同奖励结构和VLA骨干的效果。

Key Results:

• 在模拟中，ReCoVLA（M4）将平均成功率从微调π0.5基线（M1）的36.7%提升至66.7%，提升30个百分点。
• 在物理Fetch机器人实验中，ReCoVLA达到61.7%的平均成功率，优于所有基线，比次优基线高18.3个百分点。
• 阶段门控奖励（M4）优于无门控的失败相关奖励（M3），证明门控对防止过早奖励激活至关重要。
• ReCoVLA设计可迁移至不同VLA骨干（如OpenVLA），M6在模拟中达到60.0%成功率。

Tech Stack:

• VLA策略：π0.5、OpenVLA（基于流匹配的视觉-语言-动作模型）
• VLM：Qwen3-VL-8B-Instruct（用于失败分析和描述符生成）
• 残差强化学习：在VLA潜在空间上训练残差策略，使用PPO或类似算法
• 奖励编译：基于奖励库的组件选择与阶段门控机制
• 模拟到真实迁移：零样本部署，无需真实微调

Strengths:

• 解耦高层语义理解与低层控制，支持不同VLA骨干，具有通用性。
• 无需收集失败恢复演示数据，降低数据成本。
• 阶段门控奖励设计有效防止奖励黑客，提升训练稳定性。
• 零样本模拟到真实迁移成功，验证了方法的实用性。
• 在多种任务（长时、短时、接触丰富）上均表现优异。

Limitations:

• 依赖VLM的失败检测准确性，错误分类可能导致恢复策略误用。
• 当前仅支持预定义的失败类别，未知失败模式无法处理。
• 模拟训练依赖仿真环境，真实世界动态可能与模拟存在差异。
• 奖励库需要针对任务手动设计，缺乏自动生成能力。
• 实验仅在Fetch机器人上验证，泛化到其他平台需进一步测试。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文使用VLM作为语义理解模块，与多模态统一模型相关；残差策略在VLA潜在空间学习，涉及表征学习；但未直接涉及世界模型或基于模型的强化学习。
• 原生多模态大模型，多模态大模型的理解和生成一体化: 论文利用VLM（Qwen3-VL）进行失败分析，体现多模态理解；但VLM不直接生成动作，而是生成结构化描述符，与生成一体化部分相关但非核心。
• 表征学习: 残差策略在VLA的潜在特征上学习，利用预训练表征进行纠正控制。
• 世界模型: 论文未构建或使用世界模型进行规划或预测。
• 强化学习，后训练: 核心方法为残差强化学习，属于后训练阶段，用于微调恢复行为。

全模态检索旨在为文本、图像、视频、文档和音频输入提供单一的嵌入空间，但由于这些模态在数据分布、架构和优化动态上存在差异，构建此类统一检索器颇具挑战性。在这项工作中，我们提出了 Conan-embedding-v3，一种用于全模态检索的解耦 - 融合 - 恢复框架。Conan-embedding-v3 首先独立训练模态专家，并将它们的任务向量融合到一个单一的稠密骨干网络中，我们称这种策略为解耦专家融合（Decoupled Specialist Fusion）。我们发现，这种融合组合了视觉、视频和文档检索能力，但也暴露了基于投影器的模态的一种失败模式：当音频通过外部编码器和投影器接入时，融合骨干网络会导致投影器校准至音频专家骨干网络，尽管所有音频专用模块均保持不变，但仍会造成显著的音频检索性能退化。我们将这种失败称为投影器漂移（Projector Drift）。为修复这一问题，Conan-embedding-v3 采用投影器恢复（Projector Recovery），即在保持骨干网络冻结的同时对投影器进行全参数微调，随后进行平衡多模态重演。所得模型在单一骨干网络中支持这些检索路径，在 MMEB 上取得 74.9 分，同时在 30 任务 MAEB 音频基准套件上获得 55.61 分。

Omni-modal retrieval promises a single embedding space for text, image, video, document, and audio inputs, but building such a unified retriever is difficult since these modalities differ in data distribution, architecture, and optimization dynamics. In this work, we present Conan-embedding-v3, a decouple--fuse--recover framework for omni-modal retrieval. Conan-embedding-v3 first trains modality specialists independently and fuses their task vectors into a single dense backbone, a strategy we call Decoupled Specialist Fusion. We show that this fusion composes visual, video, and document retrieval capabilities, but also exposes a failure mode for projector-based modalities: when audio is attached through an external encoder and projector, fusing the backbone leaves the projector calibrated to the audio-specialist backbone, causing a large audio retrieval regression despite copying all audio-specific modules unchanged. We call this failure Projector Drift. To repair it, Conan-embedding-v3 applies Projector Recovery (i.e., full-parameter fine-tuning of the projector while keeping the backbone frozen) followed by balanced multi-modal rehearsal. The resulting model supports these retrieval pathways in one backbone, achieving 74.9 scores on MMEB while obtaining 55.61 on the 30-task MAEB audio suite.

评分理由: The paper focuses on unifying diverse modalities into a single embedding space (high relevance for MultiModal and Unify Models) using modality specialists and a fusion framework. Visual encoders are part of the specialists (moderate relevance). It does not focus on tokenizers, world models, MLLM generation, or reinforcement learning (low relevance).

Omni-modal retrieval, Modality-specific models, Decouple-fuse-recover, Projector recovery, Single dense backbone, Multi-modal embedding, Fusion strategy

Chinese Title: Conan-embedding-v3：融合模态特定模型的全模态嵌入

Summary: 本文提出Conan-embedding-v3，一种解耦-融合-恢复框架，用于构建支持文本、图像、视频、文档和音频检索的全模态嵌入模型。该方法首先独立训练各模态专家（图像、视频、文档、音频），通过任务向量融合共享骨干网络，并直接复制音频专用模块。然而，融合后音频投影器与融合后的骨干网络不匹配，导致音频检索性能严重下降，作者将此现象称为“投影器漂移”。为解决该问题，提出投影器恢复阶段（冻结骨干网络，仅微调投影器）和平衡的多模态重放训练。最终模型在MMEB基准上达到74.9分，在30任务的MAEB音频套件上获得55.61分，在保持视觉检索能力的同时显著提升了音频性能。

Innovations:

• 提出解耦专家融合（Decoupled Specialist Fusion）策略，先独立训练各模态专家，再通过任务向量融合共享骨干，避免跨模态优化冲突。
• 识别并命名了“投影器漂移”（Projector Drift）现象：融合后的骨干网络与直接复制的音频投影器不匹配导致性能退化。
• 提出投影器恢复（Projector Recovery）方法，通过冻结骨干网络、仅微调投影器来修复投影器-骨干接口。
• 采用平衡的多模态重放训练，防止恢复后的模型退化为仅音频检索模型。
• 在单一骨干网络中同时支持文本、图像、视频、文档和音频五种模态的检索，无需大规模混合模态优化。

Methodology: 采用三阶段流水线：阶段1，从同一视觉语言初始化出发，分别训练图像、视频、文档和音频专家（音频专家额外引入外部编码器和投影器），各专家使用LoRA适配器进行参数高效微调；阶段2，通过任务向量融合（Task Arithmetic）将共享骨干参数组合，直接复制音频专用模块；阶段3，先进行投影器恢复（全参数微调投影器，冻结骨干和音频编码器），再执行平衡多模态重放（使用LoRA微调骨干和视觉编码器）。训练损失为InfoNCE检索损失，使用双向检索时取平均。

Key Results:

• 在MMEB基准上达到74.9分，在30任务MAEB音频套件上达到55.61分。
• 直接融合导致音频检索性能严重下降，投影器恢复后性能显著回升。
• 通过可视化Transformer层中音频令牌方向，验证了投影器漂移随深度增加而加剧。
• 消融实验表明，多模态重放训练对保持视觉检索能力至关重要。
• 任务向量融合系数通过网格搜索确定，平衡了视觉保留与音频贡献。

Tech Stack:

• InfoNCE损失函数
• LoRA（低秩适配）
• 任务向量融合（Task Arithmetic）
• 投影器（Projector）
• 多模态大语言模型（MLLM）骨干
• 音频编码器（如CLAP或类似架构）
• L2归一化嵌入
• 内积相似度检索

Strengths:

• 有效解决了多模态融合中的跨模态优化冲突问题，通过解耦训练避免“跷跷板效应”。
• 识别并解决了投影器漂移这一关键问题，为后续多模态融合提供了重要见解。
• 在保持视觉检索性能的同时大幅提升音频检索能力，实现了真正的全模态检索。
• 方法具有通用性，可推广到其他通过投影器接入的模态。
• 实验设计严谨，包含可视化分析和消融研究。

Limitations:

• 任务向量融合系数需要手动网格搜索，缺乏自适应机制。
• 投影器恢复阶段仅针对音频，未考虑其他可能通过投影器接入的模态（如触觉、嗅觉等）。
• 方法依赖于初始的视觉语言基础模型，可能继承其偏见或局限性。
• 平衡多模态重放阶段仍需少量多模态数据，并非完全零样本融合。
• 未在更大规模或更多样化的基准上验证泛化能力。

Relevance To Keywords:

• Unify Models: 论文核心目标是统一多模态嵌入模型，将不同模态专家融合为一个单一模型。
• World Models: 虽未直接涉及世界模型，但全模态嵌入可作为世界模型感知模块的基础。
• Representation Learning: 论文聚焦于学习跨模态的统一表征，属于表征学习范畴。
• Model-Based RL: 无直接关联，但嵌入模型可用于强化学习中的状态表示。
• 原生多模态大模型: 论文基于MLLM骨干构建，属于原生多模态大模型的应用。
• 多模态大模型的理解和生成一体化: 论文侧重于理解（检索），未涉及生成。
• 后训练: 论文中的专家训练、融合和恢复阶段均属于后训练技术。

纯文本大型语言模型（LLMs）的隐私风险已被广泛研究，尤其是其倾向于记忆并泄露敏感信息。然而，处理文本和图像的多模态大型语言模型（MLLMs）引入了独特的隐私挑战，这些挑战尚未得到充分探索。与纯文本模型相比，MLLMs 能够提取并暴露图像中嵌入的敏感信息，从而带来新的隐私风险。我们发现，部分 MLLMs 易受隐私泄露影响，会泄露嵌入在图像中或存储于内存中的敏感数据。具体而言，在本文中，我们（1）引入了 MM-Privacy，这是一个综合数据集，旨在评估各种多模态任务和场景中的隐私风险，其中我们定义了披露风险（Disclosure Risks）和保留风险（Retention Risks）；（2）利用 MM-Privacy 系统性地评估了不同的 MLLMs，并展示了模型如何在各种任务中泄露敏感数据；（3）进一步探讨了任务不一致性在隐私风险中的作用，强调了缓解策略的迫切需求。我们的发现突出了 MLLMs 中的隐私问题，强调了防止数据暴露的防护措施的必要性。我们的数据集和代码可在此处获取。

Privacy risks in text-only Large Language Models (LLMs) are well studied, particularly their tendency to memorize and leak sensitive information. However, Multi-modal Large Language Models (MLLMs), which process both text and images, introduce unique privacy challenges that remain underexplored. Compared to text-only models, MLLMs can extract and expose sensitive information embedded in images, posing new privacy risks. We reveal that some MLLMs are susceptible to privacy breaches, leaking sensitive data embedded in images or stored in memory. Specifically, in this paper, we (1) introduce MM-Privacy, a comprehensive dataset designed to assess privacy risks across various multi-modal tasks and scenarios, where we define Disclosure Risks and Retention Risks. (2) systematically evaluate different MLLMs using MM-Privacy and demonstrate how models leak sensitive data across various tasks, and (3) provide additional insights into the role of task inconsistency in privacy risks, emphasizing the urgent need for mitigation strategies. Our findings highlight privacy concerns in MLLMs, underscoring the necessity of safeguards to prevent data exposure. Our dataset and code can be found here.

评分理由: The paper explicitly focuses on Multi-modal Large Language Models (MLLM) and MultiModal concepts, warranting top scores (10/10). Unify Models and Visual Encoder are contextually relevant to MLLM architecture but not the core research topic (privacy risks), so they receive moderate scores (4/10). Tokenizer is minimally relevant (2/10). World Models and model-based RL are unrelated to the privacy study (0/10). None of the specified expert authors appear in the author list.

Multi-modal Large Language Models, Privacy Risks, MM-Privacy Dataset, Disclosure Risks, Retention Risks, Task Inconsistency, Sensitive Information

Chinese Title: 揭示多模态大语言模型中的隐私风险：任务特定漏洞与缓解挑战

Summary: 本文系统研究了多模态大语言模型（MLLMs）的隐私风险。与纯文本大语言模型相比，MLLMs能够处理图像和文本，可能泄露图像中嵌入的敏感信息或模型记忆中的隐私数据。作者首先定义了两种隐私风险：披露风险（模型直接输出输入中的敏感信息）和保留风险（模型泄露微调阶段记忆的敏感信息）。为评估这些风险，构建了MM-Privacy数据集，包含超过13000个样本，涵盖招聘、验证、金融和开放上下文四种场景，以及图像描述、句子改写等多种任务。实验评估了GPT-4V、Idefics2、Llava等闭源和开源模型，发现隐私泄露普遍存在，开源模型风险显著更高，且不同任务（如间接任务）更容易绕过闭源模型的防护。研究揭示了任务不一致性对隐私风险的影响，强调了开发任务感知的缓解策略的紧迫性。

Innovations:

• 首次系统定义并区分了多模态大语言模型中的披露风险和保留风险两种隐私风险类型。
• 构建了MM-Privacy数据集，包含超过13000个样本，覆盖多种场景、任务和图像生成方式（自动生成、人工填写、上下文相关图像）。
• 通过大量实验揭示了不同任务（如描述、改写）对隐私泄露风险的显著影响，发现间接任务更容易绕过闭源模型的防护。
• 对比了闭源与开源MLLMs的隐私风险差异，指出开源模型存在更高的泄露风险。

Methodology: 研究采用以下技术路线：1）使用Faker库生成合成隐私信息（邮箱、电话、SSN等）；2）通过三种方式生成图像：自动生成（将隐私信息投影到空白表单模板）、人工填写（打印表单由人填写后拍照）、上下文相关图像（使用Stable Diffusion生成与主题相关的图像，经人工筛选）；3）设计四种场景（招聘、验证、金融、开放上下文）和多种任务（图像描述、句子改写等）；4）在闭源模型（GPT-4V）和开源模型（Idefics2、Llava等）上进行评估，使用攻击成功率（ASR）和拒绝率（RR）等指标衡量隐私泄露程度。

Key Results:

• 隐私泄露在多模态大语言模型中普遍存在，开源模型的风险显著高于闭源模型。
• 闭源模型（如GPT-4V）通常有更强的防护，但间接任务（如图像描述、句子改写）更容易绕过其安全机制。
• 不同任务和训练方法显著影响隐私漏洞，任务不一致性导致现有防护措施难以泛化。
• 开源模型甚至可以直接输出记忆集中的正确敏感信息，表明保留风险严重。

Tech Stack:

• Faker库（生成合成隐私信息）
• Stable Diffusion（生成上下文相关图像）
• GPT-4V（闭源MLLM评估）
• Idefics2（开源MLLM评估）
• Llava（开源MLLM评估）
• 攻击成功率（ASR）和拒绝率（RR）作为评估指标

Strengths:

• 首次系统性地研究多模态大语言模型的隐私风险，填补了该领域空白。
• 数据集MM-Privacy设计全面，涵盖多种场景、任务和图像类型，具有较高的实用性和代表性。
• 实验覆盖多个主流闭源和开源模型，对比分析具有说服力。
• 揭示了任务不一致性对隐私风险的影响，为后续缓解策略提供了重要方向。

Limitations:

• 数据集中的隐私信息为合成数据，可能无法完全模拟真实世界中的隐私泄露场景。
• 仅评估了部分MLLMs，未涵盖所有最新模型（如Gemini、Claude等）。
• 未提出具体的隐私缓解策略或防御方法，仅指出了问题的严重性。
• 对保留风险的评估依赖于微调阶段注入记忆，可能无法反映模型在预训练阶段记忆的真实隐私信息。

Relevance To Keywords:

• 多模态大模型：论文核心研究对象，直接相关。
• 表征学习：论文未深入探讨表征学习与隐私风险的关系，相关性较弱。
• 世界模型：论文未涉及世界模型概念，相关性低。
• 模型-Based RL：论文未涉及强化学习，相关性低。
• 后训练：论文中保留风险涉及微调（后训练）阶段，有一定相关性。

多模态大语言模型 (MLLMs) 在视觉推理基准测试中取得了显著成果，但仅凭答案准确率无法判断模型是否依赖于正确的视觉证据。这一差距在用于自动驾驶的多视角驾驶场景中尤为重要，因为模型可能生成看似合理的答案，却 grounding 到了错误的相机视角。我们提出一个多视角视觉问答基准，用于评估证据源识别：给定六个同步的 NuScenes 视图和问题，模型必须识别支持性的相机视角并回答问题。该基准包含来自 73 个场景的 122 个以冲突为中心的问题 - 答案对，涵盖因果性、反事实推理和意图预测。视角标签由自动冲突挖掘管道提出，并由标注者手动验证。我们评估了三种设置：相机视角选择、给定黄金视角的 oracle 问答，以及联合预测，其中模型在一次推理中同时选择视角并回答问题。答案以多项选择题和自由形式两种格式进行评估，结构化预测使用精确匹配，自由形式响应使用 LLM 评判器。通过明确分离视觉源识别与答案正确性，该基准揭示了仅凭答案评估所遗漏的 grounding 失败。

Multimodal large language models (MLLMs) achieve strong results on visual reasoning benchmarks, but answer accuracy alone does not indicate whether a model relied on the correct visual evidence. This gap is particularly important in multi-view driving scenes used for autonomous driving, where a model can produce a plausible answer while grounding it in the wrong camera view. We introduce a multi-view visual question answering benchmark for evaluating evidence-source identification: given six synchronized NuScenes views and a question, the model must identify the supporting camera view and answer the question. The benchmark contains 122 conflict-centric question-answer pairs from 73 scenes, spanning causality, counterfactual reasoning, and intent prediction. View labels are proposed by an automatic conflict-mining pipeline and manually verified by annotators. We evaluate three settings: camera-view selection, oracle QA given the golden view, and joint prediction in which the model selects a view and answers in one pass. Answers are evaluated in both multiple-choice and free-form formats, using exact match for structured predictions and an LLM judge for free-form responses. By explicitly separating visual-source identification from answer correctness, the benchmark exposes grounding failures that answer-only evaluation misses.

评分理由: The paper focuses on evaluating Multi-View MLLMs for visual evidence identification in autonomous driving. MLLM and MultiModal are core concepts appearing in the title and abstract (high scores). Visual Encoder is part of the pipeline but not the main contribution (medium score). Unify Models, Tokenizer, World Models, and model-based RL are unrelated to the specific benchmark task of visual evidence identification in MLLMs (low scores). No expert authors from the provided list are present in the author list, so no bonus points were applied.

Multi-View MLLMs, Visual Evidence Identification, Autonomous Driving, Benchmark, Grounding Failure, View-Level, NuScenes

Chinese Title: 答案从何而来？面向自动驾驶的多视角多模态大模型视角级视觉证据识别基准测试

Summary: 该论文针对多模态大语言模型（MLLMs）在多视角自动驾驶场景中视觉证据来源识别能力不足的问题，提出了一个多视角视觉问答基准。研究背景是现有评估仅关注答案正确性，忽略了模型是否基于正确的视觉证据，尤其在多视角驾驶场景中，模型可能给出正确答案却依据错误视角。论文方法包括：从NuScenes数据集中构建122个冲突中心的问题-答案对，涵盖因果推理、反事实推理和意图预测三类；设计自动冲突挖掘管道并人工验证黄金视角标签；提出三部分评估协议：视角选择、给定黄金视角的问答、以及联合预测。主要结论是，即使最强模型（Claude）在视角选择上准确率仅82.6%，且联合预测中严格联合正确率大幅下降，表明多视角证据定位仍是挑战，现有评估方式掩盖了证据归因失败。

Innovations:

• 首次提出评估多视角MLLMs视觉证据来源识别能力的基准，区分答案正确性与证据来源正确性。
• 构建122个冲突中心的问题-答案对，覆盖因果、反事实和意图预测三类推理，并人工验证黄金视角。
• 设计三部分评估协议（视角选择、黄金视角问答、联合预测），系统分离证据定位与答案推理失败。
• 采用LLM法官评估自由形式答案的语义正确性，结合精确匹配与语义等价评估。
• 在统一零样本协议下评估多个闭源和开源MLLMs，揭示错误视角/正确答案行为。

Methodology: 论文采用事件中心的数据构建管道：从NuScenes缓存运动学、几何和地图特征中挖掘冲突事件，通过3D框投影到六视角确定候选黄金视角，生成问题-答案对后人工验证。评估方法包括视角选择（精确匹配）、黄金视角问答（MC精确匹配+自由形式LLM法官评估）、联合预测（严格联合正确率）。所有模型在零样本设置下使用固定提示模板评估，采用确定性解码。

Key Results:

• Claude在视角选择上准确率最高（82.62%），GPT-5.4（77.54%）和Gemini（74.10%）次之。
• 开源模型性能较低：Qwen3VL-8B和InternVL3约61.5%，Qwen2.5VL-7B仅12.62%。
• 联合预测中严格联合正确率大幅下降：Claude MC为73.2%，Free为59.8%；GPT-5.4 MC为66.9%，Free为61.3%。
• 黄金视角问答中，闭源模型MC准确率约87-89%，但自由形式准确率降至73-80%。
• Qwen2.5VL-7B在视角选择上接近随机基线，表明多视角证据定位对小型模型极具挑战。

Tech Stack:

• NuScenes数据集（六视角相机）
• 3D边界框投影到相机视角
• 精确匹配（Exact Match）
• LLM法官（LLM Judge）用于自由形式答案语义评估
• 零样本提示（Zero-shot Prompting）
• 确定性解码（Deterministic Decoding）
• 95%置信区间（95% CI）
• 标准偏差（SD）

Strengths:

• 聚焦于被忽视的视觉证据来源识别问题，具有重要安全意义。
• 数据集构建严谨，包含自动挖掘和人工验证，确保黄金视角可靠性。
• 评估协议设计全面，分离视角选择与答案推理，揭示隐藏的归因失败。
• 覆盖多种模型家族（GPT、Gemini、Claude、Qwen、InternVL），结果具有广泛代表性。
• 支持多选和自由形式两种答案格式，评估更全面。

Limitations:

• 数据集规模较小（122个QA对），可能限制统计显著性和泛化性。
• 仅使用NuScenes数据集，场景多样性有限。
• 未提供训练集，仅作为测试基准，无法用于模型优化。
• 自由形式答案评估依赖LLM法官，可能引入评估偏差。
• 未考虑时间序列或多帧信息，仅使用单帧六视角。

Relevance To Keywords:

• 多模态大模型（MLLMs）：论文直接评估多模态大模型在多视角场景中的视觉证据识别能力。
• 世界模型：论文涉及场景理解、因果推理和意图预测，与世界模型中的环境建模相关。
• 表征学习：论文通过视角选择任务评估模型对多视角视觉表征的利用能力。
• 强化学习：论文未直接涉及强化学习，但后训练（post-training）可能用于改进模型视角定位能力。
• 后训练：论文零样本评估，但结果可指导后训练策略以增强证据归因。

第一人称视角视觉提供了人类感知与决策的视角，但其在交通安全预测方面的潜力仍未得到充分探索。在这项工作中，我们研究从短的第一人称视角视频片段中解码行人过街意图。我们通过将任务构建为封闭式视觉问答（VQA）问题，并利用视觉语言模型（VLMs）来预测行人意图来解决这一问题。我们首先在零样本设置下对三类最先进的视觉语言模型（VLMs）进行基准测试，发现它们相比随机猜测取得了适度提升，但表现出有限的高层级交通推理能力。鉴于这些发现，我们进一步利用参数高效微调将视觉语言模型（VLMs）适配到目标任务。结果表明，微调后的模型显著优于其零样本对应模型，并在准确率上比专门的基于 Transformer（变换器）的基线提高了 9%。最后，我们证明纳入额外的上下文线索，包括自身运动、车辆运动和眼动，进一步提高了预测性能。特别是，受眼动和自身运动引导的微调 Qwen3-VL-2B 模型在准确率上比 Transformer 基线提高了 14.5%，确立了第一人称视角行人意图解码的新最先进水平。

Egocentric vision offers a first-person view of human perception and decision making, yet its potential for traffic-safety prediction remains underexplored. In this work, we study the decoding of pedestrian crossing intentions from short egocentric video clips. We approach this by formulating the task as a closed-ended visual question answering (VQA) problem and leveraging vision language models (VLMs) to predict the pedestrians' intent. We first benchmark three families of state-of-the-art VLMs in a zero-shot setting, finding that they achieve moderate gains over random guessing but exhibit limited higher-level traffic reasoning. Motivated by these findings, we further adapt VLMs to the target task using parameter-efficient fine-tuning. Our results show that the fine-tuned models substantially outperform their zero-shot counterparts and achieve a 9\% accuracy improvement over a specialized transformer-based baseline. Finally, we demonstrate that incorporating additional contextual cues, including ego motion, vehicle motion, and eye gaze, further improves predictive performance. In particular, the fine-tuned Qwen3-VL-2B model guided by eye gaze and ego motion achieves a 14.5% accuracy improvement over the transformer baseline, establishing a new state of the art for egocentric pedestrian intent decoding.

评分理由: 论文核心方法基于视觉语言模型（MLLM）处理多模态数据，故 MLLM 与 MultiModal 评分高。Visual Encoder 与 Tokenizer 为模型隐含组件，未作为创新点，评分中等。Unify Models 涉及模态统一但非本文焦点。World Models 与 model-based RL 与本文意图预测任务无关，评分低。作者列表不含指定专家。

Egocentric Vision, Pedestrian Intention, Vision Language Models, Parameter-efficient Fine-tuning, Contextual Cues, Traffic Safety, Zero-shot Benchmark

Chinese Title: 基于视觉语言模型从自我中心视觉解码行人过街意图

Summary: 本文研究从短时自我中心视频片段中解码行人过街意图，将其表述为封闭式视觉问答（VQA）问题，并利用视觉语言模型（VLM）进行预测。首先在零样本设置下评估三个VLM家族（Qwen3-VL、InternVL3、GroundVQA），发现它们比随机猜测有适度提升但缺乏高级交通推理能力。随后采用参数高效微调（如LoRA）适应目标任务，微调模型显著优于零样本，比专用Transformer基线提升9%准确率。最后引入额外上下文线索（自我运动、车辆运动、眼动），其中Qwen3-VL-2B模型结合眼动和自我运动后准确率提升14.5%，达到新SOTA。论文还设计了标准提示、思维链提示和视觉提示三种策略，并验证了视觉提示的有效性。

Innovations:

• 将行人过街意图预测重新表述为封闭式VQA问题，利用VLM的视觉理解和语言推理能力
• 系统评估多种VLM在零样本和微调下的表现，揭示其交通推理的局限性
• 提出参数高效微调（如LoRA）适应交通特定预测，显著提升性能
• 引入眼动、自我运动等上下文线索，进一步改善预测准确率
• 建立基于自我中心视觉的行人意图解码新SOTA，准确率提升14.5%

Methodology: 论文采用视觉语言模型（VLM）进行行人过街意图预测。首先将2秒自我中心视频和可选上下文信息作为输入，输出“过街”或“等待”二分类结果。模型选择包括Qwen3-VL、InternVL3等MLLM以及GroundVQA等VLP。设计三种提示策略：标准提示、文本思维链（CoT）提示和视觉提示（使用GroundingDINO检测目标并叠加标记）。采用参数高效微调（如LoRA）适应任务。上下文信息包括自我运动、车辆运动、眼动和个人属性。视频编码支持直接视频输入和交错帧输入。

Key Results:

• 零样本VLM比随机猜测有适度提升，但缺乏高级交通推理
• 微调后VLM显著优于零样本，比专用Transformer基线提升9%准确率
• 加入眼动和自我运动后，Qwen3-VL-2B模型准确率提升14.5%，达到新SOTA
• 视觉提示（Set-of-Mark）在零样本和微调中均有效提升性能
• Qwen3-VL-2B在微调后表现优于更大模型，显示参数高效微调的优势

Tech Stack:

• Qwen3-VL-2B/8B-Instruct
• Qwen2.5-VL-7B-Instruct
• InternVL3-2B/8B
• GroundVQA (VLP)
• GroundingDINO (开放词汇检测)
• SORT (目标跟踪)
• LoRA (参数高效微调)
• 思维链 (CoT) 提示
• 视觉提示 (Set-of-Mark)
• 多模态旋转位置编码 (M-RoPE)

Strengths:

• 创新性地将VLM应用于行人意图预测，拓展了VLM在交通安全领域的应用
• 系统比较多种VLM和提示策略，实验设计全面
• 参数高效微调使得小模型也能达到优异性能，降低计算成本
• 引入眼动等上下文线索，符合人类认知机制，提升预测准确性
• 代码开源，可复现性强

Limitations:

• 仅使用2秒视频和1秒预测窗口，可能无法处理更复杂的长期意图
• 眼动数据获取依赖专用设备，实际部署受限
• 模型在零样本下推理能力有限，依赖微调适应特定场景
• 未探讨模型在恶劣天气、夜间等极端条件下的表现
• 数据集规模可能有限，泛化性有待验证

Relevance To Keywords:

• 原生多模态大模型：论文直接使用Qwen3-VL、InternVL3等原生多模态大模型，验证其在交通场景中的能力
• 表征学习：通过VLM的视觉-语言对齐表征进行意图解码，但未深入探讨表征学习机制
• 世界模型：论文未涉及世界模型构建或预测未来状态，相关性较弱
• 强化学习：论文未使用强化学习方法，相关性较弱
• 后训练：论文采用参数高效微调（LoRA）作为后训练手段，属于后训练范畴

学习日常技能（如烹饪一道菜）正日益依赖于在线视频等教学媒体。这使得将视频（及多模态）大语言模型（LLMs）用作任务指导助手成为可能。一个潜在任务指导助手在现实世界中取得成功的关键能力在于，一旦错误显而易见，它便能主动干预以引导用户。为了评估这一关键能力，我们引入了 Ego-MC-Bench（错误修正），这是一个用于评估真实烹饪场景中反应式、逐步任务指导的基准。广泛的实验表明，Ego-MC-Bench 对最先进的视频大语言模型（LLMs）极具挑战性。我们认为，关键原因是用于在此任务上微调模型的训练数据可用性有限。尽管存在广泛的烹饪视频数据集，但现有数据集缺乏错误示例以及适时干预的示例。为了解决这一数据限制，我们还引入了 Ego-CoMist，这是一个反事实合成数据集，通过将非交互式烹饪视频转换为显示主动干预的监督训练示例而创建。我们表明，在 Ego-CoMist 上微调会带来性能提升，尤其对于更小且更高效的视频大语言模型（LLMs），这些模型非常适合在边缘设备上提供协助。

Learning everyday skills, like cooking a dish, relies increasingly on instructional media such as online videos. This opens the door to the use of video (and multimodal) large language models (LLMs) as task guidance assistants. A crucial capability for the real-world success of a prospective task guidance assistant is it's ability to intervene proactively as soon as a mistake is apparent in order to guide the user. To evaluate this crucial capability, we introduce Ego-MC-Bench (Mistake Corrections), a benchmark for evaluating reactive, step-by-step task guidance in realistic cooking scenarios. Extensive experiments show that Ego-MC-Bench is highly challenging for state-of-the-art video LLMs. We argue that a key reason is the limited availability of training data for fine-tuning models on this task. Although there exists a wide range of cooking video datasets, existing datasets lack examples of mistakes along with appropriately timed interventions. To help address this data limitation, we also introduce Ego-CoMist, a counterfactual synthetic dataset created by transforming non -interactive cooking videos into supervised training examples showing proactive interventions. We show that fine-tuning on Ego-CoMist yields performance gains especially for smaller and more efficient video LLMs that are well suited for delivering assistance on edge devices.

评分理由: 论文核心聚焦于视频大语言模型（MLLM）在多模态任务指导中的错误纠正能力，因此 MLLM 和多模态评分较高（9.0）。未涉及 Tokenizer、视觉编码器、世界模型或模型强化学习的具体架构设计，评分较低（1.0-2.0）。统一模型仅隐含于多模态架构中（4.0）。加权总分 40.5 分，高于动态及格分 27.8 分。作者列表中未包含指定专家，无额外加分。

Video Large Language Models, Mistake Correction, Ego-MC-Bench, Ego-CoMist, Task Guidance, Fine-tuning, Multimodal

Chinese Title: 流式干预：视频大语言模型能否在错误发生时即时纠正？

Summary: 本文针对视频大语言模型在实时任务指导场景中的主动干预能力不足问题，提出了EGO-MC-BENCH基准和EGO-COMIST合成数据集。研究背景在于现有模型和基准多基于非交互式数据，缺乏对错误发生时的即时反馈和纠正能力的评估。方法上，作者通过真人录制交互式烹饪视频构建了包含错误、反馈和用户反应的基准，并利用反事实合成技术将非交互式视频转化为带有干预标注的训练数据。实验表明，当前最先进的视频大语言模型在该基准上表现不佳，而基于EGO-COMIST微调的小型高效模型在错误干预任务上取得显著提升。结论指出，该工作为构建边缘设备上可部署的实时任务指导助手提供了评估方法和数据基础。

Innovations:

• 首次提出用于评估视频大语言模型在流式任务中主动干预能力的基准EGO-MC-BENCH，包含真实交互场景下的错误、反馈和用户反应。
• 提出EGO-COMIST合成数据集，通过反事实标注将非交互式烹饪视频转化为带有适时干预监督的训练样本，解决了训练数据稀缺问题。
• 实验证明小型高效视频大语言模型在EGO-COMIST上微调后，在错误干预任务上性能显著提升，适合边缘设备部署。
• 系统分析了现有数据集在“多步目标驱动”、“逐步指令”、“定时反馈”和“反应式参与者”四个维度上的不足，凸显了本工作的独特性。

Methodology: 研究采用真人录制交互式烹饪视频的方式构建基准，参与者佩戴头戴摄像机，教练在背后提供实时指令和反馈，模拟真实助手场景。通过手动转录和独立标注员验证确保数据质量。对于合成数据集，利用反事实技术将非交互式视频中的正常操作替换为错误操作，并生成对应的干预反馈，从而创建监督训练样本。评估时，使用多种视频大语言模型（包括开源和商业模型）在EGO-MC-BENCH上进行零样本和微调测试，比较其检测错误和提供及时反馈的能力。

Key Results:

• EGO-MC-BENCH包含约10小时视频、40次录制、7名参与者、559个食谱步骤和954条反馈消息，其中49.2%为预期性反馈，50.8%为事后反馈。
• 当前最先进的视频大语言模型在EGO-MC-BENCH上的错误干预任务表现不佳，表明该基准具有高挑战性。
• 在EGO-COMIST上微调后，小型高效视频大语言模型在错误干预准确率和及时性上显著提升，接近甚至超过部分大型模型。
• 合成数据训练的有效性验证了反事实数据生成策略在任务指导场景中的潜力。

Tech Stack:

• 视频大语言模型（Video LLMs）
• 反事实合成数据生成（Counterfactual Synthetic Data Generation）
• 流式视频处理（Streaming Video Processing）
• 多模态学习（Multimodal Learning）
• 主动干预任务（Proactive Intervention Task）
• 转录与人工验证（Transcription and Manual Verification）
• CaptainCook4D错误分类体系

Strengths:

• 基准设计真实反映实际应用场景，包含交互式反馈和用户反应，评估维度全面。
• 合成数据生成方法创新，有效缓解了训练数据稀缺问题，且验证了其有效性。
• 实验覆盖多种模型规模，特别关注边缘设备部署的小型高效模型，具有实际应用价值。
• 对现有数据集进行了系统对比分析，清晰定位了本工作的贡献和独特性。

Limitations:

• 基准仅聚焦烹饪领域，泛化性有待验证，其他日常技能（如组装、健身）可能需额外数据。
• 合成数据基于反事实假设，可能与真实错误分布存在偏差，影响模型泛化能力。
• 基准规模相对较小（10小时），可能不足以全面评估模型在复杂多步任务中的表现。
• 未探讨模型在跨文化或不同厨房环境下的鲁棒性。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文聚焦于视频大语言模型在实时交互场景中的应用，涉及多模态表征学习和世界模型构建（通过理解视频流中的状态和动作），但未直接涉及强化学习或模型预测控制。
• 原生多模态大模型，多模态大模型的理解和生成一体化: 论文直接评估视频大语言模型的理解（检测错误）和生成（提供反馈）能力，与多模态大模型的理解与生成一体化高度相关。
• 表征学习，世界模型，强化学习，后训练: 论文通过合成数据微调（后训练）提升模型性能，涉及表征学习（视频与文本对齐），但未明确使用世界模型或强化学习。

通用化少样本语义分割（GFSS）传统上被视为一个表示学习问题，需要通过任务特定适应，从有限的支持样本中纳入新类别。然而，近期基础模型已展现出强大的开放词汇识别与分割能力，由此引出了另一个问题：GFSS 能否通过推理时冻结语义先验的协调来解决，而非依赖参数适应？我们提出 Open-V 来回答这一问题，这是一个无训练的 GFSS 框架，它通过校准的逐像素语义仲裁，将 Segment Anything (SAM3) 的可提示概念分割（PCS）与 K-shot CLIP 支持中心点相结合。Open-V 不引入任何可训练组件，并支持在推理时间处理任意语义类别。除了分割性能之外，本研究还提出了三个更广泛的发现。首先，我们表明支持信息可以通过推理时的语义锚定纳入，且当基础模型的文本先验在标签不交集词汇上减弱时，其贡献随之增加。其次，我们在基础模型分割中发现了一个可复现性混淆因素，表明预处理和评估空间的差异可能会无声地扭曲报告的性能。最后，我们在 PASCAL5i、COCO-20i 和 ADE-OW 上验证了 Open-V，表明基础模型先验的无训练协调既能泛化于常规 GFSS 设置，也能泛化于开放词汇评估设置。在 PASCAL-5i (1-shot) 上，Open-V 取得了基类/新类/调和 mIoU 分别为 78.4/77.5/77.9，在不进行 GFSS 特定训练的情况下，超越了最强的训练基线，调和平均 (HM) 提升了 17.7。

Generalized Few-Shot Semantic Segmentation (GFSS) has traditionally been approached as a representation-learning problem, requiring task-specific adaptation to incorporate novel classes from limited support examples. Recent foundation models, however, already exhibit strong open-vocabulary recognition and segmentation capabilities, raising a different question: can GFSS be solved through inference-time coordination of frozen semantic priors rather than parameter adaptation? We answer this question with Open-V, a training-free GFSS framework that combines Segment Anything (SAM3) Promptable Concept Segmentation (PCS) with a K-shot CLIP support centroid through calibrated per-pixel semantic arbitration. OpenV introduces no trainable components and supports arbitrary semantic categories at inference time. Beyond segmentation performance, our study contributes three broader findings. First, we show that support information can be incorporated through inference-time semantic grounding, and that its contribution increases as foundation-model text priors weaken on label-disjoint vocabularies. Second, we identify a reproducibility confound in foundationmodel segmentation, demonstrating that preprocessing and evaluation-space mismatches can silently distort reported performance. Finally, we validate Open-V across PASCAL5i, COCO-20i, and ADE-OW, showing that training-free coordination of foundation-model priors generalizes across both conventional GFSS and open-vocabulary evaluation settings. On PASCAL-5i (1-shot), Open-V attains base/novel/harmonic mIoU of 78.4/77.5/77.9, without GFSS-specific training surpassing the strongest trained baseline by +17.7 HM.

评分理由: Paper proposes Open-V for training-free GFSS using SAM and CLIP. High relevance to Visual Encoder (8) and MultiModal (8) due to vision-language integration. Moderate relevance to Unify Models (6) as it coordinates existing models. Low relevance to Tokenizer (2) and MLLM (3) as tokenization is incidental and CLIP is not a generative LLM. Zero relevance to World Models and RL. No target experts found.

Generalized Few-Shot Segmentation, Training-Free, Open-Vocabulary, Semantic Arbitration, Segment Anything, CLIP, Foundation Models

Chinese Title: 通过开放词汇语义仲裁的无训练广义少样本分割

Summary: 本文提出Open-V，一个完全无需训练的广义少样本分割（GFSS）框架，通过推理时协调冻结的SAM3和CLIP先验实现。传统GFSS依赖参数适应，而Open-V利用SAM3的提示概念分割（PCS）和CLIP支持质心，通过校准的逐像素语义仲裁选择类别。该方法支持任意类别词汇，无需任何训练。研究发现：支持信息可通过推理时语义接地注入，且其贡献随基础模型文本先验减弱而增大；识别并修正了基础模型分割中的空间对齐混淆问题。在PASCAL-5i、COCO-20i和ADE-OW上验证，1-shot设置下PASCAL-5i的基类/新类/调和平均mIoU分别达到78.4/77.5/77.9，超越最强有监督基线+17.7 HM。

Innovations:

• 提出开放词汇语义仲裁框架，将GFSS重新定义为推理时协调冻结先验而非参数适应的问题。
• 实现推理时语义接地：通过后验CLIP支持质心重排序注入少样本信号，无需训练提示头。
• 诊断并修正了基础模型分割中的空间对齐混淆问题，揭示了预处理与评估空间不匹配对性能的扭曲。
• 跨基准验证：在封闭词汇（PASCAL-5i、COCO-20i）和开放词汇（ADE-OW）设置下均取得优异性能。

Methodology: 使用冻结的SAM3 ViT-L作为基础分割器，通过PCS接口为每个类别生成实例掩码和校准存在分数。对基类直接使用PCS输出，对新类则计算K-shot CLIP支持质心（L2归一化），通过余弦相似度重排序SAM3实例。设置存在阈值τPCS=0.20过滤低置信度实例，合并后通过第二次SAM3框提示细化边界，最后逐像素arg-max得到标签图。整个流程无任何可训练参数。

Key Results:

• PASCAL-5i 1-shot：基类mIoU 78.4，新类mIoU 77.5，调和平均HM 77.9，超越最强有监督基线+17.7 HM。
• 支持信息贡献随基础模型文本先验减弱而增大：在标签不重叠词汇上，视觉质心最优权重偏移，峰值增益扩大6.6倍。
• 识别了空间对齐混淆：预处理、预测与评估空间不一致可显著扭曲性能估计。
• 在COCO-20i和ADE-OW上验证了跨基准泛化能力。

Tech Stack:

• SAM3 (Segment Anything 3) with Promptable Concept Segmentation (PCS)
• CLIP ViT-B/16
• ViT-L backbone
• L2归一化
• 余弦相似度
• 校准的sigmoid乘积（质量logit与存在logit）
• 存在阈值τPCS=0.20
• 逐像素arg-max仲裁

Strengths:

• 完全无需训练，降低计算成本和数据依赖。
• 支持任意类别词汇，灵活适应开放词汇场景。
• 通过推理时语义接地有效利用少样本信息。
• 诊断并解决了基础模型评估中的空间对齐混淆问题，提高可重复性。
• 在多个基准上取得显著优于有监督方法的性能。

Limitations:

• 依赖SAM3和CLIP的预训练质量，若基础模型在特定领域表现不佳则性能受限。
• 存在阈值τPCS为固定值，可能不适用于所有场景。
• 仅使用单次SAM3骨干前向，但多次解码可能增加推理时间。
• 未探索与其他基础模型（如DINOv2）的融合。
• 在极端少样本（如1-shot）下，CLIP质心可能受支持图像质量影响。

Relevance To Keywords:

• Unify Models: 论文使用SAM3和CLIP两个基础模型，通过推理时协调实现统一分割，体现了模型统一的思想。
• World Models: 不直接相关，论文未涉及世界模型或环境建模。
• Representation Learning: 论文利用冻结的视觉-语言表征（CLIP、SAM3）进行推理，未进行表征学习，但依赖预训练表征。
• Model-Based RL: 不相关。
• 原生多模态大模型: 论文使用SAM3（视觉）和CLIP（视觉-语言）两个多模态大模型，但未涉及生成或理解一体化。
• 多模态大模型的理解和生成一体化: 不直接相关，论文仅使用理解能力（分割与分类），未涉及生成。
• 表征学习: 同上，依赖预训练表征而非学习新表征。
• 世界模型: 不相关。
• 强化学习: 不相关。
• 后训练: 论文明确强调无训练，与后训练相反。

开放域开放词汇检测（ODOVD）要求检测器能够泛化至新类别和未见域，相较于开放词汇检测更具挑战性。现有方法通常从头开始联合训练开放词汇检测器与域泛化模块，导致训练成本较高。本文提出 ExDet，一种面向 ODOVD 的轻量级类别 - 域协作泛化框架，旨在增强现有检测器的跨类别与跨域泛化能力。ExDet 由文本引导外推（TGE）、轻量级检测器兼容校正（DCR）模块以及 ExRPN 组成。具体而言，TGE 利用视觉语言模型（VLMs）的 DeltaSpace 属性，从文本中推断出类别与域感知的代理视觉原型。DCR 基于 TGE 生成的原型进行学习，无需检测器训练及真实数据，在推理阶段插入分类头之后，将表示校正至检测器兼容的源域视觉分布，从而增强对新类别及未见域目标的分类性能。ExRPN 通过结合语义相似性与 RPN 置信度重新校准提案分数，提升新类别及域偏移对象的召回率，同时为后续分类及 DCR 提供更好的支持。ExDet 在 OD-LVIS、OV-LVIS、Objects365 和 MSOSB 上均达到了 SOTA 性能。

Open-domain open-vocabulary detection (ODOVD) requires detectors to generalize to both novel categories and unseen domains, making it more challenging than open-vocabulary detection. Existing methods typically train open-vocabulary detectors together with domain generalization modules from scratch, leading to high training cost. we propose ExDet, a lightweight category-domain collaborative generalization framework for ODOVD that enhances the cross-category and cross-domain generalization of existing detectors. ExDet consists of Text-Guided Extrapolation (TGE), a lightweight Detector-Compatible Rectification (DCR) module, and ExRPN. Specifically, TGE exploits the DeltaSpace property of vision-language models (VLMs) to infer category- and domain-aware proxy visual prototypes from text. DCR is learned from the TGE-generated prototypes in a detector training-free and real-data-free manner, and is inserted after the classification head at inference to rectify representations toward a detector-compatible source-domain visual distribution, thereby enhancing classification for targets from novel categories and unseen domains. ExRPN recalibrates proposal scores by combining semantic similarity with RPN confidence, improving recall for novel and domain-shifted objects while providing better support for subsequent classification and DCR. ExDet achieves SOTA performance on OD-LVIS, OV-LVIS, Objects365, and MSOSB.

评分理由: 论文聚焦开放域开放词汇检测（ODOVD），利用视觉语言模型（VLMs）实现跨模态泛化，与 MultiModal 和 MLLM 高度相关；涉及视觉特征处理但未提出新编码器或 tokenizer，与 World Models 及 model-based RL 无关；Unify Models 相关性中等，因框架统一检测泛化能力而非模型架构统一。

Open-Domain Open-Vocabulary Detection, Cross-modal Extrapolation, Detector-Compatible Rectification, Vision-Language Models, Generalization, Text-Guided Extrapolation, Object Detection

Chinese Title: ExDet：基于跨模态外推与校正的开放域开放词汇检测

Summary: 开放域开放词汇检测（ODOVD）要求检测器同时泛化到新类别和未见过的域，比开放词汇检测更具挑战性。现有方法通常从头训练开放词汇检测器与域泛化模块，导致训练成本高。本文提出ExDet，一种轻量级的类别-域协同泛化框架，通过文本引导外推（TGE）、检测器兼容校正（DCR）模块和ExRPN，在不重新训练检测器的情况下增强跨类别和跨域泛化。TGE利用视觉语言模型（VLM）的DeltaSpace属性从文本推断类别和域感知的代理视觉原型；DCR以检测器训练无关和真实数据无关的方式学习，在推理时插入分类头后，将表示校正到检测器兼容的源域视觉分布，提升对新类别和未见域目标的分类能力；ExRPN通过结合语义相似度与RPN置信度重新校准提议分数，提高对新颖和域偏移目标的召回率。实验表明，ExDet在OD-LVIS、OV-LVIS、Objects365和MSOSB上达到最先进性能。

Innovations:

• 提出ExDet框架，以检测器训练无关和真实数据无关的方式增强现有两阶段检测器在联合类别-域偏移下的泛化能力。
• 设计文本引导外推（TGE）方法，利用VLM的DeltaSpace属性从文本描述构建类别和域感知的代理视觉原型。
• 提出轻量级检测器兼容校正（DCR）模块，独立于检测器训练，在推理时校正分类表示以提升对新类别和未见域的判别力。
• 引入ExRPN，在推理时通过语义相似度重新校准提议置信度，提高对新颖和域偏移目标的召回率。

Methodology: ExDet基于冻结的两阶段开放词汇检测器，包含三个核心组件：TGE利用VLM的DeltaSpace属性，从文本语义关系外推出跨类别、跨域的代理视觉原型；DCR是一个轻量级模块，在TGE生成的原型监督下独立训练，推理时插入分类头后，将表示校正到检测器兼容的源域视觉分布；ExRPN在推理时结合语义相似度与RPN置信度重新校准提议分数，提升召回率。整体框架无需重新训练检测器，仅需约30分钟在单张RTX 3090 GPU上完成训练。

Key Results:

• ExDet在OD-LVIS、OV-LVIS、Objects365和MSOSB基准上达到最先进性能。
• 在OD-LVIS上，ExDet显著提升了跨类别和跨域泛化能力。
• 训练仅需约30分钟在单张RTX 3090 GPU上完成，效率高。
• 实验验证了TGE和DCR在提升分类判别力方面的有效性，以及ExRPN在提升提议召回率方面的作用。

Tech Stack:

• 视觉语言模型（VLM）：CLIP
• DeltaSpace属性
• 两阶段检测器（如Faster R-CNN）
• 文本引导外推（TGE）
• 检测器兼容校正（DCR）模块
• ExRPN（提议分数重新校准）
• PCA可视化分析

Strengths:

• 轻量级框架，无需重新训练检测器，训练成本低。
• 同时处理类别和域偏移，解决更具挑战性的ODOVD问题。
• 方法具有通用性，可应用于现有两阶段检测器。
• 在多个基准上达到最先进性能，泛化能力强。

Limitations:

• 方法主要针对两阶段检测器，对单阶段检测器的适用性未验证。
• 依赖VLM的DeltaSpace属性，可能受限于VLM的表示能力。
• DCR模块的校正效果可能受源域视觉分布的代表性影响。
• 实验仅在特定数据集上验证，实际场景中的泛化性需进一步探索。

Relevance To Keywords:

• Unify Models: ExDet通过跨模态外推与校正统一了类别和域的泛化，体现了模型统一的思想。
• World Models: 方法利用VLM的DeltaSpace属性模拟视觉世界中的语义偏移，与世界模型中的预测和推理相关。
• Representation Learning: TGE和DCR涉及视觉和文本表示的联合学习与校正，属于表征学习范畴。
• Model-Based RL: 虽然不直接涉及强化学习，但DCR的校正机制可类比于基于模型的策略调整。
• 原生多模态大模型: 方法基于CLIP等原生多模态大模型，利用其跨模态对齐能力。
• 多模态大模型的理解和生成一体化: 通过文本引导视觉原型外推，体现了理解和生成的结合。
• 后训练: DCR模块在检测器训练后独立训练，属于后训练优化策略。

我们研究预训练视频基础模型是否在冻结表示中编码了直觉物理信息，以及该信息如何在不同模型家族、层和探针类型之间变化。通过在 IntPhys2 和最小视频对 (MVP) 上采用冻结特征探针方法，我们比较了预测性联合嵌入模型 (V-JEPA)、掩码重建模型 (VideoMAE) 以及基于扩散的视频生成器 (LTX-Video)。V-JEPA 在所有基准测试中取得了最强的整体结果，尤其是在建模时间动态的探针下，而 VideoMAE 仍具有竞争力，LTX-Video 则恢复了较弱但非平凡信号。逐层分析显示，与物理相关的信息在早期层最弱，并在中间到深层变得最易获取；时序控制实验表明，破坏帧顺序会显著降低性能，尤其是在 MVP 上。综上所述，这些结果表明直觉物理知识在预训练视频表示中可靠地涌现，但其可访问性强烈依赖于预训练范式、表示深度和读出机制。

We study whether pretrained video foundation models encode intuitive-physics information in their frozen representations, and how this information varies across model families, layers, and probe types. Using frozen-feature probing on IntPhys2 and Minimal Video Pairs (MVP), we compare predictive joint-embedding models (V-JEPA), masked reconstruction models (VideoMAE), and a diffusion-based video generator (LTX-Video). V-JEPA achieves the strongest overall results across benchmarks, especially with probes that model temporal dynamics, while VideoMAE remains competitive and LTX-Video recovers weaker but non-trivial signal. Layerwise analyses show that physics-relevant information is weakest in early layers and becomes most accessible at intermediate-to-late depth, and temporal controls show that disrupting frame order substantially reduces performance, especially on MVP. Together, these results suggest that intuitive-physics knowledge emerges reliably in pretrained video representations, but its accessibility depends strongly on pretraining paradigm, representational depth, and readout mechanism.

评分理由: The paper probes intuitive physics in video foundation models (V-JEPA, VideoMAE, LTX-Video). 'Visual Encoder' is highly relevant (8.0) as frozen feature probing relies on encoder representations. 'World Models' is moderately relevant (5.0) due to the focus on physics understanding. Other keywords are peripheral (1.0-3.0) because the study compares existing models without language integration (MLLM/MultiModal), tokenization focus, RL training, or model unification.

Video Foundation Models, Intuitive Physics, Layerwise Probing, Frozen-feature Probing, Temporal Dynamics, Pretrained Representations, V-JEPA, VideoMAE

Chinese Title: 视频基础模型理解直观物理吗？逐层探测分析

Summary: 本文研究预训练视频基础模型是否在其冻结表示中编码了直观物理信息，以及这些信息如何随模型家族、层深度和探测类型变化。采用冻结特征探测方法，在IntPhys2和MVP两个基准上比较了三种主要预训练范式：掩码重建（VideoMAE）、预测联合嵌入（V-JEPA）和扩散生成（LTX-Video）。结果显示V-JEPA整体表现最强，尤其在使用建模时间动态的探测头时；VideoMAE具有竞争力；LTX-Video虽弱但仍有非平凡信号。逐层分析表明物理相关信息在早期层最弱，在中间到深层最易获取。时间控制实验（打乱帧顺序）显著降低性能，尤其在MVP上。结论：直观物理知识在预训练视频表示中可靠出现，但其可访问性强烈依赖于预训练范式、表示深度和读出机制。

Innovations:

• 首次系统比较三种主要视频预训练范式（掩码重建、联合嵌入预测、扩散生成）在直观物理探测上的表现，使用统一冻结特征协议。
• 采用逐层探测分析，揭示物理信息在模型不同深度的分布规律，发现中间到深层最丰富。
• 引入不同表达能力的探测头（线性、MLP、注意力时间探测），评估物理信息在不同读出机制下的可解码性。
• 设计时间控制条件（单帧、时间打乱），有效区分直观物理理解与通用时间建模能力。
• 在IntPhys2和MVP两个严格基准上评估，使用VOE和配对一致性指标，减少基准特定捷径的影响。

Methodology: 使用冻结特征探测方法，从预训练视频模型的各层提取特征，训练线性、MLP和注意力时间探测头输出物理合理性分数。在IntPhys2上计算Violation of Expectation (VOE)准确率和剪辑准确率；在MVP上计算配对一致性。同时进行控制实验：单帧输入（去除时间信息）和时间打乱（破坏时间顺序），以评估时间动态对性能的影响。

Key Results:

• V-JEPA在IntPhys2的VOE准确率和MVP的配对一致性上均取得最佳结果，尤其在注意力时间探测下表现突出。
• VideoMAE在多数指标上紧随V-JEPA，但差距较小。
• LTX-Video性能最弱，但仍高于随机基线，表明扩散模型也编码了部分物理信息。
• 逐层分析显示：早期层物理信息最弱，中间到深层（约60%-80%深度）信息最丰富。
• 时间打乱显著降低所有模型性能，尤其对MVP影响更大，证明时间动态对物理理解至关重要。
• 线性探测已能提取部分物理信息，但MLP和注意力时间探测进一步提升性能，表明信息以非线性方式编码。

Tech Stack:

• VideoMAE（掩码视频重建）
• V-JEPA（预测联合嵌入）
• LTX-Video（扩散视频生成）
• IntPhys2基准（物理合理性评估）
• MVP基准（最小视频对问答）
• 线性探测、MLP探测、注意力时间探测
• Violation of Expectation (VOE)指标
• 配对一致性指标

Strengths:

• 系统比较了三种主流预训练范式，覆盖了当前视频基础模型的主要方向。
• 使用严格基准（IntPhys2的VOE和MVP的配对一致性）减少捷径影响。
• 设计了控制实验（单帧、时间打乱）有效分离物理理解与时间建模。
• 逐层和多探测头分析提供了丰富的内部表示洞察。
• 实验设计严谨，结果清晰，结论有说服力。

Limitations:

• 仅包含三个模型家族，可能无法代表所有视频基础模型（如对比学习、视频语言模型等）。
• 冻结特征探测可能低估模型在微调或完整推理下的物理理解能力。
• 基准本身仍可能存在未完全消除的偏差，尽管已设计为最小化捷径。
• 未涉及因果推理或物理模拟，仅评估感知层面的物理合理性。
• 模型规模、训练数据等差异可能影响比较公平性，虽已尽量使用最大骨干。

Relevance To Keywords:

• 统一模型：视频基础模型是统一多模态理解与生成的重要方向，本文评估其物理理解能力。
• 世界模型：V-JEPA等被明确设计为世界模型，本文验证其是否编码物理结构。
• 表征学习：通过探测分析表征中物理信息的组织方式，属于表征学习评估。
• 强化学习：世界模型在基于模型的强化学习中用于规划，物理理解是核心能力。
• 后训练：研究预训练后冻结表征的物理知识，为后续微调或适配提供基础。

最近最先进的 (SOTA) 文本到语音 (TTS) 系统通常采用一种级联管道，该管道由语音分词器、自回归大语言模型 (LLM) 和基于扩散的流匹配 (FM) 模型组成，且这些组件是独立训练的。本文提出一种完全端到端 (E2E) 优化框架，统一了语音分词器、LLM、FM 模型以及额外奖励模型 (RM) 的训练。具体而言，我们首先利用多任务目标联合优化分词器，这些目标分别源自 FM 的重构、LLM 的下一个词元预测以及 RM 的多识别任务。这种联合训练促使离散语音词元空间捕获声学上和语义上显著的信息，从而更好地适配 TTS 任务。随后，我们进一步利用 FM 和 RM 的下游重构与识别来优化 LLM，这不仅减少了推理时的不匹配，还引导 LLM 生成更偏好的结果。实验结果表明，我们的 E2E 框架始终优于级联基线。在 Seed-TTS-Eval 基准上，我们的系统实现了 0.78% 和 1.56% 的词错误率 (WER)，在使用 0.6B 参数 LLM 和 0.5B 参数 FM 模型的情况下取得了新的 SOTA 结果。这些结果表明，整体端到端优化对于改进基于离散词元的 TTS 系统至关重要，且训练管道更为简单。

Recent state-of-the-art (SOTA) text-to-speech (TTS) systems typically adopt a cascaded pipeline consisting of a speech tokenizer, an autoregressive large language model (LLM), and a diffusion based flow-matching (FM) model, with these components trained independently. In this paper, we propose a fully end-to-end (E2E) optimization framework that unifies the training of the speech tokenizer, LLM, FM model, and an additional reward model (RM). Specifically, we first jointly optimize the tokenizer using multi-task objectives derived from reconstruction for FM, next-token prediction for LLM, and multi recognition task for RM. This joint training encourages the discrete speech token space to capture acoustically and semantically salient information that is better tailored to TTS. We then further optimize the LLM using downstream reconstruction and recognition by FM and RM, which reduces inference-time mismatch and steers the LLM toward more preferred generations. Experimental results show that our E2E framework consistently outperforms cascaded baselines. On the Seed-TTS-Eval benchmark, our system achieves a word error rate (WER) of 0.78% and 1.56%, a new SOTA result with a 0.6B-parameter LLM and 0.5B-parameter FM model. These results validate that holistic E2E optimization is critical for improving discrete-token-based TTS systems with a much simpler training pipeline.

评分理由: 论文核心贡献在于提出端到端统一训练框架（Unify Models 高相关），联合优化分词器、LLM 和扩散模型，因此 Tokenizer 相关性最高。任务涉及文本与音频生成（MultiModal 中相关），但未涉及视觉内容（Visual Encoder 无关）、环境动力学建模（World Models 无关）或强化学习（model-based RL 无关）。虽使用 LLM，但专注于特定 TTS 任务而非通用多模态理解（MLLM 低相关）。作者列表中未包含指定的专家，故无额外加分。

End-to-End Training, Discrete Token LLM, TTS System, Speech Tokenizer, Flow-matching, Unified Training, Reward Model

Chinese Title: 面向离散Token大语言模型文本转语音系统的端到端训练

Summary: 本文提出了一种完全端到端（E2E）优化框架，用于统一训练基于离散Token的文本转语音（TTS）系统中的语音分词器、大语言模型（LLM）、流匹配（FM）模型和奖励模型（RM）。现有级联系统因各模块独立训练导致信息不对齐、训练-推理不匹配等问题。作者首先通过多任务目标（FM重建、LLM下一Token预测、RM多任务识别）联合优化分词器，使其捕获更适合TTS的声学和语义信息；然后利用Gumbel-Softmax将FM和RM的梯度反向传播至LLM，缓解推理时分布偏移并引导LLM生成更优的Token序列。实验表明，E2E框架在Seed-TTS-Eval基准上以0.6B参数LLM和0.5B参数FM模型取得了0.78%和1.56%的词错误率（WER），达到新SOTA，验证了整体端到端优化对离散Token TTS系统的重要性。

Innovations:

• 首次提出完全端到端训练框架，联合优化语音分词器、LLM、FM和RM四个模块，而非仅部分联合。
• 采用第一阶损失（基于真实Token）训练分词器，使其直接受下游任务（FM重建、LLM预测、RM识别）监督，而非代理目标。
• 引入第二阶损失（基于LLM预测Token），通过Gumbel-Softmax实现梯度传播，使LLM在自身生成分布下优化重建和识别性能，减少训练-推理不匹配。
• 将分词器训练形式化为信源编码问题，用信息熵量化Token质量，为理论分析提供新视角。
• 三阶段训练策略：先联合训练所有模块（第一阶损失），再冻结分词器分别训练各模块，最后冻结RM用第二阶损失微调LLM和FM，兼顾稳定性和灵活性。

Methodology: 论文采用三阶段端到端训练方法。第一阶段：所有参数可训练，使用第一阶损失（包括FM重建损失、LLM下一Token预测损失、RM多任务识别损失）联合优化分词器、LLM、FM和RM。第二阶段：冻结分词器，分别独立训练RM、FM和LLM（可选用不同数据集）。第三阶段：冻结RM，使用第二阶损失（基于LLM预测Token的FM重建损失和RM识别损失）通过Gumbel-Softmax反向传播优化LLM和FM。分词器采用有限标量量化（FSQ）单码本，RM包含ASR、情感识别、说话人识别三个任务，FM采用流匹配模型预测速度场，LLM使用Transformer架构。

Key Results:

• 在Seed-TTS-Eval基准上，以0.6B参数LLM和0.5B参数FM模型实现0.78%和1.56%的WER，达到新SOTA。
• E2E框架在所有子任务（重建质量、识别准确率、LLM预测）上一致优于独立训练的级联基线。
• 第二阶损失有效缓解了LLM预测Token与FM训练Token之间的分布偏移，提升了合成语音质量。
• 联合训练使分词器学习到更有利于TTS的离散表示，提高了信息熵和下游任务性能。

Tech Stack:

• 有限标量量化（FSQ）
• Gumbel-Softmax直通估计器
• 流匹配（Flow Matching）模型
• Transformer架构（用于LLM、RM编码器）
• CTC损失（ASR）、交叉熵损失（情感识别）、余弦相似度损失（说话人识别）
• 信息熵分析（信源编码视角）
• 多任务学习（RM联合训练ASR、SER、SPK）

Strengths:

• 提出完全端到端优化，解决了级联系统中模块间信息不对齐和训练-推理不匹配的根本问题。
• 通过第一阶和第二阶损失分别优化分词器和LLM，理论清晰且实验验证有效。
• 三阶段训练策略兼顾了联合训练的整体性和各模块独立训练的数据灵活性。
• 在较小模型规模（0.6B+0.5B）上取得SOTA结果，表明方法高效。
• 将分词器训练与信息论结合，提供了理论分析框架。

Limitations:

• 论文未讨论E2E训练的计算开销和训练稳定性问题（如联合训练时目标变化导致的优化困难）。
• 仅在一个基准（Seed-TTS-Eval）上评估，缺乏跨语言、跨领域泛化性验证。
• 第二阶损失依赖Gumbel-Softmax近似，可能存在梯度偏差。
• 未与更大规模模型（如数十B参数）对比，无法判断方法在更大尺度下的表现。
• 奖励模型仅包含ASR、情感、说话人识别，未考虑韵律、自然度等更细粒度指标。

Relevance To Keywords:

• Unify Models: 论文统一了分词器、LLM、FM、RM四个模型，实现端到端训练，符合模型统一思想。
• World Models: TTS系统可视为对语音世界的建模，FM模型作为生成模型类似世界模型中的动态预测。
• Representation Learning: 分词器学习离散语音表征，通过下游任务监督优化表征质量，是表征学习的典型应用。
• Model-Based RL: 第二阶损失通过FM和RM的梯度引导LLM生成，可视为一种基于模型的强化学习（奖励信号来自RM）。
• 原生多模态大模型: TTS涉及文本和语音两种模态，LLM处理文本，分词器和FM处理语音，属于多模态理解与生成一体化。
• 多模态大模型的理解和生成一体化: 系统同时具备语音理解（RM）和语音生成（FM），且通过E2E训练融合。
• 表征学习: 同上。
• 世界模型: FM作为生成模型可视为语音世界的动态模型。
• 强化学习: 第二阶损失类似策略梯度，RM提供奖励，LLM作为策略网络。
• 后训练: 三阶段训练中第三阶段可视为后训练（fine-tuning），使用第二阶损失进行对齐。

视频多模态模型的近期进展显著提升了视频问答（VideoQA）的性能。然而，这些系统往往依赖于虚假统计相关性，而非与答案相关的因果证据，导致不忠实且脆弱的推理，尤其是在复杂的现实场景中。现有方法要么依赖于跨模态相关性，要么依赖于代价高昂的精心构建的训练资源，要么依赖于不足的因果假设和约束，且通常仅在时间区间级别上运行。因此，它们未能明确地将因果视觉线索与混杂因素解耦，且提供的细粒度证据定位也十分有限。为了解决这一问题，我们提出了一种用于细粒度证据解耦的反事实推理框架（CREDiT）。CREDiT 利用结构因果模型对 VideoQA 过程进行建模，并在独立性和最小性约束下学习跨模态表示，使其被明确分解为因果和非因果成分。为了促进忠实的解耦，我们引入了特征级因果干预，并构建反事实输入，以近似因果效应同时抑制非因果相关性。在 NExT-GQA、SportsQA 和 SPORTU-video 上的广泛实验表明，CREDiT 在通用和复杂体育场景中一致提高了答案准确性和推理可靠性，从而构建出更可信的 VideoQA 系统。

Recent advances in video multimodal models have significantly improved VideoQA performance. However, these systems often rely on spurious statistical correlations rather than answer-relevant causal evidence, resulting in unfaithful and brittle reasoning, especially in complex real-world scenarios. Existing methods either rely on cross-modality correlations, costly curated training resources, or insufficient causal assumptions and constraints, and typically operate at the time-interval level. As a result, they fail to explicitly disentangle causal visual cues from confounders and provide limited fine-grained evidence localization. To address this issue, we propose a Counterfactual Reasoning framework for fine-grained Evidence Disentanglement (CREDiT). CREDiT formulates the VideoQA process using a structural causal model and learns cross-modality representations that are explicitly decomposed into causal and non-causal components under independence and minimality constraints. To facilitate faithful disentanglement, we introduce feature-level causal interventions and construct counterfactual inputs that approximate causal effects while suppressing non-causal correlations. Extensive experiments on NExT-GQA, SportsQA, and SPORTU-video demonstrate that CREDiT consistently improves answer accuracy and reasoning reliability across both generic and complex sports scenarios, leading to more trustworthy VideoQA systems.

评分理由: 论文核心在于视频问答中的因果推理与证据解缠，属于多模态（MultiModal）领域，且 MLLM 是其主要应用场景，因此这两个关键词相关性最高。Visual Encoder 用于处理视频特征，相关性中等。然而，论文未涉及模型统一架构（Unify Models）、分词器设计（Tokenizer）、世界模型构建（World Models）或强化学习（model-based RL），因此这些关键词相关性较低或为零。

Counterfactual Reasoning, VideoQA, Evidence Disentanglement, Structural Causal Model, Cross-modality Representations, Causal Interventions, Fine-grained Evidence

Chinese Title: 反事实推理用于视频问答中的细粒度证据解耦

Summary: 本文针对视频问答（VideoQA）中模型依赖虚假统计相关而非因果证据的问题，提出了一种基于反事实推理的细粒度证据解耦框架（CREDiT）。首先，利用结构因果模型（SCM）形式化VideoQA推理过程，识别出因果与非因果成分。然后，设计跨模态解耦模块，在独立性和最小性约束下将表示分解为因果和非因果部分。进一步，通过特征级因果干预构造反事实输入，近似因果效应并抑制非因果相关。实验在NExT-GQA、Sports-QA和SPORTU-video上表明，CREDiT显著提升了答案准确率和推理可靠性，尤其在复杂体育场景中表现优异，且无需额外标注。

Innovations:

• 从因果视角深入形式化VideoQA推理中的虚假相关根源，并提出跨模态因果解耦方法，在独立性和最小性约束下显式分解表示。
• 提出基于特征级因果干预的反事实学习框架，通过干预因果和非因果变量实现更细粒度的证据解耦。
• 无需额外人工标注或大规模预训练，即可在多个基准上提升答案准确率和证据定位能力，增强模型可解释性和鲁棒性。

Methodology: 论文采用结构因果模型（SCM）对VideoQA过程进行因果抽象，识别出因果路径和非因果路径。在此基础上，设计跨模态表示解耦模块，通过时空编码和文本特征融合得到联合表示，并利用独立性和最小性约束将表示分解为因果成分Fc和非因果成分Fnc。为促进解耦，引入特征级因果干预：对因果变量进行干预构造反事实输入，使模型专注于因果效应；对非因果变量进行干预以隔离其虚假影响。最终模型基于因果成分和问题生成答案，实现鲁棒推理。

Key Results:

• 在NExT-GQA上达到70.4%的QA准确率，在Sports-QA上达到60.4%，在SPORTU-video上达到71.9%，均优于对比方法。
• 在NExT-GQA上的接地QA准确率显著提升，表明模型能更准确地定位因果视觉证据。
• 消融实验和可视化分析验证了因果解耦和反事实干预的有效性，模型在分布偏移下仍保持鲁棒性。

Tech Stack:

• 结构因果模型（SCM）
• 反事实推理（Counterfactual Reasoning）
• 特征级因果干预（Feature-level Causal Intervention）
• 独立性约束（Independence Constraint）
• 最小性约束（Minimality Constraint）
• 跨模态表示解耦（Cross-modality Representation Disentanglement）
• 时空编码（Spatio-temporal Encoding）
• 视频多模态大语言模型（Video MLLM）

Strengths:

• 从因果角度系统分析了VideoQA中虚假相关的根源，并设计了显式解耦机制，理论框架清晰。
• 提出的反事实干预方法无需额外标注，实用性强，可推广至多种VideoQA场景。
• 在多个基准上取得一致提升，尤其在复杂体育场景中表现突出，验证了方法的泛化能力。
• 不仅提升答案准确率，还改善了证据定位能力，增强了模型的可信度。

Limitations:

• 论文未详细讨论解耦模块的计算开销和训练效率，可能在大规模视频上存在效率瓶颈。
• 反事实干预基于特征级操作，其与真实因果效应的近似程度缺乏理论保证。
• 实验仅在三个数据集上进行，未在更多样化的场景（如开放域、长视频）中验证。
• 对非因果成分的建模较为简单，可能无法完全捕获复杂混淆因素。

Relevance To Keywords:

• Unify Models: 论文聚焦于VideoQA，属于多模态理解任务，与统一模型方向相关但未直接涉及生成与理解的统一。
• World Models: 论文通过因果建模和反事实推理模拟世界中的因果机制，与世界模型的思想高度契合。
• Representation Learning: 核心是学习因果解耦的表示，属于表征学习范畴。
• Model-Based RL: 论文未涉及强化学习，但因果建模和反事实推理在基于模型的RL中常用，有一定间接关联。
• 原生多模态大模型: 论文使用视频MLLM作为基础，但主要贡献在于因果解耦框架，而非模型架构创新。
• 多模态大模型的理解和生成一体化: 论文仅关注理解（问答），未涉及生成。
• 后训练: 论文方法可在预训练模型基础上进行微调，属于后训练阶段，但未强调后训练策略。

高光谱目标跟踪（HOT）利用高光谱视频（HSVs）所提供的丰富光谱信息，为目标跟踪提供了巨大的潜力。然而，如何从冗余的光谱带中高效提取和利用光谱信息仍是一个根本性挑战，这严重限制了模型的泛化能力和跟踪性能。此外，在动态场景中，目标常因遮挡和光照变化等因素而经历剧烈的外观变化。这些变化导致当前帧与模板之间产生显著的形变。此类差异对现有的时序建模方法构成了重大挑战。本文提出了一种名为 VLHTrack 的新型高光谱视觉 - 语言（VL）联合跟踪框架。具体而言，我们通过设计语言引导带选择模块（LBSM），引入语言先验以解决光谱冗余这一根本性挑战。借助大语言模型（LLM）的描述，LBSM 建立了语义到光谱的映射，从而减轻冗余并突出判别性光谱特征。随后，采用多模态视觉 - 语言融合模块，无缝集成视觉嵌入与语言嵌入，利用其互补优势学习连贯的多模态表示。为了解决长序列中的目标形变问题，本文提出了一种动态更新模板特征策略，并通过基于 Mamba 的动态模板更新（DTUM）模块实现。借助选择性状态空间建模，DTUM 学习帧间依赖以更新模板特征，确保模板特征在时序上下文指导下实现高效演化。在 HOT2023 和 HOT2024 数据集上的实验表明，VLHTrack 优于现有的最先进（SOTA）方法。

Hyperspectral object tracking (HOT) leverages the rich spectral information provided by hyperspectral videos (HSVs), offering substantial potential for object tracking. However, efficiently extracting and exploiting spectral information from redundant spectral bands remains a fundamental challenge, which severely limits model generalization and tracking performance. Moreover, in dynamic scenes, targets often experience drastic appearance variations due to factors such as occlusion and illumination changes. These variations lead to large deformations between the current frame and the template. Such discrepancies pose major challenges for existing temporal modeling approaches. In this work, we propose VLHTrack, a novel hyperspectral vision-language (VL) joint tracking framework. Specifically, we incorporate language priors to address the fundamental challenge of spectral redundancy by designing a Language-Guided Band Selection Module (LBSM). By leveraging Large Language Model (LLM) descriptions, LBSM establishes a semantic-to-spectral mapping that mitigates redundancy and accentuates discriminative spectral features. A Multi-Modal Vision-Language Fusion Module is then employed to seamlessly integrate visual and linguistic embeddings, harnessing their complementary advantages to learn coherent cross-modal representations. To address target deformation in long-term sequences, we propose a dynamic update template feature strategy implemented via the Dynamic Template Update with Mamba (DTUM) module. By leveraging selective state space modeling, DTUM learns inter-frame dependencies to update template feature, ensuring efficient template feature evolution guided by temporal context. Experiments on HOT2023 and HOT2024 demonstrate that VLHTrack outperforms state-of-the-art (SOTA) methods.

评分理由: 论文核心为高光谱视觉 - 语言跟踪，MultiModal 和 MLLM 相关性高（涉及视觉与语言融合及大语言模型应用）；Visual Encoder 和 Unify Models 中度相关（涉及视觉特征提取和模态统一）；Tokenizer 低相关（隐含于 LLM 中但未作为核心贡献）；World Models 和 model-based RL 完全不相关（未涉及强化学习或环境建模）。作者列表中未包含指定的专家作者，无额外加分。加权总分计算为 (3+2+4+1+7+8+1)*1.5 = 39.0，高于动态及格分 27.8。

Hyperspectral Object Tracking, Vision-Language Fusion, Language-Guided Band Selection, Dynamic Template Updating, Mamba, Large Language Model, Cross-modal Representation

Chinese Title: 基于语义融合与上下文模板更新的视觉语言引导高光谱目标跟踪

Summary: 高光谱目标跟踪（HOT）利用丰富的光谱信息，但面临光谱冗余和动态场景中目标外观剧烈变化的问题。本文提出VLHTrack框架，首次将视觉语言（VL）引入HOT。通过语言引导波段选择模块（LBSM），利用大语言模型（LLM）生成的语义描述建立语义到光谱的映射，减少冗余并突出判别性光谱特征。多模态视觉-语言融合模块整合视觉和语言嵌入，学习跨模态表示。针对长期跟踪中的目标形变，提出基于Mamba的动态模板更新模块（DTUM），通过选择性状态空间建模捕获帧间依赖，动态更新模板特征。在HOT2023和HOT2024数据集上，VLHTrack超越现有最先进方法。

Innovations:

• 首次将视觉语言（VL）联合框架应用于高光谱目标跟踪，利用LLM生成的语义先验指导光谱信息提取。
• 设计语言引导波段选择模块（LBSM），结合熵分析、结构冗余和语义相似度，实现语义到光谱的映射，克服传统数据驱动波段选择的局限性。
• 提出基于Mamba的动态模板更新模块（DTUM），利用选择性状态空间模型捕获帧间依赖，动态更新模板特征以应对目标形变。
• 构建多模态视觉-语言融合模块，无缝整合视觉和语言嵌入，实现互补优势的跨模态表示学习。

Methodology: 首先，利用LLM从初始帧生成目标语言描述作为语义先验。LBSM模块通过熵分析去除低信息波段，通过结构冗余建模消除冗余，再通过语言嵌入与光谱特征的语义相似度引导选择判别性波段子集。多模态融合模块将视觉特征与语言特征进行对齐和融合。DTUM模块采用Mamba的选择性状态空间模型，对帧间时序依赖进行建模，动态更新模板特征，保持时序一致性。整体框架以Siamese网络为基础，结合交叉注意力机制实现跟踪。

Key Results:

• 在HOT2023和HOT2024数据集上，VLHTrack在多个评估指标（如成功率、精确率）上均优于现有SOTA方法。
• 消融实验验证了LBSM和DTUM模块的有效性，表明语言引导波段选择和动态模板更新显著提升跟踪性能。
• 定性结果展示了VLHTrack在遮挡、光照变化、相似目标干扰等复杂场景下的鲁棒性。

Tech Stack:

• 大语言模型（LLM）用于生成目标语义描述
• Mamba（选择性状态空间模型）用于时序建模
• 熵分析（Entropy Analysis）用于波段信息量评估
• 结构冗余建模（Structural Redundancy Modeling）
• 语义相似度度量（Semantic Similarity）
• 交叉注意力机制（Cross-Attention）
• Siamese网络架构
• 多模态特征融合

Strengths:

• 创新性地将语言先验引入高光谱跟踪，解决了光谱冗余和语义缺失问题。
• LBSM实现了知识驱动的波段选择，比传统数据驱动方法更具可解释性和目标感知能力。
• DTUM利用Mamba高效建模长时序依赖，动态更新模板适应外观变化。
• 在多个公开数据集上取得最优性能，验证了方法的有效性和泛化能力。

Limitations:

• 依赖LLM生成的语言描述质量，若描述不准确可能影响波段选择和跟踪性能。
• LBSM和DTUM增加了模型复杂度，可能带来额外的计算开销，实时性有待验证。
• 当前仅在HOT2023和HOT2024数据集上评估，缺乏更多场景的泛化测试。
• 未深入探讨语言描述更新策略对长期跟踪的影响。

Relevance To Keywords:

• 原生多模态大模型：论文利用LLM生成语言描述，并与视觉特征融合，体现了多模态大模型在跟踪任务中的应用。
• 多模态大模型的理解和生成一体化：LLM用于生成语义描述，同时模型理解视觉和语言信息，实现理解与生成的协同。
• 表征学习：通过语义到光谱的映射和跨模态融合，学习更鲁棒的联合表征。
• 世界模型：动态模板更新模块通过时序建模捕获环境变化，可视为对世界动态的隐式建模。
• 强化学习：论文未直接使用强化学习，但动态模板更新可类比为基于时序反馈的决策过程。
• 后训练：LLM作为先验知识，模型在跟踪任务上进行微调，属于后训练范式。

大语言模型 (LLM) 为语音理解提供了强大的推理骨干，但将连续声学信号整合到冻结的 LLM 中仍然具有挑战性。现有的语音到 LLM 接口通常运行在两个极端：要么强制近乎离散的 token 对齐，这有利于转录但丢失了副语言信息，要么学习无约束的连续表示，这可能会偏离 LLM 的输入空间并降低自回归解码性能。在这项工作中，我们提出了凸门 (C-Gate)，一种语音到 LLM 的桥梁，通过架构凸包约束将所有语音表示约束于 LLM 的输入 embedding 流形内。具体来说，每个帧被表示为 token embedding 的凸组合，确保与预训练 LLM 的兼容性，同时保留连续表达能力。在自动语音识别 (ASR) 和情感识别方面，C-Gate 实现了强大的联合性能，将 LibriSpeech 词错误率 (WER) 相对提高了 48.7%，同时匹配或超越单任务情感准确率。超越性能，我们的分析揭示了一个关键见解：信息并非由离散 token 的身份携带，而是由 embedding 空间中的时间分辨轨迹携带。因果干预证实了轨迹结构以及与预训练 embedding 流形的对齐对于性能均至关重要。这些结果表明，几何特性而非 token 离散性是语音到 LLM 接口中的根本设计因素，并为研究冻结 LLM 中的多模态整合提供了受控范式。我们发布了检查点、样本级输出、机制转储及干预套件以供复现。

Large language models (LLMs) provide a powerful reasoning backbone for speech understanding, but integrating continuous acoustic signals into a frozen LLM remains challenging. Existing speech-to-LLM interfaces typically operate at two extremes: either enforcing near-discrete token alignment, which benefits transcription but loses paralinguistic information, or learning unconstrained continuous representations, which can drift away from the LLM's input space and degrade autoregressive decoding. In this work, we propose Convex Gate (C-Gate), a speech-to-LLM bridge that constrains all speech representations to lie within the LLM's input embedding manifold with an architectural convex-hull constraint. Concretely, each frame is represented as a convex combination of token embeddings, ensuring compatibility with the pretrained LLM while preserving continuous expressivity. Across automatic speech recognition (ASR) and emotion recognition, C-Gate achieves strong joint performance, improving LibriSpeech WER by up to 48.7% relative while matching or exceeding single-task emotion accuracy. Beyond performance, our analysis reveals a key insight: information is not carried by discrete token identities, but by time-resolved trajectories in the embedding space. Causal interventions confirm that both the trajectory structure and alignment to the pretrained embedding manifold are critical for performance. These results suggest that geometry, rather than token discreteness, is the fundamental design factor in speech-to-LLM interfaces, and provide a controlled regime for studying multimodal integration in frozen LLMs. We release the checkpoint, per-sample outputs, mechanism dumps, and intervention suite for replication.

评分理由: The paper focuses on integrating speech into LLMs using a convex gate method, aligning well with 'MultiModal' (speech+text) and 'Tokenizer' (token embeddings/alignment) concepts. It partially relates to 'Unify Models' by unifying representation spaces. However, it lacks visual components ('Visual Encoder'), world modeling ('World Models'), or reinforcement learning ('model-based RL'), and is specific to speech rather than general MLLM.

Speech LLMs, Convex Gate, Embedding Manifold, Multimodal Integration, Continuous Representations, Token Embeddings, Automatic Speech Recognition

Chinese Title: 文本就是一切吗？文本作为语音大语言模型的通用信息瓶颈

Summary: 本文针对语音大语言模型（Speech LLMs）中连续声学信号与冻结大语言模型（LLM）集成困难的问题，提出了一种名为Convex Gate（C-Gate）的语音-LLM桥接方法。现有方法要么强制离散化导致副语言信息丢失，要么学习无约束连续表示导致偏离LLM输入空间。C-Gate通过凸包约束，将每一帧语音表示为LLM输入嵌入的凸组合，确保表示位于LLM预训练的嵌入流形内，同时保留连续表达能力。在自动语音识别（ASR）和情感识别联合任务中，C-Gate在LibriSpeech上将词错误率（WER）相对降低高达48.7%，同时情感识别准确率与单任务基线持平或更优。因果干预实验表明，性能的关键在于时间有序的轨迹结构及其与预训练嵌入流形的对齐，而非离散标记本身。该工作揭示了几何对齐而非离散性是语音-LLM接口的核心设计因素。

Innovations:

• 提出几何约束的语音-LLM接口C-Gate，通过凸包约束将语音表示限制在LLM输入嵌入流形内，解决了离散锁定和表示漂移的权衡问题。
• 实现了语义与副语言信息的联合高效传递，在ASR和情感识别任务上均取得显著提升，且多任务模型性能优于单任务基线。
• 通过因果干预实验（帧打乱、随机基替换、音频替换）揭示了时间有序的凸包轨迹是信息传递的关键通道，而非离散标记身份。
• 建立了受控的ASR-副语言迁移评估体系，并提出了更严格的语音推理基准报告协议，包括源重叠检查和音频替换控制。

Methodology: 论文采用以下技术路线：1）使用冻结的Whisper-large-v3作为语音编码器，Qwen2.5-7B-Instruct作为冻结LLM；2）设计C-Gate桥接模块，通过Top-K Q-Former对下采样语音特征与LLM词嵌入进行全词汇交叉注意力，选择Top-16支持集并计算凸组合权重；3）训练目标包括ASR的交叉熵损失和情感识别的分类损失，采用动态重加权策略处理多任务；4）进行三种因果干预实验（音频替换、帧打乱、随机基替换）验证凸包假设。

Key Results:

• 双任务（ASR+情感）C-Gate-2T模型在LibriSpeech上将自回归WER从7.76%降至4.78%（相对降低38.4%），RAVDESS情感识别准确率达97.1%。
• 三任务（ASR+情感+推理）C-Gate-3T模型进一步将WER降至3.98%（相对降低48.7%），情感准确率仅下降6.6个百分点。
• 因果干预实验证实：随机基替换（保持码本大小和维度）导致性能严重下降，而帧打乱和音频替换同样破坏性能，表明时间有序的凸包轨迹是关键。
• C-Gate在保持连续表达性的同时，消除了表示漂移，并保留了LLM分析工具（如logit-lens、注意力检查）的直接可解释性。

Tech Stack:

• Whisper-large-v3（语音编码器）
• Qwen2.5-7B-Instruct（冻结LLM）
• Q-Former（交叉注意力模块）
• 凸组合（Convex Combination）
• Top-K支持选择（Top-16）
• 交叉熵损失（ASR）
• 分类损失（情感识别）
• 动态重加权损失（多任务）
• 因果干预实验（音频替换、帧打乱、随机基替换）
• LibriSpeech（ASR数据集）
• RAVDESS（情感识别数据集）

Strengths:

• 提出了新颖的几何约束机制，在离散与连续表示之间取得了优雅平衡，理论清晰且实现简洁。
• 实验设计严谨，通过多任务联合训练和因果干预实验深入揭示了表示几何的关键作用。
• 在ASR和情感识别任务上均取得显著性能提升，验证了方法的有效性和通用性。
• 提供了完整的可复现资源（检查点、样本输出、机制转储、干预套件），有利于后续研究。
• 对语音-LLM接口的设计原则提供了深刻见解，将关注点从离散性转向几何对齐。

Limitations:

• 实验规模相对有限（960小时LibriSpeech、47小时情感数据、707M可训练参数），在更大规模数据和模型上的泛化性有待验证。
• 三任务模型中情感性能下降6.6个百分点，表明多任务干扰问题尚未完全解决。
• 推理任务仅作为压力测试，未充分验证音频对推理的实际贡献，存在文本捷径风险。
• 方法依赖于LLM词嵌入表，对于词汇表较小的LLM可能限制表示能力。
• 凸组合约束可能限制极端副语言特征的表达能力，如强烈情感或特殊音效。

Relevance To Keywords:

• 原生多模态大模型：论文研究语音与文本模态的深度融合，提出C-Gate桥接方法，直接相关。
• 多模态大模型的理解和生成一体化：C-Gate支持ASR、情感识别和推理任务，体现理解与生成的统一。
• 表征学习：核心创新在于通过凸组合约束学习与LLM流形对齐的语音表示，属于表征学习范畴。
• 世界模型：论文未直接涉及世界模型，但语音理解是构建世界模型的重要感知通道。
• 模型-Based RL：论文未涉及强化学习，但提出的几何约束思想可启发RL中状态表示的设计。
• 后训练：论文在冻结LLM基础上训练桥接模块，属于后训练范式，与关键词高度相关。

自动驾驶中的重识别（ReID）通常被建模为一种视觉匹配问题，其中车辆、行人和骑行者的观测值通过学习到的外观嵌入在时间、帧或相机视图之间进行关联，通常辅以运动、几何或多模态线索。然而，纯视觉表示可能对视角、遮挡、光照以及传感器域差异敏感，从而限制了它们在复杂驾驶场景中的可解释性和鲁棒性。我们提出了一项基于零样本流程的基线研究，利用视觉 - 语言模型（VLMs）生成检测到的交通参与者的文本描述，并评估这些描述是否支持跨观测的身份匹配。与仅依赖低层视觉相似性不同，所提出的方法通过结构化语义属性来表示每个对象，包括类别、颜色、形状、姿态、可见部分、空间上下文以及显著视觉特征。本研究为自动驾驶场景中的基于语言的重识别提供了初步基准，讨论并评估了当前视觉 - 语言模型（VLMs）在此任务上的优势与局限性。结果表明，零样本语义描述可以有效支持对象重识别，达到了与监督式 CNN 基线相当的检索性能，同时通过显式身份线索提供了更高的可解释性。然而，实验也揭示了若干重要挑战，包括视角间的属性不一致以及视觉上相似实例之间的细粒度判别能力有限。

Re-Identification (ReID) in autonomous driving is typically formulated as a visual matching problem, where observations of vehicles, pedestrians, and cyclists are associated across time, frames, or camera views using learned appearance embeddings, often complemented by motion, geometric, or multimodal cues. However, purely visual representations may be sensitive to viewpoint, occlusion, illumination, and sensor-domain variations, limiting their interpretability and robustness in complex driving scenes. We propose a baseline study of a zero-shot pipeline using Vision-Language Models (VLMs) to generate textual descriptions of detected traffic participants and evaluate whether these descriptions can support identity matching across observations. Instead of relying only on low-level visual similarity, the proposed formulation represents each object through structured semantic attributes, including category, color, shape, pose, visible parts, spatial context, and distinctive visual cues. This study provides an initial benchmark for language-based re-identification in autonomous-driving scenarios, discussing and evaluating the strengths and limitations of current VLMs for this task. Results demonstrate that zero-shot semantic descriptions can support effective object re-identification, achieving retrieval performance comparable to a supervised CNN baseline while offering greater interpretability through explicit identity cues. However, the experiments also reveal important challenges, including attribute inconsistency across viewpoints and limited fine-grained discrimination between visually similar instances.

评分理由: 论文核心在于使用视觉语言模型（MLLM）进行零样本语义再识别，因此 MLLM 和多模态相关度高（8 分）。VLM 涉及视觉与语言的统一，与 Unify Models 中度相关（4 分）。Tokenizer 和视觉编码器是模型组件但非研究焦点（2 分）。世界模型和基于模型的强化学习与本文任务无关（1 分和 0 分）。作者列表中未包含指定专家，无额外加分。总加权得分为 37.5，高于及格线 27.8。

Zero-Shot, Semantic Re-Identification, Autonomous Driving, Vision-Language Models, Textual Descriptions, Attribute Matching, VLM Baseline

Chinese Title: 面向自动驾驶的零样本语义重识别：一项视觉语言模型基线研究

Summary: 本文提出了一种零样本语义重识别（ReID）基线方法，用于自动驾驶场景。传统ReID依赖视觉外观嵌入，易受视角、遮挡、光照等影响。作者利用视觉语言模型（VLM）为检测到的交通参与者（车辆、行人等）生成结构化文本描述，包括类别、颜色、形状、姿态、可见部件、空间上下文和独特视觉线索，然后将描述编码为文本嵌入，通过余弦相似度进行身份匹配。实验在KITTI-ReID数据集上进行，评估了多种VLM（Qwen3.5系列、Gemma 4）和文本嵌入模型。结果表明，零样本语义描述能达到与监督CNN基线相当的检索性能，且具有更好的可解释性。但研究也揭示了挑战：跨视角属性不一致、细粒度区分能力有限。该工作为自动驾驶中基于语言的可解释重识别提供了基线基准。

Innovations:

• 首次提出零样本语义重识别基线，利用VLM生成结构化文本描述替代传统视觉嵌入进行身份匹配。
• 设计领域感知的提示策略，引导VLM输出稳定、判别性强的属性（如车辆体型、行人服饰），减少描述变异。
• 在自动驾驶ReID任务中系统比较多种VLM和文本嵌入模型的零样本性能，揭示其优势与局限。
• 提供可解释的中间表示，通过显式身份线索支持故障诊断和人机交互分析。

Methodology: 论文采用三阶段流水线：1）从KITTI数据集中裁剪单个目标图像；2）使用VLM（如Qwen3.5、Gemma 4）根据精心设计的提示生成单行文本描述，提示强调稳定身份属性（如形状、颜色、标记、配件等），并避免模糊语言；3）使用文本编码器（如Embedding Gemma、Nomic Em）将描述映射为嵌入向量，通过余弦相似度计算查询与图库之间的相似度，进行检索排序。所有模型均以零样本方式使用，无任何微调或适配。

Key Results:

• 零样本语义描述在KITTI-ReID上取得了与监督CNN基线相当的检索性能。
• 较大的VLM（如Qwen3.5 27B、Gemma 4 E2B）通常生成更准确、判别性更强的描述。
• 文本嵌入模型的选择对性能有显著影响，Embedding Gemma 300M表现较好。
• 存在跨视角属性不一致问题，同一目标在不同视角下描述可能变化。
• 细粒度区分能力有限，视觉相似的不同目标（如同色同款车辆）难以通过语义描述区分。

Tech Stack:

• 视觉语言模型：Qwen3.5 (0.8B, 9B Q4-K-M, 27B Q4-K-M), Gemma 4 E2B
• 文本嵌入模型：Embedding Gemma 300M, Nomic Em
• 数据集：KITTI-ReID（基于KITTI跟踪数据集构建）
• 相似度度量：余弦相似度
• 提示工程：结构化提示，指定属性顺序和内容约束

Strengths:

• 提出新颖的零样本语义重识别范式，无需训练即可实现身份匹配，具有良好的可解释性。
• 系统评估了多种VLM和文本嵌入模型，为后续研究提供基线参考。
• 提示设计考虑了自动驾驶场景特点（车辆/行人属性差异），增强了描述判别力。
• 实验设计严谨，与监督CNN基线对比，客观展示了语义方法的潜力与不足。

Limitations:

• 零样本VLM生成的描述存在跨视角不一致性，影响匹配稳定性。
• 细粒度区分能力有限，难以区分视觉高度相似的目标（如同型号同色车辆）。
• 依赖VLM的生成质量，小模型可能产生不准确或模糊的描述。
• 仅使用单行文本描述，可能丢失部分细节信息；未探索多模态融合策略。
• 实验仅在KITTI数据集上进行，泛化性有待验证。

Relevance To Keywords:

• 原生多模态大模型：论文直接使用VLM（多模态大模型）进行图像到文本的生成，属于原生多模态应用。
• 表征学习：通过文本嵌入将语义描述转化为向量表示，用于检索，涉及表征学习。
• 世界模型：虽然论文未直接构建世界模型，但语义描述可视为对场景中物体状态的抽象表示，有助于场景理解。
• 模型后训练：论文采用零样本方式，未涉及后训练，但研究结果可指导后续微调或适配。
• 强化学习：论文未涉及强化学习，但语义重识别可辅助自动驾驶中的决策与规划。

思维链（CoT）提升了大语言模型（LLMs）的性能，并已被扩展至多模态大语言模型（MLLMs）。更近期的工作进一步从基于文本的多模态推理转向交错模态推理，其中中间步骤可以同时纳入文本理由和视觉证据。在这项工作中，我们提出一个更大胆且更具雄心的想法：仅凭图像能否作为语言和多模态任务的推理媒介？为了探索这一点，我们提出了光学推理（optical reasoning），将图像视为一种独立的推理媒介。我们通过两种变体实现了这一概念：基于排版的光学推理（typographic-based optical reasoning），旨在优化视觉布局以紧凑地呈现理由；以及基于图形的光学推理（graphical-based optical reasoning），将文本和图形元素组合成结构化的视觉理由。在数学、科学及交错模态推理基准测试中，光学推理可以匹配甚至超越传统文本推理，同时将语言任务中的推理 token 平均减少 28.57%，多模态任务中减少 16%，实现了文本推理 1.96 倍的 token 效率。这些结果表明，图像能够高效且有效地编码理由，同时为推理提供统一的视觉画布。

Chain-of-Thought (CoT) improves the performance of Large Language Models (LLMs) and has been extended to Multimodal Large Language Models (MLLMs). More recent work further moves from text-based multimodal reasoning toward interleaved-modal reasoning, where intermediate steps can incorporate both textual rationales and visual evidence. In this work, we propose a bolder and more ambitious idea: could images alone serve as the reasoning medium for both language and multimodal tasks? To explore this, we propose optical reasoning, which treats images as a standalone reasoning medium. We instantiate this concept with two variants: typographic-based optical reasoning, which optimizes visual layouts for compact rationale rendering, and graphical-based optical reasoning, which composes text and graphical elements into structured visual rationales. Across mathematical, scientific, and interleaved-modal reasoning benchmarks, optical reasoning can match or even exceed traditional text reasoning while reducing reasoning tokens by an average of 28.57% on language tasks and 16% on multimodal tasks, achieving 1.96 times the token efficiency of text reasoning. These results show that images can effectively and efficiently encode rationales while providing a unified visual canvas for reasoning.

评分理由: The paper is highly relevant to MLLM and MultiModal as it explicitly operates within Multimodal Large Language Models and interleaved-modal reasoning. It addresses token efficiency but does not focus on tokenizer design (Tokenizer low). It utilizes images but the core contribution is reasoning layout rather than visual encoding (Visual Encoder low). It unifies the reasoning medium but not model architecture (Unify Models low). There is no connection to World Models or Model-Based RL.

Optical Reasoning, Multimodal Large Language Models, Chain-of-Thought, Visual Reasoning, Token Efficiency, Interleaved-modal, Typographic-based, Graphical-based

Chinese Title: 光学推理：将图像重新思考为超越文本的表达性推理媒介

Summary: 本文提出光学推理（Optical Reasoning）概念，将图像作为独立的推理媒介，替代传统文本推理中的中间推理步骤。作者实例化了两种变体：基于排印的光学推理（T-OR）通过优化文本宽度、字体大小等布局参数，将推理内容紧凑地渲染为图像；基于图形的光学推理（G-OR）采用步骤对齐的组合策略，将文本和图形元素组织成结构化视觉推理图。在数学推理（AquaRat、GSM8K）、科学推理（GPQA Diamond、ScienceQA）和交错模态推理（Zebra-CoT）五个基准上，使用GPT-5.1、Gemini 2.5 Flash、Claude Sonnet 4.5、Kimi K2.5、Qwen3-VL-235B五个前沿多模态大模型进行评估。结果表明，光学推理在多数情况下匹配或超越文本推理的准确率，同时平均减少28.57%（语言任务）和16%（多模态任务）的推理token，每个视觉推理token的效率是文本推理token的1.96倍。代码已开源。

Innovations:

• 首次提出将图像作为独立推理媒介的概念，超越传统文本推理和交错模态推理范式。
• 设计基于排印的光学推理（T-OR），通过可控制推理token预算的布局搜索策略最大化信息密度。
• 设计基于图形的光学推理（G-OR），利用步骤对齐组合策略将文本与图形元素统一到视觉画布中。
• 在多个前沿多模态大模型上验证了图像作为推理媒介的有效性和效率，提出边际准确率增益（MAG）指标衡量token效率。

Methodology: 首先形式化定义文本推理和光学推理，将推理序列通过渲染器映射为图像。T-OR使用XeLaTeX渲染器，在候选宽度集和字体大小集中搜索最优布局，通过填充率和布局惩罚评分选择满足token预算的紧凑可读图像。G-OR使用Nano Banana 2工具，通过结构化提示将推理分解为步骤，每个步骤对应一个视觉面板，保留关键文本和公式，用图形元素和空间布局组织推理。评估时，将图像输入多模态大模型，由视觉编码器提取视觉推理token，模型基于问题和视觉推理token生成答案。

Key Results:

• 在语言任务上，T-OR在7个模型-基准对中匹配或超越文本推理，平均减少28.57%推理token；在落后情况下平均准确率差距仅0.027，减少20% token。
• 在多模态任务上，T-OR在5个模型-基准对中匹配或超越文本推理，平均减少16%推理token；落后时平均准确率差距仅0.014，减少32% token。
• 边际准确率增益（MAG）指标显示，每个视觉推理token的效率是文本推理token的1.96倍。
• G-OR在部分任务上进一步提升了准确率，展示了统一视觉画布的优势。

Tech Stack:

• XeLaTeX（用于排印渲染）
• Nano Banana 2（用于图形渲染）
• 布局搜索算法（粗搜索+细搜索，基于填充率和布局惩罚评分）
• 边际准确率增益（MAG）指标（公式14）
• 多模态大模型：GPT-5.1、Gemini 2.5 Flash、Claude Sonnet 4.5、Kimi K2.5、Qwen3-VL-235B

Strengths:

• 创新性强，首次系统探索图像作为独立推理媒介的可行性。
• 实验全面，覆盖5个基准和5个前沿模型，结果具有说服力。
• 效率提升显著，token减少同时保持或提升准确率。
• 两种变体分别展示了紧凑编码和结构化视觉推理的优势，具有实用价值。
• 代码开源，可复现。

Limitations:

• 依赖于多模态大模型的视觉理解能力，若模型视觉编码器较弱可能影响性能。
• 未深入分析图像质量（如分辨率、渲染清晰度）对推理的影响。
• G-OR的图形渲染依赖外部工具和提示设计，可能引入额外成本和不稳定性。
• 实验仅在英文数据集上进行，中文或其他语言场景未验证。
• 未与更复杂的交错模态推理方法（如ICoT、MVoT）进行直接对比。

Relevance To Keywords:

• 原生多模态大模型：论文直接使用多模态大模型处理图像推理，与原生多模态理解紧密相关。
• 多模态大模型的理解和生成一体化：光学推理要求模型同时理解图像中的文本和图形，并生成答案，体现理解与生成的一体化。
• 表征学习：图像作为推理媒介涉及视觉表征学习，如何有效编码推理步骤是表征学习的问题。
• 世界模型：通过图形化推理（G-OR）构建结构化视觉推理图，可视为一种简化的世界模型表示。
• 强化学习：论文未直接涉及强化学习，但后训练阶段可结合光学推理优化模型推理能力。
• 后训练：光学推理可作为后训练阶段的数据增强或推理策略，提升模型效率。

张量程序优化对于现代机器学习系统至关重要，但其搜索空间巨大。现有的自动调度器通过学习成本模型来降低测量成本，但它们通常将每个候选方案评估为静态代码快照，忽略了产生该方案的调度轨迹。这使得它们对动作依赖不敏感，且易受表面代码变化的影响。我们提出了一种基于世界模型的评估器，它将调度评估建模为基于程序状态的动作条件化潜在动力学。从初始程序开始，它在连续潜在空间中利用轻量级转换模型展开调度动作，避免了昂贵的 AST 突变和重复代码编码。最终的动态表示与动作和硬件特征相结合，用于对候选方案进行排序。该方法在 TVM AutoScheduler 中实现，在相同的 64 次试验预算下，相比 Ansor，在 GPU 上将代表性子图延迟提高了 1.37 倍，在 CPU 上提高了 1.54 倍。它在使用 10 倍更少测量次数的情况下，几何平均性能与 Ansor-10K 的差异在 2.2% 以内，并且相比 PyTorch/PyTorch-opt(cuDNN)，全模型推理加速了 4.61 倍/3.67 倍（几何平均）。

Tensor program optimization is essential for modern machine learning systems, but its search space is enormous. Existing auto-schedulers reduce measurement cost with learned cost models, yet they usually evaluate each candidate as a static code snapshot, ignoring the schedule trajectory that produced it. This makes them insensitive to action dependencies and vulnerable to superficial code variations. We propose a \emph{world-model-inspired} evaluator that models schedule evaluation as action-conditioned latent dynamics over program states. Starting from the initial program, it rolls out scheduling actions in a continuous latent space with a lightweight transition model, avoiding expensive AST mutation and repeated code encoding. The final dynamic representation is combined with action and hardware features to rank candidates. Implemented in TVM AutoScheduler, our method improves representative-subgraph latency over Ansor by 1.37$\times$ on GPU and 1.54$\times$ on CPU under the same 64-trial budget. It also matches Ansor-10K within 2.2% geometric mean using 10$\times$ fewer measurements, and accelerates full-model inference over PyTorch/PyTorch-opt(cuDNN) by 4.61$\times$/3.67$\times$ geometric mean.

评分理由: 论文标题和摘要明确使用了'World Models'概念，并通过建模潜在动态来评估调度轨迹，这与'World Models'和'model-based RL'的核心概念高度相关。然而，该论文专注于编译器优化，不涉及多模态、大语言模型、分词器或视觉编码器，因此'Unify Models'、'Tokenizer'、'Visual Encoder'、'MLLM'和'MultiModal'相关性极低。作者列表中未包含指定的专家。

Compiler World Models, Latent Dynamics, Tensor Program Search, Schedule Trajectory, Action-conditioned, TVM AutoScheduler, Model-based RL, Efficient Optimization

Chinese Title: 迈向编译器世界模型：学习潜在动态以实现高效张量程序搜索

Summary: 本文针对张量程序优化中搜索空间巨大、硬件测量昂贵的问题，提出了一种基于世界模型（World Model）的候选程序评估框架。传统方法将每个候选程序视为静态代码快照，忽略了调度决策的逐步变换过程，导致模型易受语法噪声干扰。受世界模型启发，本文将编译器优化建模为动作条件下的潜在状态转移过程：初始程序状态通过调度动作序列在连续潜在空间中逐步演化，最终状态表示用于候选程序排序。该框架在TVM AutoScheduler中实现，包含状态编码器、动作条件转移模型和排序代价模型。在Intel Xeon Gold 6430 CPU和NVIDIA RTX 4090 GPU上的实验表明，在相同64次试验预算下，该方法在GPU和CPU上分别比Ansor提升1.37倍和1.54倍的代表性子图延迟；使用1K次测量即可达到Ansor-10K的搜索质量，并在全模型推理上相比PyTorch/cuDNN实现最高58.61倍加速。

Innovations:

• 首次将世界模型视角引入张量程序优化，将调度评估建模为动作条件下的潜在状态演化过程。
• 构建了基于TVM/TenSet的状态预测数据集，包含调度动作序列和中间状态轨迹，用于学习编译器状态转移。
• 提出在连续潜在空间中模拟状态转移的轻量级框架，避免了显式的AST变换和文本编码，显著降低评估成本。
• 在TVM AutoScheduler中实现了完整的潜在动态评估框架，包括状态编码器、转移模型和排序模型。
• 实验证明该方法在相同搜索预算下显著优于Ansor，且仅用1/10的测量次数即可达到相近的搜索质量。

Methodology: 本文采用世界模型框架，将编译器优化环境视为动态系统，TensorIR程序作为状态，调度变换作为动作。首先，通过状态编码器将初始程序映射到连续潜在空间；然后，利用动作条件转移模型逐步预测每个调度动作后的潜在状态；最后，将预测的终端状态表示与动作特征、硬件特征结合，通过排序代价模型对候选程序进行排名。训练数据来自TVM调优日志，构建了包含预调度状态、动作序列、中间状态和后调度状态的对齐轨迹。整个框架在TVM AutoScheduler中实现，使用学习到的编码器、转移模型和排序模型进行候选评估。

Key Results:

• 在GPU上，代表性子图延迟相比Ansor提升1.37倍（几何平均），在CPU上提升1.54倍。
• 在21/22个GPU子图和22/22个CPU子图上优于Ansor，最高加速比分别达2.40倍和3.76倍。
• 1K次搜索试验的算术平均延迟略优于Ansor-10K，几何平均延迟差距在2.2%以内，测量次数减少10倍。
• 全模型推理相比PyTorch实现4.61倍几何平均加速，最高58.61倍；相比PyTorch-opt(cuDNN)实现3.67倍几何平均加速，最高35.50倍。

Tech Stack:

• TVM AutoScheduler
• TensorIR中间表示
• 世界模型（World Model）
• 潜在状态编码器（Latent State Encoder）
• 动作条件转移模型（Action-Conditioned Transition Model）
• 排序代价模型（Ranking Cost Model）
• LSTM或Transformer（用于动作序列建模）
• TenSet数据集
• Intel Xeon Gold 6430 CPU
• NVIDIA RTX 4090 GPU

Strengths:

• 创新性地将世界模型应用于编译器优化，提供了新的理论视角。
• 有效解决了静态评估对语法噪声敏感的问题，提升了评估鲁棒性。
• 显著降低了自动调优的硬件测量成本，实现了10倍效率提升。
• 在多种硬件和模型上验证了方法的通用性和有效性，加速效果显著。
• 框架设计轻量，避免了显式AST变换，适合实际部署。

Limitations:

• 方法依赖于TVM生态和TensorIR表示，可能难以直接迁移到其他编译器框架。
• 训练数据需要大量调优日志，数据收集成本较高。
• 潜在状态的可解释性有限，难以直观理解模型内部决策。
• 实验仅覆盖CPU和GPU平台，未涉及其他硬件（如NPU、FPGA）。
• 对于极长调度序列，潜在状态预测的累积误差可能影响评估精度。

Relevance To Keywords:

• Unify Models: 本文未直接涉及多模态统一模型，但世界模型框架具有统一不同表示（程序状态、动作、硬件特征）的潜力。
• World Models: 核心创新，将世界模型应用于编译器优化，学习潜在状态转移动态。
• Representation Learning: 通过状态编码器学习程序状态的连续潜在表示，抑制语法噪声。
• Model-Based RL: 方法本质是基于模型的强化学习，使用学习到的转移模型模拟环境动态。
• 原生多模态大模型: 不直接相关，但潜在表示学习的思想与多模态表征学习有共通之处。
• 多模态大模型的理解和生成一体化: 不直接相关。
• 表征学习: 核心组成部分，通过编码器学习程序状态的有效表征。
• 世界模型: 核心创新点，全文围绕世界模型视角展开。
• 强化学习: 方法框架与基于模型的强化学习高度相关，但本文未显式使用强化学习算法。
• 后训练: 不直接相关，但模型训练过程可视为后训练阶段。

斜视是一种常见的眼部疾病，需要细粒度亚型诊断以支持个体化治疗规划。然而，现有的深度学习方法主要提供诊断预测，却缺乏透明的推理过程；尽管近期的大视觉语言模型（LVLMs）在联合图像理解和报告生成方面展现出潜力，但在这一证据敏感且规则驱动的医学任务中，它们仍极易产生幻觉。为应对这些挑战，我们提出 MAGIS（一种基于证据的多智能体推理可解释斜视诊断框架）。MAGIS 将黑盒端到端生成转化为一个结构化的诊断过程，该过程包含候选假设生成、双证据约束上下文、基于证据的纠正验证以及报告生成四个阶段。具体而言，我们引入了一种双证据约束上下文（DECC）机制，该机制将来自九个标准注视位置照片的视觉证据与基于证据的临床诊断规则共同组织成约束上下文，以实现可靠的诊断推理。我们还开发了一种基于证据的纠正验证（EBCV）机制，用于验证当前的诊断假设是否得到视觉证据、基于热图的视觉线索以及基于证据的临床诊断规则的支持。当检测到不一致时，将触发假设细化过程。在细粒度斜视基准上的实验表明，MAGIS 不仅显著优于其他最先进的诊断系统，将加权 F1 分数从 72.0% 提升至 91.3%，还显著提高了所生成诊断报告的临床可靠性（包括一致性、对齐性和完整性）。这些结果表明，MAGIS 为构建准确、基于证据且具有临床可解释性的斜视诊断系统提供了一种有效方案。

Strabismus is a common ocular disorder that requires fine-grained subtype diagnosis for individualized treatment planning. However, existing deep learning methods mainly provide diagnostic predictions without transparent reasoning, while recent large vision-language models (LVLMs), although promising for joint image understanding and report generation, remain highly prone to hallucination in this evidence-sensitive and rule-driven medical task. To address these challenges, we propose MAGIS, an evidence-based Multi-AGent reasoning for Interpretable Strabismus diagnosis framework. MAGIS transforms black-box end-to-end generation into a structured diagnostic process consisting of candidate hypothesis generation, dual-evidence constrained context, evidence-based corrective verification, and report generation. Specifically, we introduce a Dual-Evidence Constrained Context (DECC) mechanism that jointly organizes visual evidence from the photograph of the nine cardinal positions of gaze and evidence-based clinical diagnostic rules into a constrained context for reliable diagnostic reasoning. We further develop an Evidence-Based Corrective Verification (EBCV) mechanism that verifies whether the current diagnostic hypothesis is supported by visual evidence, heatmap-based visual cues, and evidence-based clinical diagnostic rules. Hypothesis refinement is triggered when inconsistency is detected. Experiments on a fine-grained strabismus benchmark demonstrate that MAGIS not only significantly outperforms other state-of-the-art diagnostic systems, improving the weighted F1 score from 72.0% to 91.3%, but also substantially improves the clinical reliability (consistency, alignment, and completeness) of generated diagnostic reports. These results demonstrate that MAGIS provides an effective solution for building accurate, evidence-based, and clinically interpretable strabismus diagnosis systems.

评分理由: 该论文提出了一种基于证据的多智能体推理框架（MAGIS）用于斜视诊断。在关键词相关性方面，'MLLM'和'MultiModal'相关性较高，因为论文基于大视觉语言模型处理图像与文本数据；'Visual Encoder'相关性中等，因为涉及视觉特征提取；而'Unify Models'、'Tokenizer'、'World Models'和'model-based RL'相关性较低，因为论文未涉及模型统一架构、分词器设计、世界模型构建或强化学习算法。作者列表中未包含指定的专家。

Strabismus Diagnosis, Multi-Agent Reasoning, Evidence-Based, Interpretable Clinical Decision-Making, Large Vision-Language Models, Dual-Evidence Constrained Context, Visual Evidence, Report Generation

Chinese Title: MAGIS：基于证据的多智能体推理用于可解释的斜视临床决策

Summary: 斜视是一种常见的眼部疾病，需要细粒度的亚型诊断以制定个性化治疗方案。现有深度学习方法主要提供诊断预测，缺乏透明推理；而大型视觉语言模型（LVLMs）虽能联合图像理解和报告生成，但在证据敏感且规则驱动的医学任务中极易产生幻觉。为解决这些问题，本文提出MAGIS，一个基于证据的多智能体可解释斜视诊断框架。MAGIS将黑盒端到端生成转化为结构化的诊断过程，包括候选假设生成、双证据约束上下文（DECC）、基于证据的纠正验证（EBCV）和报告生成。DECC联合组织九方位眼位照片的视觉证据和基于证据的临床诊断规则，形成约束上下文；EBCV验证当前诊断假设是否得到视觉证据、热图视觉线索和临床诊断规则的支持，并在检测到不一致时触发假设修正。在细粒度斜视基准上的实验表明，MAGIS不仅显著优于其他最先进的诊断系统（加权F1从72.0%提升至91.3%），而且大幅提高了生成诊断报告的临床可靠性（一致性、对齐性和完整性）。

Innovations:

• 将LVLM辅助的斜视诊断从黑盒生成转化为基于证据的、可验证的结构化诊断过程，包含假设生成、证据约束、验证修正和报告生成四个阶段。
• 提出双证据约束上下文（DECC）机制，联合组织视觉证据（九方位眼位照片）和临床诊断规则，形成可靠的诊断推理约束。
• 提出基于证据的纠正验证（EBCV）机制，通过视觉证据、热图线索和临床规则验证诊断假设，并在不一致时触发迭代修正。
• 构建多智能体协作框架，将诊断角色分解为假设生成、验证和报告生成三个智能体，提升推理的可靠性和可解释性。

Methodology: 本文采用多智能体推理框架，将斜视诊断分解为四个连续阶段：首先由分类器生成候选诊断假设；然后通过DECC构建包含视觉证据和临床诊断规则的双证据约束上下文；接着由EBCV验证假设是否与视觉证据和规则一致，若不一致则触发假设修正；最后生成结构化诊断报告。视觉证据来自九方位眼位照片，临床规则通过医生参与的形式化过程获得。三个智能体（假设生成、验证、报告生成）相互协作，实现迭代优化。

Key Results:

• 在细粒度斜视基准上，MAGIS的加权F1分数从现有最佳方法的72.0%提升至91.3%。
• 生成的诊断报告在临床一致性、视觉对齐性和上下文完整性方面显著优于其他LVLMs和传统方法。
• 通过消融实验验证了DECC和EBCV各自对性能提升的贡献。
• 展示了MAGIS在减少幻觉（如错误分类和临床不支持输出）方面的有效性。

Tech Stack:

• 大型视觉语言模型（LVLMs）：Gemini-3-Flash-Preview、GPT-5.2、Qwen3-VL-Plus
• 多智能体框架：假设生成智能体、验证智能体、报告生成智能体
• 双证据约束上下文（DECC）
• 基于证据的纠正验证（EBCV）
• 热图可视化（heatmap-based visual cues）
• 临床诊断规则（通过医生参与形式化）
• 加权F1分数评估

Strengths:

• 显著提升了斜视亚型诊断的准确性和可解释性，解决了现有黑盒模型和LVLM幻觉问题。
• 将医学诊断建模为证据驱动的结构化过程，符合临床推理逻辑，增强了临床可信度。
• 多智能体协作和迭代验证机制有效抑制了幻觉，提高了输出可靠性。
• 在真实临床基准上取得了大幅性能提升，具有实际应用价值。

Limitations:

• 依赖医生参与形式化临床诊断规则，规则库的完整性和准确性可能影响泛化能力。
• 多智能体迭代验证可能增加推理时间和计算开销，实时性有待评估。
• 实验仅在斜视单一病种上验证，未在其他眼科或医学领域测试通用性。
• 对视觉证据的提取（如热图）可能受限于图像质量或标注精度。

Relevance To Keywords:

• 原生多模态大模型：论文使用LVLMs作为基础模型，但核心贡献在于推理框架而非模型本身，相关性中等。
• 世界模型：论文未涉及世界模型的概念，相关性低。
• 表征学习：论文间接涉及视觉特征提取（热图），但未重点讨论表征学习，相关性较低。
• 模型-Based RL：论文未使用强化学习或基于模型的方法，相关性低。
• 后训练：论文未涉及后训练阶段，相关性低。

大多数现有的多曝光高动态范围（HDR）方法遵循固定的前馈重建范式，导致其在复杂动态场景中易于产生鬼影伪影。为了解决这一问题，我们提出了 HDRAgent，这是首个用于 HDR 成像的智能体驱动框架，能够根据当前场景条件自适应地选择重建策略。具体而言，为了提供场景特定的先验知识，我们引入了一个细粒度的上下文知识匹配（FCM）模块。该模块利用多模态大语言模型（MLLM）衍生的场景感知来检索相关的历史案例和工具知识，并将其组织成结构化证据，以支持基于 MLLM 的自适应工具调度。此外，我们提出了一种感知 - 失真反馈机制，将执行后的质量评估和伪影诊断转化为结构化反馈，并将其累积于历史记忆中，以帮助后续的上下文知识精炼和策略选择。再者，考虑到极端运动可能导致对齐方法失效，我们设计了一种智能体引导的生成式对齐策略，该策略利用基于 MLLM 的动态区域解析，在参考帧指导下重建非参考帧中的不可靠内容。实验表明，HDRAgent 能有效减少鬼影和局部伪影，同时实现具有竞争力或更优的客观性能及视觉质量。

Most existing multi-exposure HDR methods follow a fixed feed-forward reconstruction paradigm, making them prone to ghosting artifacts in complex dynamic scenes. To address this issue, we propose HDRAgent, the first agent-driven framework for HDR imaging, which adaptively selects reconstruction strategies according to the current scene conditions. Specifically, to provide scene-specific prior knowledge, we introduce a fine-grained contextual knowledge matching (FCM) module. This module leverages multimodal large language model (MLLM)-derived scene perception to retrieve relevant historical cases and tool knowledge, organizing them into structured evidence for MLLM-based adaptive tool scheduling. In addition, we propose a perception--distortion feedback mechanism that transforms post-execution quality assessment and artifact diagnosis into structured feedback, which is accumulated in historical memory to help subsequent contextual knowledge refinement and strategy selection. Furthermore, considering that extreme motion can invalidate alignment methods, we design an agent-guided generative alignment strategy that uses MLLM-based dynamic-region parsing to reconstruct unreliable contents in non-reference frames under reference-frame guidance. Experiments demonstrate that HDRAgent effectively reduces ghosting and local artifacts while achieving competitive or superior objective performance and visual quality.

评分理由: 论文核心在于利用 MLLM 构建智能体框架解决 HDR 成像问题，因此 MLLM 相关性极高（9 分）；MultiModal 因涉及多模态模型及多曝光图像处理具有中等关联（6 分）；Visual Encoder 作为 MLLM 组件隐含存在但未作为研究重点（3 分）；其余关键词如 Unify Models、Tokenizer、World Models 及 model-based RL 与论文核心内容（智能体调度、生成对齐、历史记忆）关联度较低（1-2 分），尽管涉及智能体概念，但并非传统模型强化学习或世界模型架构。加权总分为 36.0，高于动态及格分 27.8。作者列表中不包含 Yang Shi 等指定专家，无额外加分。

HDRAgent, Agentic Framework, Multi-Exposure HDR Imaging, MLLM, Adaptive Tool Scheduling, Generative Alignment, Ghosting Artifacts

Chinese Title: HDRAgent：一种用于多曝光高动态范围成像的智能体框架

Summary: 本文提出HDRAgent，首个基于智能体的多曝光HDR成像框架。现有方法采用固定前馈重建范式，在复杂动态场景中易产生鬼影伪影。HDRAgent将HDR重建重构为感知-规划-执行-反馈的闭环智能体过程：首先利用多模态大语言模型（MLLM）进行场景感知，通过细粒度上下文知识匹配（FCM）模块组织历史案例、工具知识和反馈记忆作为结构化决策证据；然后由MLLM动态路由器自适应选择对齐与融合策略；执行后通过感知-失真反馈机制将质量评估和伪影诊断转化为结构化反馈，积累到历史记忆中用于后续策略优化。针对极端运动导致对齐失效的问题，设计了智能体引导的生成式对齐策略，利用MLLM动态区域解析在参考帧引导下重建不可靠内容。实验表明，HDRAgent有效减少鬼影和局部伪影，在客观指标和视觉质量上达到或超越现有方法。

Innovations:

• 首次将智能体驱动范式引入多曝光HDR重建，将固定前馈流程变为感知-规划-执行-反馈的动态决策过程。
• 提出细粒度上下文知识匹配（FCM）模块，将场景描述、工具适用性、历史失败案例和反馈经验组织为结构化证据，支持MLLM动态路由。
• 设计感知-失真反馈机制，将执行后的质量评估和伪影诊断转化为结构化反馈，实现迭代修正。
• 提出智能体引导的生成式对齐策略，针对极端运动区域，通过MLLM动态区域解析和参考帧引导的掩码生成来重建不可靠内容。

Methodology: HDRAgent采用闭环智能体架构：1）场景感知：使用Qwen3-VL-Plus分析多曝光输入的运动、曝光变化、饱和、遮挡等状态；2）FCM模块：将场景状态、专家工具知识、历史上下文和反馈记忆组织为结构化证据；3）动态路由：Qwen3.6-Plus根据证据选择对齐和融合/重建工具；4）工具箱执行：调用预定义的对齐、融合、生成等工具；5）反馈评估：感知-失真反馈评估器对重建结果进行质量评估和伪影诊断，将反馈写回上下文记忆，用于后续路由和修正。对于极端运动，使用MLLM识别动态前景并生成分割提示，调用分割和生成工具进行参考帧引导的掩码生成。

Key Results:

• 在多个基准数据集上，HDRAgent在客观指标（如PSNR、SSIM、HDR-VDP-2）上达到或超越现有方法。
• 在复杂动态场景中，有效减少鬼影和局部融合伪影，视觉质量优于SAFNet、LFDiff、AFUNet、DDPF-PR等方法。
• 通过反馈机制，能够逐步修正残留伪影，提升重建质量。
• 智能体引导的生成式对齐策略在极端运动场景下恢复出参考帧一致的结构。

Tech Stack:

• 多模态大语言模型：Qwen3-VL-Plus（场景感知）、Qwen3.6-Plus（动态路由）
• 细粒度上下文知识匹配（FCM）模块
• 感知-失真反馈机制（质量评估与伪影诊断）
• 智能体引导的生成式对齐策略（MLLM动态区域解析 + 分割工具 + 生成工具）
• 工具箱：对齐工具（如光流、注意力对齐）、融合工具（CNN/Transformer融合）、生成工具（扩散模型等）
• 评估指标：PSNR、SSIM、HDR-VDP-2

Strengths:

• 创新性地将智能体范式引入HDR成像，突破了固定前馈范式的局限，实现了场景自适应策略选择。
• 设计了完整的闭环反馈机制，能够迭代修正伪影，提升鲁棒性。
• 针对极端运动提出了专门的生成式对齐策略，扩展了适用场景。
• 实验充分，在多个数据集上验证了有效性和优越性。

Limitations:

• 依赖MLLM的推理能力，计算开销较大，实时性可能受限。
• 工具箱中的工具需要预先定义和训练，框架的泛化性受限于工具集。
• 反馈机制的有效性依赖于评估器的准确性，可能对某些细微伪影诊断不足。
• 未讨论在极端低光或高动态范围场景下的性能边界。

Relevance To Keywords:

• 原生多模态大模型：论文使用Qwen3-VL-Plus和Qwen3.6-Plus作为核心感知和决策模块，体现了多模态大模型在视觉任务中的应用。
• 多模态大模型的理解和生成一体化：MLLM同时用于场景理解（感知）和策略生成（路由），但生成部分主要依赖外部工具，未实现完全一体化。
• 表征学习：论文未直接涉及表征学习，但FCM模块可视为对场景和工具知识的表征组织。
• 世界模型：智能体框架中的上下文知识匹配和反馈记忆可类比为对HDR重建世界的建模，但未明确构建世界模型。
• 强化学习：论文中的反馈机制类似于强化学习中的奖励/惩罚信号，但未使用强化学习训练，而是基于MLLM推理。
• 后训练：论文未涉及后训练技术。
• 总体相关性中等：论文主要贡献在HDR成像应用，但智能体框架与多模态大模型、世界模型、强化学习等概念有交叉，可作为这些方向在图像恢复领域的应用示例。

我们提出了 AliyunConsoleAgent，这是一个用于真实世界的云控制台自动化文档验证的 Web 代理框架。主流云平台涵盖数百种产品，且功能迭代迅速，导致控制台用户界面经常与其对应的文档发生偏离。验证文档流程是否准确反映当前控制台并能端到端执行，估计每年需要约 400 万次重复检查，但人工覆盖率仍低于 1%。尽管基于前沿专有模型构建的代理系统实现了高成功率，但其高昂成本和数据隐私限制阻碍了大规模部署。我们提出一种两阶段训练范式：首先在蒸馏的前沿模型轨迹上进行监督微调 (SFT)，随后在真实云环境中使用组相对策略优化 (GRPO) 和双通道结果奖励模型进行强化学习 (RL)。为了支持大规模强化学习训练，我们构建了一个高确定性 rollout 系统，该系统基于 Terraform 的资源预配置和 LLM 驱动的按需配置，能有效将环境噪声与训练信号隔离。我们进一步引入了一种基于规则的奖励评估协议，该协议基于后端审计日志，提供客观且抗奖励操纵的结果判定。我们的模型从机械式指令跟随演进为具备云控制台及特定产品理解的自主决策。在包含 278 个任务的具有挑战性的基准测试中（其中最佳前沿模型仅达到 65.34%），实验表明 AliyunConsoleAgent-32B 实现了 63.52% 的平均成功率——相比基线模型提升了 20.24 个百分点，将差距缩小至最佳前沿专有模型仅 1.82 个百分点（bootstrap 95% CI [-1.27, 7.39]），且推理成本降低了 92%。

We present AliyunConsoleAgent, a web agent framework for automated documentation verification in real-world cloud consoles. Major cloud platforms encompass hundreds of products with rapid feature iteration, causing console UIs to frequently diverge from their corresponding documentation. Verifying that documented procedures accurately reflect the current console and can be executed end-to-end demands an estimated 4 million recurring inspections annually, yet manual coverage remains below 1%. While agent systems built on frontier proprietary models achieve high success rates, their prohibitive cost and data privacy constraints preclude large-scale deployment. We propose a two-stage training paradigm: supervised fine-tuning (SFT) on distilled frontier-model trajectories, followed by reinforcement learning using Group Relative Policy Optimization (GRPO) and a dual-channel outcome reward model in real cloud environments. To support large-scale RL training, we construct a high-determinism rollout system featuring Terraform-based resource pre-provisioning and LLM-driven on-demand provisioning, which effectively isolates environment noise from the training signal. We further introduce a rule-based reward evaluation protocol grounded in backend audit logs, providing objective, reward-hacking-resistant outcome judgment. Our model evolves from mechanical instruction following to autonomous decision-making with cloud console and product-specific understanding. Experiments on a challenging 278-task benchmark where the best frontier model achieves only 65.34% demonstrate that AliyunConsoleAgent-32B achieves a 63.52% mean success rate -- a 20.24 percentage-point improvement over the base model, narrowing the gap to the best frontier proprietary model to 1.82 pp (bootstrap 95% CI [-1.27, 7.39]) -- at 92% lower inference cost.

评分理由: 论文核心在于基于蒸馏和强化学习训练云控制台 Web 代理，而非模型架构统一或编码器设计，因此 Unify Models、Tokenizer、Visual Encoder、World Models 相关性低。MLLM 和 MultiModal 相关性中等，因涉及 UI 交互（视觉 + 语言）。model-based RL 相关性较高，因强化学习是核心训练方法，符合背景设定。作者列表中未包含指定的专家。

Web Agents, Reinforcement Learning, Distillation, Cloud Console, LLM-based, Policy Optimization, Automated Verification

Chinese Title: 阿里云控制台智能体：通过蒸馏和强化学习在真实云环境中训练网络智能体

Summary: 论文提出AliyunConsoleAgent，一个用于在真实云控制台中进行自动化文档验证的智能体框架。针对云平台文档与UI频繁脱节的问题，传统人工验证覆盖率不足1%，而前沿模型成本高且存在隐私风险。作者采用两阶段训练范式：首先通过监督微调（SFT）蒸馏前沿模型的高质量轨迹，然后使用组相对策略优化（GRPO）和双通道结果奖励模型在真实云环境中进行强化学习。为支持大规模RL训练，构建了高确定性rollout系统，包括基于Terraform的资源预置备和LLM驱动的按需置备，有效隔离环境噪声。实验在278个任务的基准上，AliyunConsoleAgent-32B达到63.52%的平均成功率，比基础模型提升20.24个百分点，与最佳前沿模型差距仅1.82个百分点，同时推理成本降低92%。

Innovations:

• 构建高确定性rollout环境，结合Terraform预置备和ResourceCoder按需置备，并利用ActionTrail审计日志进行客观、抗奖励黑客的验证。
• 提出SFT+GRPO两阶段训练范式，结合双通道结果奖励模型，在真实生产云环境中训练轻量级私有智能体。
• 实现生产级云文档验证部署，使用前沿模型审计54000+文档，发现4399个确认缺陷，并证明训练后的智能体可作为隐私合规的替代方案，推理成本降低92%。
• 开源评估基准、训练数据、rollout环境基础设施和模型训练代码，促进可重复研究。

Methodology: 论文将智能体与云控制台的交互形式化为部分可观测马尔可夫决策过程（POMDP），采用ReAct范式的观察-推理-行动循环。观察包括SoM标注的截图、DOM文本和行动历史。行动空间包括GUI交互（通过Playwright执行）、按需置备动作（ResourceCoder）、任务完成和不可达信号。训练分为两阶段：第一阶段使用蒸馏自前沿模型的轨迹进行监督微调（SFT）；第二阶段使用组相对策略优化（GRPO）和基于ActionTrail审计日志与LLM评估的双通道结果奖励模型进行强化学习。rollout环境采用四层架构：账户池管理、沙箱执行、资源META离线置备（Terraform模板生成）和运行时按需置备。

Key Results:

• 在278个任务的基准上，AliyunConsoleAgent-32B（SFT+GRPO）平均成功率为63.52%，比基础模型（Qwen3-VL-32B）提升20.24个百分点。
• 与最佳前沿模型Gemini 3 Pro Preview的差距仅1.82个百分点，bootstrap 95%置信区间包含零（p>0.05），表明性能无显著差异。
• 推理成本降低92%，实现高性能低成本私有部署。
• 生产部署中，使用前沿模型审计54000+文档，发现4399个确认缺陷，被产品团队接受。

Tech Stack:

• Qwen3-VL（基础视觉语言模型）
• GRPO（组相对策略优化）
• PPO、DPO（强化学习方法）
• ReAct（推理-行动范式）
• Set-of-Mark (SoM) 视觉提示
• Terraform（基础设施即代码）
• Playwright（浏览器自动化）
• ActionTrail（阿里云审计日志服务）
• ResourceCoder（LLM驱动的代码智能体）
• Kubernetes (ACK) 容器编排
• StatefulSet（有状态应用管理）

Strengths:

• 在真实生产云环境中进行强化学习，而非模拟器，具有实际应用价值。
• 通过资源预置备和按需置备有效隔离环境噪声，确保训练信号纯净。
• 使用后端审计日志进行客观奖励评估，避免奖励黑客问题。
• 成本效益显著，使大规模私有部署成为可能。
• 开源关键组件，促进社区复现和进一步研究。

Limitations:

• 方法高度依赖阿里云特定平台和工具（如ActionTrail、Terraform模板），泛化到其他云平台可能需要适配。
• 基准任务仅278个，规模有限，可能无法全面反映真实场景的复杂性。
• 未讨论模型在未见过的文档或全新产品上的零样本泛化能力。
• 训练和评估依赖于人工标注的文档和资源META，构建成本较高。

Relevance To Keywords:

• 原生多模态大模型：使用Qwen3-VL作为基础模型，处理截图和DOM文本等多模态输入。
• 多模态大模型的理解和生成一体化：智能体通过SoM标注理解UI，并生成行动指令。
• 表征学习：通过SFT和RL学习云控制台UI和资源状态的表征。
• 世界模型：rollout环境中的资源状态管理可视为对云环境动态的建模。
• 强化学习：核心训练方法为GRPO，在真实环境中优化策略。
• 后训练：SFT+RL的两阶段后训练范式是论文的核心贡献。

在线无任务持续学习（TFCL）要求智能体在严格单遍约束下，且无需任何显式任务标识，即可从无界、非平稳的数据流中顺序积累知识。现有的在线 TFCL 范式主要依赖于参数高效的提示微调或动态结构扩展，这些过程由训练耦合优化动态驱动，例如经验损失波动或潜在距离的演变。因此，这些训练耦合求解器对分布漂移的结构根源缺乏认知，机械地在本质上不同的流式变化上强制执行固定策略。为填补这一空白，我们提出 LargeMonitor 框架，该框架利用大型预训练基础模型来自主协调无任务的持续适应。具体而言，LargeMonitor 引入一个解耦检测模块，利用大型视觉模型（LVMs）冻结且稳定的表示空间，以实现鲁棒的零样本漂移检测，且无需训练依赖的干扰或脆弱的阈值调优。一旦确认发生漂移，该框架便会激活一个由大型多模态模型（LMMs）驱动的上下文感知诊断模块，以解释流式变化的精确语义病因（例如，新类别涌现与环境领域漂移）。这种双阶段能力使持续学习器能够动态部署适应性和针对特定漂移的优化策略。在多个 TFCL 设置和基准上的广泛实验表明，LargeMonitor 实现了对复杂数据流的精确且鲁棒的检测与诊断，同时持续提升现有在线 TFCL 算法的性能。

Online task-free continual learning (TFCL) requires intelligent agents to sequentially accumulate knowledge from an unbounded, non-stationary data stream under strict single-pass constraints and without any explicit task identifiers. Existing online TFCL paradigms primarily rely on parameter-efficient prompt tuning or dynamic structure expansion driven by training-coupled optimization dynamics, such as empirical loss fluctuations or evolving latent distances. As a result, these training-coupled solvers remain agnostic to the structural origins of distribution drift, mechanically enforcing a fixed strategy across fundamentally distinct streaming variations. To address this gap, we propose LargeMonitor, a framework that leverages large pretrained foundation models to autonomously orchestrate task-free continuous adaptation. Specifically, LargeMonitor introduces a decoupled detection module utilizing the frozen, stable representation space of large vision models (LVMs) to achieve robust, zero-shot drift detection without training-dependent interference or brittle threshold tuning. Upon a confirmed drift, the framework activates a context-aware diagnostic module driven by large multimodal models (LMMs) to interpret the precise semantic etiologies of the stream variation (e.g., novel class emergence vs. environmental domain shift). This dual-stage capability empowers the continuous learner to dynamically deploy adaptive and shift-specific optimization strategies. Extensive experiments across multiple TFCL settings and benchmarks demonstrate that LargeMonitor achieves precise, robust detection and diagnosis of complex data streams while consistently improving the performance of existing online TFCL algorithms.

评分理由: 论文提出 LargeMonitor 框架，利用冻结的大视觉模型（LVMs）和大多模态模型（LMMs）进行持续学习中的漂移检测与诊断。因此，Visual Encoder（对应 LVMs）和 MLLM（对应 LMMs）相关性较高（7 分），MultiModal 因涉及 LMMs 使用而中度相关（6 分）。论文未涉及模型架构统一（Unify Models）、Tokenizer 设计、世界模型构建或强化学习（RL），故这些关键词相关性极低或为 0 分。作者列表中未包含指定的 Yang Shi 等专家，无额外加分。加权总分 34.5，高于动态及格分 27.8。

Online Task-Free Continual Learning, Large Pretrained Models, Drift Detection, Semantic Diagnosis, Large Vision Models, Large Multimodal Models, Distribution Shift, Zero-shot

Chinese Title: LargeMonitor: 通过大型预训练模型监控在线任务无关持续学习

Summary: 本文提出LargeMonitor框架，旨在解决在线任务无关持续学习（TFCL）中现有方法依赖训练耦合信号（如损失波动）进行漂移检测、无法区分漂移类型的问题。LargeMonitor利用大型预训练模型实现解耦的零样本漂移检测：使用冻结的大型视觉模型（LVM）提取稳定特征，通过CKA相似度和CUSUM过程实时监测分布漂移，无需阈值调优。检测到漂移后，激活大型多模态模型（LMM）诊断漂移原因（如新类出现、域偏移、数据损坏），从而触发自适应优化策略。在多种TFCL设置（包括类增量、域增量、混合漂移）上的实验表明，LargeMonitor实现了精确鲁棒的检测与诊断，并持续提升了现有在线TFCL算法的性能。

Innovations:

• 提出解耦的零样本漂移检测机制，利用冻结的LVM特征空间，不依赖训练信号或阈值调优。
• 首次在在线TFCL中引入联合检测与诊断范式，利用LMM对漂移原因进行语义分类。
• 根据诊断结果动态触发自适应策略（如模型扩展、记忆调整），实现差异化响应。
• 在多种TFCL基准（包括异构漂移）上全面评估，证明框架的通用性和性能提升。

Methodology: LargeMonitor包含两个模块：检测模块和诊断模块。检测模块使用冻结的LVM（如DINO或CLIP）提取当前批次特征，与FIFO历史缓冲区的特征计算线性CKA相似度，通过在线CUSUM过程（基于滚动中位数和MAD）检测持续性相似度下降。诊断模块在检测到漂移后，使用LMM（如LLaVA）对当前批次样本进行语义分析，生成自然语言描述并分类漂移类型（新类、域偏移、数据损坏等）。根据诊断结果，系统选择对应的优化策略（例如，新类出现时扩展模型容量，域偏移时调整记忆缓冲区）。

Key Results:

• LargeMonitor在多种TFCL设置下实现了精确的漂移检测，误报率低，无需手动阈值调整。
• 诊断模块能够准确区分新类出现、域偏移和数据损坏等不同漂移类型。
• 集成LargeMonitor后，现有在线TFCL算法（如MVP、ODDL、Online-LoRA）的性能得到持续提升。
• 在异构漂移场景中，自适应策略比统一策略带来更显著的性能增益。

Tech Stack:

• 大型视觉模型（LVM）：DINO、CLIP视觉编码器
• 大型多模态模型（LMM）：LLaVA
• 中心核对齐（CKA）：用于度量特征空间相似性
• 累积和（CUSUM）：在线单侧检测过程
• 滚动中位数和MAD（中位数绝对偏差）：用于动态阈值设定
• FIFO滑动内存缓冲区：存储历史特征

Strengths:

• 解耦设计使检测不依赖训练过程，避免模型更新带来的信号漂移。
• 零样本检测无需数据集特定调优，泛化性强。
• 语义诊断提供可解释性，支持差异化自适应策略。
• 实验覆盖多种TFCL场景，验证了框架的鲁棒性和通用性。

Limitations:

• 依赖大型预训练模型（LVM和LMM），计算开销和存储需求较高，可能不适合资源受限设备。
• 诊断准确性受LMM能力限制，对细微或复杂漂移可能误判。
• 未讨论实时性要求，CUSUM和LMM推理可能引入延迟。
• 框架有效性依赖于下游TFCL算法的配合，未完全解耦。

Relevance To Keywords:

• Unify Models: 论文使用统一的大型预训练模型（LVM+LMM）作为监控器，体现了模型统一的思想。
• World Models: LMM对漂移原因的语义诊断可视为对数据流世界状态的建模。
• Representation Learning: 利用LVM的稳定表征进行CKA相似度分析，属于表征学习应用。
• Model-Based RL: 诊断结果指导自适应策略选择，类似于基于模型的强化学习中的状态识别与策略切换。
• 原生多模态大模型: 直接使用LLaVA等原生多模态模型进行视觉-语言推理。
• 多模态大模型的理解和生成一体化: LMM同时理解图像并生成诊断文本。
• 后训练: 论文使用预训练模型（冻结），不涉及后训练，但框架可集成后训练策略。

一个有用的手机智能体需要具备个人智能。它应基于设备上存在的用户身份、历史和偏好进行推理，而不仅仅是在一个非个性化的沙箱中遵循孤立的指令。现有的移动智能体基准测试缺乏这种个性化。我们介绍 iOSWorld，这是一个围绕持久用户身份构建的首个交互式原生 iOS 模拟器基准测试，涵盖 26 个新构建的 iOS 应用。这些应用包含关联数据，如交易、消息、旅行记录、社交关系和财务活动。iOSWorld 包含 133 个任务，分为三个难度递增的类别。单应用任务（27 个）测试单个应用，多应用任务（60 个）跨越 2 到 8 个应用，而记忆与个性化任务（46 个）要求智能体从个人数据中推断模式。我们在仅视觉和特权视觉 +XML 设置下评估前沿和开源的计算机使用模型。最佳配置总体达到 52%，但在多应用任务上仅为 37%。特权视觉 +XML 访问使前沿模型提高了多达 26 个百分点，而较小模型并未从添加的无障碍树 (accessibility-tree) 输入中受益。我们发布 iOSWorld 作为一个开源基准测试，包含所有应用、种子数据、任务、评分标准和评估代码。

A useful phone agent needs to be personally intelligent. It should reason over a user's identity, history, and preferences as they exist on the device, not just follow isolated instructions in an impersonal sandbox. Existing mobile agent benchmarks lack this kind of personalization. We introduce iOSWorld, the first interactive native iOS simulator benchmark built around a persistent user identity spanning 26 newly built iOS apps. These apps contain connected data such as transactions, messages, travel records, social relationships, and financial activity. iOSWorld includes 133 tasks across three increasingly difficult categories. Single-app tasks (27) test one app, multi-app tasks (60) span 2 to 8 apps, and memory and personalization tasks (46) require agents to infer patterns from personal data. We evaluate frontier and open-source computer-use models in both vision-only and privileged vision+XML settings. The best configuration reaches 52\% overall but only 37\% on multi-app tasks. Privileged vision+XML access improves frontier models by up to 26 percentage points, while smaller models do not benefit from added accessibility-tree input. We release iOSWorld as an open-source benchmark with all apps, seeded data, tasks, rubrics, and evaluation code.

评分理由: 该论文主要贡献在于提出 iOSWorld 基准测试，用于评估个人化手机智能体，而非提出新的模型架构或算法。因此，与核心技术组件（如 Tokenizer、Visual Encoder、Unify Models、model-based RL）相关的关键词得分较低。论文涉及 MLLM 模型评估及多模态输入（Vision+XML），且名称包含 'World'，故 MLLM、MultiModal 和 World Models 得分中等。作者列表中未包含指定的 Yang Shi 等专家，无额外加分。加权总分为 34.5，高于动态及格分 27.8。

iOSWorld, Phone Agents, Personalization, Multi-app Tasks, Vision+XML, Benchmark, Computer-use Models

Chinese Title: iOSWorld：面向个性化智能手机代理的基准测试

Summary: 本文提出了iOSWorld，首个基于原生iOS模拟器的交互式基准测试，旨在评估具备个性化智能的手机代理。现有移动代理基准缺乏对用户身份、历史记录和偏好的推理能力，而iOSWorld通过构建26个共享同一用户身份（Jordan Avery）的iOS应用，填充了跨应用关联数据（如交易、消息、旅行记录等），设计了133个任务，涵盖单应用（27个）、多应用（60个）和记忆/个性化（46个）三类。研究评估了多个前沿模型和开源基线（Qwen3.5 35B-A3B）在纯视觉和视觉+XML两种设置下的表现。最佳配置整体成功率为52%，多应用任务仅37%。视觉+XML特权访问可将前沿模型性能提升最多26个百分点，但小模型未受益。论文开源了所有应用、数据、任务、评估代码及AWS运行器。

Innovations:

• 首个基于原生iOS模拟器的交互式基准测试，支持持久用户身份和跨应用关联数据。
• 设计了133个任务，涵盖单应用、多应用和记忆/个性化三类，难度递增。
• 采用LLM-as-a-Judge评估框架，经人工验证达到较高一致性（κ=0.77）。
• 比较了多种模型在纯视觉和视觉+XML两种观察模态下的表现，揭示了特权访问对前沿模型的提升作用。
• 开源了完整的应用、种子数据、任务、评分标准和评估代码，并提供了AWS运行器以支持非Mac研究者。

Methodology: 论文构建了26个原生iOS应用，填充了统一的用户身份和跨应用关联数据。环境建模为部分可观测马尔可夫决策过程（POMDP），代理通过截图（纯视觉）或截图+可访问性树（视觉+XML）获取观测，执行点击、输入、滑动等动作。任务评估采用LLM-as-a-Judge框架，由GPT-5.4-Mini基于完整轨迹进行二元通过/失败判断，并经人工验证。实验比较了多个前沿模型（如Claude Opus 4.6）和开源基线（Qwen3.5 35B-A3B）在两种模态下的表现。

Key Results:

• 最佳配置（Opus 4.6 + 视觉+XML）整体成功率为52%，单应用82%，记忆任务54%，多应用仅37%。
• 视觉+XML特权访问可将前沿模型性能提升最多26个百分点，但小模型（如Qwen3.5）未受益。
• 多应用任务（跨2-8个应用）对所有模型最具挑战性，成功率普遍较低。
• LLM-as-a-Judge与人工评估的一致性较高（κ=0.77，准确率89%）。
• 所有模型在纯视觉设置下表现均低于视觉+XML设置，表明可访问性树对复杂任务至关重要。

Tech Stack:

• SwiftUI（应用开发）
• XCUITest（iOS UI测试框架）
• Appium（自动化测试工具）
• Claude Code（代码辅助）
• GPT-5.4-Mini（LLM-as-a-Judge）
• Qwen3.5 35B-A3B（开源基线模型）
• Claude Opus 4.6、GPT-4o等前沿模型
• AWS EC2 Mac实例（运行器）
• 部分可观测马尔可夫决策过程（POMDP）

Strengths:

• 填补了iOS平台动态代理基准的空白，且强调个性化智能。
• 构建了丰富的跨应用关联数据，任务设计贴近真实用户场景。
• 提供了两种观察模态（纯视觉和视觉+XML），便于分析不同输入对模型性能的影响。
• 开源完整资源，包括应用、数据、评估代码和云运行器，可复现性强。
• LLM-as-a-Judge评估框架经人工验证，可靠性较高。

Limitations:

• 所有应用为人工构建，可能与真实iOS应用在复杂性和多样性上存在差距。
• 仅评估了有限数量的模型，且开源模型性能较低，结论的泛化性有限。
• 视觉+XML设置依赖XCUITest框架，实际部署中可能无法获得如此丰富的结构化数据。
• 任务数量（133个）相对较少，可能不足以全面衡量代理能力。
• 未涉及网络浏览任务，限制了代理在混合场景下的评估。

Relevance To Keywords:

• Unify Models: 论文评估了多种多模态大模型（如Claude Opus 4.6、GPT-4o）在手机代理任务上的表现，涉及视觉与语言理解的统一。
• World Models: 环境建模为POMDP，代理需基于部分观测推理状态，与世界模型中的状态表示和预测相关。
• Representation Learning: 代理需从截图和可访问性树中学习有效的UI表示，以完成跨应用推理。
• Model-Based RL: 论文的POMDP框架和确定性状态转移与基于模型的强化学习思想一致，但未直接使用RL训练。
• 原生多模态大模型: 实验中的模型均为原生多模态模型，直接处理截图和文本输入。
• 多模态大模型的理解和生成一体化: 代理需理解屏幕内容并生成动作（如点击、输入），体现理解与生成的结合。
• 表征学习: 代理需从视觉和结构化数据中提取特征，以支持个性化推理。
• 世界模型: 环境动态和跨应用数据关联要求代理构建内部世界模型以规划多步任务。
• 强化学习: 虽然论文未使用RL训练，但任务设置和评估框架可为未来RL-based agent提供基准。
• 后训练: 论文未涉及后训练，但基准可用于评估后训练模型在手机代理场景中的表现。

视觉语言模型（VLMs）因其卓越的能力而广受欢迎。尽管已有多种方法用于增强基于文本应用的隐私安全，但与视觉输入相关的隐私风险在很大程度上仍被忽视，例如医学图像中的受保护的健康信息（PHI）。为了解决这一问题，需执行两项关键任务：准确定位敏感文本并对其进行处理以确保隐私保护。针对这一问题，我们提出了 VisShield（视觉隐私盾牌），这是一个旨在增强视觉语言模型（VLMs）隐私感知能力的端到端框架。该框架包含两个关键组件：一个专门的指令微调数据集 OPTIC（光学隐私文本指令集）以及一种定制的训练方法。该数据集提供了多样化的隐私导向提示，引导视觉语言模型（VLMs）执行有针对性的光学字符识别（OCR），以精确定位敏感文本；而训练策略则确保 VLMs 能有效适应隐私保护任务。具体而言，该方法确保视觉语言模型（VLMs）能够识别隐私敏感文本，并为检测到的实体输出精确的边界框，从而实现对敏感信息的有效遮蔽。大量实验表明，我们的框架在处理隐私信息方面显著优于现有方法，为视觉语言模型中的隐私保护应用铺平了道路。我们的数据集和代码详见此处。

Visual Language Models (VLMs) have gained significant popularity due to their remarkable ability. While various methods exist to enhance privacy in text-based applications, privacy risks associated with visual inputs remain largely overlooked such as Protected Health Information (PHI) in medical images. To tackle this problem, two key tasks: accurately localizing sensitive text and processing it to ensure privacy protection should be performed. To address this issue, we introduce VisShield (Vision Privacy Shield), an end-to-end framework designed to enhance the privacy awareness of VLMs. Our framework consists of two key components: a specialized instruction-tuning dataset OPTIC (Optical Privacy Text Instruction Collection) and a tailored training methodology. The dataset provides diverse privacy-oriented prompts that guide VLMs to perform targeted Optical Character Recognition (OCR) for precise localization of sensitive text, while the training strategy ensures effective adaptation of VLMs to privacy-preserving tasks. Specifically, our approach ensures that VLMs recognize privacy-sensitive text and output precise bounding boxes for detected entities, allowing for effective masking of sensitive information. Extensive experiments demonstrate that our framework significantly outperforms existing approaches in handling private information, paving the way for privacy-preserving applications in vision-language models. Our dataset and code can be found here.

评分理由: The paper focuses on privacy de-identification in Vision Language Models (VLMs) via instruction tuning. It moderately aligns with MLLM and MultiModal as it utilizes vision-language architectures. It has low relevance to Unify Models, Tokenizer, Visual Encoder (as a core contribution), World Models, and model-based RL, which are not discussed in this privacy-focused application. No expert authors from the specified list are present. Weighted total score is 33.0, exceeding the dynamic passing score of 27.8.

Vision Language Models, Privacy Protection, Instruction Tuning, De-identification, Medical Images, Sensitive Text, OPTIC Dataset, Bounding Box Localization

Chinese Title: 视觉语言模型助力视觉数据中的隐私信息去标识化

Summary: 本文针对视觉数据（如医学图像）中存在的受保护健康信息（PHI）等隐私文本泄露问题，提出了一种端到端的框架VisShield。该框架利用视觉语言模型（VLM）实现隐私文本的精准定位与去标识化。主要贡献包括：构建了包含5000万样本的专用指令微调数据集OPTIC，涵盖自然图像和医学图像场景；设计了一套训练方法，使VLM能够理解自定义的隐私定义并输出精确的边界框。实验表明，VisShield在隐私感知OCR任务上显著优于现有方法，为视觉语言模型在隐私保护领域的应用开辟了新路径。

Innovations:

• 首次提出利用视觉语言模型解决视觉数据中文本隐私信息的去标识化问题，并支持自定义隐私定义。
• 构建了大规模、多样化的指令微调数据集OPTIC，包含5000万图像-文本对，覆盖自然图像和医学图像场景。
• 设计了三阶段数据集生成流程，结合大语言模型合成指令、合成图像生成和标签对齐，确保数据质量与多样性。
• 通过微调Kosmos-2.5模型，仅使用部分数据集即可实现高效的隐私感知OCR定位与去标识化。

Methodology: 本文采用三阶段方法：1）利用GPT-4和Claude-3.5 Sonnet生成多样化的隐私相关指令提示，包含隐私定义、少样本示例和OCR触发标记；2）通过控制字体、颜色、大小等参数合成包含隐私文本的图像，结合Flickr30k和医学图像数据集；3）将指令与图像-标签对对齐，形成指令微调数据集OPTIC。随后，基于Kosmos-2.5预训练模型进行微调，使其能够根据指令输出隐私文本的边界框，最后通过掩码处理实现去标识化。

Key Results:

• VisShield在隐私感知OCR任务上显著优于现有方法（如Presidio），实现了更高的定位精度和隐私保护效果。
• 仅使用部分OPTIC数据集微调Kosmos-2.5即可获得良好性能，证明了数据集的高效性。
• 在自然图像和医学图像场景中均表现出色，验证了框架的泛化能力。
• 支持多种隐私信息类型（如姓名、邮箱、SSN、疾病分类等）的识别与去标识化。

Tech Stack:

• 视觉语言模型：Kosmos-2.5
• 大语言模型：GPT-4, Claude-3.5 Sonnet
• 指令微调（Instruction Tuning）
• 光学字符识别（OCR）
• 少样本学习（Few-shot Learning）
• 数据集：Flickr30k, 医学图像数据集（Rutherford et al., 2021）
• 生成配置：字体（Arial等6种）、颜色（9种）、大小（图像3%-9%）

Strengths:

• 首次将VLM应用于视觉数据隐私去标识化，填补了该领域空白。
• 数据集规模大（5000万样本）、多样性高，覆盖多种隐私类型和图像场景。
• 支持自定义隐私定义，灵活性高，可适应不同领域需求。
• 端到端框架，从定位到掩码处理一体化，实用性强。

Limitations:

• 依赖合成数据，可能无法完全覆盖真实场景中的隐私文本分布。
• 仅基于Kosmos-2.5进行实验，未验证在其他VLM（如LLaVA、Qwen2-VL）上的迁移性。
• 未讨论模型对对抗性攻击（如文本遮挡、扭曲）的鲁棒性。
• 隐私定义依赖人工设计，可能无法自动适应新出现的隐私类型。

Relevance To Keywords:

• 原生多模态大模型：本文使用Kosmos-2.5这一多模态模型，并针对视觉-语言任务进行微调，直接相关。
• 多模态大模型的理解和生成一体化：VisShield利用VLM同时理解图像中的隐私文本并生成边界框，体现理解与生成的一体化能力。
• 表征学习：通过指令微调，模型学习了隐私文本的视觉表征与语义表征，属于表征学习范畴。
• 世界模型：本文未直接涉及世界模型，但隐私去标识化可视为对视觉世界的一种安全约束。
• 强化学习：本文未使用强化学习方法，但后训练（指令微调）与强化学习中的策略优化有间接关联。
• 后训练：指令微调是后训练的一种形式，本文通过后训练使VLM适应隐私保护任务，高度相关。

多语言词典是低资源语言和濒危语言最具价值的文献资源之一，但许多仍仅提供扫描件形式。数十年来，由于涉及特定文字系统、复杂的多栏布局以及包含大量缩写和交叉引用的条目，其数字化及转换为机器可读格式几乎是不可能的。近期的视觉 - 语言模型（Vision-language models）提供了一种有前景的解决方案，但它们在保留字符、标记以及处理词典结构方面的效果尚不明确。我们提出 MUDIDI，这是一个用于多语言词典数字化的两阶段框架。第一阶段评估字符识别与标记保留的质量；第二阶段专注于词典条目分割，随后将其映射到机器可读的词典结构模式，即 SIL 的 Multi-Dictionary Formatter。我们还发布了一个数据集，该数据集包含从 30 个公共领域词典中收集的人工标注词典条目，这些词典涵盖了多样的文字系统、语系和格式。我们在该数据集上对光学字符识别（OCR）系统、通用大语言模型（LLMs）和视觉语言模型（VLMs）进行了基准测试，结果表明 LLMs 在大多数文字系统和语言的两阶段中均表现优越，并为改进更具挑战性场景的结果提供了实用指南。最后，我们表明向 LLMs 补充额外信息（例如词典前言）可以提高数字化词典的质量。GitHub: https://github.com/DavidSamuell/MUDIDI-Pipeline-for-Digitization-of-Multilingual-Dictionary/

Multilingual dictionaries are among the most valuable documentary resources for low-resource and endangered languages, yet many remain available only as scans. For many decades, their digitization and conversion into a machine-readable format was nearly impossible due to language-specific scripts, complex multi-column layouts full of entries with abbreviations and cross-references. Recent vision-language models offer a promising solution, but it is unclear how well they preserve characters, markup, and process lexicographic structure. We introduce MUDIDI, a two-stage framework for multi-lingual dictionary digitization. Stage One evaluates the quality of character recognition and markup preservation; Stage Two focuses on dictionary entry segmentation with subsequent mapping into a machine-readable lexicographic schema, SIL's Multi-Dictionary Formatter. We also release a dataset that consists of human-annotated lexicographic entries collected from 30 public-domain dictionaries featuring diverse writing systems, language families, and formats. We benchmark OCR systems, general-purpose Large Language Models (LLMs), and Vision Language Models (VLMs) on the dataset, demonstrating superior performance of LLMs across most writing systems and languages in both stages, and provide practical guidelines on improving the results for more challenging scenarios. Finally, we show that supplementing additional information, such as dictionary introduction, to the LLMs can improve the quality of the digitized dictionary. Github: https://github.com/DavidSamuell/MUDIDI-Pipeline-for-Digitization-of-Multilingual-Dictionary/

评分理由: The paper applies existing LLMs and VLMs to multilingual dictionary digitization, showing high relevance to MLLM and MultiModal keywords. It treats models as tools rather than proposing new architectures (Unify Models, Tokenizer, Visual Encoder) or learning paradigms (World Models, model-based RL). No listed expert authors are found in the author list.

Multilingual Dictionary Digitization, Language Models, Two-Stage Framework, Vision-Language Models, Lexicographic Structure, OCR Benchmarking, Machine-readable Format

Chinese Title: MUDIDI：一种基于语言模型的多语言词典数字化两阶段框架

Summary: 本文提出MUDIDI，一个两阶段的多语言词典数字化框架。第一阶段评估字符识别和标记保留的质量；第二阶段专注于词典条目分割并将其映射到机器可读的词典学模式（SIL的多词典格式化器MDF）。研究背景是大量低资源和濒危语言的词典仅以扫描形式存在，难以数字化。方法上，作者构建了一个包含30种公共领域词典、涵盖多种书写系统和语言家族的人工标注数据集，并对比了OCR系统、通用大语言模型（LLM）和视觉语言模型（VLM）的性能。结论表明，LLM在大多数书写系统和语言的两个阶段均表现优异，且向LLM补充词典引言等额外信息可提升数字化质量。该工作为多语言词典的自动数字化提供了系统性的评估框架和实用指南。

Innovations:

• 提出两阶段评估框架：将词典数字化分解为页面转录（Stage 1）和词典学解析（Stage 2），可独立测量和优化转录质量与条目解析质量。
• 发布首个多语言词典数字化数据集：包含约30种公共领域词典、每种3页的人工标注数据，覆盖多样书写系统、语言家族、版式和数字化条件。
• 首次系统评估LLM和VLM处理多种书写系统以及分割和解释词典条目的能力，并给出实用改进指南。
• 证明向LLM提供词典引言等辅助信息可显著提升数字化质量。

Methodology: 研究采用两阶段技术路线：Stage 1使用OCR系统、通用LLM和VLM对词典页面进行忠实转录，保留Unicode文本和<b><i>标记，并按列主阅读顺序输出。Stage 2将黄金参考转录和页面图像转换为符合MDF模式的词典条目（含词头、词性、释义等字段）。数据标注先由强模型生成银标准，再由语言专家验证修正。实验对比了MinerU2.5 Pro、PaddleOCR-VL-1.5、GLM-OCR、Mathpix等专业模型，以及Gemini、GPT、Claude、Qwen等通用模型。

Key Results:

• 通用LLM在大多数书写系统和语言的两个阶段均优于专用OCR和VLM。
• 在Stage 1（页面转录）中，LLM对字符识别和标记保留表现更佳。
• 在Stage 2（词典学解析）中，LLM能更准确地分割条目并分配MDF字段。
• 向LLM提供词典引言等额外信息可提升数字化质量。
• 数据集包含30种词典，涵盖Assyrian、Bengali、Chukchi、Georgian、Japanese、Sanskrit等多样语言和书写系统。

Tech Stack:

• Gemini 3.5-Flash / 3.1-Pro
• GPT-5.5
• Claude Opus 4.7
• Qwen3-VL-235B-A22B-Instruct / Thinking
• MinerU2.5 Pro
• PaddleOCR-VL-1.5
• GLM-OCR
• Mathpix (商业OCR基线)
• SIL Multi-Dictionary Formatter (MDF)
• LabelStudio (标注工具)
• HathiTrust (数据源)

Strengths:

• 系统性：首次将词典数字化分解为两个独立阶段，便于错误归因和优化。
• 多样性：数据集覆盖30种词典、多种书写系统和语言家族，具有广泛代表性。
• 实用性：提供了针对挑战性场景的改进指南，如利用词典引言提升质量。
• 评估全面：对比了多种OCR、LLM和VLM，覆盖专业和通用模型。
• 开源：代码和数据集已公开，促进可复现性和后续研究。

Limitations:

• 数据集规模有限：每种词典仅3页，可能不足以代表完整词典的多样性。
• Stage 2仅聚焦10种词典，受限于MDF专家标注资源。
• 主要依赖公共领域历史词典，对现代词典格式的适用性未验证。
• 未深入探讨模型在极端低质量扫描或罕见书写系统上的表现。
• 评估指标可能未完全捕捉词典学解析中的细微语义错误。

Relevance To Keywords:

• Unify Models: 论文评估了通用LLM和VLM在词典数字化中的统一能力，与多模态理解和生成一体化相关。
• World Models: 词典数字化涉及对页面布局、阅读顺序和词典结构的理解，可视为构建文档世界模型的一部分。
• Representation Learning: 模型需学习从图像到结构化文本的表示映射，涉及视觉和语言表征的联合学习。
• Model-Based RL: 论文未直接涉及强化学习，但两阶段框架可类比为基于模型的规划（先转录后解析）。
• 原生多模态大模型: 论文核心评估对象即为原生多模态模型（如Gemini、Qwen-VL）在文档理解任务上的表现。
• 后训练: 论文未涉及后训练技术，但结果可为后续微调或指令调优提供基准。

三维语义场景生成对于自动驾驶应用至关重要，然而大多数方法依赖于复杂的专用 3D 架构，例如三平面编码器和适配的扩散网络，这限制了其简洁性和编辑能力。我们提出了 EditSSC，一种面向编辑的 3D 语义场景生成方法，该方法利用 2D 鸟瞰图（BEV）表示和现成的潜在扩散网络。该方法将 3D 语义占用网格转换为多通道 BEV 图像，并利用 Stable Diffusion 中的量化自编码器和 UNet，仅需进行最小修改。我们在量化后的潜在空间上执行扩散，从而实现无需训练的编辑能力。通过利用代码本中的类别与代码对应关系，我们的方法支持草图引导生成、图像修复和图像扩展，而无需任何重新训练。在 SemanticKITTI 数据集上，EditSSC 在无条件生成方面优于现有的专用 3D 基线方法，表明成熟的 2D 架构可以有效地复用用于 3D 场景生成和编辑。

3D semantic scene generation is crucial for autonomous driving applications, yet most methods rely on complex 3D-specific architectures such as triplane encoders and adapted diffusion networks, limiting both their simplicity and their editing capabilities. We propose EditSSC, an editing-ready method for 3D semantic scene generation using 2D Bird's Eye View (BEV) representations and off-the-shelf latent diffusion network. Our approach reshapes 3D semantic occupancy grids into multi-channel BEV images and leverages the quantized autoencoder and UNet from Stable Diffusion with minimal modifications. We perform diffusion on the latents after quantization, which enables training-free editing capabilities. By exploiting class-to-code correspondences in the codebook, our method supports sketch-guided generation, inpainting, and outpainting without any retraining. On SemanticKITTI, EditSSC outperforms existing 3D-specific baselines on unconditional generation, demonstrating that well-established 2D architectures can be effectively repurposed for 3D scene generation and editing.

评分理由: 论文聚焦于 3D 语义场景生成，利用 2D 扩散模型（如 Stable Diffusion）进行编辑。Tokenizer 和 Visual Encoder 作为扩散模型的核心组件（量化自编码器、UNet）被直接使用，相关性较高。Unify Models 涉及将 2D 架构复用于 3D，有一定关联。World Models 方面扩散模型属于生成式模型，但非动力学世界模型，相关性中等。MLLM 和 model-based RL 完全无关。MultiModal 涉及 BEV 与语义/草图，相关性较低。

3D semantic scene generation, Unconditional Diffusion Models, Bird's Eye View, Quantized Autoencoder, Training-free editing, Semantic Occupancy, Sketch-guided generation

Chinese Title: EditSSC：基于无条件扩散模型的可编辑语义占用场景生成

Summary: 本文提出EditSSC，一种面向自动驾驶场景的3D语义占用场景生成与编辑方法。研究背景在于现有3D场景生成方法依赖复杂的3D专用架构（如三平面编码器），限制了简洁性和编辑能力。方法上，EditSSC将3D语义占用网格重塑为多通道鸟瞰图（BEV）图像，并利用Stable Diffusion的量化自编码器和UNet，在量化后的潜在空间中进行扩散。通过利用码本中的类别-编码对应关系，该方法无需重新训练即可支持草图引导生成、修复和外推。在SemanticKITTI数据集上，EditSSC在无条件生成任务上超越了现有3D专用基线，证明了2D架构可有效用于3D场景生成与编辑。结论表明，潜在空间的结构化（如向量量化）比单纯的重构保真度对扩散质量更重要。

Innovations:

• 将3D语义占用网格重塑为多通道BEV图像，直接利用现成的2D扩散架构（Stable Diffusion），无需3D专用模块。
• 通过向量量化自编码器（VQ-VAE）构建离散且结构化的潜在空间，发现其比高重构保真度的非结构化潜在空间更有利于扩散建模。
• 利用码本中类别与编码的对应关系，实现无需重新训练或测试时适应的草图引导生成、修复和外推编辑能力。
• 在SemanticKITTI数据集上，以更简单的2D架构取得了优于3D专用方法（如SemCity）的无条件生成性能。

Methodology: 论文采用两阶段潜在扩散模型。第一阶段：将3D语义占用网格（尺寸256×256×32）沿高度维度折叠为多通道BEV图像（256×256×19），使用Stable Diffusion的VQ-VAE进行压缩和量化，得到离散潜在编码。第二阶段：训练轻量化的Stable Diffusion UNet在量化后的BEV潜在空间中进行扩散生成。编辑时，通过替换或屏蔽特定类别的码本索引，实现草图引导、修复和外推，无需额外训练。

Key Results:

• 在SemanticKITTI上，EditSSC的无条件生成性能（FID、CKL、Precision）优于SemCity等3D专用基线。
• VQ-VAE的BEV表示在重构性能较低（mIoU 68.35）的情况下，扩散性能（FID 97.5）优于高重构性能的MLP BEV（FID 156.9），验证了潜在空间结构的重要性。
• 成功实现了训练自由的草图引导场景生成、区域修复和场景外推编辑。
• 通过消融实验证明，BEV表示结合向量量化是编辑友好的关键设计。

Tech Stack:

• Stable Diffusion的VQ-VAE（向量量化自编码器）
• Stable Diffusion UNet（轻量化版本）
• 潜在扩散模型（Latent Diffusion Model）
• 鸟瞰图（BEV）表示
• SemanticKITTI数据集
• FID（Fréchet Inception Distance）
• CKL（Class-wise KL散度）
• IoU / mIoU（交并比/平均交并比）

Strengths:

• 方法简洁，利用现成2D架构，降低了3D场景生成的实现复杂度。
• 通过向量量化实现了训练自由的编辑能力，实用性强。
• 通过消融实验揭示了潜在空间结构对扩散质量的关键影响，具有方法论贡献。
• 在无条件生成任务上超越了3D专用方法，证明了2D架构的迁移潜力。

Limitations:

• 仅针对语义占用场景，未涉及RGB纹理或动态物体生成。
• 编辑能力依赖于码本中类别与编码的对应，可能对未见类别或细粒度编辑支持有限。
• 实验仅在SemanticKITTI一个数据集上进行，泛化性有待验证。
• BEV表示丢失了垂直方向上的精细结构信息，可能影响某些场景的生成质量。

Relevance To Keywords:

• Unify Models: 论文将2D图像扩散模型统一用于3D场景生成，体现了模型统一的思想。
• World Models: 3D语义场景生成可视为构建自动驾驶世界模型的一部分，用于模拟和规划。
• Representation Learning: 论文重点研究了潜在空间表示（BEV、VQ-VAE）对生成质量的影响，属于表征学习范畴。
• Model-Based RL: 生成的场景可用于基于模型的强化学习中的环境模拟和数据增强。
• 原生多模态大模型: 论文未直接涉及多模态大模型，但其2D到3D的迁移思路与多模态统一表征有潜在关联。
• 多模态大模型的理解和生成一体化: 论文聚焦于生成，未涉及理解任务。
• 后训练: 论文的编辑能力无需后训练，属于训练自由方法。

大型语言模型（LLMs）和视觉 - 语言模型（VLMs）在表格推理任务中的评估日益普遍，然而表格表示（table representation）的作用仍未被充分探索。在实际应用中，相同的表格内容可能以不同的结构格式呈现，例如 HTML、Markdown 和 LaTeX，或以渲染图像的形式存在。然而，现有的评估往往让内容、格式、布局和模态同时变化，这使得难以单独分离表示效应的影响。我们引入了 TABVERSE，这是一个受控的多模态表格基准，它在多种结构格式和渲染图像中对齐相同的表格内容，并附带问题类别和难度标签。这种设计使得在保持表格内容固定的前提下，能够对表示效应进行系统性评估。我们在三个任务上评估 LLMs 和 VLMs：问答（QA）、结构理解能力（SUC）以及结构重建（SR）。结果表明，表示的选择对表格理解有显著影响。模型通常在结构化文本上的表现优于渲染图像，但这种性能差距的大小取决于任务、模型和格式。HTML 通常是最稳健的文本格式，而对行敏感的结构任务以及语法上可用的 LaTeX 重建仍然具有挑战性。这些发现表明，表格表示是可靠表格评估中的关键因素。

Large Language Models (LLMs) and Vision-Language Models (VLMs) are increasingly evaluated on table reasoning tasks, but the role of table representation remains under-explored. In practice, the same table content may appear in different structural formats, such as HTML, Markdown, and LaTeX, or as rendered images. However, existing evaluations often let content, format, layout, and modality vary together, making it difficult to isolate representation effects. We introduce TABVERSE, a controlled multimodal table benchmark that aligns the same table content across multiple structural formats and rendered images, with question category and difficulty tags. This design enables systematic evaluation of representation effects while holding table content fixed. We evaluate LLMs and VLMs across three tasks: Question Answering (QA), Structural Understanding Capability (SUC), and Structure Reconstruction (SR). Our results show that representation choice substantially affects table understanding. Models generally perform better with structured text than with rendered images, but the size of this gap depends on the task, model, and format. HTML is often the most robust text format, while row-sensitive structural tasks and syntactically usable LaTeX reconstruction remain challenging. These findings show that table representation is a key factor in reliable table evaluation.

评分理由: 论文核心在于提出 TABVERSE 基准测试，评估不同表格表示格式（结构化文本 vs 渲染图像）对 LLM 和 VLM 性能的影响。因此，与 MLLM（涉及多模态大模型）和 MultiModal（文本与图像的多模态表示对比）相关性较高；Visual Encoder 因涉及 VLM 模型而有一定关联；Unify Models 和 Tokenizer 关联度较低（论文侧重评估而非模型统一或 tokenizer 架构）；World Models 和 model-based RL 与论文主题完全无关。经检查，作者列表中不包含指定的专家（Yang Shi 等），故无额外加分。

Table Understanding, Cross-Format Benchmark, LLMs and VLMs, Representation Effects, Structured Text, Rendered Images, Model Evaluation, TABVERSE

Chinese Title: TABVERSE：大语言模型与视觉语言模型跨格式表格理解的基准测试

Summary: 本文提出TABVERSE，一个受控的多模态表格基准，用于系统评估表格表示形式对大语言模型（LLM）和视觉语言模型（VLM）表格理解能力的影响。现有评估常让表格内容、格式、布局和模态同时变化，难以隔离表示效应。TABVERSE将同一表格内容对齐为HTML、Markdown、LaTeX三种结构化格式及其渲染图像，并标注问题类别和难度，构建了包含700个样本的平衡评估集。在问答（QA）、结构理解能力（SUC）和结构重建（SR）三项任务上评估多个模型。结果表明：表示选择显著影响性能；结构化文本通常优于渲染图像；HTML是最鲁棒的文本格式；行敏感的结构任务和可用的LaTeX重建仍具挑战性。研究强调表格表示是可靠表格评估的关键因素。

Innovations:

• 将跨格式和跨模态表格理解定义为受控评估问题，固定表格内容，变化结构格式和输入模态，使用匹配的评估管线。
• 构建TABVERSE基准，包含HTML、LaTeX、Markdown三种文本表示及其对应渲染图像，并附带类别和难度标签，以及从五个TableQA来源筛选的700样本平衡评估集。
• 在QA、SUC、SR三项任务上系统评估LLM和VLM，揭示格式和模态选择如何改变模型行为，并将SR错误分解为重建质量和输出可用性。

Methodology: 从FEVEROUS、HYBRIDQA、TABFACT、SQA、WikiTableQuestions五个数据集的保留测试集筛选单表可回答的问题，构建6097个问题-表格对。对每个表格生成HTML、Markdown、LaTeX表示，并渲染图像。使用Gemini-3-Flash-Preview进行问题类别标注（七类），通过GPT-5.2和Gemini-3-Flash-Preview在渲染图像上的零样本QA结果定义难度（Easy/Hard）。最终平衡选择700个样本（350 Easy, 350 Hard，每类别每难度50个）。在QA、SUC、SR任务上，分别以文本格式和图像作为输入，评估多个LLM和VLM，比较性能差异。

Key Results:

• 表示选择显著影响表格理解性能，结构化文本通常优于渲染图像，但差距大小取决于任务、模型和格式。
• HTML是最鲁棒的文本格式，在多数任务和模型上表现最好。
• 行敏感的结构任务（如边界检测、大小估计）对格式变化敏感，LaTeX重建在语法可用性上仍具挑战。
• SR任务中，模型重建表格的质量与输出格式的可用性之间存在分离。

Tech Stack:

• Gemini-3-Flash-Preview（用于类别标注和难度评估）
• GPT-5.2（用于难度评估）
• HTML、Markdown、LaTeX格式转换工具（基于Sui et al. 2024a的转换工具并扩展）
• 渲染图像生成（标准化字体、填充、宽度）
• 零样本QA评估（用于难度标签）
• 平衡采样策略（按类别和难度）

Strengths:

• 受控实验设计：固定表格内容，仅变化格式和模态，能清晰归因表示效应。
• 多任务评估：涵盖QA、结构理解、结构重建，全面考察表格理解能力。
• 多格式对齐：提供HTML、Markdown、LaTeX及其图像，覆盖常见表示。
• 类别和难度标注：支持细粒度分析不同问题类型和难度下的表现。
• 数据来源多样：从五个知名TableQA数据集构建，增强泛化性。

Limitations:

• 仅覆盖三种文本格式和渲染图像，未包括PDF、Excel等实际常见格式。
• 模型评估限于当前主流LLM/VLM，未涵盖所有可能模型。
• 难度标签基于两个模型在图像上的零样本表现，可能引入偏差。
• 平衡集仅700样本，规模较小，可能不足以覆盖所有表格复杂性。
• 未深入分析模型内部机制或表示学习过程。

Relevance To Keywords:

• 原生多模态大模型：论文评估VLM（视觉语言模型）在表格图像上的表现，直接相关。
• 多模态大模型的理解和生成一体化：SR任务要求从图像生成结构化文本，体现理解与生成结合。
• 表征学习：论文核心是研究不同表格表示（文本格式、图像）对模型性能的影响，涉及表征选择与学习。
• 世界模型：间接相关，表格理解可视为世界模型对结构化信息的处理能力。
• 强化学习、后训练：论文未直接涉及，但表格理解可作为后训练评估任务。

4D 生成（4D generation，即动态 3D 生成）最近已成为一个迅速发展的研究前沿，得益于其强大的时空建模能力。然而，尽管取得了显著进展，现有方法通常无法捕捉底层物理原理，导致生成的结果在物理上不一致且视觉上不合理。为了克服这一局限，我们提出了 CP4D，这是一种用于照片级真实感 4D 场景合成的新范式，能够忠实遵循复杂的物理动力学。受现实世界场景组合性特征的启发——其中不可变的静态背景与动态且物理上合理的前景共存——CP4D 将 4D 生成重新表述为静态 3D 环境与基于物理的动态对象的整合。在此基础上，我们的框架遵循一个三阶段流程：**1)** 首先，我们利用预训练专家模型（pre-trained expert models）分别生成环境及前景对象的高保真 3D 表示。**2)** 随后，为了生成这些对象的物理上合理的轨迹及真实交互，我们提出了一种混合运动合成策略，该策略整合了来自物理模拟器（physical simulators）的先验与嵌入在视频扩散模型（video diffusion models）中的常识。**3)** 最后，我们开发了一种自动组合机制，能够将静态环境与动态对象无缝融合，形成连贯且物理一致的 4D 场景。大量实验表明，CP4D 能够生成可探索且交互式的 4D 场景，具有高视觉保真度、强物理合理性及细粒度可控性，显著优于现有方法。项目页面：https://anonymous.4open.science/w/CP4D/。

4D generation (\textit{i.e.}, dynamic 3D generation) has recently emerged as a rapidly growing research frontier due to its powerful spatiotemporal modeling capabilities. However, despite notable advances, existing approaches typically fail to capture the underlying physical principles, producing results that are both physically inconsistent and visually implausible. To overcome this limitation, we present CP4D, a novel paradigm for photorealistic 4D scene synthesis with faithful adherence to complex physical dynamics. Drawing inspiration from the compositional nature of real-world scenes, where immutable static backgrounds coexist with dynamic, physically plausible foregrounds, CP4D reformulates 4D generation as the integration of a static 3D environment with physically grounded dynamic objects. On this basis, our framework follows a three-stage pipeline: \textbf{1)} Firstly, we leverage pre-trained expert models to generate high-fidelity 3D representations of the environment and foreground objects respectively. \textbf{2)} Subsequently, to produce physically plausible trajectories and realistic interactions for these objects, we propose a hybrid motion synthesis strategy that integrates priors from physical simulators with the common sense embedded in video diffusion models. \textbf{3)} Finally, we develop an automated composition mechanism that seamlessly fuses the static environment and dynamic objects into coherent, physically consistent 4D scenes. Extensive experiments demonstrate that CP4D can generate explorable and interactive 4D scenes with high visual fidelity, strong physical plausibility, and fine-grained controllability, significantly outperforming existing methods. The project page: https://anonymous.4open.science/w/CP4D/.

评分理由: The paper focuses on physics-aware 4D scene generation. 'World Models' (5.0) is highly relevant due to physics dynamics modeling. 'Unify Models' (4.0) and 'MultiModal' (4.0) relate to composition and spatiotemporal data. 'Visual Encoder' (3.0) is implied by 3D representations. 'Tokenizer' (1.5), 'MLLM' (1.5), and 'model-based RL' (2.0) are weakly related as they are not explicitly discussed or central (simulators used for generation, not RL). No specified expert authors were found. Total weighted score: 31.5, exceeding the passing threshold of 27.8.

4D Scene Generation, Physics-aware, Static Background, Dynamic Foreground, Motion Synthesis, Video Diffusion, Physical Plausibility, Composition Mechanism

Chinese Title: CP4D：组合式物理感知的四维场景生成

Summary: 本文提出CP4D，一种用于生成具有物理一致性的四维（动态三维）场景的新范式。现有4D生成方法通常忽略物理原理，导致结果不真实。受真实场景中静态背景与动态前景共存的组合特性启发，CP4D将4D生成重构为静态3D环境与物理驱动的动态对象的集成。方法分为三阶段：1）利用预训练专家模型分别生成背景和前景的高保真3D表示，并通过图像编辑确保风格一致；2）提出混合运动合成策略，结合物理模拟器与视频扩散模型的常识知识，生成物理合理的轨迹和交互；3）开发自动合成机制，通过单目深度估计和优化将动态前景无缝融合到静态背景中。实验表明，CP4D能生成高视觉保真度、强物理合理性和精细可控性的可探索、可交互的4D场景，显著优于现有方法。

Innovations:

• 提出组合式框架，将4D场景生成分解为静态背景与物理驱动动态前景的集成，实现物理一致性。
• 提出混合运动合成策略，融合可微物理模拟器的先验与视频扩散模型的常识知识，生成物理合理且视觉逼真的轨迹与交互。
• 开发自动合成机制，利用单目深度估计和深度感知启发式规则，自动校准前景的空间属性，实现无缝融合。
• 支持用户对前景对象、背景环境和运动轨迹的灵活编辑，提供精细可控的4D生成能力。

Methodology: CP4D采用三阶段流水线：第一阶段，通过大语言模型分解文本提示，利用文本到图像模型生成背景图像，再通过图像编辑模型生成与背景兼容的前景，最后用预训练3D重建模型分别得到背景和前景的3D表示。第二阶段，先使用物理模拟器生成符合物理定律的粗轨迹，再通过视频扩散模型的SDS梯度细化，增强对象间交互的真实性。第三阶段，利用单目深度估计和深度感知规则估计前景在背景中的相对位置和尺度，并通过优化校准实现视觉协调的合成。

Key Results:

• CP4D生成的4D场景具有高视觉保真度、强物理合理性和精细可控性。
• 在物理一致性、视觉质量和用户可控性方面显著优于现有4D生成方法。
• 支持可探索（自由视角）和可交互（编辑场景元素）的4D场景。
• 通过消融实验验证了各阶段（背景-前景风格一致性、混合运动合成、自动合成机制）的有效性。

Tech Stack:

• Score Distillation Sampling (SDS)
• 预训练文本到图像生成模型 (Ft2i)
• 图像编辑模型 (Fedit)
• 图像分割模型 (Fseg)
• 大语言模型 (GPT-4o)
• 可微物理模拟器 (如Material Point Method, MPM)
• 视频扩散模型
• 单目深度估计
• 3D高斯泼溅 (3D Gaussian Splatting)
• 动态NeRF

Strengths:

• 首次将物理模拟与视频扩散模型结合，实现物理合理且视觉逼真的运动。
• 组合式设计使场景元素可独立编辑，提供强交互性和可控性。
• 自动合成机制无需人工干预，能生成风格一致、空间协调的4D场景。
• 实验充分，定量和定性结果均优于现有方法。

Limitations:

• 依赖预训练模型的质量，可能受限于图像编辑和3D重建的精度。
• 物理模拟器目前主要处理刚体和弹性体，对复杂多材料、多对象交互支持有限。
• 自动合成机制中的深度估计在复杂场景中可能产生误差，影响合成质量。
• 计算开销较大，三阶段流水线需要较多资源。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但组合式框架可视为不同专家模型（图像、3D、物理、视频）的集成。
• World Models: 4D场景生成可视为构建世界模型的一部分，CP4D强调物理一致性，有助于世界模型的真实感。
• Representation Learning: 论文使用预训练模型提取3D表示，但未涉及新的表征学习方法。
• Model-Based RL: 物理模拟器可视为模型，但论文未涉及强化学习应用。
• 原生多模态大模型: 使用GPT-4o进行文本分解，但未训练多模态大模型。
• 多模态大模型的理解和生成一体化: 论文主要聚焦生成，理解方面仅用LLM分解提示。
• 后训练: 论文未涉及后训练技术。

基于行为克隆（behavior cloning）的参数化模仿学习在部署过程中因累积误差（compounding errors）可能导致对分布外状态（out-of-distribution states）的泛化能力不足。我们表明，通过一种半参数检索式模仿学习方法（semi-parametric retrieval-based imitation learning approach）在推理阶段复用训练数据，可以缓解这一挑战。我们提出了一种名为差异感知检索策略用于模仿学习（Difference-Aware Retrieval Policies for Imitation Learning，简称 DARP）的方法，这是一种半参数检索式模仿学习方法，它通过重新参数化模仿学习问题，基于局部邻域结构（local neighborhood structure）而非直接的状态 - 动作映射（state-to-action mappings）来解决这一局限性。与学习全局策略（global policy）不同，DARP 训练一个模型，基于专家示范中的 k 近邻（k-nearest neighbors）、其对应的动作以及邻居状态与查询状态之间的相对距离向量（relative distance vectors）来预测动作。DARP 除了标准行为克隆所做的假设外，无需额外假设——它不需要额外的数据收集、在线专家反馈或特定任务知识。我们在包括连续控制（continuous control）和机器人操作（robotic manipulation）在内的多样化领域，以及包括高维视觉特征（high-dimensional visual features）在内的不同表征上，展示了相对于标准行为克隆一致的性能提升（15%-46%）。代码和演示可在 https://weirdlabuw.github.io/darp-site/ 获取。

Parametric imitation learning via behavior cloning can suffer from poor generalization to out-of-distribution states due to compounding errors during deployment. We show that reusing the training data during inference via a semi-parametric retrieval-based imitation learning approach can alleviate this challenge. We present Difference-Aware Retrieval Policies for Imitation Learning (DARP), a semi-parametric retrieval-based imitation learning approach that addresses this limitation by reparameterizing the imitation learning problem in terms of local neighborhood structure rather than direct state-to-action mappings. Instead of learning a global policy, DARP trains a model to predict actions based on $k$-nearest neighbors from expert demonstrations, their corresponding actions, and the relative distance vectors between neighbor states and query states. DARP requires no additional assumptions beyond those made for standard behavior cloning -- it does not require additional data collection, online expert feedback, or task-specific knowledge. We demonstrate consistent performance improvements of 15-46% over standard behavior cloning across diverse domains, including continuous control and robotic manipulation, and across different representations, including high-dimensional visual features. Code and demos are available at https://weirdlabuw.github.io/darp-site/.

评分理由: 论文核心为基于检索的模仿学习，与 MLLM、Tokenizer 及生成式世界模型关联度低；但涉及视觉特征提取（Visual Encoder）、视觉与状态的多模态输入（MultiModal）及强化学习中的策略建模（model-based RL 广义理解），故相关度中等偏高；未涉及模型统一架构（Unify Models）。

Imitation Learning, Retrieval-based, Behavior Cloning, Difference-Aware, k-nearest neighbors, Robotic Manipulation, Visual Features, Semi-parametric

Chinese Title: 差异感知检索策略用于模仿学习

Summary: 本文提出了一种名为DARP（差异感知检索策略用于模仿学习）的半参数检索式模仿学习方法，旨在解决标准行为克隆（BC）因协变量偏移导致的泛化能力差和累积误差问题。DARP在推理阶段重新利用训练数据，通过检索查询状态的k个最近邻专家样本，并基于邻居状态、对应动作以及邻居与查询状态之间的差异向量来预测动作，而非直接学习全局状态到动作的映射。该方法无需额外数据收集、在线专家反馈或任务特定知识，仅需标准BC所需的专家演示数据。理论分析表明，DARP通过邻域聚合隐式实现了拉普拉斯平滑，降低了策略方差并提高了对分布偏移的鲁棒性。在连续控制（MuJoCo）、机器人操作（Robosuite、Robocasa）以及高维视觉模仿任务中，DARP相比标准BC实现了15-46%的性能提升。

Innovations:

• 提出差异感知检索策略：将模仿学习问题重新参数化为基于局部邻域结构而非直接状态-动作映射，通过检索邻居并利用差异向量进行动作预测。
• 半参数架构融合全局与局部学习优势：结合了全局参数化策略的稳定性和局部非参数检索的鲁棒性，无需额外假设或数据。
• 隐式拉普拉斯正则化：理论证明邻域聚合操作等价于对k-NN图施加低通谱滤波，实现参数自由的平滑，有效降低策略方差。
• 通用可扩展架构：自然扩展到高维视觉状态和复杂策略类（如Transformer、高斯混合模型），无需任务特定调整。

Methodology: DARP采用半参数检索增强架构。训练阶段，学习一个参数化模型，该模型以查询状态、检索到的k个最近邻状态、对应动作以及邻居与查询状态的差异向量为输入，输出每个邻居对应的动作预测。推理阶段，首先从训练数据中检索查询状态的k个最近邻，然后通过模型生成k个条件动作预测，最后通过置换不变聚合（如平均）得到最终动作。该方法通过邻域聚合隐式实现拉普拉斯平滑，理论分析基于图拉普拉斯正则化和Dirichlet能量最小化。实验在MuJoCo、Robosuite、Robocasa等基准上进行，包括连续控制、机器人操作和视觉模仿任务，并与标准BC、其他检索方法及正则化方法对比。

Key Results:

• 在连续控制（MuJoCo）、机器人操作（Robosuite、Robocasa）和视觉模仿任务中，DARP相比标准BC实现15-46%的性能提升。
• 理论证明DARP的邻域聚合等价于拉普拉斯滤波，能有效降低策略方差并保证局部Lipschitz连续性。
• 在闭环 rollout 中，DARP的误差累积速度低于标准BC（亚线性 vs 线性）。
• 消融实验验证了差异向量表示和邻域聚合机制的重要性，表明DARP对距离度量和邻居数量具有鲁棒性。

Tech Stack:

• 行为克隆（Behavior Cloning, BC）
• k-最近邻检索（k-Nearest Neighbors, k-NN）
• 图拉普拉斯正则化（Graph Laplacian Regularization）
• Dirichlet能量最小化（Dirichlet Energy Minimization）
• Tikhonov正则化（Tikhonov Regularization）
• 置换不变聚合（Permutation-Invariant Aggregation）
• 高斯混合模型（Gaussian Mixture Models）
• Transformer架构

Strengths:

• 方法简洁且通用：仅需标准BC的假设和数据，易于集成到现有模仿学习流程中。
• 理论扎实：提供了方差降低、平滑性和稳定性的理论保证，连接了检索方法与谱图理论。
• 实验全面：在多种领域（连续控制、机器人操作、视觉任务）和多种表示（低维状态、高维图像）上验证了有效性。
• 无需额外资源：不依赖模拟器、在线专家或大量次优数据，降低了实际应用门槛。

Limitations:

• 检索计算开销：推理时需对每个查询进行k-NN检索，在大规模数据集上可能带来延迟问题。
• 依赖距离度量：检索效果依赖于状态空间的距离度量选择，在复杂高维空间中可能不鲁棒。
• 未探索多模态动作分布：虽然支持高斯混合模型，但论文未深入分析在高度多模态行为下的表现。
• 理论分析假设专家策略光滑：实际中专家演示可能存在不连续性，可能影响理论保证的适用性。

Relevance To Keywords:

• {'keyword': '表征学习', 'relevance': 'DARP通过检索邻居并利用差异向量隐式学习局部数据流形结构，与表征学习中利用数据几何的思想相关，但并非核心贡献。'}
• {'keyword': '世界模型', 'relevance': '论文未涉及世界模型或环境动力学建模，相关性较低。'}
• {'keyword': '强化学习', 'relevance': 'DARP属于模仿学习范畴，是强化学习中利用专家数据的一种方法，但未涉及奖励函数或在线交互。'}
• {'keyword': '后训练', 'relevance': '论文未讨论模型后训练或微调阶段，相关性较低。'}
• {'keyword': '原生多模态大模型', 'relevance': '论文聚焦于机器人控制和连续控制任务，未涉及多模态大模型，相关性较低。'}
• {'keyword': '多模态大模型的理解和生成一体化', 'relevance': '论文不涉及多模态理解或生成，相关性较低。'}

阿尔茨海默病（AD）的进展具有高度异质性，通常通过稀疏且不规则的纵向数据进行观测，这对预测和个性化监测构成了挑战。现有的机器学习方法利用多模态数据改进了 AD 预测，但往往侧重于静态分类或队列级风险估计，对受试者特异性建模和不确定性感知推理的支持有限。为了解决这些局限性，我们提出了一种利用多模态纵向数据进行 AD 预测和基于场景分析的个性化数字孪生框架。所提出的方法整合了互补的建模策略，以捕捉临床转换以及各访问点之间的时间依赖性。该框架利用来自阿尔茨海默病神经影像学倡议（ADNI）的数据，包括认知评估、临床变量和基于 MRI 的表型，预测认知状态和诊断类别，同时量化预测不确定性并支持患者特定的假设轨迹分析。在无泄漏的受试者级划分上的评估表明，该方法在分数预测和诊断分类方面表现强劲。在此稀疏且不规则的 ADNI 数据设置中，相邻访问点之间的基于转换的建模比基于序列的方法实现了更高的预测准确性，表明局部转换建模可能更具数据效率。尽管序列模型在不确定性感知轨迹预测中仍具价值，但局部转换建模提供了一种更具数据效率和稳健性的预测策略。这些发现强调了将时间建模策略与临床数据结构对齐的重要性，并表明基于转换的数字孪生构建范式可能为神经退行性疾病中的个性化疾病预测提供一种实用且可解释的方法。

Alzheimer's disease (AD) progression is highly heterogeneous and is typically observed through sparse and irregular longitudinal data, posing challenges for prediction and personalised monitoring. Existing machine learning approaches have improved AD prediction using multimodal data, yet often focus on static classification or cohort-level risk estimation, providing limited support for subject-specific modelling and uncertainty-aware reasoning. To address these limitations, we present a personalised digital twin framework for AD prediction and scenario-based analysis using multimodal longitudinal data. The proposed approach integrates complementary modelling strategies to capture clinical transitions and temporal dependencies across visits. Using data from the Alzheimer's Disease Neuroimaging Initiative (ADNI), including cognitive assessments, clinical variables, and MRI-derived phenotypes, the framework predicts cognitive status and diagnostic categories while quantifying predictive uncertainty and enabling patient-specific what-if trajectory analysis. Evaluation on leak-free subject-level splits demonstrates strong performance in score forecasting and diagnosis classification. In this sparse and irregular ADNI setting, transition-based modelling of adjacent visits achieved higher predictive accuracy than the sequence-based branch, suggesting that local transition modelling may be more data-efficient. While sequence models remain valuable for uncertainty-aware trajectory forecasting, local transition modelling offers a more data-efficient and robust predictive strategy. These findings highlight the importance of aligning temporal modelling strategies with clinical data structure and suggest that transition-based digital twin formulations may provide a practical and interpretable approach for personalised disease forecasting in neurodegenerative disorders.

评分理由: 论文核心为阿尔茨海默病数字孪生建模，与 MultiModal (8 分) 高度相关，因明确使用多模态纵向数据（认知、临床、MRI）；与 World Models (4 分) 和 model-based RL (4 分) 概念相关，因涉及状态转移建模和 what-if 轨迹分析；但无 MLLM、Tokenizer 及特定 Visual Encoder 架构，Unify Models 关联较弱 (2 分)。专家列表无匹配。加权总分 30.0 分。

Transition-Based Modelling, Digital Twin, Alzheimer's Disease, Multimodal Longitudinal Data, Sparse Longitudinal Data, What-if Analysis, Uncertainty-aware Reasoning

Chinese Title: 基于稀疏纵向数据的阿尔茨海默病过渡式数字孪生建模

Summary: 本文针对阿尔茨海默病（AD）进展的高度异质性和临床随访数据稀疏、不规则的特点，提出了一种个性化的数字孪生框架。该框架结合了基于MLP的过渡模型（短时预测）和基于BiLSTM-Attention的序列模型（长时预测与不确定性量化），利用ADNI数据集中的认知评估、临床变量和MRI结构表型，预测未来认知状态和诊断类别，并支持患者特定的“what-if”轨迹分析。实验表明，在稀疏纵向数据条件下，基于相邻访视的过渡建模在预测精度上优于序列建模，表明局部过渡建模在数据有限时更高效。序列模型虽在不确定性感知和场景分析中有价值，但过渡模型提供了更稳健的预测策略。该工作强调了将时间建模策略与真实临床数据结构对齐的重要性，并为神经退行性疾病的个性化预测提供了实用且可解释的方法。

Innovations:

• 提出混合数字孪生框架，同时支持短时过渡预测和长时序列预测，并整合不确定性量化与what-if场景分析。
• 实证发现：在稀疏、不规则纵向临床数据中，基于相邻访视的过渡建模（MLP）比序列建模（BiLSTM-Attention）更数据高效、预测更准确。
• 将数字孪生概念具体化为可更新的个体预测表征，支持个性化监测和前瞻性推理。
• 在ADNI数据集上实现了泄漏-free的受试者级划分，并进行了全面的特征选择与消融分析。

Methodology: 使用ADNI数据集，整合静态变量（性别、教育、APOE等）和动态变量（认知评分、MRI表型），预处理后得到385个预测因子。设计混合数字孪生框架：1）过渡分支：MLP模型，输入相邻访视对（t→t+6月），预测MMSE和诊断类别，使用mRMR特征选择、Adam优化和早停。2）序列分支：BiLSTM-Attention模型，对齐基线至24个月的序列，使用注意力池化，回归用SmoothL1损失，分类用Focal损失，测试时保持dropout进行不确定性估计。实验采用70%/20%/10%受试者级划分，评估指标包括RMSE、MAE、ACC、AUC、macro-F1，并通过bootstrap计算置信区间。

Key Results:

• MLP过渡分支在测试集上表现优于BiLSTM-Attention序列分支：MMSE预测RMSE 2.149 vs 2.687，MAE 1.529 vs 1.926；诊断分类ACC 0.906 vs 0.806，AUC 0.976 vs 0.928，macro-F1 0.908 vs 0.798。
• mRMR特征选择验证：K=20时验证集ACC达0.943，RMSE 2.153。
• 消融分析表明，同时使用静态和动态特征比单独使用任一子集效果更好。
• MLP在相同特征空间下优于逻辑回归、随机森林和决策树等基线分类器。

Tech Stack:

• MLP（多层感知机）
• BiLSTM（双向长短期记忆网络）
• 注意力机制（Attention Pooling）
• mRMR（最小冗余最大相关性）特征选择
• Adam优化器
• 早停（Early Stopping）
• SmoothL1损失
• Focal损失
• Dropout（用于不确定性量化）
• 线性插值（对齐不规则随访）
• Z-score标准化
• Bootstrap置信区间

Strengths:

• 针对真实临床数据稀疏、不规则的特点，提出了实用的过渡建模策略，并验证其有效性。
• 框架兼具短时高精度预测和长时不确定性感知与场景分析能力，功能完整。
• 采用受试者级泄漏-free划分，评估可信度高。
• 代码开源，可复现。
• 对特征来源（静态/动态）和特征选择进行了系统消融分析，提供了深入见解。

Limitations:

• 序列分支使用线性插值对齐数据，可能引入人为规律性，比较结果需谨慎解释。
• 仅使用ADNI单一数据集，泛化性有待验证。
• 过渡模型仅预测相邻访视（6个月），更长预测需迭代或依赖序列分支。
• 未与现有最先进的AD预测方法（如基于Transformer的模型）进行直接比较。
• 数字孪生框架的“what-if”分析仅演示了概念，缺乏临床验证。

Relevance To Keywords:

• 表征学习：论文使用mRMR进行特征选择，MLP和BiLSTM学习隐层表征，但未强调表征学习的理论贡献。
• 世界模型：数字孪生可视为个体疾病进展的世界模型，支持预测和反事实推理，与“世界模型”概念相关。
• 模型预测控制/强化学习：论文未涉及强化学习，但过渡建模可类比于状态转移模型，可用于规划。
• 原生多模态大模型：论文使用多模态数据（认知、临床、MRI），但模型规模小，非大模型。
• 多模态大模型的理解和生成一体化：论文仅做预测（理解），未涉及生成。
• 后训练：论文未涉及预训练-微调范式。
• 总体相关性中等：主要贡献在数字孪生和稀疏数据建模，与关键词中的世界模型、表征学习有间接联系。

跨模型和模态的学习表示通常表现出显著的结构相似性，暗示着共享的底层概念分解。然而，概念对齐的定义仍不明确：现有方法在相同的术语下优化不同的目标，掩盖了实际上对齐的是什么。我们提出一个统一的框架，沿两个维度分解对齐：对齐的是什么（表示 vs. 概念）以及在对齐的粒度上（实例级 vs. 分布级）。这导出了四个相应的属性，即平移与概念一致性的实例级和分布级变体，并精确揭示了现有方法提供了哪些保证。我们进一步引入了 InterVenchA，这是一个基于干预的基准，分别衡量提取质量、平移质量和概念一致性。通过理论和实验，我们表明对齐目标之间通常假设的等价性在实践中失效：优化一个属性并不能可靠地恢复其他属性，且纯无监督目标无法恢复有意义的实例级对齐。随后，我们提出了耦合稀疏自编码器（CoSAE），它联合强制执行互补的对齐目标。唯有在此机制下才能实现强对齐。令人惊讶的是，当以分布级目标为锚点时，仅需 0.1% 的配对数据就足以恢复实例级对齐。总体而言，我们的结果表明概念对齐本质上是多目标的：必须如此定义、测量和优化。

Learned representations across models and modalities often exhibit striking structural similarities, suggesting shared underlying concept decompositions. However, concept alignment remains poorly defined: existing approaches optimize different objectives under the same terminology, obscuring what is actually aligned. We propose a unifying framework that decomposes alignment along two axes: what is aligned (representations vs. concepts) and at what level (instance-wise vs. distributional). This induces four corresponding properties -- instance-wise and distributional variants of translation and concept consistency -- and reveals precisely which of these guarantees existing methods provide. We further introduce \InterVenchA, an intervention-based benchmark that separately measures extraction quality, translation quality, and concept consistency. Through theory and experiments, we show that commonly assumed equivalences between alignment objectives fail in practice: optimizing one property does not reliably recover the others, and purely unsupervised objectives fail to recover meaningful instance-level alignment. We then propose the Coupled Sparse Autoencoder (CoSAE), which jointly enforces complementary alignment objectives. Strong alignment emerges only in this regime. Surprisingly, as little as 0.1\% paired data is sufficient to recover instance-level alignment when anchoring distributional objectives. Overall, our results show that concept alignment is fundamentally multi-objective: it must be defined, measured, and optimized as such.

评分理由: 论文标题包含'Unifying Framework'，与'Unify Models'有一定关联；摘要明确提到'modalities'和跨模态表征，与'MultiModal'高度相关。其余关键词如 Tokenizer、World Models、MLLM、model-based RL 在摘要和标题中未体现，相关性较低。作者列表中未包含指定的 Yang Shi 等专家，无额外加分。加权总分 30.0，高于动态及格分 27.8。

Concept-Based Representational Similarity, Unifying Framework, Concept Alignment, MultiModal Representations, Coupled Sparse Autoencoder, Instance-wise Alignment, Distributional Consistency

Chinese Title: 基于概念的表征相似性的统一框架

Summary: 本文提出一个统一框架，将概念对齐分解为四个基本属性：实例级翻译、分布级翻译、实例级概念一致性、分布级概念一致性，并揭示了现有方法（如跨编码器、通用SAE、对齐SAE）各自满足哪些属性。作者引入InterVenchA基准，独立测量提取质量、翻译质量和概念一致性。通过理论和实验证明，常见的对齐目标之间的等价关系在实践中不成立：优化一个属性无法可靠地恢复其他属性，纯无监督目标无法恢复有意义的实例级对齐。为此，提出耦合稀疏自编码器（CoSAE），联合强制执行互补的正则化目标，仅需0.1%的配对数据即可在锚定分布目标时恢复实例级对齐。结果表明，概念对齐本质上是多目标问题，必须同时定义、测量和优化。

Innovations:

• 提出了概念对齐的四属性统一框架（实例级/分布级翻译与概念一致性），清晰定位现有方法。
• 设计了InterVenchA基准，独立评估提取质量、翻译质量和概念一致性。
• 通过理论和实验揭示了常见对齐目标（如翻译、循环一致性、分布匹配）之间的等价关系在实践中失效。
• 提出了耦合稀疏自编码器（CoSAE），通过联合互补正则化实现强对齐，仅需极少配对数据。
• 在合成和真实嵌入上展示了CoSAE优于现有方法（跨编码器、通用SAE、对齐SAE）的性能。

Methodology: 论文首先形式化定义四个对齐属性，并推导它们之间的理论关系（如命题1和2）。然后构建InterVenchA基准，包含合成数据和真实嵌入数据，分别测量提取质量（重建误差、稀疏性）、翻译质量（实例级和分布级翻译误差）和概念一致性（特征匹配）。接着，通过实验验证理论等价关系在实践中的失效。最后，提出CoSAE模型，在标准SAE损失基础上加入翻译正则化（实例级或分布级）和概念一致性正则化，使用少量配对数据锚定分布目标，进行联合训练。

Key Results:

• 翻译属性不能可靠地保证概念一致性，反之亦然（命题1的等价性在实践中不成立）。
• 循环一致性不是对齐的可靠代理。
• 分布级匹配不能保证实例级对齐。
• CoSAE在合成和真实数据上均优于跨编码器、通用SAE和对齐SAE，在翻译质量和概念一致性上取得最佳。
• 仅需0.1%的配对数据即可通过锚定分布目标恢复实例级对齐。

Tech Stack:

• 稀疏自编码器（SAE）
• 跨编码器（Crosscoder）
• 通用SAE（Universal SAE）
• 对齐SAE（SAE-Aligned）
• 耦合稀疏自编码器（CoSAE）
• 正则化损失函数（重建、翻译、概念一致性）
• InterVenchA基准（包含合成数据生成、真实嵌入提取）
• 线性模型分析（命题推导）
• 分布匹配（推前测度）

Strengths:

• 提供了清晰的概念对齐分类框架，有助于统一和比较不同方法。
• 通过理论分析和大量实验揭示了常见假设的局限性，具有重要指导意义。
• 提出的CoSAE方法简单有效，仅需极少配对数据即可实现强对齐，实用性强。
• InterVenchA基准为后续研究提供了标准化的评估工具。
• 论文结构严谨，从定义到实验再到方法，逻辑连贯。

Limitations:

• 主要聚焦于SAE架构，未探讨其他概念提取方法（如非稀疏编码）的适用性。
• 实验仅在合成数据和有限真实嵌入上进行，大规模多模态场景的验证有待进一步开展。
• CoSAE需要少量配对数据，在完全无配对场景下可能无法直接应用。
• 对分布级对齐的理论分析假设了线性可逆性，非线性情况下的等价性可能更复杂。

Relevance To Keywords:

• Unify Models: 论文提出的统一框架旨在对齐不同模型（不同架构、初始化、模态）的概念表征，直接服务于模型统一。
• World Models: 概念对齐有助于构建共享的世界模型，使不同系统对同一概念有共同理解。
• Representation Learning: 论文核心是表征学习中的概念对齐问题，提出了新的学习目标和评估方法。
• Model-Based RL: 概念对齐可应用于模型基强化学习中的状态表征对齐，但论文未直接涉及RL。
• 原生多模态大模型: 论文讨论跨模态对齐（如CLIP），与多模态大模型的理解和生成一体化相关。
• 多模态大模型的理解和生成一体化: 概念对齐是实现多模态理解和生成统一的关键技术之一。
• 表征学习: 直接相关，论文研究表征的分解与对齐。
• 世界模型: 间接相关，概念对齐有助于构建共享的世界表征。
• 强化学习: 弱相关，论文未涉及RL任务。
• 后训练: 概念对齐可作为后训练阶段的一种技术，但论文未明确讨论后训练场景。

建模相互作用的动力系统需要同时捕捉空间相互作用与长程时间依赖。图神经网络（GNNs）提供了一种自然的表示方法，但通常依赖于自回归展开，并将空间和时间动力学分开处理，导致在长时域上产生误差累积。现有方法也主要关注局部相互作用和短时上下文，限制了其捕捉多跳依赖和全局结构的能力。我们引入了图 Mamba 算子（GraMO），这是一种将状态空间模型与基于图的交互学习相结合的潜在空间模拟器。与先前工作将节点序列化或在独立阶段分别应用空间和时间更新不同，GraMO 在单次循环中耦合了基于图的交互和时序状态更新。该更新在潜在状态上是线性的，具有输入依赖的系数，能够适应不同机制。我们在 N 体系统、动作捕捉和机器人数据集上评估了 GraMO，在所有基准上实现了最低误差，并在长时域预测中获得了最大增益。

Modeling interacting dynamical systems requires capturing spatial interactions alongside long-range temporal dependencies. Graph neural networks (GNNs) provide a natural representation but typically rely on autoregressive rollouts and treat spatial and temporal dynamics separately, leading to error accumulation over long horizons. Existing approaches also focus on local interactions and short temporal contexts, limiting their ability to capture multi-hop dependencies and global structure. We introduce the Graph Mamba Operator (GraMO), a latent-space simulator that integrates state-space models with graph-based interaction learning. In contrast to prior work that sequences nodes or applies spatial and temporal updates in separate stages, GraMO couples graph-based interactions and temporal state updates within a single recurrence. The update is linear in the latent state, with input-dependent coefficients that adapt across regimes. We evaluate GraMO on N-body systems, motion capture, and robotics datasets, achieving the lowest error across benchmarks and the largest gains in long-horizon prediction.

评分理由: 论文提出 Graph Mamba Operator，通过单次循环统一图交互与时间状态更新，架构上体现了模型统一性（Unify Models: 6）；作为动力学系统的潜在模拟器，其核心概念与 World Models 高度一致（World Models: 7）；且提供的模拟器适用于机器人等场景，是 Model-Based RL 的关键组件（model-based RL: 7）。然而，论文内容未涉及分词器、视觉编码器、大语言模型或多模态数据融合，故相关关键词得分为 0。

Graph Mamba Operator, Latent Simulator, Interacting Particle Systems, State Space Models, Graph-based Interaction Learning, Long-range Temporal Dependencies, Robotics Datasets

Chinese Title: 图Mamba算子：交互粒子系统的潜在模拟器

Summary: 本文提出图Mamba算子（GraMO），一种用于交互粒子系统轨迹预测的潜在空间模拟器。传统方法通常将空间交互与时间建模分离，导致长程预测误差累积。GraMO将状态空间模型（SSM）与图神经网络耦合，在单一循环中同时更新图传播和时序状态，且更新系数依赖于输入，可自适应不同动态模式。该方法将系统状态编码为潜在表示，通过线性递归演化，避免了观测空间的自回归误差传播。在N体系统、运动捕捉和机器人数据集上，GraMO取得了最低的预测误差，尤其在长程预测中优势显著。论文还提供了潜在递归的稳定性分析和与图ARMA过程的联系。

Innovations:

• 提出图耦合状态空间算子，将空间交互与时间记忆统一在单一潜在递归中，避免分离建模。
• 更新系数输入依赖，实现自适应动态（如接触、漂移、快速过渡），类似时变Koopman算子。
• 提供潜在递归的稳定性与长程传播理论分析，并建立与图自回归移动平均（ARMA）过程的联系。
• 在多个物理基准上实现最优轨迹预测，尤其在长程预测中大幅超越现有图神经网络和神经算子方法。

Methodology: GraMO采用编码器-潜在模拟器-解码器架构。首先将粒子状态（位置、速度、属性）编码为潜在状态H(t)∈R^{V×D×N}，其中D保留物理语义，N提供记忆轴。潜在状态演化由ODE描述：dH/dt = F(H, X, G)，其中F是耦合图结构（通过邻接矩阵）与状态空间模型的算子。离散化后，每个时间步执行图消息传递与SSM递归的联合更新，且SSM参数（B, C, Δ）依赖于当前输入。输出通过读出层Y(t)=R(H(t))得到。训练目标是最小化预测轨迹与真实轨迹的L2范数。

Key Results:

• 在N体模拟、运动捕捉和机器人数据集上，GraMO的均方误差（MSE）低于所有基线（如GNN、神经算子、Mamba变体）。
• 长程预测（如未来100步）中，GraMO误差增长远慢于自回归GNN模型，展示了更好的稳定性。
• 零样本泛化测试中，GraMO在未见过的粒子数量或初始条件下仍保持较低误差。
• 消融实验验证了图耦合与输入依赖系数对性能的关键贡献。

Tech Stack:

• 状态空间模型（SSM）：连续时间线性ODE，HiPPO初始化，零阶保持离散化
• 选择性状态空间模型（S6）：输入依赖的B、C、Δ参数
• 图神经网络：消息传递，邻接矩阵定义交互
• Koopman算子理论：潜在空间线性演化
• 图自回归移动平均（ARMA）过程
• L2损失函数，梯度下降优化

Strengths:

• 统一了空间交互与时间记忆，避免了分离建模的误差累积。
• 输入依赖系数使模型能自适应不同动态阶段，提升泛化能力。
• 潜在递归线性化，支持长程预测且计算高效。
• 在多个物理基准上取得SOTA，尤其长程预测优势明显。
• 提供理论分析（稳定性、与ARMA联系），增强可解释性。

Limitations:

• 模型假设图结构已知且静态，不适用于动态图或未知交互关系。
• 潜在状态维度N的选择需要调参，可能影响记忆容量与计算开销。
• 仅评估了粒子系统，未在更复杂的多模态场景（如视觉-语言）中验证。
• 与纯Koopman方法相比，输入依赖系数增加了模型复杂度。

Relevance To Keywords: 论文聚焦于交互粒子系统的潜在模拟器，涉及表征学习（潜在状态编码）、世界模型（学习物理动态）、模型基强化学习（潜在模拟可用于规划）。但论文未涉及多模态大模型、理解与生成一体化、原生多模态等关键词。因此相关性中等，主要关联世界模型和表征学习，对模型基RL有间接启发。

多模态联邦图学习（MM-FGL）旨在从包含文本和图像的去中心化图上进行协同学习。然而，现实中的客户端可能不具备共同的模态基础：视觉搜索客户端可能包含图像交互图却缺乏卖家描述，而目录客户端可能提供文本却缺乏产品图像。我们将这种实际场景称为客户端级模态缺失。与随机的实例级缺失不同，缺失模态的客户端缺乏重建缺失模态所需的本地语义基础。更重要的是，在图学习中，不完整的表征会初始化消息传递过程，因此插补错误可能会被接收端拓扑过滤、混合并放大。为填补这一空白，我们提出 PRISM（Proactive Retrieval and Imputation via Structural Meta-prompting），一种感知拓扑的联邦跨模态插补框架。PRISM 并非仅从本地观测重建缺失模态，而是从联邦中恢复缺失模态语义，并在拓扑感知控制下将其引入本地图传播过程。在六个多模态图数据集上进行的实验（涵盖图中心型和模态中心型任务）表明，PRISM 能持续改善模态缺失客户端，平均性能优于最先进的基线 4.48%。

Multimodal federated graph learning (MM-FGL) aims to collaboratively learn from decentralized graphs with text and images. However, real-world clients may not share a common modality basis: a visual-search client may contain image--interaction graphs but no seller descriptions, while a catalog client may provide text but no product images. We refer to this practical setting as client-level modality deficiency. Unlike random instance-wise missingness, a deficient client lacks the local semantic basis needed to reconstruct the absent modality. More importantly, in graph learning, incomplete representations initialize message passing, so imputation errors can be filtered, mixed, and amplified by the receiving topology. To address this gap, we propose \textbf{PRISM} (\textbf{P}roactive \textbf{R}etrieval and \textbf{I}mputation via \textbf{S}tructural \textbf{M}eta-prompting), a topology-aware federated cross-modal imputation framework. Rather than reconstructing the missing modality solely from local observations, PRISM recovers missing-modality semantics from the federation and introduces them into local graph propagation under topology-aware control. Experiments on six multimodal graph datasets across graph-centric and modality-centric tasks show that PRISM consistently improves modality-deficient clients, outperforming state-of-the-art baselines by \textbf{4.48}\% on average.

评分理由: 论文核心聚焦于多模态联邦图学习中的模态缺失补全，与'MultiModal'高度相关（9 分）。涉及图像和文本处理，'Visual Encoder'和'MLLM'（基于提示词）有弱相关（3 分）。'Unify Models'在联邦学习统一模型语境下有弱相关（2 分）。'Tokenizer'、'World Models'、'model-based RL'与图学习和补全任务无直接关联（1 分）。作者列表中未包含指定专家，故无额外加分。加权总分为 30.0，高于动态及格分 27.8。

Multimodal Federated Graph Learning, Cross-Modal Imputation, Modality Deficiency, Topology-Aware, Federated Learning, Structural Meta-prompting, Graph Representation

Chinese Title: PRISM: 面向模态缺失联邦图学习的拓扑感知跨模态插补

Summary: 本文针对多模态联邦图学习（MM-FGL）中客户端级模态缺失问题，提出PRISM框架。该问题中，不同客户端可能永久缺失整个模态（如图像或文本），导致局部语义基础缺失，且缺失模态的插补误差会通过图拓扑传播、混合甚至放大。PRISM遵循“全局检索、结构注入”原则：从联邦中跨客户端获取缺失模态语义，转换为图兼容的辅助信号，并根据接收客户端的拓扑结构和检索可靠性自适应调节其影响。实验在六个多模态图数据集上，涵盖图中心任务和模态中心任务，平均提升4.48%，在模态缺失设置下提升12.24%，验证了PRISM的有效性。

Innovations:

• 首次识别并形式化客户端级模态缺失问题，区别于实例级随机缺失，揭示其图特有后果——语义边界误差。
• 提出PRISM框架，实现拓扑感知的联邦跨模态插补，分离缺失语义的来源与注入方式。
• 设计全局检索与结构注入机制：从联邦中获取缺失模态原型，转化为虚拟锚点，并通过拓扑条件门控控制传播影响。
• 通过实证研究验证了相同模态缺失误差在不同拓扑结构下传播差异显著，且结构中心节点是危险入口点。

Methodology: PRISM采用联邦学习范式，每个客户端持有私有子图。首先，客户端利用本地可用模态编码节点表示；然后，通过跨客户端原型共享（隐私保护下）获取缺失模态的语义原型；接着，将原型转换为图兼容的辅助信号（虚拟锚点）；最后，根据接收客户端的拓扑结构（如度、同质性）和检索可靠性，自适应调节辅助信号在消息传递中的权重，实现拓扑感知注入。整体训练通过联邦平均优化共享参数。

Key Results:

• 在六个多模态图数据集（Toys、KU、QB等）上，PRISM在模态缺失设置下平均提升12.24%，优于现有基线4.48%。
• 实证研究表明：相同模态缺失误差在不同客户端拓扑中传播差异显著，误差放大与平均度（ρ=1.00）和同质性（ρ=0.98）高度相关。
• PRISM有效抑制了因不可靠语义注入导致的拓扑污染，尤其对结构中心节点具有更强控制。

Tech Stack:

• 图神经网络（GNN）
• 联邦学习（Federated Learning）
• 跨模态原型共享（Cross-modal Prototype Sharing）
• 拓扑条件门控（Topology-conditioned Gating）
• 归一化传播矩阵（Normalized Propagation Matrix）
• 线性化消息传递（Linearized Message Passing）
• 语义边界误差分析（Semantic Boundary Error Analysis）

Strengths:

• 问题新颖：首次系统研究客户端级模态缺失对联邦图学习的影响，并揭示其图特有传播特性。
• 方法创新：提出“全局检索、结构注入”原则，将跨模态插补与拓扑感知控制有机结合。
• 实验充分：在多个数据集和任务上验证，性能提升显著，且消融实验证明各组件有效性。
• 理论分析：通过实证研究量化误差传播与拓扑统计量的相关性，为设计提供依据。

Limitations:

• 依赖跨客户端原型共享，可能面临隐私与通信开销的权衡，未深入讨论差分隐私等保护机制。
• 拓扑条件门控的设计基于度、同质性等简单统计量，可能无法捕捉更复杂的图结构模式。
• 实验仅在静态图场景下进行，未考虑动态图或时序演化场景。
• 方法假设缺失模态在联邦中至少部分客户端拥有，若所有客户端均缺失同一模态则无法恢复。

Relevance To Keywords:

• Unify Models: 论文聚焦多模态联邦图学习，涉及图像和文本模态的统一建模，但未直接讨论生成与理解一体化。
• World Models: 论文未涉及世界模型概念，但图结构可视为环境拓扑的抽象，与表征学习相关。
• Representation Learning: 核心是学习节点表示，通过跨模态插补和拓扑感知传播提升表征质量。
• Model-Based RL: 论文不涉及强化学习，但联邦学习中的模型聚合与后训练思想有间接关联。
• 原生多模态大模型: 论文未使用大模型，而是基于GNN和原型共享，属于小规模多模态学习。

文本驱动的室内场景生成与编辑需要一种中间表示，该表示既能由语言模型生成，也能被其修订。现有的基于大语言模型（LLM）的系统通常依赖场景图或全局约束列表，这些表示虽然紧凑，但未能充分指定局部几何结构，使得基于指令的编辑难以定位。我们将此问题框架化为结构化程序生成与局部程序修复，并提出层次化描述场景语言（HDSL），这是一种用于结构化 3D 室内场景的 XML/CSS 风格的领域特定语言（DSL）。HDSL 将房间、区域、物体及支撑面表示为带有局部坐标的树，使得复杂场景更容易进行递归规划，也更容易检索以供编辑。我们的流程使用 LLM 代理生成带有有界验证的 HDSL 子树，通过多模态资产检索将非虚拟节点实例化，并应用力导向布局优化来修复边界和碰撞错误。在编辑方面，层次化检索增强生成（HRAG）检索相关子树，要求 LLM 仅重写该局部上下文，并通过确定性的三路合并将结果合并回原处。在我们复现的基准测试中，相较于完整的端到端文本到场景基线，HDSL 提高了平均物体覆盖率、文本 - 场景对齐度及生成时间，同时在几何指标上与最近的仅布局重现方法保持竞争力；在编辑任务上，HRAG 将令牌使用量减少 5.22 倍，运行时间减少 6.19 倍，为所有八对配对编辑生成有效的 DSL，并更好地保留无关场景对象。

Text-driven indoor scene generation and editing require an intermediate representation that language models can both produce and revise. Existing LLM-based systems often rely on scene graphs or global constraint lists, which are compact but underspecify local geometry and make instruction-based edits difficult to localize. We frame this problem as structured program generation and local program repair, and propose Hierarchical Descriptive Scene Language (HDSL), an XML/CSS-style domain-specific language for structured 3D indoor scenes. HDSL represents rooms, regions, objects, and support surfaces as a tree with local coordinates, making complex scenes easier to plan recursively and easier to retrieve for editing. Our pipeline uses LLM agents to generate HDSL subtrees with bounded verification, grounds non-virtual nodes through multimodal asset retrieval, and applies force-directed layout optimization to repair boundary and collision errors. For editing, Hierarchical Retrieval-Augmented Generation retrieves the relevant subtree, asks the LLM to rewrite only that local context, and merges the result back through a deterministic three-way merge. In our reproduced benchmark, HDSL improves average object coverage, text-scene alignment, and generation time over full text-to-scene baselines while remaining competitive with recent layout-only reproductions on geometry metrics; for editing, HRAG reduces token use by $5.22\times$ and runtime by $6.19\times$, produces valid DSL for all eight paired edits, and better preserves unrelated scene objects.

评分理由: 论文提出了一种基于 LLM 代理的分层领域特定语言（HDSL）用于 3D 室内场景生成与局部编辑。与关键词的相关性分析如下：MLLM 和多模态相关性较高（5-6 分），因涉及文本驱动生成与多模态资产检索；Unify Models 和 World Models 中等（3 分），因涉及生成/编辑流程统一与结构化场景表征；Tokenizer 和 Visual Encoder 较低（1-2 分），非核心组件（主要依赖检索而非编码器或分词器设计）；model-based RL 无关（0 分），未涉及强化学习。加权总分 30.0，高于动态及格分 27.8。作者列表中未包含指定的专家（如 Saining Xie, Yang Shi 等）。

Hierarchical Domain-Specific Language, 3D Indoor Scene Generation, Localized Editing, LLM Agents, Multimodal Asset Retrieval, Program Generation, Scene Representation

Chinese Title: HDSL：一种用于结构化3D室内场景生成和基于LLM智能体的局部编辑的分层领域特定语言

Summary: 本文针对文本驱动的3D室内场景生成与编辑任务，提出了一种分层领域特定语言HDSL。现有基于LLM的系统通常使用场景图或全局约束列表，难以支持局部编辑且token消耗大。HDSL采用XML/CSS风格的树状结构表示场景，每个节点存储局部坐标、支撑关系和对象标识，使复杂场景可递归规划且易于检索编辑。生成管道中，LLM智能体递归生成HDSL子树，通过生成-验证-修正循环确保结构有效，利用多模态资产检索获取物体，并采用力导向布局优化修复边界和碰撞错误。编辑时，层次化检索增强生成（HRAG）仅检索并重写相关子树，通过确定性三路合并回全局场景。实验表明，HDSL在物体覆盖率、文本-场景对齐和生成时间上优于全文本到场景基线；HRAG相比全场景重写，token使用减少5.22倍，运行时间减少6.19倍，且更好保留非目标物体。

Innovations:

• 提出HDSL，一种XML/CSS风格的分层场景DSL，将3D室内生成转化为可检查、可寻址的结构化预测，支持局部坐标和支撑关系。
• 设计递归生成管道，包含LLM智能体、生成-验证-修正循环、多模态资产检索和力导向布局优化，实现复杂场景的逐步构建。
• 引入HRAG-HDSL局部编辑机制，通过检索相关子树、局部重写和确定性三路合并，显著降低token消耗和运行时间，同时保留无关场景对象。
• 将场景表示作为LLM的控制界面，使每个节点在父框架内空间自包含，便于局部修改而不影响全局状态。

Methodology: 论文将文本到场景生成视为结构化预测，编辑视为程序修复。主要方法包括：1）HDSL表示：XML/CSS树，节点包含语义、几何、层次和检索属性。2）层次化生成：LLM智能体递归扩展节点，每个节点接收祖先路径和父几何信息，输出子节点集；采用多候选生成-验证-修正循环，检查结构有效性和空间合理性。3）物体检索：非虚拟节点通过Holodeck检索管道从Objaverse获取资产。4）力导向布局优化：修复边界和碰撞错误。5）局部编辑：HRAG检索相关子树，LLM重写局部上下文，通过三路合并将修改后的子树合并回原DSL。

Key Results:

• 在复现的基准测试中，HDSL在平均物体覆盖率、文本-场景对齐和生成时间上优于全文本到场景基线。
• 在几何指标上与近期仅布局复现的方法保持竞争力。
• 编辑实验中，HRAG将token使用减少5.22倍，运行时间减少6.19倍。
• 所有八对配对编辑均产生有效DSL。
• HRAG比全场景重写更好地保留无关场景物体。

Tech Stack:

• LLM智能体（如GPT系列）
• XML/CSS解析器
• 力导向布局优化算法
• 多模态资产检索（Objaverse）
• 确定性三路合并算法
• 生成-验证-修正循环（bounded multi-candidate generate–verify–revise）

Strengths:

• 层次化表示天然匹配室内场景结构，支持递归规划和局部编辑。
• 生成管道通过验证循环和力导向优化提高了输出可靠性。
• 局部编辑机制显著降低计算开销，同时保持场景完整性。
• 无需额外训练，利用预训练LLM即可处理未见场景类型。
• DSL设计接近Web开发语法，易于理解和扩展。

Limitations:

• 依赖LLM输出质量，复杂场景可能产生不合理布局。
• 力导向布局优化可能无法完全消除所有碰撞和边界问题。
• 资产检索受限于Objaverse等现有库的覆盖范围和多样性。
• 场景复杂度受限于递归深度和LLM上下文长度。
• 未与其他端到端学习方法进行直接比较，仅与LLM基线对比。

Relevance To Keywords:

• 原生多模态大模型：论文使用LLM智能体处理自然语言和场景生成，涉及多模态理解与生成。
• 表征学习：HDSL作为一种场景表征，将3D结构编码为可编辑的树状表示，属于表征学习范畴。
• 世界模型：3D室内场景生成可视为构建虚拟世界模型，HDSL提供了结构化世界描述。
• 强化学习：力导向布局优化可看作一种优化过程，但论文未直接使用强化学习。
• 后训练：论文未涉及模型后训练，而是利用预训练LLM进行推理。

我们介绍了提交至 CVPR 2026 Argoverse 2 场景挖掘挑战赛的方案。我们的系统采用了一个四阶段流程：(1) 通过由 GLM~5.1 驱动的 Claude Code 代理进行自主代码生成，(2) 使用 Timestamp Balanced Accuracy (时间戳平衡准确率) 阈值 0.8 对训练集进行迭代筛选，以整理少样本示例，(3) 通过独立的 Claude Code 会话进行语义代码审查，(4) 使用 Qwen3-VL 进行场景级验证以过滤假阳性。我们在 Argoverse 2 测试集上报告了结果。

We present our submission to the CVPR 2026 Argoverse 2 Scenario Mining Challenge. Our system uses a four-stage pipeline: (1) autonomous code generation via a Claude Code agent powered by GLM~5.1, (2) iterative training set screening with Timestamp Balanced Accuracy threshold 0.8 to curate few-shot examples, (3) semantic code review by a separate Claude Code session, and (4) Qwen3-VL scene-level verification to filter false positives. We report results on the Argoverse 2 test set.

评分理由: 论文主要利用大语言模型（Claude, GLM）和多模态大模型（Qwen3-VL）构建流水线进行自动驾驶场景挖掘。因此与 MLLM 和多模态相关性较高，与视觉编码器有一定关联（作为模型组件），但与统一模型架构、Tokenizer 设计、世界模型及基于模型的强化学习无直接关系。作者列表中不包含指定的专家。

Claude Code, Scenario Mining, Argoverse 2, Autonomous Driving, Qwen3-VL, Code Generation, Visual Verification, Few-shot Examples

Chinese Title: 基于Claude Code的自动驾驶场景挖掘方法：面向Argoverse 2挑战赛

Summary: 本文提出了一种面向CVPR 2026 Argoverse 2场景挖掘挑战赛的四阶段流水线系统。该系统利用Claude Code作为自主编码智能体（基于GLM 5.1模型），从自然语言描述中生成可组合原子函数代码；随后在训练集上迭代筛选，保留时间戳平衡准确率超过0.8的提示-代码对作为少样本示例；接着通过独立的Claude Code会话进行语义代码审查；最后引入Qwen3-VL视觉语言模型进行场景级二分类验证，过滤假阳性输出。在Argoverse 2测试集上，团队（MICTeam）取得了HOTA-Temporal 27.91、时间戳平衡准确率69.65、日志平衡准确率69.32的成绩，优于官方基线方法。该方法的核心创新在于采用自主智能体范式替代单次LLM调用，并利用VLM作为后执行过滤器直接减少假阳性。

Innovations:

• 采用Claude Code自主编码智能体（基于GLM 5.1）替代传统单次LLM API调用，通过工具调用迭代探索原子函数库并生成代码。
• 提出训练集迭代筛选机制，对每个提示最多进行5轮代码生成，保留时间戳平衡准确率>0.8的提示-代码对作为少样本示例。
• 设计双智能体架构：生成智能体负责代码生成，独立的Claude Code会话负责语义代码审查，确保语法正确性和语义保真度。
• 引入Qwen3-VL视觉语言模型进行场景级二分类验证，作为后执行过滤器，有效滤除代码执行通过但实际不存在的假阳性场景。

Methodology: 论文采用四阶段流水线方法：第一阶段，利用Claude Code智能体（基于GLM 5.1）通过工具调用查询RefAV框架中的可组合原子函数定义，分析提示需求并构建函数组合生成代码；第二阶段，在RefAV训练集上迭代执行生成的代码，计算时间戳平衡准确率，若超过0.8则保留为少样本示例，否则最多重试5次；第三阶段，由另一个Claude Code会话审查代码的语义正确性，识别方向错误、缺失约束、参数阈值不合理等问题并修正；第四阶段，对每个提示-日志对，使用Qwen3-VL对驾驶帧进行二分类，判断事件是否真实发生，若VLM确认则保留代码执行结果，否则输出空预测。最终使用Le3DE2E跟踪模型从代码执行结果中获取轨迹。

Key Results:

• 在EvalAI测试集排行榜上，团队（MICTeam）排名第11，HOTA-Temporal为27.91，HOTA-Track为37.88，时间戳平衡准确率（TS BA）为69.65，日志平衡准确率（Log BA）为69.32。
• 优于官方基线RefProg（HOTA-Temp 26.27, TS BA 68.07）和SM-Agent（HOTA-Temp 23.25, TS BA 66.95）。
• 训练集迭代筛选产生了少量高质量提示-代码对，作为少样本示例提升了未见提示的代码质量。
• 代码审查识别出常见错误模式：关系函数方向错误、隐式地图约束缺失、参数阈值不合理。

Tech Stack:

• Claude Code（自主编码智能体）
• GLM 5.1（底层语言模型）
• Qwen3-VL（视觉语言模型，用于场景级二分类验证）
• RefAV框架（可组合原子函数库，包括空间、运动学、地图函数及逻辑组合器）
• Le3DE2E（跟踪模型，用于从代码执行结果获取轨迹）
• 时间戳平衡准确率（Timestamp Balanced Accuracy）作为筛选阈值（>0.8）
• HOTA-Temporal、HOTA-Track、Log Balanced Accuracy等评估指标

Strengths:

• 提出自主智能体范式，通过工具调用和迭代探索生成代码，比单次LLM调用更灵活、准确。
• 训练集迭代筛选结合少样本示例，有效提升代码质量。
• 双智能体设计（生成+审查）确保代码的语义保真度。
• VLM场景级验证作为后执行过滤器，直接降低假阳性，弥补LLM幻觉问题。
• 在挑战赛中取得优于官方基线的成绩，验证了方法的有效性。

Limitations:

• 整体排名第11，与顶尖团队（如HYULOASIS的HOTA-Temp 38.50）仍有较大差距，性能提升空间明显。
• 依赖多个模型（GLM 5.1、Qwen3-VL、Le3DE2E），计算成本和推理延迟较高。
• 迭代筛选最多5轮，可能遗漏部分高质量代码；阈值0.8的设定缺乏理论依据。
• VLM验证仅做二分类，可能无法处理复杂时空关系，且VLM本身也可能产生误判。
• 方法高度依赖RefAV原子函数库的完备性，对于库中未覆盖的场景描述可能失效。

Relevance To Keywords:

• Unify Models: 论文使用了GLM 5.1和Qwen3-VL两个不同模型，但未涉及统一模型或模型融合，相关性较低。
• World Models: 论文聚焦于场景挖掘（从自然语言定位对象和时段），未涉及世界模型构建或预测，相关性低。
• Representation Learning: 论文未涉及表征学习，主要依赖预训练模型和原子函数库，相关性低。
• Model-Based RL: 论文未涉及强化学习或基于模型的规划，相关性低。
• 原生多模态大模型: 论文使用了Qwen3-VL（多模态大模型）进行场景验证，但并非原生多模态大模型研究，而是应用。
• 多模态大模型的理解和生成一体化: 论文中Qwen3-VL用于理解（二分类），Claude Code用于生成代码，但未实现一体化，相关性中等。
• 表征学习: 不相关。
• 世界模型: 不相关。
• 强化学习: 不相关。
• 后训练: 论文未涉及模型后训练或微调，直接使用预训练模型，相关性低。

高级科学模拟器提供了专用输入语言，可将模拟目标转化为可执行配置，但学习这些语言往往需要领域科学家花费数小时至数天。我们将模拟器设置视为代理 - 工具接口接地（agent-tool interface grounding）问题：为了使现成的编码代理（off-the-shelf coding agent）操作真实的科学软件，需要多少最小的模拟器特定适配？我们的直觉认为，编码代理已经掌握如何浏览文件、编辑代码、运行命令和修复输出，但它们缺乏模拟器的可执行契约：包括其词汇表、结构约束、验证规则和终止条件。我们引入了 SIGA（Simulator-Interface Grounding Adapter，模拟器 - 接口接地适配器），它通过检索、程序性记忆、轨迹内验证和验证强制终止来提供此契约。我们主要在 GEOS（用于地下科学的开源多物理场模拟器）上评估 SIGA。SIGA 在约五分钟内生成完整的 GEOS 输入文件集（GEOS deck），TreeSim 指标高于 0.90，匹配了一位花费约三小时的扩展预算人类专家，实现了约 36 倍的实际加速比。在更难处理的保留测试集上，接口接地将 TreeSim 从 0.720 提升至 0.789，相对于基础代理实现了约 10% 的相对增益，并将跨种子标准差降低了 16 倍。自我进化进一步改进了 SIGA，通过重写先前轨迹中的适配器内容，获得了最高的保留测试集 GEOS 均值，并匹配或超越了最强的人工设计配置。在 OpenFOAM 和 LAMMPS 上的迁移结果表明，主导机制随接口而异：当结构完整性是瓶颈时，验证最为重要；而当领域正确性是瓶颈时，记忆和检索最为重要。这些结果表明，轻量级且可自我改进的接地层能够将通用编码代理转变为科学软件的实用操作者。

Advanced scientific simulators expose specialized input languages that turn simulation goals into executable configurations, but learning them can cost domain scientists hours to days. We study simulator setup as a problem of agent-tool interface grounding: what minimal simulator-specific adaptations are needed for an off-the-shelf coding agent to operate real scientific software? Our intuition is that coding agents already know how to navigate files, edit code, run commands, and repair outputs, but they lack the simulator's executable contract: its vocabulary, structural constraints, validation rules, and termination conditions. We introduce SIGA, a Simulator-Interface Grounding Adapter that supplies this contract through retrieval, procedural memory, in-trajectory validation, and validation-enforced termination. We primarily evaluate SIGA on GEOS, an open-source multiphysics simulator used in subsurface science. SIGA produces a complete GEOS deck in about five minutes with TreeSim above 0.90, matching an extended-budget human expert who took about three hours, a roughly 36x wall-clock speedup. On a harder held-out set, grounding raises TreeSim from 0.720 to 0.789, a roughly 10% relative gain over the bare agent, and can reduce the across-seed standard deviation by 16x. Self-evolution further improves SIGA by rewriting adapter contents from prior trajectories, yielding the highest held-out GEOS mean and matching or outperforming the strongest hand-designed configuration. Transfers to OpenFOAM and LAMMPS show that the dominant mechanism shifts by interface: validation matters most when structural completeness is the bottleneck, while memory and retrieval matter most when domain correctness is the bottleneck. These results suggest that lightweight, self-improvable grounding layers can turn general coding agents into practical operators of scientific software.

评分理由: The paper focuses on text-based scientific simulation interface grounding using coding agents. It aligns moderately with MLLM, Unify Models, World Models, and model-based RL due to the use of LLM-based agents, interface unification, self-evolving memory, and simulator-based planning. However, it lacks visual encoders, multimodal processing, and specific tokenizer discussions, resulting in low scores for those keywords.

Scientific Simulation, Coding-Agent Adapters, Interface Grounding, Self-Evolving, Procedural Memory, Tool Interaction, TreeSim

Chinese Title: SIGA：面向科学模拟的自进化编码智能体适配器

Summary: 论文研究如何将通用编码智能体适配到科学模拟器的专用输入语言上，以加速模拟配置过程。作者提出SIGA（Simulator-Interface Grounding Adapter），一种轻量级适配层，通过检索、程序记忆、轨迹内验证和验证强制终止四个组件，为智能体提供模拟器的词汇、结构约束、验证规则和终止条件。在GEOS多物理场模拟器上，SIGA使智能体约5分钟生成完整配置，达到人类专家约3小时的质量水平，实现约36倍加速。在更难的任务集上，接地将平均质量提升约10%，标准差降低16倍。自进化版本通过重写适配器内容进一步改进。转移到OpenFOAM和LAMMPS表明，不同模拟器的主导机制不同：验证对结构完整性重要，记忆和检索对领域正确性重要。结论是轻量级、可自改进的接地层可将通用编码智能体转化为科学软件的操作员。

Innovations:

• 提出SIGA适配器，将通用编码智能体（如Claude Code）与科学模拟器接口接地，无需从头构建智能体循环。
• 将接地分解为四个可复用组件：检索、程序记忆、可调用验证器和强制终止钩子，实现模拟器无关的适配。
• 引入自进化机制，使智能体根据先前轨迹自动重写适配器内容，无需人工调优。
• 在GEOS、OpenFOAM、LAMMPS三个模拟器上验证，揭示不同模拟器瓶颈不同，验证对结构完整性关键，记忆和检索对领域正确性关键。
• 实现约36倍加速（5分钟 vs 3小时），同时提升可靠性和降低方差。

Methodology: 论文采用基于现有编码智能体（Claude Code）的轻量级适配方法。SIGA包含四个组件：检索（语义访问文档、示例）、程序记忆（高频词汇和模式始终可见）、验证器（智能体可调用，用于检查修复输出）、终止钩子（强制验证通过才结束）。自进化版本通过收集先前轨迹，让智能体反思并重写适配器内容。实验在GEOS、OpenFOAM、LAMMPS上进行，使用TreeSim指标评估配置质量，并与人类专家、裸智能体、手工配置对比。

Key Results:

• 在GEOS任务上，SIGA智能体约5分钟生成完整配置，TreeSim>0.90，匹配人类专家约3小时质量，约36倍加速。
• 在更难的任务集上，接地将TreeSim从0.720提升至0.789（约10%相对提升），标准差降低16倍。
• 自进化版本在GEOS上取得最高平均分，匹配或超越最佳手工配置。
• 在OpenFOAM上，验证组件最关键；在LAMMPS上，记忆和检索组件最关键。
• SIGA在不同模拟器上均有效，但主导机制随接口变化。

Tech Stack:

• Claude Code（通用编码智能体框架）
• GEOS（多物理场模拟器，XML DSL）
• OpenFOAM（计算流体动力学模拟器）
• LAMMPS（分子动力学模拟器）
• TreeSim指标（评估配置质量）
• 检索（语义搜索文档/示例）
• 程序记忆（高频词汇和模式）
• 验证器（XML schema检查、文件/字典检查、命令/参考检查）
• 自进化（反思-重写范式）

Strengths:

• 设计简洁，基于现有编码智能体，避免重复造轮子，工程成本低。
• 接地组件可复用，易于迁移到新模拟器。
• 自进化机制自动优化适配器，减少人工调优。
• 实验充分，在三个不同模拟器上验证，并分析不同瓶颈。
• 显著提升效率（36倍加速）和可靠性（降低方差）。

Limitations:

• 依赖现有编码智能体（Claude Code），可能受限于其能力和可用性。
• 自进化机制仅在GEOS上验证，未在OpenFOAM和LAMMPS上测试。
• 评估指标TreeSim可能未完全覆盖配置的物理正确性。
• 仅针对模拟器配置阶段，未涉及后续运行、结果分析等完整工作流。
• 对模拟器文档和示例的质量有一定依赖。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但SIGA适配器可视为将通用编码智能体与领域特定模拟器统一。
• World Models: 科学模拟器本身是世界模型的实现，论文关注如何让智能体操作世界模型，间接相关。
• Representation Learning: 论文未涉及表征学习，但检索和程序记忆可视为对模拟器知识的表示。
• Model-Based RL: 论文未涉及强化学习，但智能体通过验证反馈迭代改进，类似基于模型的RL中的规划与执行。
• 原生多模态大模型: 论文使用语言模型（Claude Code），未涉及多模态。
• 多模态大模型的理解和生成一体化: 不直接相关。
• 后训练: 自进化机制可视为一种后训练方式，通过轨迹重写适配器。

工具学习使大语言模型（LLMs）能够调用外部工具以完成任务。先前的研究已证明了一种分层结构的有效性：高层策略负责全局规划并将任务分解为可管理的子任务，而低层策略则专注于调用工具来解决这些子任务。然而，这些工作通常分别优化高层和低层策略，导致规划器与执行器之间的错位，限制了大语言模型在工具使用任务上的表现。本文提出了一种名为能力对齐分层学习（CAHL）的方法，该方法利用 RLVR 联合优化两种策略，从而实现高层规划器与低层执行器之间更好的对齐。在受限工具使用基准（API-Bank 和 BFCL）以及开放环境（Bamboogle）上的实验证明了 CAHL 的有效性。

Tool learning enables LLMs to invoke external tools to accomplish tasks. Prior studies have demonstrated the effectiveness of a hierarchical structure: a high-level policy handles global planning and decomposes tasks into manageable sub-tasks, and a low-level policy focuses on invoking tools to solve these sub-tasks. However, these works typically optimize the high-level and low-level policies separately, leading to planner-executor misalignment and limiting LLM performance on tool-use tasks. In this paper, we propose a method called Capability-Aligned Hierarchical Learning (CAHL), which leverages RLVR to jointly optimize both policies, enabling better alignment between the high-level planner and the low-level executor. Experiments on constrained tool-use benchmarks (API-Bank and BFCL) and an open-ended environment (Bamboogle) demonstrate the effectiveness of CAHL.

评分理由: The paper focuses on hierarchical reinforcement learning for tool-augmented LLMs, aligning planner and executor policies. It shows moderate relevance to Unify Models (policy alignment) and model-based RL (hierarchical planning/RL), but has low relevance to Tokenizer, Visual Encoder, and MultiModal as no such components are mentioned. World Models are tangentially related via planning, and MLLM is relevant due to LLM usage but not explicitly multimodal. Author check: None of the specified experts (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) are found in the author list (Haotong Yang, Ting Long, Yi Chang), so no bonus points applied.

Tool-Augmented LLMs, Hierarchical Learning, High-level Policy, Low-level Policy, RLVR, Planner-Executor Alignment, Capability-Aligned

Chinese Title: 面向工具增强大语言模型的能力对齐分层学习

Summary: 本文针对工具增强大语言模型（LLMs）中分层决策框架存在的规划器与执行器不对齐问题，提出了一种名为CAHL（Capability-Aligned Hierarchical Learning）的方法。该方法利用基于可验证奖励的强化学习（RLVR）联合优化高层规划策略和低层执行策略，使规划器能够根据执行器的实际能力调整子任务粒度，同时执行器也能更好地理解规划器的意图。实验在受限基准（API-Bank、BFCL）和开放环境（Bamboogle）上进行，结果表明CAHL在多个指标上优于单层和分层基线方法，有效缓解了规划-执行不对齐问题。代码已开源。

Innovations:

• 首次识别并形式化了分层工具学习中规划器与执行器之间的不对齐问题。
• 提出CAHL联合优化框架，通过RLVR同时训练高层和低层策略，实现能力对齐。
• 设计了基于可验证奖励的高层和低层奖励函数，将执行反馈融入规划优化。
• 在受限和开放两类工具使用基准上验证了方法的有效性，取得一致改进。

Methodology: 采用分层决策框架：高层规划器根据用户查询和工具集生成全局计划（有序子任务序列），低层执行器根据计划、工具规范和历史反馈生成具体工具调用或文本输出。使用GRPO（Group Relative Policy Optimization）算法联合优化两个策略，设计高层奖励（包括参数级奖励和执行级奖励）和低层奖励，通过可验证的反馈信号促使规划器与执行器相互适应。

Key Results:

• 在API-Bank基准上，CAHL相比单独优化的分层基线取得了显著提升。
• 在BFCL基准上，CAHL在复杂多步工具调用任务中表现优于现有方法。
• 在开放环境Bamboogle中，CAHL能够更有效地完成需要多工具协作的查询。
• 消融实验表明联合优化和可验证奖励设计对性能提升至关重要。

Tech Stack:

• RLVR（Reinforcement Learning with Verifiable Rewards）
• GRPO（Group Relative Policy Optimization）
• MDP（马尔可夫决策过程）建模
• 分层策略（高层规划器+低层执行器）
• 参数级奖励与执行级奖励设计
• 语义相似度评估（用于自然语言输出对齐）

Strengths:

• 针对分层工具学习中的关键不对齐问题提出有效解决方案。
• 联合优化框架使规划器和执行器相互适应，提升整体任务完成质量。
• 可验证奖励设计提供了细粒度、可解释的优化信号。
• 在多种基准上验证了方法的通用性和鲁棒性。

Limitations:

• 奖励函数设计依赖于人工定义的规则和地面真值，可能难以扩展到完全开放的场景。
• 联合优化增加了训练计算成本，对资源要求较高。
• 方法在工具集动态变化或未见工具上的泛化能力有待进一步验证。
• 实验仅基于特定模型和基准，结论的普适性需更多测试。

Relevance To Keywords:

• 强化学习：论文核心方法RLVR和GRPO属于强化学习范畴，用于后训练优化。
• 后训练：CAHL是一种后训练方法，通过RL调整模型策略。
• 世界模型：工具增强LLM可视为与世界交互的代理，但论文未直接涉及世界模型构建。
• 表征学习：论文未重点讨论表征学习，但分层策略可视为隐式表征。
• 原生多模态大模型：论文聚焦工具使用，不涉及多模态输入输出。
• 多模态大模型的理解和生成一体化：工具增强可辅助理解和生成，但非论文直接主题。

从第一人称视角视频估计全手抓握压力对于沉浸式虚拟现实（VR）和机器人操作至关重要，但密集触觉传感通常依赖于侵入式硬件。现有的基于视觉的方法主要依赖平面表面或指尖接触，无法泛化到复杂的 3D 物体交互。因此，我们引入了 EgoTactile，这是一个将第一人称视角视频与全手压力监督配对的数据集，针对多样化的日常物体，并包含一个裸手迁移子集，以实现对自然场景的泛化。利用该基准，我们首先建立了 EgoPressureFormer 作为判别式基线。除此之外，为了明确处理部分观测中的不确定性，我们提出了 EgoPressureDiff，这是一个条件扩散框架，它适配了一个大规模预训练的视频扩散骨干。通过结合丰富的世界知识先验与一个 Physically-Informed Feature Rectification 层以注入语义约束，我们的方法能有效推断合理的接触模式并解决视觉 - 物理歧义。广泛的实验表明，我们的方法在该基准上取得了优越的性能，并且在野外场景中具有鲁棒的泛化能力。我们的项目页面位于 https://egotactile.github.io/。

Estimating full-hand grasp pressure from egocentric video is critical for immersive VR and robotic manipulation, yet dense tactile sensing often relies on intrusive hardware. Existing vision-based methods predominantly rely on planar surfaces or fingertip contacts, failing to generalize to complex 3D object interactions. Therefore, we introduce EgoTactile, a benchmark pairing egocentric video with full-hand pressure supervision for diverse everyday objects, incorporating a bare-hand transfer subset to enable generalization to natural scenarios. Leveraging this benchmark, we first establish EgoPressureFormer as a discriminative baseline. Beyond this, to explicitly address the uncertainty in partial observations, we propose EgoPressureDiff, a conditional diffusion framework that adapts a large-scale pre-trained video diffusion backbone. By combining rich world knowledge priors with a Physically-Informed Feature Rectification layer to inject semantic constraints, our approach effectively infers plausible contact patterns and resolves visual-physical ambiguities. Extensive experiments demonstrate that our method achieves superior performance on the benchmark and robust transferability to in-the-wild scenarios. Our project page is available at https://egotactile.github.io/.

评分理由: 论文核心在于利用扩散模型从视频中估计触觉压力，与 MultiModal（视频 + 压力）和 World Models（世界知识先验）有中度关联，Visual Encoder 因使用视频骨干网络而有部分关联。论文未涉及 Tokenizer、MLLM、模型统一或强化学习算法，故相关度为 0。作者列表中未包含指定的 Yang Shi 等专家。

Egocentric Video, Grasp Pressure Estimation, Conditional Diffusion, World Knowledge Priors, Physical Constraints, Tactile Sensing, Video Diffusion Backbone

Chinese Title: EgoTactile：从第一人称视频学习日常物体的抓取压力

Summary: 该论文提出了一项新任务：从第一人称（egocentric）视频中预测全手抓取压力，旨在解决现有方法局限于平面表面或指尖接触的问题。为此，作者构建了EgoTactile基准数据集，包含63个日常物体的同步全手压力数据，并引入“裸手”子集以支持无传感器场景的泛化。针对部分观测下的不确定性，论文提出了两种基线：EgoPressureFormer作为判别式参考，以及核心贡献EgoPressureDiff——一种基于条件扩散的框架，通过适配预训练的Stable Video Diffusion模型，利用世界知识先验推断合理的接触模式。此外，物理信息特征修正层（PIFR）注入物体属性（如重量、刚度）等语义约束，解决视觉-物理歧义。实验表明，该方法在基准上表现优越，并能鲁棒泛化到真实场景。

Innovations:

• 首次提出从第一人称视频预测3D物体全手抓压任务，并构建了包含63个物体、全手162个压力传感器的EgoTactile基准数据集，包含裸手子集以支持无传感器场景。
• 提出EgoPressureDiff，一种条件扩散框架，利用预训练视频扩散模型（Stable Video Diffusion）作为世界模型先验，有效处理部分观测下的多模态不确定性。
• 设计物理信息特征修正层（PIFR），将物体属性（重量、材料等）作为结构化约束注入扩散模型，解决视觉上相同但物理属性不同的歧义问题。
• 建立EgoPressureFormer作为判别式基线，并实现压力序列与热力图的双向可逆转换，统一评估标准。

Methodology: 论文采用两阶段方法：首先构建EgoTactile数据集，通过同步第一人称视频和压力手套（162个传感器）采集63个物体的抓取数据，并设计裸手子集实现弱配对监督。然后提出EgoPressureDiff，基于Stable Video Diffusion（SVD）骨干网络，将RGB视频片段作为条件输入，通过扩散过程生成压力序列或热力图。在扩散模型中集成PIFR层，利用物体属性（重量、材料）和主体属性（年龄、体脂等）作为额外条件，修正特征表示。训练时采用去噪扩散损失，推理时通过迭代去噪生成压力。同时构建EgoPressureFormer（视频Transformer）作为对比基线。

Key Results:

• EgoPressureDiff在EgoTactile基准上优于EgoPressureFormer及其他基线，在接触IoU、体积IoU、MAE等指标上均取得最佳性能。
• PIFR层显著提升了物理歧义场景（如不同重量但外观相似的物体）下的压力预测准确性。
• 裸手子集上的实验表明，模型能够泛化到无传感器自然场景，无需重新训练。
• 定性可视化显示，扩散模型能生成合理的接触模式，即使在严重遮挡区域也能推断出压力分布。

Tech Stack:

• Stable Video Diffusion (SVD) 预训练视频扩散模型
• 条件扩散框架（Conditional Diffusion）
• 物理信息特征修正层（PIFR）
• 视频Transformer（EgoPressureFormer）
• Ridge回归（用于热力图到压力序列的逆映射）
• 高斯扩散（用于压力序列到热力图的渲染算子）
• MANO手部模型（用于几何约束）
• 压力手套（162个传感器）数据采集系统

Strengths:

• 任务定义新颖，填补了从第一人称视频预测3D物体全手压力的空白。
• 数据集规模大、标注丰富（包含物体属性、主体属性），支持多变量分析。
• 扩散模型结合世界先验，有效处理遮挡和不确定性，生成结果合理且多样。
• 物理信息注入模块增强了模型对不可见属性的推理能力。
• 裸手子集设计使方法可迁移到无传感器真实场景，实用性强。

Limitations:

• 数据集仅在受控实验室环境采集，物体种类和交互模式有限，真实场景泛化性仍需验证。
• 扩散模型推理速度较慢，难以满足实时VR/机器人应用需求。
• 压力传感器仅覆盖手掌和手指，未包含指尖侧面等区域，可能丢失部分接触信息。
• 物理属性（如重量）需预先提供，实际应用中可能难以获取。
• 未与强化学习或后训练方法结合，模型仅作为感知模块。

Relevance To Keywords:

• Unify Models: 论文未直接涉及多模态理解与生成的统一模型，但扩散框架本身可视为生成模型，与统一模型方向有间接关联。
• World Models: 论文利用Stable Video Diffusion作为世界模型先验，通过其学习到的物理交互知识推断遮挡下的压力分布，与世界模型概念高度相关。
• Representation Learning: 论文通过扩散模型学习压力表征，并利用PIFR层融合物理属性，属于表征学习范畴。
• Model-Based RL: 论文未涉及强化学习，但预测的压力可作为机器人操作中模型预测控制（MPC）的输入，有潜在关联。
• 原生多模态大模型: 论文使用预训练视频扩散模型（SVD），但未构建原生多模态大模型，仅作为条件生成工具。
• 多模态大模型的理解和生成一体化: 论文侧重于生成压力，而非理解，与一体化方向关联较弱。
• 后训练: 论文未涉及后训练（如RLHF、SFT等），仅进行标准监督训练。

语义变化检测（SCD）旨在同时定位土地覆盖变化并识别变化前后的语义类别。然而，现有方法存在跨时间对齐不足、多尺度表征较弱以及对由光照、季节和配准噪声引起的伪变化鲁棒性差的问题。为了解决这些问题，我们提出了一种名为 SemDINO 的新型端到端语义变化检测网络，该网络将双分支编码器、多尺度时间交互、语义净化、变化增强和解耦多任务预测整合到一个统一框架中。具体来说，我们构建了一个双分支编码器，通过门控金字塔融合结合 CNN 骨干和冻结的 DINOv3 特征，从而实现丰富的多尺度语义表征。随后，提出了一种多尺度时间双向变换器交互（M-TBTT）模块，以实现全局跨时间特征对齐和信息交互。为了进一步增强真实变化并抑制伪变化，我们协同引入了语义净化（SCP）、双向变化增强（BiChangeEnhance）和多尺度变化增强（MCE）模块。最后，设计了一个多分支变化检测（CD）预测头，用于联合输出二值变化掩膜、双时相语义图和边缘约束。在公开遥感变化检测（CD）数据集上的广泛实验表明，SemDINO 在性能上优于最先进方法，特别是在具有干扰因素的复杂场景中。

Semantic change detection (SCD) aims to simultaneously locate land-cover changes and identify semantic categories before and after transition. However, existing methods suffer from insufficient cross-temporal alignment, weak multi-scale representation, and poor robustness to pseudo-changes caused by illumination, season, and registration noise. To address these issues, we propose a novel end-to-end semantic change detection network named SemDINO, which integrates a dual-branch encoder, multi-scale temporal interaction, semantic purification, change enhancement, and decoupled multi-task prediction into a unified framework. Specifically, we construct a dual-branch encoder that combines a CNN backbone and frozen DINOv3 features via gated pyramid fusion, enabling rich multi-scale semantic representation. Then, a multi-scale temporal bidirectional transformer interaction (M-TBTT) module is proposed to achieve global cross-temporal feature alignment and information interaction. To further enhance genuine changes and suppress pseudo-variations, we introduce semantic purification (SCP), bidirectional change enhancement (BiChangeEnhance), and multi-scale change enhancement (MCE) modules collaboratively. Finally, a multi-branch CD prediction head is designed to jointly output binary change mask, bi-temporal semantic maps, and edge constraint. Extensive experiments on public remote sensing CD datasets demonstrate that SemDINO achieves superior performance and generalization ability against state-of-the-art methods, especially in complex scenarios with interference factors.

评分理由: 论文主要研究遥感语义变化检测，使用 DINOv3 作为视觉编码器，故"Visual Encoder"得分高（9 分）；摘要提及"unified framework"，故"Unify Models"中等（4 分）；其余关键词如 Tokenizer、World Models、MLLM、model-based RL 与论文内容无关（1 分）；"MultiModal"涉及双时相图像，相关性较低（2 分）。加权总分 28.5，超过动态及格分 27.8。作者列表中未发现指定专家，无额外加分。

Semantic Change Detection, DINOv3, Visual Encoder, Cross-Temporal Alignment, Multi-scale Representation, Remote Sensing

Chinese Title: SemDINO: 基于DINOv3的跨时间语义对齐变化检测网络

Summary: 本文提出SemDINO，一种端到端的语义变化检测（SCD）网络，旨在解决现有方法在跨时间语义对齐、多尺度表示不足以及对光照、季节和配准噪声引起的伪变化鲁棒性差的问题。网络采用双分支编码器，结合CNN骨干和冻结的DINOv3特征，通过门控金字塔融合（PyFu）实现多尺度语义表示。核心模块是多尺度双向时间Transformer交互（M-TBTT），实现全局跨时间特征对齐和信息交互。为增强真实变化并抑制伪变化，引入语义净化（SCP）、双向变化增强（BiChangeEnhance）和多尺度变化增强（MCE）模块。最后，多任务预测头联合输出二值变化掩码、双时相语义图和边缘约束。在公开遥感变化检测数据集上的实验表明，SemDINO在复杂场景下优于现有方法，并具有良好的泛化能力。

Innovations:

• 提出M-TBTT作为核心跨时间语义对齐机制，实现双向时间交互和多尺度对齐，为不变区域一致性和变化区域判别提供统一基础。
• 引入DINOv3引导的PyFu设计，通过分离适应块（SepAB）和门控融合将冻结的DINOv3特征注入CNN金字塔特征，获得兼具局部细节和预训练语义先验的多尺度表示。
• 开发SCD导向的细化与预测管道（#FeaCE），包括BCE、SCP和MCE，增强真实变化并抑制伪变化；ChangeFusion和CD-Head联合输出CD图、双时相语义图和边缘图。
• 设计解耦的多任务CD-Head，使SemDINO无需架构修改即可灵活切换至标准二值变化检测（BCD）任务，验证了特征的通用性。