驾驶视觉 - 语言 - 动作模型 (Driving VLAs) 旨在利用语言改进端到端规划，但语言 - 动作差距限制了这一前景。我们提出 DriveMA，这是一个基于可验证元动作的 Driving VLA 框架，该框架将未来自我运动总结为紧凑的语言域意图，可通过基于轨迹的标注管道从专家轨迹构建，并能通过基于规则的投影与生成的轨迹进行验证。DriveMA 利用这种可验证性，采用以动作为中心的监督和训练以及数据高效的回合级信用分配强化学习框架，通过密集奖励和精确的信用分配，显式地将高层决策与底层轨迹规划对齐。DriveMA 在 Waymo Open 数据集 (Waymo Open Dataset) 视觉端到端驾驶任务上取得了新的最先进成绩，使用 2B 模型实现了 8.060 的评分者反馈分数，并进一步将 4B 模型提升至 8.079；它在 NAVSIM 上也获得了具有竞争力的闭环规划性能。这些结果表明，即使是一个简单的元动作接口，当使其具备可验证性并优化语言 - 动作对齐时，也能实现最先进规划。代码、数据和模型将被发布以促进未来研究。

Driving Vision-Language-Action Models (Driving VLAs) aim to use language to improve end-to-end planning, but the language-action gap limits this promise. We propose DriveMA, a Driving VLA framework built on verifiable meta-actions, which summarize future ego motion into compact language-domain intentions and can be constructed from expert trajectories with a trajectory-grounded annotation pipeline and can be verified against generated trajectories through rule-based projection. DriveMA exploits this verifiability with action-centric supervised training and a data-efficient turn-level credit assignment reinforcement learning framework, explicitly aligning high-level decisions with low-level trajectory planning through dense rewards and precise credit assignment. DriveMA sets a new state of the art on the Waymo Open Dataset Vision-based E2E Driving, achieving a Rater Feedback Score of 8.060 with a 2B model and further improving it to 8.079 with a 4B model; it also obtains competitive closed-loop planning performance on NAVSIM. These results show that even a simple meta-action interface can achieve state-of-the-art planning when made verifiable and optimized for language-action alignment. Code, data, and models will be released to facilitate future research.

评分理由: The paper proposes DriveMA, a Driving Vision-Language-Action (VLA) framework, scoring high on MultiModal (9) and Unify Models (8) as it integrates vision, language, and action. MLLM (7) is relevant due to language-driven planning. Visual Encoder (6) and Tokenizer (5) are supporting components but not the primary novelty. World Models (4) is less relevant as the focus is on control rather than generative modeling. Model-based RL (6) is partially relevant due to RL usage, though the core novelty is verifiable meta-actions. No matching expert authors were found.

Driving Vision-Language-Action Models, Verifiable Meta-Actions, Reinforcement Learning, Language-Action Alignment, End-to-End Planning, Trajectory Grounded Annotation, Waymo Open Dataset

Chinese Title: DriveMA：基于可验证元动作的驾驶视觉-语言-动作模型

Summary: 论文针对驾驶视觉-语言-动作模型（Driving VLA）中存在的语言-动作鸿沟问题，提出DriveMA框架。该框架将元动作（meta-action）作为可验证的语言接口，通过轨迹驱动的标注管道从专家轨迹中自动构建元动作，并利用基于规则的投影验证生成轨迹与元动作的一致性。DriveMA采用动作中心监督训练和基于回合级信用分配的强化学习，显式对齐高层决策与低层轨迹规划。在Waymo Open Dataset的端到端驾驶任务上，2B模型达到8.060的Rater Feedback Score，4B模型提升至8.079，并在NAVSIM上取得有竞争力的闭环规划性能。实验表明，即使简单的元动作接口，在充分利用其可验证性后也能实现最先进的规划效果。

Innovations:

• 提出可验证的元动作作为语言接口，实现高层决策与轨迹生成的一致性检查。
• 设计轨迹驱动的元动作自动标注管道，无需人工标注即可从专家轨迹中提取元动作。
• 引入动作中心预训练（Action-Centric Pretraining），通过元动作预测和驾驶领域VQA数据增强决策学习。
• 提出回合级信用分配强化学习框架，为不同生成回合分配独立奖励并进行归一化，实现精确的信用分配。
• 在Waymo Open Dataset上以2B模型取得新SOTA，并进一步用4B模型刷新记录。

Methodology: DriveMA基于通用视觉-语言模型，将驾驶输入（视觉观测和非视觉输入）编码后，先预测元动作（纵向：停止/减速/保持/加速；横向：直行/转弯/变道等），再生成未来轨迹。训练分为两阶段：第一阶段动作中心预训练，包括元动作预测和驾驶VQA；第二阶段元动作条件规划SFT，学习基于专家元动作生成轨迹。强化学习阶段采用多轮采样，为元动作回合和轨迹回合分别设计奖励（元动作正确性、轨迹质量、语言-动作一致性），并在回合内进行优势归一化，使用GRPO优化。

Key Results:

• 在Waymo Open Dataset Vision-based E2E Driving上，2B模型RFS=8.060，4B模型RFS=8.079，均达到新SOTA。
• 在NAVSIM上取得有竞争力的闭环规划性能。
• 消融实验验证了动作中心预训练和回合级信用分配RL有效对齐语言决策与轨迹规划。

Tech Stack:

• 视觉编码器（Vision Encoder）
• 文本分词器（Text Tokenizer）
• 元动作标注函数Φann（基于几何线索和数据集阈值）
• 元动作验证投影函数Φver和Γ（将轨迹映射到验证空间）
• GRPO（Group Relative Policy Optimization）
• 回合级优势归一化（Turn-Level Advantage Normalization）
• SFT（Supervised Fine-Tuning）
• VQA（Visual Question Answering）数据

Strengths:

• 提出可验证的元动作概念，有效解决语言-动作鸿沟问题。
• 自动标注管道降低了数据成本，可扩展性强。
• 强化学习框架设计精巧，回合级信用分配提高了训练效率。
• 在多个基准上取得领先性能，验证了方法的有效性。
• 代码、数据和模型将开源，促进后续研究。

Limitations:

• 元动作定义较为简单（仅纵向和横向粗粒度意图），可能无法覆盖复杂驾驶场景。
• 验证空间依赖于规则投影，对轨迹噪声敏感。
• 强化学习阶段需要多轮采样，计算开销较大。
• 仅在两个数据集上评估，泛化性有待进一步验证。

Relevance To Keywords:

• 原生多模态大模型：DriveMA属于视觉-语言-动作多模态模型，将语言作为中间接口。
• 多模态大模型的理解和生成一体化：模型同时理解场景并生成元动作和轨迹。
• 表征学习：通过元动作和轨迹的联合学习，对齐语言与动作表征。
• 强化学习：采用GRPO进行后训练，显式优化语言-动作一致性。
• 后训练：强化学习阶段作为SFT后的后训练步骤。
• 世界模型：论文未明确涉及世界模型，但元动作可视为对世界状态的高层抽象。
• Model-Based RL：论文未使用基于模型的RL，而是基于采样的策略优化。

交互式视频世界模型根据用户控制的相机运动逐块生成视频，从而实现实时游戏模拟、虚拟场景导航和具身智能训练等应用。然而，由于上下文记忆增长、二次注意力复杂度以及重复的去噪步骤，扩展到长交互式轨迹的代价过高。我们提出 Light Interaction，一种无需训练的交互式视频世界模型推理加速框架。我们的关键洞察在于，交互自然地实现了轨迹依赖的自适应计算：在新颖探索期间可丢弃检索到的空间记忆，时序上下文可根据局部潜在动力学进行调整，且当相机再次访问熟悉区域时可重用早期步骤的模型输出。基于这一洞察，Light Interaction 结合了自适应上下文管理、去噪缓存加速以及软硬件协同设计的融合 Triton 核 3D 块稀疏注意力。经 HY-WorldPlay 和 Matrix-Game-3.0 评估，Light Interaction 在不进行模型再训练的情况下实现了高达 2.59 倍的加速比，同时保持具有竞争力的视觉质量。

Interactive video world models generate video chunk by chunk in response to user-controlled camera movements, enabling applications such as real-time game simulation, virtual scene navigation, and embodied AI training. However, scaling to long interactive trajectories is prohibitively expensive due to growing context memory, quadratic attention complexity, and repeated denoising steps. We present Light Interaction, a training-free inference acceleration framework for interactive video world models. Our key insight is that interaction naturally enables trajectory-dependent adaptive computation: retrieved spatial memory can be discarded during novel exploration, temporal context can be adjusted according to local latent dynamics, and early-step model outputs can be reused when the camera revisits familiar regions. Based on this insight, Light Interaction combines adaptive context management, denoising cache acceleration, and hardware-software co-designed 3D block sparse attention with fused Triton kernels. Evaluated on HY-WorldPlay and Matrix-Game-3.0, Light Interaction achieves up to 2.59x speedup without model retraining while maintaining competitive visual quality.

评分理由: 论文标题明确包含'World Models'，核心主题高度相关（10 分）。涉及视频生成与控制动作，属于多模态范畴（8 分），且与模型强化学习（Embodied AI）相关（7 分）。'Unify Models'与世界观模型的理解生成一体化特性相符（6 分）。'MLLM'和'Visual Encoder'虽为相关领域组件，但本文重点在于推理加速而非架构设计（5 分）。'Tokenizer'未在摘要中提及（3 分）。作者列表中未包含指定的专家名单。

Interactive Video World Models, Inference Acceleration, Adaptive Context Management, Denoising Cache, Sparse Attention, Training-Free, Embodied AI

Chinese Title: 轻交互：面向交互式视频世界模型的无训练推理加速

Summary: 交互式视频世界模型（如HY-WorldPlay和Matrix-Game-3.0）能够根据用户控制的相机运动逐块生成视频，但长交互轨迹的生成成本极高（例如10秒视频在单张A100 GPU上耗时超过200秒）。现有加速方法（缓存压缩、去噪步数减少、稀疏注意力）在自回归设置中因因果约束和不对称Q/K长度而难以实现实际加速。本文提出Light Interaction，一种无训练的推理加速框架，核心思想是利用交互自然带来的自适应计算：通过相机姿态感知相似性丢弃不可靠的空间记忆，根据局部潜在动态调整时间窗口，在相机重访熟悉区域时复用早期模型输出。具体包括：(1)自适应上下文管理，基于相机姿态感知相似性修剪空间记忆，并根据局部潜在动态调整时间窗口；(2)去噪缓存加速，在熟悉场景中复用早期步模型输出用于中间去噪步；(3)硬件-软件协同设计的3D块稀疏注意力，使用Triton融合内核消除因果自回归设置下的布局转换和收集/分散开销。在HY-WorldPlay和Matrix-Game-3.0上，Light Interaction实现高达2.59倍加速，PSNR达到24.81，保持竞争性视觉质量。

Innovations:

• 提出自适应上下文管理：利用相机姿态感知检索相似性动态丢弃不可靠的空间记忆，并根据局部潜在动态自适应调整时间窗口长度。
• 提出去噪缓存加速：仅在相机重访熟悉区域（通过姿态相似性判断）时复用早期步模型输出，同时保留最终步用于质量修正。
• 提出硬件-软件协同设计的3D块稀疏注意力：保留文本和当前块令牌，仅稀疏化历史视觉KV块，并使用Triton融合内核消除因果自回归下的布局转换和收集/分散开销。
• 首次将自适应计算与交互轨迹结合，实现无训练推理加速，在交互式视频世界模型上取得显著加速比。

Methodology: 论文采用无训练推理加速方法，主要技术路线包括：(1)自适应上下文管理：通过相机姿态感知相似性阈值判断探索/重访阶段，丢弃不可靠空间记忆；通过潜在空间MSE估计局部动态，并用指数移动平均平滑，动态调整时间窗口长度。(2)去噪缓存加速：在重访阶段，复用第一个去噪步的输出作为中间步的近似，仅保留最终步进行完整计算。(3)硬件-软件协同稀疏注意力：将KV缓存和当前查询划分为3D块，使用池化表示计算块级相似性生成稀疏掩码，通过Triton融合内核实现高效稀疏注意力计算，避免布局转换开销。

Key Results:

• 在HY-WorldPlay和Matrix-Game-3.0上实现高达2.59倍加速（无模型重训练）。
• 在HY-WorldPlay上达到24.81 PSNR，保持与原始模型相当的视觉质量。
• 在HY-WorldPlay上，原始延迟228.60秒，Light Interaction延迟37.07秒，加速1.61倍（示例）。
• 在Matrix-Game-3.0上，原始延迟59.70秒，Light Interaction延迟37.07秒（示例）。

Tech Stack:

• Rectified Flow（用于交互式视频生成）
• KV缓存压缩（自适应上下文管理）
• 指数移动平均（EMA）平滑动态估计
• 相机姿态感知相似性（SFOV/τFOV）
• Triton融合内核（硬件-软件协同稀疏注意力）
• 3D块稀疏注意力（块级相似性计算）
• MSE（均方误差）用于潜在空间动态估计
• L1距离（相对）用于去噪步间差异分析

Strengths:

• 无训练：无需模型重训练或微调，直接应用于现有交互式视频世界模型。
• 自适应计算：根据交互轨迹动态调整计算量，避免均匀策略的浪费。
• 硬件-软件协同设计：通过Triton内核实现稀疏注意力的实际加速，克服了理论稀疏性与实际加速之间的差距。
• 显著加速比：在保持视觉质量的同时实现2.59倍加速，具有实用价值。
• 通用性：适用于HY-WorldPlay和Matrix-Game-3.0两种代表性模型。

Limitations:

• 依赖相机姿态信息：需要模型提供相机姿态感知检索能力，不适用于无姿态信息的视频生成模型。
• 阈值敏感性：自适应机制中的阈值（如τpose）需要手动设定，可能影响不同场景下的性能。
• 仅适用于自回归交互式生成：不适用于双向扩散或非交互式视频生成。
• 视觉质量略有下降：PSNR 24.81表明存在一定质量损失，尽管可接受。

Relevance To Keywords:

• 世界模型：论文直接面向交互式视频世界模型（HY-WorldPlay、Matrix-Game-3.0），属于世界模型在视频生成中的应用。
• 推理加速：核心贡献是无训练推理加速框架，显著降低生成延迟。
• 交互式视频生成：论文针对用户控制相机运动的交互式场景，提出自适应计算策略。
• 无训练方法：所有加速技术均无需模型重训练，符合关键词。
• 稀疏注意力：硬件-软件协同设计的3D块稀疏注意力是关键技术之一。

统一多模态模型（UMMs）旨在在一个模型中同时处理感知与生成任务。然而，现有的 UMMs 仍依赖一个冻结的、单独预训练的变分自编码器（VAE）进行图像生成，这造成了结构瓶颈。简单地移除它会导致质量差距，因为模型必须从原始像素中学习高层结构和底层细节。本文提出了一种名为表示强制（RF）的技术，该技术通过将表示预测变为模型的固有能力来填补这一差距。具体而言，RF 迫使解码器在像素之前自回归地预测视觉表示作为中间令牌；这些令牌随后保留在上下文中，指导同一骨干网络内的像素扩散。通过将表示从感知输出转变为生成目标，RF 消除了对外部生成潜在空间的需求。我们发现 RF 对理解和生成都有益。在图像生成方面，带有 RF 的像素空间模型与基于 VAE 的最先进统一模型相当。在图像理解方面，像素空间 RF 通常优于其基于 VAE 的变体。总之，这些结果为实现端到端、无瓶颈的 UMMs 迈出了有效的一步。

Unified multimodal models (UMMs) aim to handle perception and generation in a single model. Yet existing UMMs still rely on a frozen, separately pretrained VAE for image generation, imposing a structural bottleneck. Naively removing it introduces a quality gap, as the model must learn both high-level structure and low-level details from raw pixels. In this paper, we propose Representation Forcing (RF), a technique that closes this gap by making representation prediction a native capability of the model. Concretely, RF forces the decoder to autoregressively predict visual representations as intermediate tokens before pixels; these tokens then stay in context to guide pixel diffusion within the same backbone. By turning representations from perception outputs into generation targets, RF eliminates the need for any external generative latent space. We find that RF benefits both understanding and generation. On image generation, our pixel-space model with RF matches state-of-the-art VAE-based unified models. On image understanding, pixel-space RF generally outperforms its VAE-based variant. Together, these results offer an effective step toward end-to-end, bottleneck-free UMMs.

评分理由: 论文核心围绕统一多模态模型（Unified Multimodal Models）展开，直接对应 Unify Models 和 MultiModal 关键词（10 分）。文中提到将视觉表征作为中间令牌（tokens），涉及 Tokenizer 概念但未深入设计（5 分）。论文讨论了 VAE 编码器的瓶颈并主张消除依赖，与 Visual Encoder 相关（5 分）。统一多模态模型是多模态大模型（MLLM）的重要演进方向（8 分）。虽背景提及 World Models，但论文未聚焦此点（5 分）。内容未涉及强化学习，与 model-based RL 无关（0 分）。

Unified Multimodal Models, Representation Forcing, Bottleneck-Free, Pixel-space, Image Generation, Image Understanding, End-to-end

Chinese Title: 面向无瓶颈统一多模态模型的表征强制

Summary: 论文针对当前统一多模态模型（UMMs）中图像生成依赖预训练VAE所导致的结构瓶颈问题，提出表征强制（Representation Forcing, RF）方法。RF的核心思想是让解码器在生成像素之前，自回归地预测视觉表征作为中间token，这些token作为上下文条件引导后续的像素扩散过程，从而消除对外部VAE的依赖。视觉表征来源于模型自身的理解编码器，通过在线向量量化离散化为token，并作为生成目标。实验表明，基于像素空间的RF模型在图像生成质量上匹配VAE基线，在图像理解任务上优于VAE变体。该方法实现了完全端到端学习的统一多模态模型，无需任何预训练的外部组件，为构建无瓶颈的统一多模态模型提供了有效途径。

Innovations:

• 提出表征强制（RF）方法，通过自回归预测视觉表征作为中间token，消除统一多模态模型对预训练VAE的依赖。
• 将理解编码器的视觉表征作为生成目标，使模型自身学习预测高级结构，实现理解与生成在单一表征空间中的统一。
• 在像素空间生成中达到与VAE基线相当的质量，并在理解任务上超越VAE变体，证明像素空间生成更兼容统一多模态建模。
• 实现完全端到端学习的统一多模态模型，无需任何外部预训练组件（如VAE），推动模型向自包含、无瓶颈方向发展。

Methodology: 论文采用共享Transformer主干架构，将文本token、视觉表征token和像素块统一序列化处理。理解编码器提取图像特征，通过指数移动平均（EMA）和在线向量量化（VQ）将其离散化为表征token。解码器在训练时以教师强制方式自回归预测这些表征token（交叉熵损失），随后这些token作为上下文条件，通过流匹配（Flow Matching）损失进行像素空间扩散生成。推理时，解码器直接从文本提示预测表征token，无需编码器参与。整个模型联合训练，理解编码器与生成解码器共享参数。

Key Results:

• 像素空间RF模型在标准图像生成基准上匹配VAE基线的质量，同时保留更丰富的纹理细节。
• 在图像理解任务上，像素空间RF模型优于其VAE变体，表明像素空间生成更有利于统一多模态建模。
• 消融实验证实RF对像素空间生成至关重要，且对VAE基线的生成也有提升。
• 模型能够生成1024×1024分辨率的高质量图像，展示了实际应用潜力。

Tech Stack:

• Transformer主干架构
• 自回归预测（next-token prediction）
• 流匹配（Flow Matching）损失
• 向量量化（Vector Quantization, VQ）
• 指数移动平均（EMA）
• Sinkhorn-Knopp平衡算法
• SwAV动量更新
• 余弦相似度度量
• 交叉熵损失

Strengths:

• 彻底消除VAE瓶颈，实现端到端学习，避免外部组件带来的质量上限。
• 利用模型自身理解编码器提供结构引导，无需额外预训练表征模型。
• 同时提升图像理解和生成性能，证明表征强制对双向任务有益。
• 方法简单有效，可同时应用于像素空间和VAE空间，具有通用性。

Limitations:

• 依赖EMA编码器提供稳定目标，可能增加训练复杂度和内存开销。
• 离散化过程可能丢失部分细粒度信息，影响生成细节。
• 论文未讨论大规模训练效率、推理速度或模型缩放规律。
• 方法基于特定架构（如MoT）验证，泛化性有待进一步探索。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究统一多模态模型，实现理解与生成一体化，高度相关。
• 世界模型：模型通过预测视觉表征学习内部结构，可视为一种隐式世界模型，相关。
• 表征学习：核心创新在于将视觉表征作为生成目标，属于表征学习范畴，高度相关。
• 模型基于RL：论文未涉及强化学习，但RF可作为后训练或RL的基础，间接相关。

现实世界中的家用机器人需要视觉 - 语言 - 动作（VLA）基础模型，这些模型能够习得可重用的操作技能，涵盖多样化的物体、任务条件及家庭环境。可变形物体折叠是一个代表性挑战，要求机器人能够从随机初始状态处理衣物，涵盖不同的类别、几何形状、材料及场景。然而，现有的 VLA 系统通常针对不同物体类别训练独立的策略，而盲目混合的多任务训练往往面临任务干扰及性能下降的问题。为了超越针对特定类别的折叠策略，我们引入了 DeMaVLA，这是一种用于可泛化可变形操作的 VLA 基础模型。DeMaVLA 采用带有动作专家的 VLM 骨干网络，并使用流匹配方法构建连续动作生成过程。为了提高效率，动作专家通过剪除每隔一个 Transformer 层来构建，同时保持与 VLM 骨干网络的层间对齐，从而降低训练和推理成本。DeMaVLA 首先在约 5000 小时精选的真实世界双臂演示数据上进行预训练，以习得通用操作先验。随后，它在混合折叠数据上进行后训练，该数据通过人机回环数据聚合（DAgger）流程，聚合了自收集的演示以及来自真实机器人故障的纠正轨迹，涵盖多个折叠任务。实验表明，DeMaVLA 在 RoboTwin 上表现出具有竞争力的性能，并在我们的家庭折叠基准上取得了优异的真实世界结果。这些结果突显了可扩展的真实世界数据、高效的动作生成以及纠正学习对于可变形物体操作中通用 VLA 策略的价值。

Real-world household robots require Vision-Language-Action (VLA) foundation models that can acquire reusable manipulation skills across diverse objects, task conditions, and household environments. Deformable-object folding is a representative challenge, requiring robots to handle clothing items from random initial states across varying categories, geometries, materials, and scenes. However, existing VLA systems commonly train separate policies for different object categories, while naively mixed multi-task training often suffers from task interference and degraded performance. To move beyond category-specific folding policies, we introduce DeMaVLA, a VLA foundation model for generalizable Deformable Manipulation. DeMaVLA adopts a VLM backbone with an action expert and formulates continuous action generation using flow matching. To improve efficiency, the action expert is constructed by pruning every other transformer layer while preserving layer-wise alignment with the VLM backbone, reducing training and inference cost. DeMaVLA is first pre-trained on approximately 5,000 hours of selected real-world dual-arm demonstrations to acquire general manipulation priors. It is then post-trained on mixed folding data that aggregates self-collected demonstrations and corrective trajectories from real-robot failures across multiple folding tasks through a human-in-the-loop Data Aggregation~(DAgger) pipeline. Experiments show that DeMaVLA achieves competitive performance on RoboTwin and strong real-world results on our household folding benchmark. These results highlight the value of scalable real-world data, efficient action generation, and corrective learning for general-purpose VLA policies in deformable-object manipulation.

评分理由: 论文提出 DeMaVLA，一个视觉 - 语言 - 动作（VLA）基础模型。MultiModal (9.0) 和 MLLM (8.0) 高度相关，因使用 VLM 骨干处理多模态输入。Unify Models (8.0) 相关，旨在统一不同物体的操作策略。Visual Encoder (7.0) 作为 VLM 组成部分存在。Tokenizer (2.0) 和 World Models (3.0) 相关性低，因主要使用流匹配生成连续动作而非离散 token，且非世界模型。model-based RL (5.0) 中度相关，因涉及 DAgger 迭代学习但非严格模型规划。作者列表中未包含 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang，故无额外加分。

Vision-Language-Action, Foundation Model, Deformable Manipulation, Flow Matching, Real-world Data, Action Expert, Post-training

Chinese Title: DeMaVLA：面向可泛化变形物体操作的视觉-语言-动作基础模型

Summary: 本文提出DeMaVLA，一个面向可泛化变形物体操作的视觉-语言-动作（VLA）基础模型。针对现有VLA系统通常为不同物体类别训练独立策略、而混合多任务训练易出现任务干扰的问题，DeMaVLA采用单一检查点策略实现多类别双臂折叠操作。模型以Qwen3-VL作为VLM骨干，并引入层对齐剪枝的动作专家（每两层保留一层），结合流匹配（flow matching）生成连续动作，显著降低训练和推理成本。预训练阶段使用约5000小时的真实世界双臂演示数据获取通用操作先验；后训练阶段通过人类参与的DAgger管道收集失败纠正轨迹，针对多类别折叠任务进行混合数据训练。实验表明，DeMaVLA在RoboTwin模拟基准和真实家庭折叠基准上均取得竞争性表现，验证了大规模真实数据、高效动作生成和纠正学习对通用VLA策略的价值。

Innovations:

• 提出基于LLM的动作专家架构，通过层对齐剪枝（每两层剪一层）保留与VLM骨干的层级对应关系，同时大幅降低计算成本。
• 采用流匹配（flow matching）生成连续动作块，实现长时域双臂操作的平滑动作预测。
• 构建约5000小时的真实世界双臂演示预训练数据集，覆盖多种操作技能，为变形物体操作提供通用先验。
• 引入人类参与的DAgger管道，在真实机器人上滚动执行策略并收集纠正轨迹，直接针对多类别折叠任务的失败模式进行后训练。
• 实现单一检查点策略统一处理多种衣物类别（衬衫、裤子、毛巾、裙子等）的折叠任务，无需类别特定适配。

Methodology: DeMaVLA采用VLM骨干（Qwen3-VL）加动作专家的架构。多视角图像和语言指令经VLM编码为视觉-语言token，机器人本体状态和噪声动作块经线性投影后由动作专家处理。动作专家由Qwen3-VL的LLM部分经层剪枝（每两层保留一层）构建，保持与骨干的层级对齐。动作生成使用流匹配，通过多次前向传播去噪得到连续动作块。训练分为两阶段：首先在约5000小时真实世界双臂演示数据上进行预训练，学习通用操作先验；然后在混合折叠数据（包含自收集演示和DAgger纠正轨迹）上进行后训练。DAgger管道中，人类操作员在机器人执行失败时介入纠正，并将纠正数据聚合到训练集中。

Key Results:

• 在RoboTwin模拟基准上，DeMaVLA相比基线方法取得竞争性表现。
• 在真实世界家庭折叠基准（涵盖多种衣物类别和随机初始状态）上，DeMaVLA实现强鲁棒性折叠性能。
• 预训练数据规模扩展实验表明，约5000小时的真实世界数据对变形物体操作泛化至关重要。
• 层剪枝动作专家在保持性能的同时显著降低训练和推理成本（总参数量6.6B，动作专家仅2.2B）。
• 人类参与的DAgger后训练有效提升了多类别折叠策略的鲁棒性，减少了失败模式。

Tech Stack:

• Qwen3-VL（VLM骨干）
• 流匹配（Flow Matching）用于连续动作生成
• 层对齐剪枝（Layer-Aligned Pruning，每两层保留一层）
• 人类参与的DAgger（Human-in-the-Loop Data Aggregation）
• ALOHA-style双臂操作平台
• 行为克隆（Behavior Cloning）与交互式模仿学习
• 训练时实时控制（Training-time RTC）用于异步执行

Strengths:

• 提出统一的多类别折叠策略，避免了类别特定策略的维护成本。
• 层剪枝动作专家设计兼顾了架构对齐与计算效率，适合流匹配的多次前向传播。
• 大规模真实世界预训练数据（5000小时）提供了丰富的双臂操作先验，提升了泛化能力。
• 人类参与的DAgger管道有效解决了行为克隆的协变量偏移问题，针对失败模式进行纠正。
• 在模拟和真实环境均取得强性能，验证了方法的实用性。

Limitations:

• 依赖大量真实世界演示数据（5000小时），数据采集成本高。
• 当前仅聚焦于折叠任务，尚未验证在其他变形物体操作（如布料铺平、绳索整理）上的泛化性。
• DAgger管道需要人类实时干预，扩展到大规模部署时可能面临人力瓶颈。
• 模型参数量6.6B，在资源受限的嵌入式平台上部署可能存在挑战。
• 未与基于强化学习的方法进行对比，无法评估其在探索和奖励设计方面的优势。

Relevance To Keywords: 论文与关键词高度相关：1）Unify Models：DeMaVLA通过单一模型统一多种衣物类别的折叠操作，体现了模型统一化思想。2）World Models：预训练阶段学习通用操作先验，可视为对操作世界的隐式建模。3）Representation Learning：VLM骨干提供视觉-语言联合表征，动作专家学习机器人特定表征。4）Model-Based RL：流匹配动作生成可看作一种隐式模型，但论文未显式使用强化学习。5）原生多模态大模型：采用Qwen3-VL作为骨干，属于原生多模态大模型。6）多模态大模型的理解和生成一体化：VLM同时处理视觉和语言理解，动作专家生成连续动作，实现理解与生成一体化。7）表征学习：通过预训练和DAgger后训练学习可泛化的操作表征。8）世界模型：预训练数据覆盖多种操作场景，有助于构建操作世界模型。9）强化学习：DAgger属于交互式模仿学习，与强化学习中的策略优化相关。10）后训练：DAgger后训练阶段是论文的关键组成部分。

视觉 - 语言 - 动作（VLA）模型在自动驾驶领域展现出显著潜力，凸显了统一多模态架构在联合建模感知与规划方面的前景。然而，当前基于 VLA 的驾驶行为如何扎根于视觉信息这一问题尚不明确。现有的评估方案主要关注聚合性能指标，缺乏结构化和实用的诊断方法来量化视觉 - 行为依赖关系。本文提出了一种结构化多层级视觉扰动框架，旨在系统地分析基于 VLA 的驾驶模型中的视觉 - 行为依赖关系。该框架沿三个互补维度组织可控视觉扰动：通道级退化、信息级干扰以及结构级修改。我们将该框架应用于基于 VLA 的驾驶系统，并在开环轨迹预测与交互式闭环安全评估两种场景下评估行为响应。实验结果揭示了评估依赖的依赖模式以及不同抽象层级上视觉扎根（visual grounding）的不均匀性。这些发现呼吁对 VLA 驾驶模型进行更结构化的分析和基于原理的设计，以更好地理解视觉信息如何塑造行为，从而开发出更安全、更鲁棒的系统。

Vision-Language-Action (VLA) models have demonstrated promising capability in autonomous driving, highlighting the potential of unified multimodal architectures for jointly modeling perception and planning. However, how current VLA-based driving behavior is grounded in visual information remains poorly understood. Existing evaluation protocols mainly focus on aggregate performance metrics, lacking structured and practical diagnostics to quantify visual-behavior dependency. In this work, we introduce a structured multi-level visual perturbation framework to analyze visual-behavior dependency in VLA-based driving models systematically. The framework organizes controlled visual perturbations along three complementary dimensions: channellevel degradation, information-level disruption, and structurelevel modification. We apply it to VLA-based driving systems and evaluate behavioral responses under both open-loop trajectory prediction and interactive closed-loop safety evaluation. Experimental results reveal evaluation-dependent dependency patterns and uneven visual grounding across abstraction levels. These findings call for more structured analyses and principled design of VLA driving models to better understand how visual information shapes behavior and develop safer, more robust systems.

评分理由: 论文核心关注视觉 - 语言 - 行动（VLA）模型在自动驾驶中的视觉信息依赖分析。摘要中明确提及'unified multimodal architectures'，故与 Unify Models 和 MultiModal 高度相关；视觉分析涉及 Visual Encoder；VLA 与 MLLM 领域紧密相关。未提及 Tokenizer 和 World Models；虽涉及自动驾驶规划（关联 RL），但未聚焦 model-based RL 方法。作者名单中无指定专家，未加分。

Vision-Language-Action, Visual perturbation, Autonomous driving, Visual-behavior dependency, Unified multimodal architectures, Closed-loop evaluation, VLA models

Chinese Title: 视觉信息在视觉-语言-动作模型驾驶行为中是否起决定性作用？

Summary: 本文针对视觉-语言-动作（VLA）模型在自动驾驶中的应用，提出了一种结构化多级视觉扰动框架，用于系统分析视觉信息与驾驶行为之间的依赖关系。该框架从通道级退化、信息级破坏和结构级修改三个互补维度组织受控视觉扰动，并应用于代表性VLA驾驶模型。通过开环轨迹预测和交互式闭环安全评估两种设置，实验揭示了评估依赖的依赖模式以及不同抽象层次上视觉基础的不均匀性。结果表明，当前VLA系统的视觉基础具有上下文敏感性且在不同扰动层次上分布不均，开环与闭环评估的对比表明常用评估协议可能仅提供交互关键视觉依赖的部分视图。研究呼吁对VLA驾驶模型进行更结构化的分析和原则性设计，以更好地理解视觉信息如何塑造行为并开发更安全、更鲁棒的系统。

Innovations:

• 提出结构化多级视觉扰动框架，从通道级、信息级和结构级三个层次系统分析VLA驾驶模型的视觉-行为依赖关系。
• 在开环轨迹预测和交互式闭环安全评估两种设置下进行系统评估，揭示评估设置对视觉依赖模式的影响。
• 发现视觉基础在VLA系统中具有上下文敏感性和不均匀分布，某些退化仅引起有限行为变化，而结构化扰动显著影响安全关键结果。
• 提供实用的诊断工具包，用于分析未来VLA自动驾驶架构中的视觉基础。

Methodology: 论文采用受控多级视觉扰动方法。首先定义VLA驾驶策略fθ，将视觉观测It和辅助模态St映射为动作。然后设计三类扰动：通道级（图像空间噪声替换、完全移除）、信息级（下采样后上采样、随机视觉token丢弃、结构化token剪枝）、结构级（块级视觉token混洗、位置索引扰动）。通过比较干净与扰动条件下的性能变化（相对性能变化D(T)）量化视觉依赖。实验在开环（轨迹预测）和闭环（交互式安全评估）两种评估协议下进行。

Key Results:

• 视觉依赖在不同扰动层次上表现出异质性：某些通道级退化（如噪声）仅引起有限行为变化，而结构级扰动（如token混洗）显著影响安全关键结果。
• 开环与闭环评估结果存在对比：开环下视觉依赖可能被低估，闭环下更能反映交互关键依赖。
• 当前VLA系统的视觉基础是上下文敏感的，且在不同抽象层次上分布不均。
• 模型可能对视觉信息利用不足，存在隐藏的模态不平衡问题。

Tech Stack:

• VLA模型（如AutoVLA、OpenDriveVLA、Recogdrive等）
• 多级视觉扰动操作：噪声替换、图像移除、下采样/上采样、随机token丢弃、结构化token剪枝、块级token混洗、位置索引扰动
• 开环评估指标：轨迹误差等
• 闭环评估指标：碰撞率、规则合规性等
• 相对性能变化D(T)计算公式

Strengths:

• 提出系统化的多级扰动框架，覆盖从低级像素到高级语义结构的多个抽象层次，有助于精细诊断视觉基础。
• 同时采用开环和闭环两种评估协议，揭示评估设置对依赖模式的影响，具有实践指导意义。
• 方法模型无关，可适用于不同VLA架构。
• 研究结果对安全关键自动驾驶系统的可靠性分析具有重要价值。

Limitations:

• 仅对单一代表性VLA模型进行实验，结论的泛化性有待验证。
• 扰动设计可能未覆盖所有视觉信息维度（如时序动态、多视角等）。
• 依赖量化仅基于性能变化，未深入分析模型内部表征变化。
• 未探讨不同辅助模态（如历史轨迹、雷达）对视觉依赖的补偿作用。

Relevance To Keywords:

• 原生多模态大模型：VLA模型属于多模态大模型在自动驾驶中的应用，论文研究其视觉基础与行为依赖。
• 多模态大模型的理解和生成一体化：VLA模型将视觉理解与动作生成统一，论文通过扰动分析理解其内部依赖。
• 表征学习：论文通过多级扰动探究视觉表征在不同抽象层次上的作用。
• 世界模型：VLA模型可视为隐式世界模型，论文分析其视觉信息对行为预测的影响。
• 强化学习/后训练：论文提及部分VLA模型结合强化学习训练，但未深入探讨后训练对视觉依赖的影响。

具有可验证奖励的强化学习（RLVR）通过优化源自最终答案的结果奖励来改进视觉语言模型（VLMs）。然而，此类仅基于结果的奖励无法告知模型哪些图像区域能够支撑该答案。对于需要视觉定位的问题，这些奖励无法区分由相关视觉证据支持的响应与由语言先验捷径或幸运猜测产生的响应。我们提出 EASE（证据锚定空间注意力），该机制通过视觉证据过程监督来增强多模态 RLVR。EASE 将标注的证据区域转换为平滑的视觉标记目标，并在强化学习训练期间利用该目标引导响应到图像的注意力，但仅针对高奖励轨迹。这些标注仅用作特权训练标签，而推理过程仅需原始图像和问题。在 Qwen2.5-VL-7B、Qwen3-VL-4B 和 Qwen3-VL-8B 上，EASE 在感知、幻觉、视觉数学及多模态推理基准上相较于 DAPO 的平均得分提升了 2.5 至 3.1 分。诊断分析和消融实验表明，EASE 能更好地将视觉注意力与标注的证据区域对齐。

Reinforcement learning with verifiable rewards (RLVR) improves vision-language models (VLMs) by optimizing outcome rewards derived from final answers. However, such outcome-only rewards do not tell the model which image regions justify an answer. For questions that require visual grounding, these rewards cannot distinguish responses supported by relevant visual evidence from those produced by language-prior shortcuts or lucky guesses. We introduce EASE (Evidence-Anchored Spatial Attention), which augments multimodal RLVR with visual-evidence process supervision. EASE converts annotated evidence regions into a smoothed visual-token target and uses it to guide response-to-image attention during RL training, but only on high-reward trajectories. The annotations are used solely as privileged training labels, while inference requires only the original image and question. Across Qwen2.5-VL-7B, Qwen3-VL-4B, and Qwen3-VL-8B, EASE raises average scores over DAPO by 2.5 to 3.1 points on perception, hallucination, visual math, and multimodal reasoning benchmarks. Diagnostics and ablations show that EASE better aligns visual attention with annotated evidence regions.

评分理由: The paper focuses on Multimodal RLVR and MLLMs (Qwen-VL), earning high scores for MultiModal and MLLM. It involves visual token targets and encoders for attention supervision, justifying moderate scores for Tokenizer and Visual Encoder. It does not address World Models or Model-Based RL specifically, and 'Unify Models' is not the core focus, resulting in lower scores. No specified expert authors are present in the author list.

Multimodal RLVR, Evidence-Anchored Spatial Attention, Visual Grounding, Vision-Language Models, Attention Supervision, Hallucination Reduction, Qwen-VL

Chinese Title: 关注证据：基于证据锚定的空间注意力监督用于多模态RLVR

Summary: 本文提出EASE（Evidence-Anchored Spatial Attention）框架，旨在解决多模态可验证奖励强化学习（RLVR）中视觉证据获取缺失的问题。标准RLVR仅使用最终答案的奖励信号，无法区分模型是否真正依赖相关视觉证据还是语言捷径。EASE通过将数据集中的证据标注区域转换为平滑的视觉令牌目标分布，在训练时引导响应到图像的注意力，但仅在高奖励轨迹上施加该监督。证据标注仅作为训练标签，推理时无需额外元数据。实验在Qwen2.5-VL-7B、Qwen3-VL-4B和Qwen3-VL-8B三个骨干上进行，相比DAPO基线，EASE在感知、幻觉、视觉数学和多模态推理基准上平均提升2.5至3.1分。诊断实验表明，EASE有效增强了视觉注意力与证据区域的对齐，降低了幻觉风险。

Innovations:

• 识别出视觉证据获取是多模态RLVR中缺失的过程信号，并引入EASE进行显式监督。
• 将证据区域映射为平滑高斯目标分布，避免硬二值掩码，提高对边界噪声的容忍度。
• 仅对高奖励轨迹施加注意力引导，避免低质量响应干扰训练。
• 混合单证据和多证据训练样本，使模型同时学习局部定位和跨区域证据整合。
• 推理时无需证据元数据，保持原有输入格式，降低部署成本。

Methodology: 首先构建证据标注管道：从图像-问题-答案三元组中提取关键证据短语，使用接地模型定位并验证边界框。然后将每个证据框转换为高斯分布，在视觉令牌网格上归一化得到软目标分布，多证据时采用等权混合。定义响应到视觉注意力的KL散度作为辅助损失，仅在actor更新时对高奖励轨迹（由任务验证器判定）施加该损失。训练数据平衡采样单证据和多证据样本。整体采用GRPO或DAPO作为基础RL算法，EASE作为附加正则项。

Key Results:

• 在Qwen2.5-VL-7B上，EASE相比DAPO平均提升2.9分。
• 在Qwen3-VL-4B上，平均提升3.1分。
• 在Qwen3-VL-8B上，平均提升2.5分。
• 在感知、幻觉、视觉数学和逻辑推理基准上均有显著增益。
• 诊断实验显示，EASE训练后模型的注意力分布与证据区域KL散度更低，幻觉风险与注意力-证据不匹配正相关。

Tech Stack:

• GRPO（Group Relative Policy Optimization）
• DAPO（基线强化学习算法）
• 高斯分布建模与归一化
• KL散度作为注意力正则损失
• 接地模型（grounding models）用于证据定位
• 平滑目标分布（均匀混合）
• 视觉令牌注意力机制

Strengths:

• 针对RLVR中视觉证据获取缺失的关键问题提出有效解决方案。
• 训练时仅需额外标注，推理时无任何开销，实用性强。
• 混合单/多证据训练增强了模型在不同复杂度问题上的泛化能力。
• 实验覆盖多个骨干和多种基准，结果一致且显著。
• 诊断分析清晰揭示了注意力对齐与幻觉风险的关系，验证了方法动机。

Limitations:

• 依赖人工或自动标注的证据框，标注成本较高且可能存在噪声。
• 仅对高奖励轨迹施加监督，可能忽略部分低奖励但注意力正确的样本。
• 平滑参数α需要调优，不同数据集可能需不同设置。
• 仅在Qwen系列VLM上验证，在其他架构（如LLaVA、InternVL）上的泛化性未知。
• 未探讨证据标注质量对最终性能的影响程度。

Relevance To Keywords: 论文直接涉及多模态大模型的后训练（强化学习），与“原生多模态大模型的理解和生成一体化”相关（通过注意力监督提升视觉理解）。与“表征学习”相关，因为注意力引导本质是学习更好的视觉表征。与“世界模型”和“Model-Based RL”关联较弱，论文未构建显式世界模型，而是通过注意力监督间接促进视觉证据获取。整体相关性中等偏上，尤其契合多模态强化学习后训练方向。

基于连接器的视频统一模型在指令引导的视频合成方面展现出强大能力，但将大型高保真生成器集成到统一训练循环中计算开销过大，限制了可达的视觉质量。因此，我们提出 Lumos-Nexus，这是一种训练高效的统一视频生成框架，旨在促进强大的推理驱动生成能力的发展，同时显著提升视觉保真度。Lumos-Nexus 采用两阶段设计：1) 在训练阶段，仅有一个轻量级生成器与理解模块对齐，以学习接收推理驱动的语义控制；2) 在推理阶段，我们引入统一渐进式频率桥接（UPFB），在共享潜在空间中逐步将生成任务移交至高容量预训练生成器，从而实现粗到精的细化，在不损害推理质量的前提下生成高保真视频。为了填补推理驱动视频生成基准的空白，我们引入了 VR-Bench，用于评估模型将推断意图转化为连贯且语义对齐的视频内容的能力。大量实验表明，Lumos-Nexus 在 VBench 上实现了视觉真实性和时间一致性的显著提升，同时在 VR-Bench 上展现出强大的基于推理的生成性能。代码和模型可在 https://jiazheng-xing.github.io/nexus-lumos-home/ 获取。

Connector-based video unified models have demonstrated strong capability in instruction-grounded video synthesis, but integrating a large high-fidelity generator into the unified training loop is computationally prohibitive, limiting achievable visual quality. We therefore propose Lumos-Nexus, a training-efficient unified video generation framework that facilitates the development of strong reasoning-driven generation capabilities while significantly enhancing visual fidelity. Lumos-Nexus adopts a two-stage design: 1) During training, only a lightweight generator is aligned with the understanding block to learn to take in reasoning-driven semantic control. 2) During inference, we introduce Unified Progressive Frequency Bridging (UPFB) to progressively hand off generation to a high-capacity pretrained generator in the shared latent space, enabling coarse-to-fine refinement and producing high-fidelity videos without compromising reasoning quality. To fill the gap in reasoning-driven video generation benchmarks, we introduce VR-Bench, which assesses a model's capability to translate inferred intent into coherent and semantically aligned video content. Extensive experiments demonstrate that Lumos-Nexus achieves substantial gains in visual realism and temporal coherence on VBench, while exhibiting strong reasoning-based generative performance on VR-Bench. Code and models are available at https://jiazheng-xing.github.io/nexus-lumos-home/.

评分理由: The paper explicitly focuses on Video Unified Models (Unify Models: 10) and integrates video-text modalities (MultiModal: 8, MLLM: 7). Technical contributions involve latent space bridging (Visual Encoder: 6, Tokenizer: 4). World Models are contextually relevant (5), while Model-Based RL is not discussed (1). No expert authors from the list were found, so no bonus points applied. Total weighted score 61.5 > 27.8.

Video Unified Models, Frequency Bridging, Homogeneous Latent Space, Reasoning-driven Generation, Visual Fidelity, Training Efficiency

Chinese Title: Lumos-Nexus：面向视频统一模型的高效频率桥接与同质潜在空间

Summary: 论文提出Lumos-Nexus，一种训练高效的统一视频生成框架。该框架采用两阶段设计：训练阶段仅将轻量级扩散生成器与理解模块对齐，使其学习吸收推理驱动的语义控制；推理阶段引入统一渐进频率桥接（UPFB），在共享的同质潜在空间中逐步将生成任务从轻量级生成器转移给高容量预训练生成器，实现从粗到细的细化，从而在不牺牲推理质量的前提下产生高保真视频。同时，为填补推理驱动视频生成基准的空白，论文提出VR-Bench，从物理世界推理、常识推理和具身交互等八个维度评估模型将推断意图转化为连贯视频内容的能力。实验表明，Lumos-Nexus在VBench上显著提升了视觉真实感和时间一致性，在VR-Bench上保持了强推理生成性能。

Innovations:

• 提出Lumos-Nexus框架，通过训练时仅使用轻量级生成器、推理时渐进桥接高容量生成器，实现训练高效且高保真的统一视频生成。
• 提出统一渐进频率桥接（UPFB）策略，在共享同质潜在空间中动态桥接两个生成器，实现从语义布局到细节纹理的平滑过渡。
• 提出VR-Bench基准，系统评估推理驱动视频生成中推断意图与生成内容的一致性，涵盖多个推理维度。
• 在不微调大生成器的情况下，使大生成器继承统一模型的推理能力，同时保持其高视觉质量。

Methodology: 论文采用连接器（connector-based）的统一视频模型架构。训练阶段：仅将轻量级扩散生成器（如小规模DiT）与理解模块（VLM）通过连接器对齐，微调连接器和轻量级生成器，使其学习将语义推理信号转化为结构化生成先验。推理阶段：使用UPFB，在共享的潜在空间中，轻量级生成器作为语义初始化器生成早期布局和全局结构，然后通过频率域渐进桥接，将生成责任逐步移交给预训练的高容量扩散生成器（如Wan2.1-14B），后者负责后期纹理增强和高保真细节，同时强化推理语义的执行。

Key Results:

• 在VBench基准上，Lumos-Nexus在视觉真实感和时间一致性指标上取得显著提升。
• 在VR-Bench基准上，Lumos-Nexus展现出强推理驱动的视频生成能力，能够将复杂指令转化为语义对齐的视频内容。
• 通过UPFB，轻量级生成器提供的语义先验被高容量生成器有效继承，避免了语义冲突和纹理不一致。
• 训练成本大幅降低，无需微调大生成器即可获得高保真视频生成。

Tech Stack:

• 扩散Transformer（DiT）架构
• 连接器（connector）用于理解模块与生成模块之间的特征注入
• 统一渐进频率桥接（UPFB）算法
• 同质潜在空间（homogeneous latent space）共享
• VBench和VR-Bench评估基准

Strengths:

• 训练高效：仅需微调轻量级生成器，避免了大规模生成器的昂贵训练。
• 推理质量高：通过渐进桥接，结合了轻量级生成器的语义控制和大生成器的高保真细节。
• 通用性强：适用于文本到图像和文本到视频生成，且不改变大生成器的预训练权重。
• 提出新基准：VR-Bench填补了推理驱动视频生成评估的空白。
• 实验充分：在多个基准上验证了视觉质量和推理能力的提升。

Limitations:

• 依赖同质潜在空间：要求轻量级和大生成器共享相同的潜在空间，限制了生成器选择范围。
• 推理复杂度增加：UPFB需要同时运行两个生成器并进行渐进桥接，可能增加推理时间和计算开销。
• VR-Bench覆盖维度有限：虽然包含八个维度，但可能未涵盖所有推理场景，基准的全面性有待扩展。
• 未讨论对长视频生成的支持：论文主要展示短视频生成，长视频的时序一致性可能面临挑战。

Relevance To Keywords:

• Unify Models: 论文直接研究视频统一模型，将理解与生成一体化。
• World Models: 理解模块提供世界知识，生成器基于推理合成视频，体现世界模型思想。
• Representation Learning: 通过连接器学习将语义表示映射到生成空间，涉及表征对齐。
• Model-Based RL: 论文未直接涉及强化学习，但推理驱动生成可视为基于模型的控制。
• 原生多模态大模型: 框架基于原生多模态理解与生成一体化设计。
• 多模态大模型的理解和生成一体化: 核心贡献正是实现理解和生成的高效融合。
• 表征学习: 同质潜在空间的设计和频率桥接涉及表征学习。
• 世界模型: 生成器模拟视频动态，理解模块提供因果推理，符合世界模型定义。
• 强化学习: 论文未涉及强化学习，但后训练阶段可能结合RL优化。
• 后训练: 论文的训练阶段可视为后训练（fine-tuning）的一种形式。

多模态大语言模型（MLLMs）作为具身智能体已展现出强大潜力，但由于缺乏细粒度评估，具身地理定位的研究仍显不足。我们提出了 ERGeoBench，这是一个面向视觉驱动具身地理定位的诊断基准。ERGeoBench 在三种渐进式设置下评估模型——单视图、全景视图和具身视图——在此过程中，智能体可通过偏航角（yaw）、俯仰角（pitch）和缩放（zoom）的顺序变化主动获取观测。该基准包含 2,207 个全球分布的街景全景图，并衡量四种互补能力：基础感知、空间意识、常识推理以及地理定位推理。对领先的专有及开源 MLLMs 的评估表明，当前模型能够推断高层地理语义，但在细粒度感知操作、度量定位以及跨视图空间一致性方面仍存在困难。我们进一步观察到，地理定位与其他能力维度强相关，这表明准确的定位依赖于整合感知、空间推理和常识推断，而非孤立的视觉识别。总体而言，ERGeoBench 提供了一个统一的框架，用于诊断和推动类人具身地理定位的发展。项目页面：https://kaixuewen.github.io/ERGeoBench/

Multimodal large language models (MLLMs) have shown strong potential as embodied agents, yet embodied geo-localization remains underexplored due to the lack of fine-grained evaluation. We introduce ERGeoBench, a diagnostic benchmark for vision-driven embodied geo-localization. ERGeoBench evaluates models under three progressive settings -- single-view, panorama-view, and embodied-view -- where agents may actively acquire observations through sequential changes in yaw, pitch, and zoom. The benchmark contains 2,207 globally distributed street-view panoramas and measures four complementary capabilities: foundational perception, spatial awareness, common sense reasoning, and geo-localization reasoning. Evaluations of leading proprietary and open-source MLLMs show that current models can infer high-level geographic semantics, but still struggle with fine-grained perceptual operations, metric localization, and spatial consistency across views. We further observe that geo-localization is strongly correlated with the other capability dimensions, suggesting that accurate localization depends on integrated perception, spatial reasoning, and commonsense inference rather than isolated visual recognition. Overall, ERGeoBench provides a unified framework for diagnosing and advancing human-like embodied geo-localization. Project Page: https://kaixuewen.github.io/ERGeoBench/

评分理由: The paper explicitly focuses on MLLMs and Multimodal tasks, earning maximum scores for these keywords. It proposes a unified framework for evaluation, moderately aligning with Unify Models. Visual Encoders are implicit in the MLLM evaluation but not the core focus. Tokenizers are not discussed. While embodied agents relate to World Models and sequential interaction resembles RL contexts, these are not the primary contributions, resulting in lower scores.

Multimodal Large Language Models, Embodied Reasoning, Geo-localization, Diagnostic Benchmark, Vision-driven, Spatial Awareness, Unified Framework

Chinese Title: ERGeoBench：面向多模态大语言模型的具身推理与地理定位综合基准

Summary: 论文提出了ERGeoBench，首个系统评估多模态大语言模型（MLLMs）在具身地理定位中推理能力的基准。现有方法将地理定位视为静态识别问题，缺乏交互式证据精炼。ERGeoBench利用2207个全球分布的街景全景图，通过可控相机模型（偏航、俯仰、变焦）模拟具身代理的主动观测过程，设置单视图、全景视图和具身视图三种渐进式评估场景。基准从四个能力维度（基础感知、空间意识、常识推理、地理定位推理）进行细粒度诊断。评估了9个领先的专有和开源MLLMs，发现当前模型能推断高层地理语义，但在细粒度感知操作、度量定位和跨视图空间一致性上表现薄弱。地理定位性能与其他能力维度强相关，表明准确定位依赖于综合感知、空间推理和常识推断。ERGeoBench为发展类人具身地理定位提供了统一框架。

Innovations:

• 首次提出面向具身地理定位推理的基准，强调主动证据获取、空间记忆一致性和跨视图假设精炼。
• 引入细粒度、能力导向的评估框架，涵盖三种任务设置（单视图、全景视图、具身视图）和四个推理维度（基础感知、空间意识、常识推理、地理定位推理）。
• 构建了包含2207个全球分布全景图的数据集，并设计可控相机模型支持偏航、俯仰、变焦动作的具身交互。
• 提出地理定位分数（GLS）作为统一排名指标，综合语义对齐、命中率精度和误差幅度。
• 大规模评估揭示了当前MLLMs在具身地理定位中的关键瓶颈，如空间一致性保持和细粒度度量定位能力不足。

Methodology: 论文采用以下方法：1）数据构建：从全球采集2207个高分辨率360°全景图，通过可控相机模型（偏航、俯仰、变焦）渲染具身视图。2）任务设置：设计三种视觉信息条件（单视图、全景视图、具身视图），具身视图下代理通过顺序动作（偏航、俯仰、变焦）主动获取观察，形成观察-评估-更新-行动循环。3）能力评估：将地理定位分解为基础感知、空间意识、常识推理、地理定位推理四个维度，每个维度设计针对性视觉问答。4）评估指标：采用地理定位分数（GLS），由语义对齐分数、命中率精度和误差幅度三部分组成。5）实验协议：统一具身代理协议，结合自我中心观察、动作历史和上下文示例，评估9个MLLMs。

Key Results:

• 当前MLLMs在高层次语义地理定位（如推断国家/城市）上表现较好，但在细粒度度量定位（如精确坐标）上表现薄弱。
• 跨视图空间一致性是主要瓶颈，模型在主动选择视图后难以保持空间布局记忆。
• 具身视图下，通过积累视觉证据（多步观察）能有效提升地理定位性能，表明主动感知的重要性。
• 地理定位性能与基础感知、空间意识、常识推理三个能力维度强相关，说明定位需要综合能力而非孤立视觉识别。
• 在GLS指标上，专有模型（如GPT-4V）整体优于开源模型，但所有模型在具身视图下的表现仍远低于人类水平。

Tech Stack:

• 360°全景图（equirectangular projection）
• 可控相机模型：偏航（yaw）、俯仰（pitch）、变焦（zoom）动作空间
• 透视投影渲染（perspective projection）
• 地理定位分数（GLS）：语义对齐分数、命中率精度、误差幅度
• 多模态大语言模型（MLLMs）：GPT-4V、Gemini、Claude、LLaVA、Qwen-VL等9个模型
• 上下文学习（in-context examples）
• 顺序决策过程（sequential decision-making）

Strengths:

• 首次将具身交互引入地理定位评估，更贴近人类定位行为。
• 细粒度能力诊断框架，超越单一准确率指标，揭示模型具体短板。
• 数据集覆盖全球，具有地理多样性和代表性。
• 统一评估协议，支持单视图、全景视图和具身视图三种设置，便于对比分析。
• 大规模评估覆盖主流专有和开源MLLMs，结论具有广泛参考价值。

Limitations:

• 数据集仅包含街景全景图，缺乏室内、自然等场景，泛化性有限。
• 具身视图下的动作空间为离散预设（偏航、俯仰、变焦），未模拟连续运动或自由探索。
• 评估依赖人工标注的问答对，可能引入标注偏差。
• 未考虑时间动态（如天气、季节变化）对地理定位的影响。
• 当前MLLMs在具身视图下的表现仍远低于人类，基准难度可能过高，缺乏渐进式难度设计。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文聚焦于评估MLLMs的具身地理定位能力，与统一模型、世界模型、表征学习、基于模型的强化学习等方向间接相关。ERGeoBench为这些方向提供了测试平台，但本身不提出新模型或算法。
• 原生多模态大模型，多模态大模型的理解和生成一体化: 论文评估了多个原生多模态大模型（如GPT-4V、Gemini）的感知和推理能力，但未涉及生成一体化。基准设计强调理解（问答）而非生成。
• 表征学习: 基准中的基础感知和空间意识维度与表征学习相关，但论文未提出新的表征学习方法。
• 世界模型: 具身视图下的主动感知和空间记忆一致性测试与世界模型中的环境建模相关，但基准不构建世界模型。
• 强化学习，后训练: 论文提及GRPO等强化学习方法用于提升推理链质量，但ERGeoBench本身不涉及强化学习训练，仅作为评估基准。

虽然视觉引导的思维链（CoT）已成为提升多模态大语言模型（MLLMs）细粒度感知的一种有前景范式，但其在推理阶段的有效性仍未被充分探索。在这项工作中，我们实证发现，在推理阶段强制要求视觉引导的思维链中包含显式物体框，往往会导致性能下降，相比于标准文本 CoT，后者在不进行显式视觉引导的情况下进行推理。我们假设，视觉定位能力可以被内化到文本思维链中，而强制性的显式引导会引入不必要的干扰，影响模型的主要目标——答案预测。为了解决这一问题，我们提出了一种名为内化视觉引导推理（iVGR）的新型强化学习框架，该框架将定位能力转移到文本推理过程中。我们采用双流训练策略，其中文本流通过所提出的一致性奖励与高质量的视觉引导流对齐，使模型能够在推理时无需显式引导即可准确定位。大量实验表明，我们的方法在细粒度基准上显著优于现有基线，同时保持了支持工具辅助推理工作流的灵活性。

While visually grounded Chain-of-Thought (CoT) has emerged as a promising paradigm to enhance fine-grained perception in multimodal large language models (MLLMs), its efficacy during the inference phase remains underexplored. In this work, we empirically find that mandating explicit object boxes in visually grounded CoT during inference often degrades performance compared to standard textual CoT, which reasons without explicit visual grounding. We hypothesize that the visual localization capability can be internalized into the textual CoT and that the mandatory explicit grounding introduces unnecessary interference with the model's primary objective of answer prediction. To address this problem, we propose Internalizing Visually Grounded Reasoning (\textbf{iVGR}), a novel reinforcement learning framework that transfers localization capabilities into the textual reasoning process. We employ a dual-stream training strategy, where a textual stream is aligned with a high-quality visually grounded stream via a proposed consistency reward, enabling the model to localize accurately without explicit grounding during inference. Extensive experiments demonstrate that our method significantly outperforms existing baselines on fine-grained benchmarks, while maintaining the flexibility to support tool-assisted inference workflows.

评分理由: 论文核心针对 MLLM 的视觉 grounded 推理，因此 MLLM 和多模态关键词高度相关（10 分）。论文提出基于强化学习的 iVGR 框架，虽涉及 RL 但侧重推理内化而非环境建模，故 model-based RL 为中度相关（5 分）。视觉流隐含使用视觉编码器（6 分），且将视觉能力内化至文本流体现了模型统一思想（6 分）。Tokenizer 和 World Models 未在摘要中提及，相关性低（1 分）。作者列表中不包含指定的 Yang Shi 等专家，故无额外加分。

MLLMs, Visually Grounded Reasoning, Reinforcement Learning, Dual-stream Training, Textual CoT, Visual Localization, Internalization

Chinese Title: iVGR：通过强化学习将视觉定位推理内化到多模态大语言模型中

Summary: 本文针对多模态大语言模型（MLLMs）在细粒度视觉理解中的推理问题展开研究。现有方法如视觉链式推理（visually grounded CoT）要求模型在推理过程中显式生成边界框或调用裁剪工具，但实验发现，这种显式定位在推理阶段反而会降低性能。作者假设视觉定位能力可以被内化到纯文本推理过程中，而强制显式定位会干扰答案预测。为此，提出iVGR框架，采用双流训练策略：一个流生成带显式边界框的推理（grounded stream），另一个流生成纯文本推理（textual stream），通过一致性奖励将高质量定位能力从grounded stream迁移到textual stream中。训练基于GRPO强化学习算法，最终模型在推理时无需显式定位即可获得更好的细粒度理解性能，同时保持与工具辅助工作流的兼容性。在Qwen2.5-VL和Qwen3-VL上的实验表明，iVGR在多个细粒度基准上显著优于现有方法。

Innovations:

• 发现显式视觉定位在推理阶段反而会降低性能，提出视觉定位能力可内化到文本推理中的假设。
• 提出双流训练策略（grounded stream和textual stream），通过强化学习将定位能力迁移到文本推理中。
• 设计一致性奖励（consistency reward），对齐高质量grounded推理轨迹与textual推理，实现内化。
• 方法在推理时无需显式边界框或工具调用，同时保持与工具辅助工作流的兼容性。

Methodology: 采用基于GRPO（Group Relative Policy Optimization）的强化学习框架。对于每个训练查询，策略模型生成两组rollouts：grounded stream（要求生成边界框）和textual stream（纯文本推理）。对grounded stream使用格式、答案准确性和定位质量奖励；对textual stream使用格式、答案准确性和一致性奖励（与grounded stream中高质量轨迹对齐）。通过组内归一化计算优势，更新策略。训练后推理时仅使用textual stream，无需显式定位。

Key Results:

• 在多个细粒度VQA基准（V*、HR4K、HR8K、MME-RW-Lite、POPE、RealWorldQA、CV-Bench-2D/3D）上，iVGR显著优于现有方法（DeepEyes、TreeVGR）和基线模型Qwen2.5-VL-7B。
• 分析发现，显式定位的CoT在定位质量高时可能优于文本CoT，但整体上文本CoT表现更好，验证了内化假设。
• iVGR在保持纯文本推理优势的同时，仍可兼容工具辅助推理，进一步提升性能。

Tech Stack:

• GRPO（Group Relative Policy Optimization）强化学习算法
• Qwen2.5-VL、Qwen3-VL多模态大语言模型
• 双流训练策略（grounded stream / textual stream）
• 一致性奖励（consistency reward）
• 边界框预测（bounding box）
• IoU（Intersection-over-Union）评估定位质量

Strengths:

• 揭示了显式视觉定位在推理中的局限性，提出内化思想，具有理论创新性。
• 双流训练策略有效迁移定位能力，无需推理时额外计算。
• 方法兼容工具辅助工作流，灵活性高。
• 在多个细粒度基准上取得显著提升，实验充分。

Limitations:

• 训练需要同时生成两组rollouts，计算成本较高。
• 一致性奖励依赖于grounded stream中高质量轨迹的选择，可能受限于定位质量。
• 方法主要针对细粒度视觉理解，在通用场景下的泛化性未充分验证。

Relevance To Keywords:

• 原生多模态大模型：论文研究多模态大语言模型的推理能力，属于该领域。
• 世界模型：论文未直接涉及世界模型，但视觉定位与场景理解相关。
• 表征学习：论文通过强化学习内化定位表征，与表征学习间接相关。
• 模型基强化学习：论文使用强化学习（GRPO）进行后训练，属于该范畴。
• 后训练：论文核心是强化学习后训练策略，高度相关。

我们介绍 HQ-JEPA，一种用于跨模态遥感表示学习的混合量子 - 经典联合嵌入预测架构。该框架将 JEPA 风格的掩码潜在预测扩展到配对的 Sentinel-1 和 Sentinel-2 图像，通过从可见上下文区域预测掩码目标表示，同时在共享嵌入空间中对齐异构模态特征。为提高表示质量，HQ-JEPA 结合了四个互补的目标：潜在 token 预测、跨模态 token 对齐、融合潜在空间中基于 SIGReg 的高斯正则化，以及基于可微分 SWAP 测试的保真度量子相似性 (FQS) 损失。与像素重建方法不同，HQ-JEPA 直接在潜在空间中学习语义表示，并使用基于量子态重叠的相似性作为额外的正则化信号。我们在 GeoBench 分类和分割任务上评估了预训练编码器，在线性探测和微调设置下。结果表明，HQ-JEPA 在强自监督和遥感基础模型基线之上实现了具有竞争力且通常更优的性能，展示了集成预测性自监督、跨模态几何正则化和基于量子保真度的表示学习在遥感应用中的益处。

We introduce HQ-JEPA, a hybrid quantum-classical joint-embedding predictive architecture for cross-modal remote sensing representation learning. The proposed framework extends JEPA-style masked latent prediction to paired Sentinel-1 and Sentinel-2 imagery by predicting masked target representations from visible context regions while aligning heterogeneous modality features in a shared embedding space. To improve representation quality, HQ-JEPA combines four complementary objectives: latent token prediction, cross-modal token alignment, SIGReg-based Gaussian regularization in the fused latent space, and a differentiable SWAP-test-based Fidelity Quantum Similarity (FQS) loss. Unlike pixel reconstruction methods, HQ-JEPA learns semantic representations directly in latent space and uses quantum state-overlap-based similarity as an additional regularization signal. We evaluate the pretrained encoder on GeoBench classification and segmentation tasks under linear probing and fine-tuning settings. Results show that HQ-JEPA achieves competitive and often superior performance over strong self-supervised and remote sensing foundation-model baselines, demonstrating the benefit of integrating predictive self-supervision, cross-modal geometric regularization, and quantum fidelity-based representation learning for remote sensing applications.

评分理由: 论文核心为跨模态遥感表征学习，MultiModal 高度相关（Sentinel-1/2 融合）；World Models 相关（JEPA 架构本质为预测性世界模型）；Visual Encoder 相关（影像特征提取）；Unify Models 部分相关（统一量子 - 经典及模态表征）；Tokenizer 部分相关（涉及 latent token 预测）；MLLM 和 model-based RL 相关性低（无语言模型及强化学习环节）。

Hybrid Quantum-Classical, Joint-Embedding Predictive Architecture, Cross-Modal Remote Sensing, Representation Learning, Latent Token Prediction, Quantum Fidelity Similarity, Sentinel-1 and Sentinel-2

Chinese Title: HQ-JEPA：混合量子联合嵌入预测架构用于跨模态遥感表示学习

Summary: 本文提出HQ-JEPA，一种混合量子-经典联合嵌入预测架构，用于跨模态遥感表示学习。该框架将JEPA风格的掩码潜在预测扩展到配对的Sentinel-1和Sentinel-2图像，通过从可见上下文区域预测掩码目标表示，并在共享嵌入空间中对齐异构模态特征。HQ-JEPA结合了四个互补目标：潜在令牌预测、跨模态令牌对齐、基于SIGReg的高斯正则化以及可微SWAP测试保真度量子相似性（FQS）损失。与像素重建方法不同，HQ-JEPA直接在潜在空间中学习语义表示，并利用量子状态重叠相似性作为额外的正则化信号。在GeoBench分类和分割任务上，通过线性探测和微调设置评估预训练编码器，结果表明HQ-JEPA在性能上优于强自监督和遥感基础模型基线，证明了将预测性自监督、跨模态几何正则化和量子保真度表示学习相结合的优势。

Innovations:

• 首次提出混合量子-经典跨模态自监督框架HQ-JEPA，将量子保真度正则化集成到JEPA风格的预测表示学习中。
• 扩展JEPA掩码潜在预测到跨模态设置，并引入SIGReg分布正则化以改善潜在空间几何和训练稳定性。
• 提出基于可微SWAP测试的保真度量子相似性（FQS）损失，提供状态重叠相似性信号。
• 在GeoBench下游任务上展示了优于强基线的性能，验证了量子正则化在遥感跨模态学习中的有效性。

Methodology: HQ-JEPA采用混合Mamba-ViT编码器处理可见上下文块，使用动量更新的教师编码器编码掩码目标区域，并通过掩码令牌预测器预测潜在表示。对于跨模态对齐，分别编码Sentinel-1并投影到Sentinel-2嵌入空间，计算令牌级损失。同时引入SIGReg正则化（通过随机投影匹配特征函数与各向同性高斯）和FQS损失（基于可微SWAP测试量子电路计算状态保真度）。整体目标联合优化预测、对齐、几何和保真度项。训练采用块掩码策略，从输入图像中采样多个目标块。

Key Results:

• 在GeoBench分类和分割任务上，线性探测和微调设置下，HQ-JEPA均取得竞争性或更优的性能。
• 与强自监督基线（如MAE、I-JEPA）和遥感基础模型（如SatMAE、AnySat）相比，HQ-JEPA表现更佳。
• 消融实验验证了SIGReg和FQS损失对性能提升的贡献。

Tech Stack:

• JEPA（联合嵌入预测架构）
• SIGReg（随机投影高斯正则化）
• SWAP-test量子电路（可微保真度计算）
• Fidelity Quantum Similarity (FQS) 损失
• Mamba-ViT混合编码器（空间Mamba + 自注意力）
• 动量编码器（教师网络）
• 块掩码策略
• 线性探测与微调评估

Strengths:

• 首次将量子保真度正则化引入跨模态JEPA学习，开辟了量子机器学习与自监督表示学习结合的新方向。
• 综合了预测、对齐、几何正则化和量子相似性四种互补目标，有效提升表示质量。
• 在遥感跨模态任务上取得了优于强基线的性能，验证了方法的实用性。
• 避免了像素重建，直接学习语义潜在表示，增强了迁移性。

Limitations:

• 量子电路的可微SWAP测试可能带来较高的计算开销，且当前量子硬件规模有限，实际部署存在挑战。
• 方法仅针对Sentinel-1和Sentinel-2两种模态，未验证对其他遥感传感器（如多光谱、高光谱）的泛化能力。
• 依赖于配对数据，在无配对数据的场景下可能受限。
• 未深入分析量子正则化在不同数据规模下的稳定性。

Relevance To Keywords:

• 表征学习（Representation Learning）：论文核心是跨模态遥感表示学习，直接对应。
• 世界模型（World Models）：JEPA架构通过预测潜在表示学习世界模型，HQ-JEPA扩展了该思想。
• 多模态大模型的理解和生成一体化：论文涉及跨模态对齐和预测，但未涉及生成任务，相关性中等。
• 原生多模态大模型：论文聚焦于自监督预训练，而非原生多模态大模型架构，相关性较弱。
• 强化学习（Model-Based RL）：论文未涉及强化学习，相关性低。
• 后训练（Post-training）：论文使用预训练编码器后通过线性探测/微调进行下游任务，属于后训练范畴，有一定相关性。

随着多模态大模型（LMMs）的快速发展，推理时开销已成为现实部署的关键瓶颈。现有方法通常在预填充（prefill）阶段修剪视觉 token，假设推理过程中所需的视觉证据保持静态。然而，我们通过实证表明，视觉证据具有强烈的步依赖性：在每个解码步骤中，只有稀疏子集的视觉 token 是关键的，且关键集合在推理过程中动态演变。此外，我们发现了一个耦合瓶颈，其中冗余视觉上下文可能引导模型转向与查询无关的区域，从而延长推理轨迹。基于这些洞察，我们提出了 VisionPulse，一种在推理过程中进行分步视觉 token 修剪的框架。VisionPulse 计算轻量级的视觉注意力质量（attention mass），通过利用其与 LMMs 有效视觉 token 使用量的强正相关性来估计分步保留预算，并在此预算下仅保留最关键的 token。通过在推理过程中强制视觉稀疏性，VisionPulse 在保留相关视觉证据的同时过滤冗余视觉上下文，从而自然缩短推理轨迹。大量实验表明，VisionPulse 每个步骤仅保留 5% 的视觉 token，推理轨迹缩短 11.2%，同时保持准确率几乎不变。

With the rapid advancement of large multimodal models (LMMs), inference-time overhead has become a key bottleneck for real-world deployment. Existing methods typically prune visual tokens at prefill, assuming the required visual evidence remains static during reasoning. However, we empirically show that visual evidence is strongly step-dependent: only a sparse subset of visual tokens is critical at each decoding step, and the critical set evolves across reasoning. Furthermore, we identify a coupled bottleneck where redundant visual context can steer the model toward query-irrelevant regions, lengthening the reasoning trace. Guided by these insights, we propose VisionPulse, a step-wise visual token pruning framework during reasoning. VisionPulse computes a lightweight visual attention mass to estimate the step-wise retention budget by exploiting its strong positive correlation with LMMs' effective visual token usage and retain only the most critical tokens under this budget. By enforcing visual sparsity during reasoning, VisionPulse filters redundant visual context while preserving relevant visual evidence, shortening reasoning traces naturally. Extensive experiments show that VisionPulse only retains 5% of visual tokens per step with reasoning traces shortened by 11.2%, while keeping accuracy almost unchanged.

评分理由: The paper focuses on inference efficiency for Large Multimodal Models (MLLM) and MultiModal reasoning, hence high scores for MLLM and MultiModal. Visual Encoder is relevant as visual tokens are the target of pruning (score 8). Tokenizer is moderately related due to token manipulation (score 5). Unify Models, World Models, and model-based RL are not central to this work on visual token pruning, resulting in lower scores (1-3).

VisionPulse, Dynamic Visual Sparsity, Efficient Multimodal Reasoning, Visual Token Pruning, Inference Overhead, Step-wise Retention, Large Multimodal Models

Chinese Title: 视觉脉冲：面向高效多模态推理的动态视觉稀疏化

Summary: 本文针对多模态大模型（LMMs）推理时的高计算开销问题，提出了一种无需训练的动态视觉剪枝框架VisionPulse。通过实证分析发现，多模态推理中视觉证据的依赖是逐步变化的：每个解码步骤仅需少量关键视觉token，且关键集合随推理过程动态演变。同时，冗余视觉上下文会引导模型关注无关区域，导致推理轨迹延长。基于这些观察，VisionPulse利用轻量级的视觉注意力质量（visual attention mass）来估计每步的保留预算，并仅保留该预算下最关键的视觉token。实验表明，在仅保留5%视觉token的情况下，推理轨迹缩短11.2%，而精度几乎保持不变，在七个基准上显著优于现有静态剪枝方法。

Innovations:

• 首次实证揭示多模态推理中视觉证据的逐步依赖性，证明关键视觉token集随解码步骤动态变化。
• 识别出耦合瓶颈：冗余视觉上下文会引导模型关注无关区域，导致推理轨迹不必要地延长。
• 提出VisionPulse，一种无需训练的动态视觉token剪枝框架，利用视觉注意力质量信号自适应调整每步保留预算。
• 在极端剪枝率（5%视觉token）下仍保持精度，同时缩短推理轨迹11.2%，实现高效多模态推理。

Methodology: 论文首先通过分析Qwen3-VL-4B-Thinking模型在CoT推理中的视觉注意力分布，验证了视觉证据的逐步依赖性和关键token的动态性。然后提出VisionPulse框架：在每个解码步骤，计算所有视觉token的注意力质量（即分配给视觉token的总注意力分数），利用其与模型有效视觉激活的正相关性，设定该步的保留预算；再根据每个视觉token的注意力分数排序，保留预算内最关键的token，其余丢弃。该过程无需额外训练，仅依赖模型固有的注意力输出。

Key Results:

• 仅保留5%视觉token时，推理轨迹平均缩短11.2%，精度几乎不变。
• 在七个多模态推理基准（如科学问题求解、图表理解等）上，VisionPulse性能与全token基线相当，优于现有静态剪枝方法。
• 视觉注意力质量与模型有效视觉激活呈强正相关，可作为可靠的预算信号。
• 动态剪枝有效减少了冗余视觉上下文导致的无关推理步骤，提升了推理效率。

Tech Stack:

• 注意力机制（self-attention）
• KV-cache实现
• FLOPs分解分析
• 视觉注意力质量（visual attention mass）计算
• 动态剪枝策略（每步保留预算设定与token选择）
• Qwen3-VL-4B-Thinking模型（实验平台）

Strengths:

• 无需训练，直接应用于现有LMMs，实用性强。
• 动态适应推理过程，克服了静态剪枝的固有缺陷。
• 同时减少计算量和推理长度，实现双重效率提升。
• 在极端剪枝率下仍保持高精度，验证了视觉token的高度冗余性。
• 实验覆盖多个基准，结果具有说服力。

Limitations:

• 主要基于Qwen3-VL模型进行实验，泛化性需在其他架构（如LLaVA、InternVL）上进一步验证。
• 轻量级视觉注意力质量信号可能不完美，极端剪枝下仍有信息丢失风险。
• 未考虑视频输入场景下的时间维度动态性，仅针对静态图像。
• 剪枝策略依赖注意力分数，可能受注意力分布偏差影响（如注意力坍塌）。

Relevance To Keywords:

• 原生多模态大模型：论文直接针对多模态大模型（LMMs）的推理效率优化，高度相关。
• 多模态大模型的理解和生成一体化：论文涉及视觉理解与文本生成的协同推理，相关。
• 表征学习：论文通过注意力分析间接涉及视觉表征的稀疏性，但未深入表征学习理论。
• 世界模型：论文未涉及世界模型的构建或预测，相关性弱。
• 模型-Based RL：论文未涉及强化学习或基于模型的RL，相关性弱。
• 强化学习：论文未使用强化学习方法，相关性弱。
• 后训练：论文提出的方法无需训练，属于推理阶段优化，与后训练（如微调）无关。

联合嵌入预测架构（JEPAs）通过预测未来嵌入来学习紧凑的潜在世界模型，但潜在空间中的单一坐标并未被指定用于编码任务进展。我们将 JEPA 的潜在空间划分为两个具有不相交角色的正交子空间：一个由余弦边界三元组损失塑造的低维进展子空间，以及一个由 LeWM（潜在世界模型）现有的 SIGReg 目标函数正则化的高维内容子空间。我们证明这两种抗坍缩力作用于不相交的坐标，因此它们以相加的方式组合，而非在同一维度上相互竞争。我们的方法 SD-JEPA 在计算量匹配的情况下，在大多数控制基准上优于 LeWM 基线，并在 Push-T 环境中优于最强的非 LeWM JEPA 基线；子空间消融验证器确认这种划分是核心承重成分。除了规划之外，生成的一维角进展坐标在潜在空间中充当场景感知罗盘。它随任务进展而前进，当智能体回溯时后退，且在可控扰动下既会出现尖峰又会重新定位到语义适当的新任务阶段扇区，从而将惊讶时刻与其意义分离开来，而这是预测误差标量无法做到的。三个定量测试支持这一点：$|Δθ_t|$ 在 40 个保留的立方体片段上定位语义事件时，优于标准的潜在预测误差惊讶，合并 AUROC 最高可达 +0.18（在 ±1 步容差下，每片段胜率为 97.5%）；在所有四个环境中进行的片段内线性探针（每个环境 40 片段）显示，8 维进展子空间（占潜在空间的 4.2%）解释了 72-95% 的任务进展方差。

Joint-Embedding Predictive Architectures (JEPAs) learn compact latent world models by predicting future embeddings, but no single coordinate of the latent is designated to encode task progression. We carve the JEPA latent into two orthogonal subspaces with disjoint roles: a low-dimensional progression subspace shaped by a cosine-margin triplet loss, and a high-dimensional content subspace regularised by the existing SIGReg objective of LeWM. We prove that the two anti-collapse forces act on disjoint coordinates, so they compose additively rather than competing on the same dimensions. Our method, SD-JEPA improves over the LeWM baseline on the majority of its control benchmarks at matched compute, and outperforms the strongest non-LeWM JEPA baseline on Push-T; a subspace-ablation falsifier confirms the split is the load-bearing ingredient. Beyond planning, the resulting 1-D angular progression coordinate functions as a scene-aware compass on the latent. It advances with task progress, regresses when the agent backtracks, and under controlled perturbations both spikes and relocalises to a semantically appropriate new task-phase sector, separating the moment of surprise from its meaning in a way that prediction-error scalars cannot. Three quantitative tests back this up: $|Δθ_t|$ outperforms the standard latent-prediction-error surprise at localising semantic events on 40 held-out cube episodes by up to +0.18 pooled AUROC (97.5% per-episode win rate at $\pm 1$-step tolerance); a within-episode linear probe across all four environments (40 episodes per env) shows the 8-dimensional progression subspace (4.2% of the latent) explains 72-95% of task-progress variance..

评分理由: 论文核心聚焦于世界模型（World Models）的潜在空间分解，与模型强化学习（model-based RL）高度相关，故得分较高（9-10 分）。JEPAs 架构隐含视觉编码器（Visual Encoder）的使用以生成嵌入，相关度中等偏高（7 分）。该方法未涉及大语言模型（MLLM）、分词器（Tokenizer）或统一模型（Unify Models）的核心概念，相关度低（1-2 分）。多模态（MultiModal）方面涉及视觉与动作信息，但未明确涉及语言模态，故相关性中等（5 分）。

Subspace-Decomposed JEPAs, Latent World Models, Progression Subspace, Content Subspace, Joint-Embedding Predictive Architectures, Control Benchmarks, Disentangling Progression and Content

Chinese Title: 子空间分解的JEPA：在潜在世界模型中解耦进展与内容

Summary: 本文提出SD-JEPA，一种扩展LEWM的联合嵌入预测架构（JEPA），通过将潜在空间分解为低维进展子空间（zprog）和高维内容子空间（zcont），分别由余弦边际三元组损失和SIGReg正则化约束。理论证明两种抗坍缩力作用于不相交的坐标，可加性组合而非竞争。在四个控制基准上，SD-JEPA在匹配计算量下多数环境优于LEWM基线，Push-T上超越最强非LEWM基线。进展子空间（1维角度坐标θt）能追踪任务进度、后退时回归、扰动后重新定位到语义合适的新阶段，分离了惊讶时刻与含义。定量实验表明|Δθt|在定位语义事件上优于标准潜在预测误差（z-MSE），AUROC提升最高+0.18；线性探针显示8维进展子空间（占潜在4.2%）解释72-95%任务进度方差。

Innovations:

• 将JEPA潜在空间分解为正交的进展子空间和内容子空间，分别用余弦三元组损失和SIGReg正则化，实现解耦。
• 理论证明两个抗坍缩正则化项作用于不相交坐标，梯度支持正交，可加性组合而非竞争。
• 提出分解的规划代价函数，包含内容MSE和可选的进展角度项，提升规划性能。
• 发现1维角度进展坐标θt作为场景感知指南针，能追踪任务进度、后退时回归、扰动后重新定位，分离惊讶与语义。
• 在多个控制基准上实现优于LEWM的规划成功率，并通过消融实验验证子空间分解是关键成分。

Methodology: 将潜在向量z分解为zprog∈R^k和zcont∈R^{D-k}，使用固定正交投影矩阵。训练目标包括：全潜在预测MSE损失、仅作用于内容子空间的SIGReg、作用于进展子空间的余弦三元组损失（正样本在时间窗口内，负样本在外或不同轨迹）、显式时间直线化损失。将进展子空间的极坐标(θt, rt)作为条件输入预测器（θt编码为sin/cos）。规划时使用分解代价：内容MSE + 角度项 + 径向项。CEM规划器与LEWM相同。

Key Results:

• SD-JEPA在Three-Room、Reacher、Push-T上分别比LEWM提高+3、+2、+1.3个百分点，在Cube上降低-2个百分点。
• 子空间消融实验（A2_full）证实移除子空间分解后增益消失，证明分解是关键。
• 进展角度θt的绝对变化|Δθt|在定位语义事件上优于潜在预测误差z-MSE，AUROC提升最高+0.18，每集胜率97.5%。
• 线性探针显示8维进展子空间（占潜在4.2%）解释72-95%任务进度方差。
• 最优进展子空间维度k因任务而异（2/4/8），框架鲁棒。

Tech Stack:

• JEPA（联合嵌入预测架构）
• LEWM（潜在世界模型）
• SIGReg（各向同性高斯正则化器）
• 余弦边际三元组损失
• CEM（交叉熵方法）规划器
• ViT-tiny编码器
• 6层Transformer预测器
• AdaLN-zero条件化
• Epps-Pulley正态性检验
• Cramér-Wold定理
• Garrido等人样本/维度对比对偶性

Strengths:

• 理论严谨，证明两个正则化项梯度支持正交，避免冲突。
• 实验充分，在多个环境验证性能提升，并设计消融实验确认关键成分。
• 进展子空间具有可解释性，能追踪任务进度、后退、扰动重定位，分离惊讶与语义。
• 方法简单有效，仅增加少量参数和计算，与LEWM兼容。
• 代码开源，可复现。

Limitations:

• 在Cube环境上性能略低于LEWM，可能因任务需要更高维进展子空间或更复杂结构。
• 最优进展子空间维度k需手动选择，任务依赖性强。
• 仅验证了四个控制基准，泛化性需更多实验。
• 理论证明仅限于潜在梯度正交，编码器参数梯度仍可能冲突，未完全排除。
• 未与更多最新世界模型方法（如DreamerV3、TD-MPC2）直接比较。

Relevance To Keywords:

• 世界模型：SD-JEPA是一种潜在世界模型，用于预测和规划。
• 表征学习：通过子空间分解学习解耦的进展和内容表征。
• 基于模型的强化学习：使用学习到的世界模型进行CEM规划，提升控制性能。
• 后训练：方法可应用于预训练表征的后训练微调。
• 多模态大模型：虽未直接涉及多模态，但JEPA架构可扩展至多模态，子空间分解思想有借鉴意义。

多模态大语言模型（MLLMs）在感知、推理和行动生成方面展现出了强大的能力。然而，它们在动态开放世界中持续探索的能力尚不明确。现有的具身和基于游戏的基准通常将交互压缩为短期任务，或将成功与领域特定的游戏机制绑定。本文提出了 MineExplorer 基准，用于评估 MLLM 智能体在 Minecraft 中的开放世界探索能力。我们首先筛选掉那些解决方案高度依赖 Minecraft 特定知识的原子任务，以更好地反映一般的开放世界推理。随后，我们围绕 ReAct 风格的能力表述组织该基准，并将原子任务组合成隐式多跳任务。为了进一步构建可靠的实例，MineExplorer 使用多智能体合成工作流，共同设计任务图、沙盒场景和基于规则的里程碑评估器。人类评估表明，多智能体合成工作流产生的实例比单智能体基线显著更可靠。对先进 MLLM 智能体的实验表明，开放世界探索仍然具有挑战性，因为强大的模型可以处理许多单跳任务，但在需要在更长的轨迹上协调隐藏前提条件时，性能会急剧下降。进一步分析发现，任务难度与智能体完成率相关，更大的模型或思维模式并不一致地转化为更好的性能。代码和数据集可在 https://github.com/Jometeorie/MineExplorer 获取。

Multimodal large language models (MLLMs) have shown strong capabilities in perception, reasoning, and action generation. However, their ability to sustain exploration in dynamic open worlds remains unclear. Existing embodied and game-based benchmarks often compress interaction into short-horizon tasks or entangle success with domain-specific game mechanics. In this paper, we introduce MineExplorer benchmark for evaluating open-world exploration capabilities of MLLM agents in Minecraft. We first filter atomic tasks whose solutions rely heavily on Minecraft-specific knowledge to better reflect general open-world reasoning. Then we organize the benchmark around a ReAct-style capability formulation and compose atomic tasks into implicit multi-hop tasks. To further construct reliable instances, MineExplorer uses a multi-agent synthesis workflow that jointly designs task graphs, sandbox scenes, and rule-based milestone evaluators. Human evaluation shows that the multi-agent synthesis workflow produces significantly more reliable instances than a single-agent baseline. Experiments with advanced MLLM agents show that open-world exploration remains challenging, as strong models can handle many single-hop tasks but degrade sharply when hidden prerequisites must be coordinated over longer trajectories. Further analysis finds that task difficulty tracks agent completion, and larger models or thinking modes do not consistently translate into better performance. Code and dataset are available at https://github.com/Jometeorie/MineExplorer.

评分理由: 论文核心聚焦于 MLLM 在 Minecraft 中的开放世界探索评估，因此 MLLM (10) 和 MultiModal (9) 相关性最高，直接对应研究对象。World Models (7) 与开放世界探索概念高度契合。model-based RL (5) 涉及环境交互与规划，有一定关联但未作为核心算法。Unify Models (2)、Tokenizer (1)、Visual Encoder (2) 在摘要中未提及，相关性较低。作者列表中未发现指定的专家专家，故无额外加分。加权总分为 54.0，高于动态及格分 27.8。

MineExplorer, MLLM Agents, Open-World Exploration, Minecraft, Multi-hop Tasks, ReAct, Benchmark, Evaluation

Chinese Title: MineExplorer：评估MLLM智能体在Minecraft中的开放世界探索能力

Summary: 本文提出MineExplorer基准，用于评估多模态大语言模型（MLLM）智能体在Minecraft开放世界中的探索能力。研究背景是现有基准多局限于短时任务或依赖游戏特定知识，难以衡量通用开放世界探索。方法上，首先从原子任务库中过滤掉依赖Minecraft特定知识的任务，然后采用ReAct范式将能力分解为感知、推理、行动三个维度，并构建隐式多跳任务，通过依赖图定义任务难度。进一步，使用多智能体合成工作流（任务选择器、场景设计器、里程碑代理、Minecraft专家、验证器）生成高质量实例。实验结果表明，多智能体工作流比单智能体基线显著提高实例有效率和质量分数；强模型在单跳任务中表现良好，但在多跳长轨迹中性能急剧下降；模型在感知能力上优于推理和行动，且更大模型或思考模式并不总是带来更好性能。最终构建了1497个知识控制的原子任务和813个人类验证的复合实例，为开放世界探索评估提供了可靠基准。

Innovations:

• 提出MineExplorer基准，专门评估MLLM智能体的开放世界探索能力，并通过过滤Minecraft特定知识减少领域偏差。
• 采用ReAct范式将开放世界探索能力分解为感知、推理、行动三个维度，并构建隐式多跳任务，通过依赖图定义任务难度。
• 设计多智能体合成工作流（包含任务选择器、场景设计器、里程碑代理、Minecraft专家、验证器）自动生成高质量、可靠的基准实例。
• 引入规则里程碑检查器（如inventory_has、position_near_with_facing等）实现自动化评估，并通过人类验证确保可靠性。

Methodology: 论文采用三阶段流水线构建基准：第一阶段从MCU原子任务库中过滤依赖Minecraft特定知识的任务，保留通用开放世界知识任务；第二阶段将剩余任务映射到感知、推理、行动三维能力向量，并组合成隐式多跳任务，通过依赖图计算任务难度；第三阶段使用多智能体合成工作流生成实例，包括初始化阶段（任务选择、场景设计、里程碑规则生成）和辩论阶段（专家审计、验证器校验），最终输出任务图、场景和里程碑检查器。评估时，MLLM智能体在Minecraft环境中执行任务，通过规则里程碑自动判断完成情况。

Key Results:

• 从3382个Minecraft原子任务中筛选出1497个知识控制的原子任务，构建813个人类验证的复合实例（涵盖1-4跳）。
• 多智能体合成工作流相比单智能体基线，实例有效率提高约30%，平均质量分数提高约0.5。
• 强模型（如GPT-4o）在单跳任务中表现良好，但在多跳任务中性能显著下降，表明开放世界长轨迹探索仍具挑战。
• 模型在感知能力上优于推理和行动能力；更大模型或思考模式（如o1）并不总是带来更好性能。
• 规则里程碑评估器在人类评估中表现可靠。

Tech Stack:

• Minecraft游戏环境（作为开放世界模拟器）
• 多模态大语言模型（MLLM，如GPT-4o、o1等）
• ReAct范式（用于能力分解）
• LLM作为判断器（用于过滤Minecraft特定知识）
• 多智能体系统（任务选择器、场景设计器、里程碑代理、Minecraft专家、验证器）
• 规则里程碑检查器（inventory_has、position_near_with_facing、position_inside_box、count_in_box_at_least/most）
• 依赖图与传递闭包（用于定义任务难度）
• 难度公式（基于能力向量和依赖图计算）

Strengths:

• 系统性地构建了评估开放世界探索的基准，有效减少了Minecraft特定知识对通用能力的干扰。
• 多智能体合成工作流显著提升了实例质量和可靠性，并通过人类验证证实。
• 提供了细粒度的能力分解（感知、推理、行动）和基于依赖图的难度度量，便于分析模型短板。
• 实验覆盖多种先进MLLM模型，并进行了深入分析（如感知vs推理、模型规模影响、思考模式效果）。

Limitations:

• 基准仅基于Minecraft环境，可能无法完全代表所有开放世界场景的通用性。
• 原子任务过滤依赖LLM判断，可能引入主观偏差或遗漏。
• 多智能体合成工作流复杂，依赖多个LLM协作，复现成本较高。
• 评估仅使用规则里程碑，可能无法捕捉探索过程中的创造性或非目标导向行为。
• 未涉及模型训练或后训练方法，仅聚焦评估。

Relevance To Keywords:

• 多模态大模型：论文评估MLLM智能体在开放世界中的感知、推理和行动能力，直接相关。
• 世界模型：开放世界探索需要智能体构建环境状态模型，论文通过多跳任务和依赖图隐含世界模型需求。
• 表征学习：MLLM需要从多模态输入中提取有效表征以支持决策，论文的感知能力维度与此相关。
• 强化学习：论文评估智能体在长轨迹中的决策能力，与强化学习中的探索-利用平衡、信用分配等问题相关。
• 后训练：论文未涉及后训练方法，但基准可用于评估后训练效果，具有潜在关联。

人类能够毫不费力地感知空间布局，形成认知表征，推理空间关系，并将此类推理转化为日常 3D 环境中的行动。尽管近期的视觉 - 语言模型（VLMs）在基于观测的空间感知和推理任务上表现出有前景的性能，但它们是否能够构建连贯的空间理解，据此采取行动，并通过多轮反馈来精炼其行动，尚不明确。为研究这一问题，我们引入了 SpatialAct，这是一个基于模拟器的基准，用于探测 3D 场景中的基于动作的空间推理（action-conditioned spatial reasoning）。从最具挑战性的设置——多轮交互精炼（Multi-turn Interactive Refinement）出发，我们进一步设计了其分解的对应任务——单步错误检测与修复（Single-step Error Detection and Fix），以及五个基础空间能力任务，以诊断模型失败的根本原因。实验揭示了一个明显的推理到行动的差距：当前 VLMs 在孤立的 空间推理任务上表现良好，但在多轮反馈期间难以维持连贯的空间信念并产生可靠行动，显著低于人类表现。这些结果表明，即使在抽象掉低级控制的情况下，当前 VLM 智能体在面对由动作引起的环境变化时，仍缺乏鲁棒的空间状态跟踪能力。

Humans can effortlessly perceive spatial layouts, form cognitive representations, reason about spatial relations, and translate such reasoning into actions in everyday 3D environments. Although recent vision-language models (VLMs) have shown promising performance on observation-conditioned spatial perception and reasoning tasks, it remains unclear whether they can build coherent spatial understanding, act upon it, and refine their actions through multi-turn feedback. To study this problem, we introduce \textbf{SpatialAct}, a simulator-grounded benchmark for probing \textit{action-conditioned spatial reasoning} in 3D scenes. Starting from the most challenging setting, Multi-turn Interactive Refinement, we further design its decomposed counterpart, Single-step Error Detection and Fix, together with five fundamental spatial ability tasks to diagnose the underlying causes of model failures. Experiments reveal a clear reasoning-to-action gap: current VLMs can perform well on isolated spatial reasoning tasks, but struggle to maintain coherent spatial beliefs and produce reliable actions during multi-turn feedback, substantially underperforming humans. These results suggest that current VLM agents still lack robust spatial state tracking under action-induced environment changes, even when low-level control is abstracted away.

评分理由: 论文核心在于评估 VLM 在 3D 场景中的空间推理与行动能力。MLLM 与 MultiModal 高度相关（VLM 属多模态大模型）。World Models 与 model-based RL 有一定关联（涉及状态跟踪与环境交互），但未作为核心方法。Unify Models 与 Tokenizer 相关性低，未涉及模型统一架构或分词器设计。Visual Encoder 隐含于 VLM 中但非研究重点。

Spatial Reasoning, VLM Agents, 3D Scenes, Spatial-to-Action, Benchmark, Multi-turn Feedback, Spatial State Tracking

Chinese Title: SpatialAct: 探究VLM智能体在3D场景中的空间推理到动作能力

Summary: 本文提出SpatialAct，一个基于模拟器的基准测试，用于评估视觉语言模型（VLM）智能体在3D场景中的动作条件空间推理能力。现有基准大多将模型视为被动观察者，而SpatialAct要求模型通过高层语义动作（如移动、旋转、缩放物体）与环境交互，观察状态变化并持续推理。基准包含抽象几何、城市建筑和室内场景三类共333个场景、4355个问答对，采用分层诊断设计：基础空间能力（5项）、单步错误检测与修复、多轮交互式精炼。实验表明，当前最强VLM在多轮精炼中修复率仅0.411、场景成功率0.206，远低于人类的0.911和0.763，揭示了明显的“推理-动作鸿沟”——模型在孤立空间任务上表现良好，但难以维持连贯的空间信念并产生可靠动作。

Innovations:

• 形式化了动作条件空间推理这一缺失的评估维度，强调高层动作改变环境状态并影响后续推理。
• 构建了SpatialAct基准，包含三类场景、333个场景和4355个问答对，支持多视角渲染和程序化错误注入。
• 设计了分层诊断任务：基础空间能力、单步错误检测与修复、多轮交互式精炼，系统评估从理解到动作的完整链条。
• 揭示了当前VLM存在显著的推理-动作鸿沟，为未来空间智能体研究提供了诊断工具和分析框架。

Methodology: 论文采用模拟器驱动的基准构建方法。首先从程序化生成（抽象几何）、RAISECity（城市建筑）和InternScenes（室内场景）收集场景，经质量控制和手动过滤得到干净场景。然后注入空间错误（如碰撞、边界不一致、朝向不合理），生成不同难度的任务。任务设计分三层：基础空间能力（物体意义、空间关系、空间定向、心理旋转、空间可视化）采用多选题；单步错误检测与修复要求模型识别并修正一个错误；多轮交互式精炼要求模型通过多轮动作（移动、旋转、缩放）迭代修复场景，模拟器执行动作并返回更新后的多视角渲染图。评估使用修复率、场景成功率等指标，对比多个开源和闭源VLM及人类表现。

Key Results:

• 当前最强VLM在多轮交互式精炼中修复率仅0.411，场景成功率0.206，远低于人类（0.911和0.763）。
• 在基础空间能力任务中，部分VLM达到约80%准确率，但多轮精炼表现急剧下降。
• 单步错误检测与修复任务中VLM表现优于多轮精炼，但仍低于人类。
• 模型在抽象几何场景上表现相对较好，在室内场景和城市建筑场景上更差。
• 实验表明VLM能识别局部空间关系，但难以维持连贯的空间信念并适应状态变化。

Tech Stack:

• 3D模拟器（用于执行动作并渲染多视角图像）
• 程序化场景生成（抽象几何物体随机采样）
• RAISECity（城市建筑场景生成框架）
• InternScenes（室内场景数据集）
• 多视角渲染（顶视图+等距视图）
• 多选题（MCQ）和开放式问答格式
• 修复率、场景成功率等评估指标
• 多个VLM模型（包括闭源和开源）

Strengths:

• 填补了被动空间问答与完整具身控制之间的评估空白，聚焦高层语义动作。
• 分层诊断设计系统性强，从基础能力到多轮交互逐步深入，便于定位模型失败原因。
• 场景多样性（抽象、城市、室内）和程序化错误注入提高了基准的泛化性和可控性。
• 提供了人类基线，清晰展示了当前VLM与人类能力的差距。
• 开源代码、数据集和评估平台，促进后续研究。

Limitations:

• 仅评估高层语义动作，未涉及低层控制（如导航、抓取），可能低估具身任务的复杂性。
• 场景数量（333个）和问答对（4355个）相对有限，可能不足以覆盖所有空间推理场景。
• 模拟器环境与真实世界存在差距，动作执行和视觉反馈的保真度可能影响模型表现。
• 未深入分析模型失败的具体认知机制（如记忆、注意力、规划）。
• 仅测试了静态场景的修复，未涉及动态物体或移动智能体。

Relevance To Keywords:

• Unify Models: 论文评估的VLM属于多模态大模型，但未涉及理解和生成一体化，相关性中等。
• World Models: 论文要求模型构建并维持空间状态信念，与世界模型中的内部状态预测相关，但未显式建模世界模型，相关性中等。
• Representation Learning: 论文通过空间推理任务间接评估表征质量，但未直接研究表征学习方法，相关性较低。
• Model-Based RL: 论文中的多轮交互精炼涉及基于模型的动作规划（动作→状态变化），但未使用强化学习训练，相关性中等。
• 原生多模态大模型: 论文直接评估VLM（多模态大模型）的空间推理与动作能力，高度相关。
• 多模态大模型的理解和生成一体化: 论文主要关注理解（空间推理）和动作（生成指令），但未涉及视觉生成，相关性中等。
• 表征学习: 同上，间接相关。
• 世界模型: 论文强调状态跟踪，与世界模型概念有交集，但未构建显式世界模型。
• 强化学习: 论文未使用RL训练或评估，仅涉及动作决策，相关性较低。
• 后训练: 论文未涉及后训练方法，相关性低。

在机器人学中，危险与逆境模式往往具有具身特异性，且相对于每个智能体而言。自主移动机器人学的一个前沿目标是使智能体能够在野外未见非结构化环境中有效运行。在未见非结构化环境中面临的一个重大挑战是，可能无法预测针对特定机器人的所有危险。尽管近期工作已利用大型基础视觉 - 语言模型（VLMs）预先预测了详尽的常识性危险列表，但捕捉可能的交互及具身依赖的逆境仍然困难。我们提出了一种持续学习框架，用于移动具身智能体，使其能够从扰动中学习，并通过语义将异常行为归因于成因，从而实现对未来世界更好的预测与规划。我们的框架"Don't Fool Me Twice"（别骗我两次）首先观察扰动并描述其对机器人的影响；随后，该描述结合视觉上下文以查询 VLM，预测可能的原因；局部扰动通过核回归进行表征，从而实现瞬态异常的高效、少样本建模。我们利用语义体素中心建模来估计认知不确定性，通过将交互驱动的扰动视为可学习的空间行为，从而实现更丰富的下游恢复。我们提出了四个假设，并在仿真及硬件平台上，跨越不同具身形态与逆境模式对其进行了验证。

In robotics, dangers and adversity modes are often embodiment-specific and relative to each agent. A frontier of autonomous mobile robotics is to enable agents to operate effectively in the wild in unseen unstructured environments. A significant challenge in unseen unstructured environments is that it may not be possible to predict all the dangers to the specific robot. Although recent work has used large foundation vision-language models (VLMs) to preemptively predict an exhaustive list of common-sense dangers, it remains difficult to capture possible interaction and embodiment-dependent adversities. We propose a continual learning framework for a mobile embodied agent to learn online from disturbances and attribute anomalous behaviours to causes through semantics, enabling better prediction and planning of the world in the future. Our framework, "Don't Fool Me Twice", first observes disturbances and describes their effects on the robot; this description is augmented with visual context to query a VLM to predict possible causes; the local disturbance is characterized using kernel regression, which allows for efficient, few-shot modeling of transient anomalies. We leverage semantic voxel-centric modeling to estimate epistemic uncertainty, enabling richer downstream recovery by treating interaction-driven disturbances as learnable spatial behaviors. We present four hypotheses and validate them in simulation and on hardware across embodiments and adversity modes.

评分理由: 论文核心在于利用 MLLM 和多模态信息进行持续学习与逆境适应，与 MultiModal 和 MLLM 高度相关；涉及世界建模用于预测，与 World Models 中度相关；但未涉及模型统一、分词器设计或视觉编码器创新，与 Unify Models、Tokenizer、Visual Encoder 相关性较低；虽涉及规划，但非典型 model-based RL。

Continual Learning, Vision-Language Models, Adversity Adaptation, Embodied Agents, Semantic Reasoning, Uncertainty Estimation, Experience-Driven Reasoning, Mobile Robotics

Chinese Title: 别被愚弄两次：通过经验驱动的推理在野外适应逆境

Summary: 本文提出“Don't Fool Me Twice”（DFM2）框架，旨在使移动机器人在野外未知非结构化环境中自主发现、表征并适应与自身实体相关的逆境。研究背景是：现有基于视觉语言模型（VLM）的预判方法过于保守且无法捕捉实体依赖的交互性危险。方法上，DFM2通过持续监测轨迹跟踪误差等操作信号检测异常，当偏差超过阈值时，利用VLM结合视觉上下文和运动叙事推理最可能的语义原因（如风扇），并通过核回归对局部扰动场进行少样本建模，同时使用贝叶斯线性回归估计认知不确定性。该框架构建了一个可检索的“危险库”，将异常与语义特征关联，使机器人在再次遇到相同语义对象时能提前规划安全路径。实验在仿真和多种硬件平台上验证了四个假设，证明了框架在少样本、跨实体和跨逆境模式下的有效性。

Innovations:

• 经验驱动的语义关联：通过后验推理将异常操作信号偏差归因于密集视觉语义，构建个性化的“危险库”。
• 解耦的少样本交互建模：利用语义体素先验和结构化空间扰动模型约束空间几何，将适应问题简化为仅需稀疏交互数据的约束优化。
• 不确定性感知的预测适应：通过固定形状模板上的贝叶斯线性回归估计认知不确定性，实现在新危险附近的主动保守规划。
• 事件驱动的VLM查询：仅在检测到异常时触发VLM推理，避免定期查询带来的计算开销和过度保守性。
• 快速-慢速双循环架构：快速循环实时检测已知危险对象，慢速循环进行异常检测、叙事构建和模型更新，实现持续学习。

Methodology: 论文采用双循环架构：快速循环基于NARadio编码器和openVDB体素地图，通过嵌入相似性搜索实时检测危险库中的对象；慢循环首先通过轨迹跟踪误差阈值检测异常事件，记录多模态数据（RGB、深度、位姿），然后生成包含意图轨迹、实际轨迹和运动指标的叙事，并结合视觉锚点图像查询VLM（如GPT-4V）推理最可能的语义原因；接着使用核回归（高斯核）对局部扰动场进行少样本建模，并通过贝叶斯线性回归估计认知不确定性；最后将新危险对象的语义嵌入和扰动模型存入危险库。整个流程在机器人运行中持续进行，实现在线适应。

Key Results:

• 在仿真中，DFM2能有效检测并归因于多种逆境（如风扇气流、湿滑地面），并在再次遇到相同语义对象时提前规划绕行路径。
• 在硬件实验（轮式机器人和无人机）上，框架在少样本（<50次交互）条件下成功建模扰动场，并显著降低后续轨迹跟踪误差。
• 与基线方法（如FORTRESS、AESOP）相比，DFM2减少了不必要的绕行，同时保持了高检测率。
• 通过认知不确定性估计，机器人在面对新危险时能采取保守策略，避免进入未建模的高风险区域。
• 跨实体实验表明，同一语义危险对不同机器人影响不同，DFM2能学习实体特定的扰动模型。

Tech Stack:

• NARadio编码器（基于RADIO视觉基础模型，融合SAM、DINOv2、SigLIP特征）
• openVDB体素地图
• SigLIP语言对齐空间
• 核回归（高斯核）
• 贝叶斯线性回归
• 视觉语言模型（VLM，如GPT-4V）
• 轨迹跟踪误差监测
• 嵌入相似性搜索（sim(·,·)）
• 事件驱动叙事构建

Strengths:

• 提出了一种新颖的在线学习框架，使机器人能从自身经验中自主发现并适应实体特定的逆境，无需预先枚举所有危险。
• 少样本建模能力极强，仅需少量交互数据即可表征扰动场，适合野外瞬态事件。
• 结合语义推理和不确定性估计，实现了既不过度保守也不过于冒险的规划。
• 双循环架构兼顾实时检测和深度推理，计算效率高。
• 在仿真和多种硬件平台上验证，跨实体和跨逆境模式具有泛化性。

Limitations:

• 依赖VLM的推理能力，在复杂或模糊场景下VLM可能给出错误原因，导致危险库污染。
• 核回归假设扰动场具有空间平滑性，对于非平滑或高度非线性的扰动可能建模不准确。
• 当前仅使用轨迹跟踪误差作为异常信号，未考虑其他操作信号（如IMU、里程计协方差）的融合。
• 实验环境相对简单（室内风扇、湿滑地面），在更复杂野外环境（如动态障碍、光照变化）中的表现未知。
• 危险库的语义嵌入依赖于预训练视觉编码器，对未见过的物体类别可能泛化不足。

Relevance To Keywords:

• Unify Models: 论文未直接涉及多模态模型的统一，但使用了RADIO统一编码器融合多种视觉特征。
• World Models: 论文通过构建扰动场模型和危险库，可视为一种局部世界模型，用于预测交互影响。
• Representation Learning: 使用SigLIP语言对齐的视觉嵌入作为语义表示，属于表征学习范畴。
• Model-Based RL: 论文的扰动建模和规划可看作基于模型的方法，但未涉及强化学习训练。
• 原生多模态大模型: 论文使用VLM（如GPT-4V）进行推理，但并非原生多模态大模型。
• 多模态大模型的理解和生成一体化: 论文利用VLM理解视觉和叙事生成原因，但未涉及生成一体化。
• 表征学习: 同上，视觉嵌入学习。
• 世界模型: 同上，扰动场模型。
• 强化学习: 论文未使用强化学习，而是基于检测和规划。
• 后训练: 论文的在线学习可视为一种后训练，但并非模型微调，而是构建记忆库。

视频视觉语言模型（VLMs）在长时序和流式场景中的应用日益广泛，然而大多数视频编码器仍依赖时空自注意力，导致计算开销与延迟随帧数呈二次方增长。现有的效率方法虽提升了可扩展性，但往往相对于完整自注意力会损失精度，例如通过激进的帧标记 (token) 丢弃或粗略的注意力近似来实现。我们提出了 StateKV，这是一种推理时方法，通过将跨帧上下文存储在固定容量、基于重要性的循环状态中，并配合用于解码的另一套完整每帧缓存，将预训练长视频 VLMs 适配为线性时间复杂度的视频预填充。在三个长视频基准和七个跨越三个模型家族及多种规模的模型上，StateKV 保持接近完整自注意力的性能，且一致优于主导的滑动窗口/基于近期性的流式近似，无需微调或架构改动。StateKV 还降低了以 FLOPs 衡量的视频预填充成本，使得在固定计算预算下运行更大模型时能获得更强的精度。这些结果表明，这是迈向可扩展长视频理解的一个实用步骤。

Video vision-language models (VLMs) are increasingly used in long-horizon and streaming settings, yet most video encoders still rely on spatiotemporal self-attention, causing compute and latency to grow quadratically with the number of frames. Existing efficiency methods improve scalability but often lose accuracy relative to full self-attention, for example through aggressive frame/token dropping or coarse attention approximations. We introduce StateKV, an inference-time method that adapts pretrained long-video VLMs to linear-time video prefill by carrying cross-frame context in a fixed-capacity, importance-based recurrent state, paired with a second full per-frame cache used for decoding. Across three long-video benchmarks and seven models spanning three families and multiple scales, StateKV remains close to full self-attention and consistently outperforms dominant sliding-window / recency-based streaming approximations, without fine-tuning or architectural changes. StateKV also reduces video-prefill cost measured FLOPs, enabling stronger accuracy at a fixed compute budget by running larger models. These results suggest a practical step toward scalable long-video understanding.

评分理由: The paper focuses on Video VLMs (MLLM, MultiModal) optimizing the Visual Encoder for linear scaling efficiency. It mentions token dropping in baselines but does not focus on Tokenizer design. It does not involve World Models or RL. Unify Models is partially relevant as VLMs unify vision and language, but efficiency is the core contribution.

Video VLMs, Long Video Understanding, Linear Scaling, StateKV, Inference Optimization, Spatiotemporal Attention

Chinese Title: 用于长视频理解的线性缩放视频视觉语言模型

Summary: 论文针对视频视觉语言模型（VLM）在处理长视频时计算复杂度随帧数二次增长的问题，提出了一种推理时方法StateKV。该方法将流式视频预填充视为对全自注意力的近似，通过固定容量的、基于重要性的循环状态携带跨帧上下文，同时保留完整的逐帧缓存用于解码，从而将视频预填充复杂度从O(N²)降至O(N)。在三个长视频基准测试和七个不同模型家族及参数规模的模型上，StateKV的性能接近全自注意力，并持续优于基于滑动窗口/近因的流式近似方法，且无需微调或架构更改。实验表明，StateKV在固定计算预算下能运行更大、更准确的模型，为可扩展的长视频理解提供了实用方案。

Innovations:

• 提出StateKV方法，将流式视频预填充重新定义为对全自注意力的近似，而非简单的近因窗口启发式。
• 设计双缓存结构：固定容量的重要性感知时间状态（用于跨帧上下文）和完整的逐帧缓存（用于最终解码），实现线性时间视频编码。
• 基于对长视频注意力结构的观察（帧内交互占主导，长程交互集中于少量缓慢变化的“时间汇点”token），为状态容量选择提供理论动机。
• 无需微调或架构更改，可直接应用于冻结的预训练VLM，跨多个模型家族和参数规模保持一致性。
• 显著降低视频预填充的FLOPs，使得在相同计算预算下可以运行更大、更准确的模型，优于全自注意力的较小模型。

Methodology: 论文采用推理时KV缓存预填充方法，基于冻结的预训练VLM骨干网络。视频逐帧输入，每帧通过视觉编码器生成token，然后利用两个耦合的缓存：一个固定容量的时间状态（通过重要性评分选择保留跨帧上下文的token），一个完整的逐帧缓存（保留帧内结构）。在视频预填充阶段，仅时间状态参与跨帧自注意力计算，从而线性增长；解码阶段则使用所有逐帧token进行文本生成。方法不改变模型架构，仅修改推理时的缓存管理策略。

Key Results:

• 在三个长视频基准（VideoMME等）上，StateKV的性能接近全自注意力（O(N²)），并持续优于ReKV等滑动窗口/近因流式近似方法。
• 跨七个模型（涵盖LongVA、InternVL2.5、Qwen2-VL等家族及不同参数规模）均表现出一致趋势：StateKV接近全注意力，且随状态容量增加而稳定提升。
• 在固定计算预算下，StateKV使运行更大模型成为可能，例如在512帧VideoMME上，StateKV的准确率-计算量前沿优于全自注意力和ReKV。
• 视频预填充的FLOPs从二次降为线性，实测计算量显著减少。

Tech Stack:

• KV缓存（Key-Value Cache）
• 自注意力近似（Self-Attention Approximation）
• 重要性评分（Importance Scoring）
• 滑动窗口（Sliding Window）
• 流式预填充（Streaming Prefill）
• 双缓存结构（Two-Cache Structure）
• 时间汇点（Temporal Sink）
• 冻结预训练模型（Frozen Pretrained Model）

Strengths:

• 实现线性时间视频编码，从根本上解决了长视频推理的计算瓶颈。
• 无需微调或架构修改，可直接应用于现有预训练VLM，实用性强。
• 基于对注意力结构的实证观察设计，理论动机清晰，跨模型泛化性好。
• 在多个基准和模型上一致优于现有流式近似方法，接近全注意力性能。
• 计算效率提升显著，允许在相同预算下使用更大模型，提升准确率。

Limitations:

• 方法依赖于预训练VLM中注意力结构的特定模式（帧内主导+少量时间汇点），若模型训练方式不同可能效果下降。
• 解码阶段仍需保留所有逐帧token，生成复杂度仍为O(N)，在极长视频中可能成为新瓶颈。
• 状态容量的选择需要手动设定，未提供自适应调整机制。
• 实验仅在有限模型家族和基准上进行，对更广泛场景的泛化性有待验证。

Relevance To Keywords:

• 原生多模态大模型：论文研究视频VLM的长视频理解，属于多模态大模型范畴。
• 多模态大模型的理解和生成一体化：StateKV保持视频编码和文本生成的一体化流程，仅优化预填充阶段。
• 表征学习：方法通过重要性选择保留跨帧表征，涉及表征压缩与保留。
• 世界模型：长视频理解是构建世界模型的基础能力之一，论文为实时视频推理提供效率方案。
• 强化学习：论文未直接涉及强化学习，但高效视频推理可服务于强化学习中的环境感知。
• 后训练：方法为推理时方法，无需后训练，但可与其他后训练技术结合。

长期记忆对于多模态智能体构建连贯的体验、积累世界知识以及实现持续学习至关重要。然而，构建有效的记忆不仅超越了记忆模块的设计，还超越了准确性与保真度等基本要求；关键挑战在于确定记忆的内容。多模态智能体（如具身智能体）在真实或虚拟环境中持续感知、推理和行动，接收无界的多模态观测流。面对这种信息组合爆炸，智能体必须选择性保留与其在环境中的角色相关且对未来任务有价值的内容。为弥合这一差距，我们将记忆生成视为一种可学习的记忆策略，并引入 TaskMem（任务聚焦记忆策略学习），这是一种基于强化学习的框架，使该策略能够动态调整其关注点，以适应环境中遇到的真实任务的需求。TaskMem 采用两阶段训练范式：第一阶段通过优化基本保真度要求下的记忆质量来学习如何记忆；第二阶段发生在部署之后，智能体通过在基础多模态大语言模型（MLLM）上微调适配器来学习记忆什么，利用近期环境任务定义奖励模型，以引导记忆策略朝向任务相关的内容。为了评估我们的方法，我们将 VideoMME、EgoLife 和 EgoTempo 重构为流式基准，模拟一个真实场景，在该场景中智能体处理流式观测并处理在线到达的任务。为了隔离记忆评估，问题必须仅基于智能体的记忆进行回答，无法访问原始视频。基于 Qwen3-VL-30B-A3B，TaskMem 在这些基准上分别将 VQA 准确率提高了 6.3%、7.0% 和 5.3%。

Long-term memory is essential for multimodal agents to build coherent experience, accumulate world knowledge, and achieve continual learning. However, constructing effective memory goes beyond memory module design and basic requirements such as accuracy and fidelity; the key challenge lies in determining what to memorize. Multimodal agents, such as embodied agents, continuously perceive, reason, and act in real or virtual environments, receiving an unbounded stream of multimodal observations. From this combinatorial explosion of information, an agent must selectively retain content that is relevant to its role in the environment and valuable for future tasks. To bridge this gap, we frame memory generation as a learnable memorization policy and introduce TaskMem (Task-focused Memorization Policy Learning), a reinforcement-learning-based framework that enables the policy to dynamically adjust its focus to the demands of real tasks encountered in the environment. TaskMem adopts a two-phase training paradigm: Phase One learns how to memorize by optimizing memory quality under fundamental fidelity requirements; Phase Two occurs after deployment, where the agent learns what to memorize by tuning an adapter on its base MLLM, using recent environment tasks to define a reward model that guides the memorization policy toward task-relevant content. To evaluate our approach, we reformulate VideoMME, EgoLife, and EgoTempo into streaming benchmarks that simulate a realistic setting in which an agent processes streaming observations and handles tasks arriving online. To isolate memory assessment, the questions must be answered using only the agent's memory, without access to raw video. Built on Qwen3-VL-30B-A3B, TaskMem improves VQA accuracy by 6.3%, 7.0%, and 5.3% on these benchmarks, respectively.

评分理由: 论文聚焦多模态代理的任务聚焦记忆（TaskMem），基于强化学习优化记忆内容。与 MLLM 和多模态高度相关（基础模型与场景），与世界模型概念相关（记忆积累世界知识），但未涉及模型统一、分词器设计或视觉编码器的创新，强化学习部分侧重于记忆策略而非环境动力学建模。作者列表中不包含指定的专家（Yang Shi 等），故无额外加分。

Task-Focused Memorization, Multimodal Agents, Reinforcement Learning, Memory Policy, MLLM, Streaming Benchmarks, World Knowledge

Chinese Title: 面向任务的多模态智能体记忆聚焦

Summary: 本文针对多模态智能体（如具身智能体）在持续感知和交互过程中面临的信息爆炸问题，提出将记忆生成视为可学习的记忆策略，并引入TaskMem框架。该框架采用两阶段强化学习训练：第一阶段（Phase One）通过多目标奖励优化记忆的基本质量（准确性、非冗余性、格式合规等）；第二阶段（Phase Two）在部署环境中利用最近任务构建奖励模型，通过轻量适配器（仅2048参数）在线调整策略，使记忆聚焦于任务相关的内容。在VideoMME、EgoLife和EgoTempo三个流式VQA基准上，基于Qwen3-VL-30B-A3B的TaskMem分别提升VQA准确率6.3%、7.0%和5.3%，验证了任务导向记忆的有效性。

Innovations:

• 将记忆生成从固定摘要步骤重新定义为可学习的记忆策略，使智能体能自主决定记忆内容。
• 提出两阶段强化学习框架TaskMem：第一阶段学习如何记忆（基本质量），第二阶段学习记忆什么（任务相关性）。
• 在第二阶段中，仅微调2048参数的轻量适配器，解决稀疏反馈、灾难性遗忘和计算约束问题，并通过构造增强成对偏好数据将稀疏任务信号转化为密集监督。
• 将视频问答基准重构为流式任务流，模拟智能体顺序感知和处理任务的真实场景，并强制仅用记忆回答以隔离记忆评估。

Methodology: 采用两阶段强化学习训练。第一阶段使用Group Sequence Policy Optimization (GSPO)算法，设计多目标奖励（格式、长度、质量、丰富度）优化记忆生成。第二阶段在部署环境中，利用最近n个任务构建奖励模型，通过轻量适配器在线更新记忆策略，同时保持第一阶段能力。记忆生成基于滑动窗口上下文（最近k个视频片段及前k-1个记忆），并通过人脸框标注和ASR字幕实现跨片段身份链接。

Key Results:

• 在VideoMME基准上，TaskMem相比基线提升6.3% VQA准确率。
• 在EgoLife基准上提升7.0%。
• 在EgoTempo基准上提升5.3%。
• 两阶段训练均带来一致改进，第二阶段进一步对齐任务需求。

Tech Stack:

• Qwen3-VL-30B-A3B（基础多模态大模型）
• Group Sequence Policy Optimization (GSPO)
• 强化学习（RL）
• 多目标奖励设计（格式奖励、长度惩罚、质量奖励、丰富度奖励）
• 轻量适配器（2048参数）
• ReAct范式（推理-记忆生成）
• 滑动窗口上下文机制
• 人脸检测与全局ID标注、ASR字幕与说话人ID

Strengths:

• 创新性地将记忆生成建模为可学习策略，突破传统启发式或模板方法。
• 两阶段设计兼顾基础记忆质量和任务导向，且第二阶段在线学习适应性强。
• 轻量适配器方案有效缓解在线学习中的稀疏反馈和灾难性遗忘问题。
• 在多个流式VQA基准上取得显著提升，实验设计合理（仅用记忆回答）。

Limitations:

• 仅聚焦于情景记忆，未扩展至语义记忆或视觉记忆。
• 第二阶段依赖最近任务分布假设，若任务分布剧烈变化可能影响适应性。
• 奖励模型的设计和评估可能引入主观偏差，且丰富度奖励的相对排名定义可能不够鲁棒。
• 实验仅在视频问答任务上验证，未涉及更复杂的具身智能体交互场景。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文涉及多模态大模型（Qwen3-VL）作为基础，通过强化学习优化记忆策略，与世界模型中的记忆和表征学习相关，但未直接构建世界模型或统一模型。
• 原生多模态大模型：使用原生多模态模型Qwen3-VL，并在此基础上进行后训练。
• 多模态大模型的理解和生成一体化：记忆生成任务本身涉及理解和生成，论文通过RL优化生成质量。
• 表征学习：记忆内容可视为环境表征的压缩，但论文未明确讨论表征学习。
• 强化学习：核心方法为RL（GSPO），两阶段训练均基于RL。
• 后训练：两阶段训练属于后训练阶段，提升模型在特定任务上的表现。

安全的人机协作不仅仅需要视觉描述：监控系统必须确定机器人本体是否与场景或人员安全分离，是否已发生碰撞，或即将发生碰撞。我们将这种能力称为碰撞接地 (collision grounding)：将视觉观测绑定到机器人本体几何、相机视点、场景布局、人体接近度及时序运动，以推断当前及即将发生的接触。我们引入了 TouchSafeBench，这是一个基于物理的基准，用于评估视觉 - 语言模型 (VLMs) 中的碰撞接地能力。基于 Habitat 3.0 构建，TouchSafeBench 包含 2940 个模拟室内共存场景，涵盖社交导航与社交重排，配备同步多视角 RGB-D 观测、俯视图轨迹图、校准相机元数据以及模拟器生成的接触标签。我们研究了两个面向部署的任务：分类当前安全状态以及在接触前警告即将发生的碰撞。在三个前沿或面向机器人领域的 VLMs 及九种视觉表征下，当前模型仍远未达到可靠水平：最佳平均 Macro-F1 低于 50%，显式深度并未自动转化为机器人本体碰撞证据，且机器人 - 场景接触始终比人体接触风险更具挑战性。TouchSafeBench 揭示了具身视觉 - 语言模型 (VLMs) 的一个核心局限性：视觉流畅性并不意味着物理问责性。可靠的机器人安全监控器需要能够明确绑定视点、机器人形态、度量几何及未来碰撞的表征。我们将在录用后发布该基准。

Safe human--robot collaboration requires more than visual description: a monitor must determine whether the robot body is safely separated, already colliding with the scene or a person, or about to collide. We call this capability collision grounding: binding visual observations to robot body geometry, camera viewpoint, scene layout, human proximity, and temporal motion in order to infer present and imminent contact. We introduce TouchSafeBench, a physics-grounded benchmark for evaluating collision grounding in vision-language models (VLMs). Built in Habitat~3.0, TouchSafeBench contains 2,940 simulated indoor co-presence episodes across social navigation and social rearrangement, with synchronized multi-view RGB-D observations, top-down trajectory maps, calibrated camera metadata, and simulator-derived contact labels. We study two deployment-facing tasks: classifying the current safety state and warning about imminent collision before contact. Across three frontier or robotics-oriented VLMs and nine visual representations, current models remain far from reliable: the best average Macro-F1 stays below 50\%, explicit depth is not automatically transformed into robot-body collision evidence, and robot--scene contact is consistently harder than human-contact risk. TouchSafeBench reveals a central limitation of embodied VLMs: visual fluency does not imply physical accountability. Reliable robot safety monitors will need representations that explicitly bind viewpoint, robot morphology, metric geometry, and future collision. We will release the benchmark upon acceptance.

评分理由: The paper evaluates Vision-Language Models (MLLM/MultiModal) for collision grounding in robotics, yielding high scores for these keywords. Visual Encoder is moderately relevant due to analysis of visual representations. World Models relate to temporal/future collision mentions but are not the core focus. Unify Models, Tokenizer, and model-based RL are less relevant as the paper is an evaluation benchmark rather than a model architecture proposal or RL algorithm. No matching expert authors were found. The weighted total score is 51.0, exceeding the dynamic pass threshold.

Collision Grounding, Vision-Language Models, Safe Human-Robot Collaboration, TouchSafeBench, Visual Representations, Physical Accountability, Robot Safety

Chinese Title: 探测视觉语言模型中的碰撞接地以实现安全的人机协作

Summary: 论文提出了TouchSafeBench，一个基于物理的基准测试，用于评估视觉语言模型（VLM）在安全人机协作中的碰撞接地能力。碰撞接地是指将视觉观察与机器人身体几何、相机视角、场景布局、人类接近度和时间运动相结合，以推断当前和即将发生的接触。TouchSafeBench基于Habitat 3.0构建，包含2940个模拟室内共现场景，涵盖社交导航和社交重新排列任务，提供多视角RGB-D观测、俯视轨迹图、校准相机元数据和模拟器导出的接触标签。论文研究了两个任务：当前安全状态分类和碰撞早期预警。实验评估了三个前沿或机器人专用VLM（GPT-5.5, Gemini 3.1 Pro, Gemini Robotics-ER 1.6）和九种视觉表示，发现当前模型远未可靠：最佳平均Macro-F1低于50%，显式深度并未自动转化为机器人身体碰撞证据，机器人-场景接触比人-机接触更难。论文揭示了高级VLM的视觉流畅性并不意味着物理可问责性，可靠的机器人安全监控需要显式绑定视角、机器人形态、度量几何和未来碰撞的表示。

Innovations:

• 提出了TouchSafeBench，第一个专门用于评估VLM碰撞接地能力的物理接地基准，具有模拟器导出的接触标签。
• 设计了两个互补任务：当前安全状态分类和碰撞早期预警，后者要求模型在接触发生前预测即将发生的碰撞，并包含近误硬负样本。
• 通过控制实验分离了视觉表示（RGB、深度、RGB-D）、视角（自我中心、第三人称、俯视）和模型家族的影响，揭示了当前VLM在碰撞接地上的根本局限性。
• 提供了多视角同步RGB-D观测、俯视轨迹图和相机元数据，支持可重复的几何和视角消融研究。

Methodology: 论文使用Habitat 3.0模拟器生成2940个室内人机共现场景，包括社交导航和社交重新排列任务。每个场景记录四个同步RGB-D相机流（机器人臂自我中心、人类头部自我中心、第三人称机器人视角、第三人称人类视角）和一个俯视轨迹图。从模拟器状态导出接触标签（安全、机器人-场景碰撞、机器人-人类碰撞）。评估分为两个阶段：阶段I固定自我中心视角，消融九种视觉表示（RGB、深度、预测深度、RGB-D等）；阶段II固定RGB通道，变化视角（自我中心、第三人称、俯视）。评估三个VLM：GPT-5.5、Gemini 3.1 Pro、Gemini Robotics-ER 1.6。使用准确率、Macro-F1和假警报率作为指标。

Key Results:

• 最佳平均Macro-F1低于50%，表明当前VLM在碰撞接地任务上远未可靠。
• 显式深度信息并未自动提升碰撞接地性能，模型未能将深度转化为机器人身体碰撞证据。
• 机器人-场景接触比机器人-人类接触更难分类，因为需要连接相机证据与机器人形态和接触状态。
• 机器人专用VLM（Gemini Robotics-ER 1.6）并未显著优于通用VLM，表明当前机器人预训练未解决碰撞接地。
• 第三人称视角和俯视视角在某些情况下优于自我中心视角，但整体仍不理想。

Tech Stack:

• Habitat 3.0模拟器
• SMPL-X人体模型
• YCB物体
• HSSD-HAB场景
• GPT-5.5, Gemini 3.1 Pro, Gemini Robotics-ER 1.6 (VLM)
• RGB-D相机流
• 深度估计（预测深度）
• 接触标签（模拟器导出）
• 评估指标：准确率、Macro-F1、假警报率

Strengths:

• 基准测试设计严谨，使用模拟器物理接触标签而非人工标注，确保客观性。
• 多视角和多模态消融实验设计合理，能够系统分析VLM碰撞接地的瓶颈。
• 任务设计包含早期预警和近误硬负样本，更贴近实际安全需求。
• 揭示了高级VLM在物理接地上的根本局限性，对机器人安全研究有重要指导意义。

Limitations:

• 仅基于模拟环境，未在真实机器人上验证，模拟与真实之间存在差距。
• 评估的VLM数量有限（三个），且可能不是最新模型（论文中模型名称可能是虚构或未来版本）。
• 任务仅考虑碰撞分类，未涉及更细粒度的安全评估如力、速度等。
• 未提供模型改进方案，仅指出问题。

Relevance To Keywords:

• Unify Models: 论文评估了通用VLM和机器人专用VLM，但未涉及统一模型。
• World Models: 碰撞接地需要世界模型理解物理交互，论文指出当前VLM缺乏这种能力。
• Representation Learning: 论文研究了不同视觉表示（RGB、深度等）对碰撞接地的影响，与表征学习相关。
• Model-Based RL: 论文未直接涉及强化学习，但碰撞接地可视为模型预测的一部分。
• 原生多模态大模型: 论文评估的多模态大模型（GPT-5.5等）属于此类。
• 多模态大模型的理解和生成一体化: 论文主要关注理解（分类），未涉及生成。
• 表征学习: 同上。
• 世界模型: 论文强调物理接地，与世界模型概念紧密相关。
• 强化学习: 不直接相关。
• 后训练: 论文未讨论后训练，但指出当前模型不足，暗示需要后训练改进。

现实场景中的目标检测仍具挑战性，源于多样化的图像退化及异构的对象分布，这些因素显著阻碍了现有检测器的泛化能力。传统方法（包括场景特定的表示学习和端到端管道设计）本质上受限于其对预定义条件的依赖，且缺乏对动态环境的适应性。本文提出 DetAS，一种智能体检测框架（Agentic Detection Framework），将目标检测建模为动态决策过程。与依赖静态管道不同，DetAS 利用多模态大语言模型（MLLM）作为中央智能体，通过从恢复模块和专业检测器的工具箱中选择，自适应地组合检测工作流。具体而言，DetAS 包含两个关键组件：自自适应图像恢复（Self-Adaptive Image Restoration），动态决定是否需要以及如何增强图像以用于下游检测；以及多专家检测（Multi-Expertise Detection），集成多个领域专用检测器并通过实例级推理整合其预测结果。为进一步在细粒度条件下提升决策质量，我们引入自进化经验收集机制（Self-Evolving Experience Harvesting）并将框架扩展至 DetAS-X，该机制从少量标注数据中积累节点级决策经验，并在推理过程中启用经验感知推理，使系统能够逐步完善其决策策略，从而适应多样化的现实场景。在六个具有挑战性的基准上进行的广泛实验表明，DetAS-X 显著优于现有的基于 MLLM 的检测器，F1 分数平均提升 28.36%，在 DarkFace 数据集上最高可达 37.01% 的增益。这些结果展示了智能体检测（Agentic Detection）的潜力，并为其在复杂动态环境中的应用奠定了坚实基础。

Object detection in real-world scenarios remains challenging due to diverse image degradations and heterogeneous object distributions, which significantly hinder the generalization of existing detectors. Conventional approaches, including scene-specific representation learning and end-to-end pipeline design, are inherently limited by their reliance on predefined conditions and lack adaptability to dynamic environments. In this paper, we propose DetAS, an agentic detection framework that formulates object detection as a dynamic decision process. Instead of relying on static pipelines, DetAS leverages a Multimodal Large Language Model (MLLM) as a central agent to adaptively compose detection workflows by selecting from a toolbox of restoration modules and specialized detectors. Specifically, DetAS consists of two key components: Self-Adaptive Image Restoration, which dynamically determines whether and how to enhance images for downstream detection, and Multi-Expertise Detection, which integrates multiple domain-specialized detectors and resolves their predictions through instance-level reasoning. To further improve decision quality under fine-grained conditions, we introduce Self-Evolving Experience Harvesting and extend the framework to DetAS-X, which accumulates node-level decision experience from a small set of annotated data and enables experience-aware reasoning during inference. This mechanism allows the system to progressively refine its decision policy and adapt to diverse real-world scenarios. Extensive experiments on six challenging benchmarks demonstrate that DetAS-X significantly outperforms existing MLLM-based detectors, achieving an average improvement of 28.36% in F1 score, with up to 37.01% gain on DarkFace. These results demonstrate the promise of agentic detection and establish a solid foundation for its application in complex and dynamic environments.

评分理由: 论文核心基于 MLLM 构建智能体框架，故 MLLM 和 MultiModal 相关性高；框架统一了检测流程，Unify Models 中等；经验积累与决策过程与 World Models 及 model-based RL 有概念关联但非核心；Tokenizer 和 Visual Encoder 未被重点讨论，相关性低。未发现指定专家作者。

Agentic Framework, Object Detection, MLLM, Experience-Aware Reasoning, Dynamic Decision Process, Restoration Modules, Multi-Expertise Detection

Chinese Title: 任意场景检测：一种具有经验感知推理的智能体目标检测框架

Summary: 本文提出DetAS，一种基于智能体的目标检测框架，将目标检测建模为动态决策过程。核心组件包括：自适应性图像恢复（SAIR），动态判断是否以及如何增强图像；多专家检测（MED），集成多个领域专用检测器并通过实例级推理解决预测冲突。进一步引入自进化经验收获（SEEH）扩展为DetAS-X，从少量标注数据中积累节点级决策经验，实现推理时的经验感知推理。在六个挑战性基准上，DetAS-X相比现有MLLM检测器平均F1提升28.36%，在DarkFace上最高提升37.01%。实验表明该框架能自适应多种退化场景和物体分布，具有良好的泛化能力。

Innovations:

• 提出智能体检测框架DetAS，将目标检测转化为动态决策过程，自适应选择恢复工具和检测器。
• 设计自适应性图像恢复（SAIR），通过LLM感知判断退化类型并选择恢复策略，同时引入图像选择机制避免恢复损害检测。
• 提出多专家检测（MED），集成多个领域专用检测器并通过实例分组和推理解决预测冲突。
• 引入自进化经验收获（SEEH），从少量标注数据中积累节点级经验，实现经验感知推理，使系统能自我进化适应新场景。

Methodology: 框架基于多模态大语言模型（MLLM）作为中央智能体。SAIR阶段：LLM感知图像退化类型，从恢复工具池中选择对应模块（去雾、去雨、去噪、亮度增强等），然后比较原图与恢复图选择更利于检测的图像，最后应用超分辨率提升小目标可见性。MED阶段：LLM根据图像内容和目标类别从检测器池（通用、密集小目标、自动驾驶、无人机、水下、人脸等）中选择top-K检测器，生成候选框后通过空间重叠和视觉相似性进行实例分组，再由LLM进行实例级推理消除冗余和错误。SEEH：在少量标注数据上，记录每个决策节点（如恢复选择、检测器选择）的决策和结果，形成经验库，推理时检索相似场景的经验指导决策。

Key Results:

• 在六个挑战性基准（DarkFace、BDD100K、HazyDet等）上，DetAS-X相比现有MLLM检测器平均F1提升28.36%。
• 在DarkFace低光人脸检测上F1提升37.01%。
• SAIR和MED组件均显著优于固定管道和单一检测器。
• SEEH机制仅需少量标注数据即可持续提升检测性能。

Tech Stack:

• 多模态大语言模型（MLLM）作为智能体
• 图像恢复工具池：去雾、去雨、去噪、亮度增强、超分辨率
• 检测器池：通用检测器（如Grounding DINO）、密集小目标检测器（如Rex-Omni）、自动驾驶检测器、无人机视角检测器、水下检测器、人脸检测器
• 实例分组算法：基于空间重叠（IoU）和视觉相似性（如特征匹配）
• 经验感知推理：检索式经验库，节点级决策记录与匹配

Strengths:

• 创新性地将智能体范式引入目标检测，突破了传统固定管道的局限。
• SAIR和MED设计灵活，可扩展新的恢复和检测模块。
• SEEH使系统具备自我进化能力，仅需少量标注数据即可适应新场景。
• 在多种退化场景（低光、雾、雨、水下等）上均取得显著提升，泛化性强。

Limitations:

• 依赖MLLM的感知和推理能力，可能受限于LLM本身的幻觉和计算开销。
• 当前恢复和检测工具池有限，极端退化或罕见场景可能缺乏对应模块。
• 经验收获需要少量标注数据，完全无标注场景下无法启动自我进化。
• 实例分组和推理步骤可能引入额外延迟，实时性有待验证。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但智能体框架可视为多种专用模型的统一调度。
• World Models: 论文未使用世界模型，但SAIR中的场景感知可看作对环境状态的建模。
• Representation Learning: 论文不依赖表征学习，而是通过工具选择和推理适应不同分布。
• Model-Based RL: 论文未使用强化学习，但SEEH的经验积累与决策优化有类似思想。
• 原生多模态大模型: 论文核心依赖MLLM作为智能体，与原生多模态大模型高度相关。
• 多模态大模型的理解和生成一体化: 论文主要利用MLLM的理解能力（感知、推理），未涉及生成。
• 表征学习: 不直接相关。
• 世界模型: 弱相关。
• 强化学习: 弱相关。
• 后训练: 论文中的SEEH可视为一种后训练（从少量数据中学习经验），但非传统后训练范式。

部署在真实世界环境中的多模态大模型（MLLM）驱动具身智能体会遭遇物理危害。然而，现有方法缺乏识别危害及推理动作条件风险的显式机制，导致智能体要么错失风险交互，要么过度识别风险。为应对这一问题，我们提出了 EMBGuard，这是首个基于多模态大模型的具身智能体安全护栏，旨在将物理风险推理与智能体策略解耦。通过评估（视觉观测，动作）对，EMBGuard 识别危险构型并提供潜在风险的自然语言解释。除 EMBGuard 外，我们还贡献了 EMBHazard，一个包含 1.51 万个动作条件对的训练数据集，以及 EMBGuardTest，一个涵盖七个物理风险类别的 329 个精心挑选的真实世界场景基准测试。通过危害与动作的组合变化，我们生成了多样化的风险与良性场景，这些场景是智能体在规划过程中可能遇到的。尽管其规模紧凑（2B, 4B），EMBGuard 的性能可与专有 MLLMs（例如 GPT-5.1, Gemini-2.5-Pro）相媲美，同时显著降低了阻碍实时部署的误报率。我们将代码、数据和模型公开在 https://github.com/dongwxxkchoi/EMBGuard。

MLLM-powered embodied agents deployed in real-world environments encounter physical hazards. However, existing approaches lack explicit mechanisms for identifying hazards and reasoning about action-conditioned risks, leading agents to either miss risky interactions or over-identify risks. To address this, we propose EMBGuard, the first MLLM-based safety guardrail for embodied agents designed to decouple physical risk reasoning from agent policy. By evaluating a (visual observation, action) pair, EMBGuard identifies hazardous configurations and provides natural language explanations of potential risks. Alongside EMBGuard, we contribute EMBHazard, a training dataset of 15.1K action-conditioned pairs, and EMBGuardTest, a benchmark of 329 manually curated real-world scenarios spanning seven physical risk categories. Through compositional variation of hazards and actions, we generate diverse risky and benign scenarios that agents may encounter during planning. Despite its compact size (2B, 4B), EMBGuard achieves performance competitive with proprietary MLLMs (e.g., GPT-5.1, Gemini-2.5-Pro) while significantly reducing the false-positive rates that hinder real-time deployment. We make the code, data, and models publicly available at https://github.com/dongwxxkchoi/EMBGuard

评分理由: The paper centers on MLLM-based safety guardrails for embodied agents, making MLLM (10.0) and MultiModal (8.0) highly relevant as it processes visual and textual data. Visual Encoder (5.0) is implicitly utilized within the MLLM architecture for observation processing. model-based RL (4.0) and World Models (3.0) are contextually relevant due to the embodied planning setting, though the paper focuses on safety guardrails rather than learning dynamics models or unified architectures. Unify Models (2.0) and Tokenizer (1.0) are minimally relevant as the abstract does not discuss model unification strategies or tokenizer design. None of the specified expert authors appear in the author list.

MLLM, Embodied Agents, Safety Guardrails, Hazard Awareness, Risk Reasoning, Visual Observation, Action-Conditioned

Chinese Title: EMBGuard：为具身智能体安全规划构建危险感知护栏

Summary: 论文针对多模态大语言模型（MLLM）驱动的具身智能体在真实环境中面临的物理危险，提出首个基于MLLM的安全护栏EMBGUARD。该护栏将物理风险推理与智能体策略解耦，通过评估（视觉观察，动作）对来识别危险配置，并以自然语言解释潜在风险。为训练和评估护栏，论文构建了训练数据集EMBHAZARD（15.1K动作-条件对）和基准数据集EMBGUARDTEST（329个手动策划的真实场景，涵盖7种物理风险类别）。通过组合变化危险和动作，生成多样化的风险与良性场景。实验表明，尽管模型尺寸较小（2B、4B），EMBGUARD在性能上与专有MLLM（如GPT-5.1、Gemini-2.5-Pro）相当，同时显著降低了误报率，适合实时部署。代码、数据和模型已公开。

Innovations:

• 首次提出针对具身智能体的安全护栏，将物理风险推理与智能体策略解耦，实现独立的风险评估与解释。
• 构建了大规模训练集EMBHAZARD和高质量基准EMBGUARDTEST，包含细粒度危险标注和7种物理风险类别。
• 通过组合变化危险和动作，生成四种数据类型（因果风险、选择性风险、解耦良性、缺失良性），覆盖复杂真实场景。
• 小参数模型（2B、4B）达到与大型专有MLLM相当的风险识别性能，且误报率显著降低，适合实时部署。

Methodology: 论文采用三阶段数据集构建流程：首先基于真实事故报告定义7种风险类别，手动创建种子场景并用GPT-5.1扩展生成2.4K文本场景；然后通过组合变化危险和动作，生成四种数据类型（因果风险、选择性风险、解耦良性、缺失良性），得到15.1K（图像，动作）对；最后使用扩散模型生成照片级合成图像。护栏模型EMBGUARD基于MLLM（2B、4B参数），输入视觉观察和候选动作，输出二分类风险标签、风险类别及自然语言解释。训练时使用EMBHAZARD，评估时使用EMBGUARDTEST，并与GPT-5.1、Gemini-2.5-Pro等专有模型对比。

Key Results:

• EMBGUARD（2B、4B）在EMBGUARDTEST基准上，风险识别准确率与GPT-5.1、Gemini-2.5-Pro相当。
• 误报率显著低于专有模型，有利于实时部署中的安全决策。
• 在具身智能体安全规划任务中，集成EMBGUARD后智能体能够有效避免危险动作，提升任务安全性。
• 通过组合变化生成的多样化数据使护栏在复杂场景（多危险、动作选择性触发）中表现稳健。

Tech Stack:

• 多模态大语言模型（MLLM）作为护栏基础架构（2B、4B参数）
• GPT-5.1用于文本场景生成与扩展
• 扩散模型（Diffusion Model）用于合成照片级图像
• 风险分类体系（7类：火灾、电气、滑倒/绊倒/跌倒、切割/尖锐、挤压/夹伤、污染/感染、化学/有毒暴露）
• 组合变化方法（控制危险和动作生成四种数据类型）
• 二分类与多分类联合训练（风险判断+类别识别+自然语言解释）

Strengths:

• 首次提出具身智能体专用安全护栏，填补了该领域空白。
• 数据集构建系统全面，覆盖多种真实危险场景和动作组合，训练数据量大且标注精细。
• 小模型高效，性能与大型专有模型持平，且误报率低，适合实际部署。
• 护栏输出自然语言解释，可解释性强，便于智能体集成和人类理解。
• 公开代码、数据和模型，促进后续研究。

Limitations:

• 数据集基于合成图像，与真实场景存在域差异，泛化性需进一步验证。
• 仅覆盖7种物理风险类别，可能遗漏其他类型危险（如热烫伤、辐射等）。
• 护栏仅评估单步动作风险，未考虑多步动作序列中的累积或动态风险。
• 依赖视觉观察和动作输入，对部分隐蔽危险（如内部电路故障）可能无法识别。
• 护栏本身可能被对抗性攻击绕过，安全性需进一步研究。

Relevance To Keywords:

• Unify Models: 论文使用统一的多模态大语言模型作为护栏，实现视觉与语言理解一体化，与统一模型方向相关。
• World Models: 护栏通过视觉观察理解环境中的危险配置，隐含了对环境状态和因果关系的建模，可视为轻量级世界模型。
• Representation Learning: 护栏学习从视觉和动作输入中提取危险相关表征，属于表征学习在安全领域的应用。
• Model-Based RL: 论文未直接涉及强化学习，但护栏可作为基于模型的安全约束组件，辅助智能体在规划中避免风险，与模型基RL的安全规划有间接关联。

近期无感知端到端（E2E）自动驾驶方法通过压缩密集图像块令牌为紧凑场景令牌，以绕过显式感知输出，服务于下游的轨迹生成与评分。尽管这些场景令牌为规划器构成了紧凑的视觉瓶颈，但它们仅受规划目标的监督，从而对编码的视觉信息施加了有限的约束。为了解决这一局限性，我们提出了神经令牌重构（NTR），这是一种表征学习框架，旨在直接约束无感知驾驶中的紧凑场景令牌瓶颈。NTR 引入了一种自蒸馏掩码潜变量重构目标，该目标仅利用紧凑场景令牌作为重构记忆，来重构被掩码的块级潜特征。这迫使重构梯度仅通过场景令牌瓶颈，从而鼓励场景令牌为规划任务保留更丰富且冗余度更低的视觉表征。此外，我们还引入了源自基础模型标注的语义先验，将其作为弱语义接口，使重构目标偏向于驾驶相关结构，而无需引入显式的感知头。所有辅助重构组件在推理阶段均被移除，从而保持部署的规划器不变。NTR 在三个公共自动驾驶基准上实现了最先进的性能，其中包括 Waymo E2E 上的 8.0461 RFS 以及 NavSim1&2 上的 94.1 PDMS / 90.9 EPDMS。学习得到的场景令牌表现出更低的成对冗余度和更高的有效秩，这表明有效的瓶颈监督同时提升了紧凑视觉表征的学习效果和规划性能。

Recent perception-free end-to-end (E2E) autonomous driving methods bypass explicit perception outputs by compressing dense image patch tokens into compact scene tokens for downstream trajectory generation and scoring. While these scene tokens form a compact visual bottleneck for the planner, they receive supervision solely from the planning objective, providing limited constraints on the encoded visual information. To address this limitation, we introduce Neural Token Reconstruction (NTR), a representation learning framework to directly constrain the compact scene-token bottleneck in perception-free driving. NTR introduces a self-distillation masked latent reconstruction objective that reconstructs masked patch-level latent features using only compact scene tokens as reconstruction memory. This forces reconstruction gradients to pass exclusively through the scene-token bottleneck, encouraging scene tokens to preserve richer and less redundant visual representations for planning. We further introduce semantic priors derived from foundation-model annotations as a weak semantic interface biasing reconstruction targets toward driving-related structures without introducing explicit perception heads. All auxiliary reconstruction components are removed at inference time, leaving the deployed planner unchanged. NTR achieves state-of-the-art performance on three public autonomous driving benchmarks, including 8.0461 RFS on Waymo E2E and 94.1 PDMS / 90.9 EPDMS on NavSim1&2. The learned scene tokens exhibit lower pairwise redundancy and higher effective rank, indicating that effective bottleneck supervision improves both compact visual representation learning and planning performance.

评分理由: 论文主要关注端到端驾驶中的令牌表示学习。与 Tokenizer（令牌压缩与重建）和 Visual Encoder（视觉隐特征）高度相关；利用基础模型标注（MLLM/Unify Models）引入语义先验，相关性中等；与 World Models 和 model-based RL 关联较弱，因论文侧重规划表示而非动力学建模或强化学习；MultiModal 方面主要基于视觉，相关性中等。未发现指定专家作者（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang）。加权总分 49.5，高于动态及格分 27.8。

Neural Token Reconstruction, Scene Token Bottleneck, End-to-End Driving, Self-distillation, Foundation Models, Visual Representation, Trajectory Generation

Chinese Title: NTR：面向端到端驾驶中场景令牌瓶颈的神经令牌重构

Summary: 本文提出神经令牌重构（NTR）框架，用于解决感知无关端到端自动驾驶中紧凑场景令牌瓶颈的表示学习问题。现有方法仅通过规划目标间接监督场景令牌，导致冗余表示。NTR引入自蒸馏掩码潜在重构目标，仅使用紧凑场景令牌作为记忆来重构被掩码的补丁级潜在特征，迫使重构梯度仅通过场景令牌瓶颈，从而鼓励场景令牌保留更丰富、更少冗余的视觉表示。进一步引入基于基础模型标注的语义先验，将重构目标偏向驾驶相关结构区域，且所有辅助组件在推理时移除。在Waymo和NavSim数据集上达到SOTA性能，并验证了场景令牌冗余降低和有效秩提升。实际车辆部署验证了其实用性。

Innovations:

• 首次将场景令牌瓶颈识别为感知无关端到端驾驶中的核心表示学习挑战，并提出直接监督该瓶颈的NTR框架。
• 引入掩码潜在重构目标，仅通过紧凑场景令牌传递重构梯度，迫使瓶颈保留丰富且互补的局部视觉信息。
• 利用基础模型（SAM）生成的语义先验作为弱监督，聚焦重构目标于结构化驾驶区域（如车辆、可行驶区域、交通控制元素），不引入显式感知头或推理开销。
• 所有辅助组件（重构分支、EMA教师、语义先验）仅在训练时使用，推理时规划器架构完全不变，实现零额外计算。
• 在多个公开基准和私有大规模数据集上验证了性能提升，并成功集成到实车规划栈中，展示了实际部署可行性。

Methodology: 采用DrivoR风格的紧凑场景令牌规划器作为基础架构。NTR包含在线分支和EMA教师分支：在线编码器处理被掩码的补丁令牌和可学习场景令牌，生成场景令牌用于下游规划和重构；教师编码器（EMA更新）处理完整补丁令牌提供停止梯度的潜在目标。轻量级重构解码器仅使用场景令牌作为记忆，交叉注意力重构被掩码位置的教师潜在特征。语义先验通过SAM生成掩码，按区域重要性分配重构位置采样概率。所有组件联合优化规划损失和重构损失，推理时移除教师和重构分支。

Key Results:

• 在Waymo E2E上达到8.0461 RFS，在NavSim V1&2上达到94.1 PDMS和90.9 EPDMS，均超越先前SOTA。
• 场景令牌的成对冗余降低，有效秩提升，表明瓶颈监督改善了紧凑视觉表示学习。
• 在私有大规模驾驶数据集上验证了可扩展性，并成功集成到实车规划栈中，展示了实际应用价值。

Tech Stack:

• Vision Transformer (ViT) 作为图像编码器
• LoRA (Low-Rank Adaptation) 用于高效微调
• EMA (Exponential Moving Average) 教师更新
• 掩码潜在重构 (Masked Latent Reconstruction)
• 交叉注意力 (Cross-Attention) 解码器
• SAM (Segment Anything Model) 生成语义先验
• DrivoR风格规划器 (轨迹生成与评分)
• 自蒸馏 (Self-Distillation) 框架

Strengths:

• 直接针对场景令牌瓶颈进行监督，解决了感知无关方法中视觉表示弱约束的核心问题。
• 无需修改推理时规划器架构，训练后零额外计算开销，便于实际部署。
• 语义先验引导重构聚焦于驾驶关键区域，提升效率且不引入显式感知模块。
• 在多个公开基准和真实场景中均取得显著性能提升，并验证了表示质量的改善。

Limitations:

• 依赖基础模型（SAM）生成语义先验，可能引入额外训练前处理步骤。
• 掩码重构策略需要调整掩码比例和采样策略，超参数敏感。
• 当前仅针对单帧规划场景，未探索时序上下文中的令牌瓶颈监督。
• 在极端天气或罕见场景下，语义先验可能不准确，影响重构质量。

Relevance To Keywords:

• 表征学习 (Representation Learning): 核心贡献，通过重构目标直接学习紧凑场景令牌的表示。
• 世界模型 (World Models): 重构潜在特征可视为隐式世界模型预测，但本文更侧重表示瓶颈而非未来预测。
• 强化学习 (Reinforcement Learning): 规划器通过行为克隆训练，未直接涉及RL，但场景令牌表示可服务于RL策略。
• 后训练 (Post-training): NTR在规划训练中联合优化，属于端到端训练而非后训练。
• 原生多模态大模型/多模态大模型的理解和生成一体化: 本文未使用多模态大模型，仅用视觉输入，相关性较弱。

大多数用于图像生成的视觉标记器分为两类，各自具有互补的局限性：连续 VAE（变分自编码器）能提供高保真重建，但面临密集且纠缠的潜在表示，不适合用于语义控制；而基于离散 VQ（向量量化）的模型虽能实现自回归生成，却难以克服梯度稀疏、训练不稳定及码本坍塌等问题。本文提出 MergeTok，这是一种统一的标记器，它在编码器 - 解码器架构内联合优化连续（VAE）和离散（VQ）标记器，并利用标记合并技术作为语义桥梁。通过在编码过程中聚类相似标记，MergeTok 建立了一个结构先验，该先验提供双重监督信号：(i) 它在 VAE 分支上施加合并标记语义对齐，将其潜在空间正则化为解耦且语义感知的表示；(ii) 它推导出组级约束，促进组内多样性和组间排他性，从而稳定 VQ 训练。MergeTok 在 ImageNet-256 上展现出具有竞争力的重建与生成性能，在标记预算相当的情况下，其 rFID 显著低于强基线的 VAE 和 VQ 模型，同时生成语义组织的标记表示，兼容自回归生成器和扩散生成器。这表明单一架构即可赋予视觉标记器鲁棒的语义组织以及对生成器友好的离散性。

Most visual tokenizers for image generation are bifurcated into two families with complementary limitations: continuous VAEs offer high-fidelity reconstruction but suffer from dense, entangled latents that are poorly suited for semantic control, whereas discrete VQ-based models enable autoregressive generation yet struggle with gradient sparsity, unstable training, and codebook collapse. In this work, we introduce MergeTok, a unified tokenizer that jointly optimizes continuous (VAE) and discrete (VQ) tokenizers within a encoder-decoder architecture, leveraging token merging techniques as a semantic bridge. By clustering similar tokens during encoding, MergeTok establishes a structural prior that provides dual supervision signals: (i) it imposes merged-token semantic alignment in the VAE branch, regularizing its latent space toward disentangled, semantic-aware representations; (ii) it derives group-wise constraints, promoting intra-group diversity and inter-group exclusivity that stabilize VQ training. MergeTok shows competitive reconstruction and generation performance on ImageNet-256, with substantially lower rFID than strong VAE and VQ models under matched token budgets, while producing semantically-organized token representations compatible with both autoregressive and diffusion generators. This shows that a single architecture can endow visual tokenizers with robust semantic organization and generator-friendly discreteness.

评分理由: The paper proposes a unified tokenizer (MergeTok) combining VAE and VQ, scoring highly on Unify Models (9), Tokenizer (10), and Visual Encoder (8). World Models, MLLM, MultiModal, and model-based RL are not explicitly addressed in the abstract, resulting in low scores (1-2). Total weighted score is 49.5, exceeding the passing threshold of 27.8.

Unified Visual Tokenization, Continuous and Discrete, Token Merging, VAE and VQ, Image Generation, Semantic Representation, Encoder-Decoder Architecture

Chinese Title: MergeTok: 通过令牌合并实现统一连续与离散视觉令牌化

Summary: 本文提出MergeTok，一种统一连续（VAE）和离散（VQ）视觉令牌化的双分支编码器-解码器架构。核心创新是利用令牌合并（ToMe）技术作为语义桥梁：在编码过程中对相似令牌进行聚类，产生的源图同时为VAE分支提供语义对齐正则化（使连续潜空间具有语义结构），并为VQ分支提供分组感知量化约束（促进组内多样性和组间排他性，稳定码本训练）。通过共享编码器和解码器、联合优化目标以及粒度感知的合并比率采样，MergeTok在ImageNet-256上实现了优于纯VAE和纯VQ模型的重建与生成性能（更低的rFID），同时产生语义组织的令牌表示，兼容自回归和扩散生成器。该方法解决了连续令牌的语义纠缠和离散令牌的梯度稀疏/码本崩溃问题。

Innovations:

• 提出统一连续与离散令牌化的双分支架构，通过令牌合并作为语义桥梁，使VAE和VQ在共享编码器-解码器中相互增强。
• 引入合并感知训练约束：合并令牌对齐（提升连续潜空间的语义结构）和分组感知量化（稳定VQ训练并提高码本利用率）。
• 采用粒度感知的合并比率采样，训练时暴露多种令牌粒度，提升重建与生成的保真度和效率。
• 将令牌合并（ToMe）集成到令牌化器的训练循环中，而非仅用于推理加速，作为结构先验同时服务两个分支。

Methodology: MergeTok采用共享CNN编码器，输出令牌序列后分别送入VAE和VQ分支。VAE分支使用带ToMe模块的注意力编码器进行令牌合并，产生合并令牌和源图，通过混合VAE解码器重建图像，并施加合并令牌对齐损失（与教师模型对齐）。VQ分支绕过ToMe保留全长度序列，进行码本量化，并利用VAE分支产生的源图施加分组感知约束（组内多样性、组间排他性）。两个分支共享编码器和解码器，联合优化重建损失、对齐损失和量化损失。训练时采用离散合并比率采样，使模型适应不同令牌粒度。

Key Results:

• 在ImageNet-256上，MergeTok在相同令牌预算下实现了比强VAE和VQ模型更低的rFID（重建FID）。
• MergeTok生成的令牌表示具有语义组织特性，兼容自回归（如LlamaGen）和扩散（如DiT、SiT）生成器。
• 通过合并感知约束，VAE分支的连续潜空间获得更好的语义解耦，VQ分支的码本利用率显著提升，训练更稳定。

Tech Stack:

• Token Merging (ToMe)
• VAE (Variational Autoencoder)
• VQ (Vector Quantization)
• Codebook with group-aware constraints
• Attention-based encoder (Ea)
• CNN encoder (Ec)
• Hybrid VAE decoder
• PCA for visualization
• rFID (reconstruction FID) metric
• Discrete merge-ratio sampling

Strengths:

• 创新性地利用令牌合并作为统一连续与离散令牌化的结构接口，解决了两种范式的互补缺陷。
• 双分支共享编码器和解码器，参数高效且训练稳定。
• 合并感知约束简单有效，无需复杂设计即可提升语义结构和码本利用率。
• 粒度感知采样使模型灵活适应不同压缩率，提升泛化能力。
• 实验结果在ImageNet-256上具有竞争力，且兼容主流生成框架。

Limitations:

• 论文未明确讨论模型在更大分辨率或视频数据上的扩展性。
• 合并比率采样可能增加训练复杂度，需要调参。
• 与纯VAE或VQ模型相比，双分支架构可能引入额外计算开销。
• 对教师模型（用于对齐）的依赖可能限制其通用性。

Relevance To Keywords:

• Unify Models: MergeTok统一了连续和离散视觉令牌化，属于模型统一方向。
• World Models: 视觉令牌化是世界模型的基础组件，MergeTok提供更语义化的表征。
• Representation Learning: 通过合并对齐和分组约束，学习到语义解耦的表征。
• Model-Based RL: 视觉令牌化可用于基于模型的强化学习中的状态表示。
• 原生多模态大模型：统一令牌化有助于多模态大模型的理解与生成一体化。
• 多模态大模型的理解和生成一体化：MergeTok同时支持重建和生成，符合该方向。
• 表征学习：核心贡献在于改进视觉表征的语义结构。
• 世界模型：提供结构化潜空间，利于世界模型构建。
• 强化学习：可应用于RL中的视觉编码。
• 后训练：令牌化器训练是后训练阶段的关键步骤。

模块化视觉推理系统日益依赖共享工作记忆以实现多步协作，然而在低容量 regime 下中间状态演化的失效动力学仍未被充分探索。我们通过噪声累积的视角，研究了弱模型（4B-8B 参数规模）在协作推理中的失效模式。我们引入了 CoSee，这是一个审计框架，它形式化了读 - 写 - 验证循环，以追踪文档视觉问答（DocVQA）中的信息流。在多页、图表及基于网络的基准测试中，我们发现了一种反直觉的性能退化现象：朴素的共享工作空间往往放大幻觉而非消除它们。我们识别出两种主导失效模式：Noise Reinforcement（噪声强化），即无依据的笔记被重新用作证据；以及 Policy Collapse（策略崩溃），即添加的上下文将模型导向未充分指定的短形式答案。利用成本 - 准确性帕累托前沿（Pareto frontiers），我们表明在没有显式验证的情况下，增加计算量可能与性能呈负相关。我们的发现表明，对于资源受限的模型，瓶颈不在于推理深度而在于通信保真度，这为可靠的模块化设计提供了追踪级诊断和机制基线。

Modular visual reasoning systems increasingly rely on shared working memory for multi-step collaboration, yet the failure dynamics of intermediate state evolution in low-capacity regimes remain underexplored. We study failure modes of collaborative reasoning with weak learners (4B--8B models) through the lens of noise accumulation. We introduce CoSee, an auditing framework that formalizes the read-write-verify loop to trace information flow in document visual question answering. Across multi-page, chart, and web-based benchmarks, we find a counter-intuitive degradation: naive shared workspaces often amplify hallucinations rather than resolve them. We identify two dominant failure modes: Noise Reinforcement, where ungrounded notes are reused as evidence, and Policy Collapse, where added context shifts the model toward under-specified, short-form answers. Using cost-accuracy Pareto frontiers, we show that increased compute can correlate negatively with performance without explicit verification. Our findings suggest that for resource-constrained agents, the bottleneck lies not in reasoning depth but in communication fidelity, providing trace-level diagnostics and a mechanistic baseline for reliable modular design.

评分理由: MLLM and MultiModal score high (8.0) as the paper analyzes 4B-8B visual models for VQA. Visual Encoder scores moderate (5.0) as it is inherent to visual agents but not the focus. Unify Models, Tokenizer, World Models, and model-based RL score low (2.0-3.0) because the study focuses on modular collaboration failure modes and auditing (CoSee) rather than unified architectures, tokenization, world model learning, or reinforcement learning dynamics.

Shared-State Collaboration, Resource-Constrained Visual Agents, Failure Modes, Noise Accumulation, Document Visual Question Answering, Modular Design, Communication Fidelity

Chinese Title: 诊断资源受限视觉智能体中共享状态协作的失败模式

Summary: 论文研究了在资源受限条件下（4B-8B小模型）使用共享工作记忆进行多步协作推理时的失败动态。作者提出CoSee审计框架，形式化读写验证循环以追踪文档视觉问答中的信息流。在SlideVQA、ChartQAPro和VQAonline基准测试中发现反直觉现象：朴素共享工作空间往往放大而非解决幻觉。识别出两种主要失败模式：噪声强化（无根据的笔记被重复用作证据）和政策崩溃（添加的上下文使模型转向欠指定、短格式答案）。通过成本-准确率帕累托前沿分析表明，在没有显式验证的情况下，增加计算量可能与性能负相关。结论是资源受限智能体的瓶颈不在于推理深度而在于通信保真度，提供了轨迹级诊断和可靠模块化设计的机制基线。

Innovations:

• 提出CoSee审计框架，形式化共享工作记忆的读写验证循环，实现信息流和完整性的系统审计。
• 引入成本-准确率帕累托前沿分析，量化计算开销与性能之间的权衡，揭示朴素协作可能降低性能。
• 识别并分类两种主导失败模式：噪声强化和政策崩溃，并解释其机制。
• 实证验证轻量级验证门控（信息瓶颈）是阻止错误传播的最小必要条件。
• 在严格匹配提示和解码上限下进行成本归一化比较，确保差异源于交互动态而非隐藏计算优势。

Methodology: 论文采用形式化方法将文档VQA建模为顺序决策过程，引入外部工作记忆（Board）作为离散可解释状态序列。设计了三种推理协议：直接推理（基线）、开环迭代精炼（单智能体和双智能体扫描-检查架构）、带信息瓶颈的门控转换（验证板）。通过修改系统指令实现角色分工（扫描器提取证据，交叉检查器识别矛盾）。实施完整性审计函数检测协议级病理（如中间笔记被逐字复制到最终答案）。在多个基准上使用Qwen3-VL-4B/8B、Phi-4、Gemma-3-4B等模型进行实验，分析成本-准确率帕累托前沿和轨迹级诊断。

Key Results:

• 朴素共享工作记忆在检索任务上仅带来边际增益，在推理密集型任务上常导致性能下降。
• 多智能体设置因协调开销和覆盖失败而经常低于单轮基线。
• 增加token使用量在缺乏质量控制时与性能负相关。
• 图表任务中主要失败机制是噪声强化，开放域QA中主要是政策崩溃（短答案漂移）。
• 轻量级验证门控能有效缓解图表中心的失败，是可靠扩展的最小必要条件。

Tech Stack:

• Qwen3-VL-4B-Instruct
• Qwen3-VL-8B
• Phi-4
• Gemma-3-4B
• SlideVQA
• ChartQAPro
• VQAonline
• 成本-准确率帕累托前沿分析
• 完整性审计函数
• 读写验证循环协议

Strengths:

• 系统性地诊断了共享状态协作在弱学习者中的失败模式，提供了可解释的机制分析。
• 引入成本归一化比较和格式鲁棒评分，避免了常见评估中的混淆因素。
• 建立了清晰的失败模式分类，为后续模块化设计提供了诊断工具。
• 实验设计严谨，在多个基准和模型上验证了结论的鲁棒性。
• 提出了轻量级验证作为实用解决方案，具有实际部署价值。

Limitations:

• 研究仅限于4B-8B小模型，未探索更大模型或不同架构的协作动态。
• 验证函数使用相同骨干模型，可能引入同源偏差。
• 实验仅在文档VQA领域进行，未推广到其他多模态任务（如GUI导航、视频理解）。
• 未深入分析注意力稀释的具体量化指标，仅作为假设提出。
• 协作协议固定为扫描-检查架构，未探索其他角色分工或动态角色分配。

Relevance To Keywords:

• Unify Models: 论文研究多模态大模型（VLM）在共享工作记忆下的协作行为，与统一模型相关。
• World Models: 论文中的外部工作记忆可视为一种简化的世界模型状态表示，用于推理。
• Representation Learning: 论文分析中间状态表示（Board）对最终输出的影响，涉及表征学习。
• Model-Based RL: 论文将推理建模为顺序决策过程，与基于模型的强化学习思想有交叉。
• 原生多模态大模型: 使用Qwen3-VL等原生多模态模型作为骨干。
• 多模态大模型的理解和生成一体化: 论文关注VLM在文档VQA中的理解和生成能力。
• 表征学习: 通过Board状态表征中间推理步骤。
• 世界模型: Board作为外部记忆可视为世界模型的一部分。
• 强化学习: 论文未直接使用RL，但决策过程与RL框架有相似性。
• 后训练: 论文固定模型权重，研究推理时行为，与后训练无关。

视觉 - 语言模型（VLMs）在很大程度上遵循了仅文本大型语言模型（LLM）的发展路径，虽然在英语基准测试中表现优异，但在低资源语言上性能急剧下降，因为这些语言既缺乏大规模图文语料库，也缺乏基于文化背景的评估。我们提出了一项针对罗马尼亚语构建特定语言视觉 - 语言模型（VLM）的系统性研究，涵盖了从数据构建到架构选择的全流程。我们将既定的英语视觉 - 语言模型（VLM）训练和评估语料库翻译为罗马尼亚语，对文本标注及图像内文本应用机器翻译，在适应文本内容的同时保留视觉关联（visual grounding）。利用这些数据，我们训练并消融了一系列视觉 - 语言模型（VLMs），以隔离以下因素的贡献：（i）不同规模和预训练程度的视觉骨干网络，（ii）从多语言到罗马尼亚语适配的大型语言模型（LLM）的语言骨干网络，以及（iii）类似 OCR 的图文数据。我们进一步构建了 HoraVQA，这是一个基于罗马尼亚日常场景、具有文化原生性的评估集。罗马尼亚语适配的视觉 - 语言模型（VLMs）一致优于同等大小的对应模型，并且在所有评估基准上，甚至超越了下一更大尺寸类别的模型。

Vision-Language Models (VLMs) largely follow the text-only LLM trajectory, excelling on English benchmarks but sharply degrading on low-resource languages, where neither large-scale image-text corpora nor culturally grounded evaluations exist. We present a systematic study of building a language-specific VLM for Romanian, covering the full pipeline from data construction to architectural choices. We translate established English VLM training and evaluation corpora into Romanian, applying machine translation to textual annotations and to in-image text, preserving visual grounding while adapting the textual content. Using this data, we train and ablate a series of VLMs to isolate the contribution of (i) vision backbones of varying scale and pretraining, (ii) language backbones from multilingual to Romanian-adapted LLMs, and (iii) OCR-style image-text data. We further curate HoraVQA, a culturally native evaluation set grounded in Romanian everyday scenes. Romanian-adapted VLMs consistently outperform their same-sized counterparts and, across all evaluated benchmarks, even surpass models from the next larger size category.

评分理由: 论文核心在于构建罗马尼亚语视觉语言模型（VLM），涉及视觉与语言骨干网的适配及数据翻译。Visual Encoder 和 MultiModal 高度相关，因论文明确消融视觉骨干且本质为多模态；MLLM 相关度高，因 VLM 属于此类；Unify Models 中等，因涉及模态统一但未聚焦特定统一架构；Tokenizer、World Models、model-based RL 相关性低，因论文未涉及 tokenizer 细节、世界模型或强化学习。加权总分 46.5，高于动态及格分 27.8。作者列表中未发现指定专家。

Vision-Language Models, Romanian adaptation, Low-resource language, Vision backbones, Language backbones, Data translation, Evaluation benchmarks, Multimodal learning

Chinese Title: “你懂罗马尼亚语吗？”——罗马尼亚视觉语言模型的构建指南

Summary: 本文系统研究了为低资源语言（罗马尼亚语）构建专用视觉语言模型（VLM）的完整流程，涵盖数据构建、架构选择与训练策略。作者通过机器翻译将英文VLM训练和评估语料（包括图像内文本）转化为罗马尼亚语，同时保留视觉基础。基于此数据，训练并消融了一系列VLM，以隔离视觉骨干网络（不同规模和预训练）、语言骨干网络（从多语言到罗马尼亚语适配的LLM）以及OCR风格图像文本数据的影响。此外，构建了HoraVQA——一个基于罗马尼亚日常场景的文化原生评估集。实验表明，罗马尼亚适配的VLM在同等规模模型中表现最优，甚至超越更大尺寸的模型。

Innovations:

• 首次为罗马尼亚语构建了完整的VLM适配流程，包括数据翻译、图像内文本替换及训练消融实验。
• 提出了HoraVQA，一个完全由人工标注的、基于罗马尼亚日常场景的文化原生评估集，包含500多个问答对。
• 系统分析了视觉骨干网络、语言骨干网络和OCR数据在低资源语言VLM性能中的贡献。
• 开源了完整的训练和评估管道，包括数据处理、训练配方和评估协议。
• 在翻译训练数据时，不仅翻译文本，还通过OCR提取并替换图像内文字，保持视觉布局，提升了OCR相关任务性能。

Methodology: 采用模块化VLM架构（视觉编码器+LLM），基于LLaVA/InstructBLIP等配方。数据方面：从11个英文数据集（LAION、LLaVA-Mix、PixMo、Flickr30K、CoSyn、FinePDFs等）通过机器翻译（使用Seed-X-PPO和GPT-4.1-mini）生成罗马尼亚语版本，并对图像内文本进行OCR提取、翻译和替换。训练数据共3.17M样本，按任务分组（对齐、字幕、VQA、OCR/文档、定位）。评估方面：构建19个基准测试，包括翻译的英文基准和原生HoraVQA。进行消融实验，比较不同视觉骨干（不同规模）、语言骨干（多语言vs罗马尼亚语适配）以及是否包含OCR数据的影响。

Key Results:

• 罗马尼亚适配的VLM在同等规模下始终优于未适配的模型，甚至超越更大尺寸的模型。
• 强多语言文本能力并不一定能转化为稳健的多模态性能，尤其在OCR密集和文化基础任务中。
• OCR敏感的数据组成和文化覆盖对低资源语言的多模态迁移至关重要。
• 翻译训练数据（包括图像内文本）显著提升了OCR和文档理解任务的表现。
• HoraVQA基准揭示了现有VLM在罗马尼亚文化视觉理解上的显著差距。

Tech Stack:

• 机器翻译模型：Seed-X-PPO、GPT-4.1-mini、DeepL、LLMic
• OCR工具：自定义开源工具包（用于提取和替换图像内文本）
• 视觉骨干：CLIP、SigLIP等不同规模和预训练的视觉编码器
• 语言骨干：多语言LLM（如LLaMA、Qwen）及罗马尼亚语适配版本
• 训练框架：基于LLaVA/InstructBLIP的视觉指令微调
• 评估基准：MMMU、MMBench、AyaVision-Bench、m-WildVision等翻译版本，以及HoraVQA
• 数据来源：LAION、LLaVA-Mix、PixMo、Flickr30K、CoSyn、FinePDFs
• 翻译质量评估：使用gemini-2.5-flash和claude-3-7-sonnet作为评判模型

Strengths:

• 系统全面：覆盖了从数据构建到评估的完整VLM适配流程，具有很高的可复现性。
• 创新性：首次针对罗马尼亚语进行深度VLM适配，并构建了文化原生基准HoraVQA。
• 消融实验设计严谨：隔离了视觉骨干、语言骨干和OCR数据的影响，提供了有价值的见解。
• 开源贡献：公开了模型、数据和代码，有利于后续研究。
• 实践意义：证明了低资源语言可以通过翻译和适配获得显著性能提升，为其他语言提供了参考。

Limitations:

• 依赖机器翻译，可能引入翻译错误或文化偏差，尽管进行了人工验证。
• 训练数据主要来自英文数据集翻译，缺乏大规模原生罗马尼亚语图像文本对。
• HoraVQA规模较小（500+问答对），可能不足以全面评估文化理解能力。
• 仅针对罗马尼亚语，结论的泛化性需在其他低资源语言上验证。
• 未探索后训练（如强化学习）或世界模型等更高级技术。

Relevance To Keywords:

• 原生多模态大模型：论文构建了罗马尼亚语的原生VLM，属于多模态大模型范畴。
• 多模态大模型的理解和生成一体化：模型同时支持视觉问答、字幕生成等理解和生成任务。
• 表征学习：通过对比学习（如CLIP）和视觉指令微调学习联合表征。
• 世界模型：论文未直接涉及世界模型，但文化基准HoraVQA隐含了对世界知识的理解。
• 强化学习/后训练：论文未使用强化学习或后训练，主要聚焦于预训练和指令微调。
• Unify Models：论文未涉及统一模型，但VLM本身是视觉和语言的统一。
• Model-Based RL：不相关。

在多样化环境中运行的机器人依赖视觉输入来理解物体和空间布局。在人机协作任务中，它们被期望通过语言传达这种理解。视觉 - 语言模型（VLMs）支持涉及视觉理解、问答和指令遵循的机器人任务，但在需要空间推理的协作对话任务中的能力仍研究不足。我们通过一个结合视觉理解、指称（grounding）、语言引导交互和动作生成的协作式结构构建任务来研究这一差距。我们开发了一个框架，其中 VLMs 利用对话从视觉和文本输入中重构目标结构。我们在不同的交互设置、输入模态及图像表示下评估了开源权重和闭源 VLMs。结果表明，对于评估的 VLMs 而言，基于视觉表示的空间推理仍然困难。目标的详细文本表示在各种模态条件下均获得了更高的重构成功率，而分解的图像表示则提升了性能。这些发现揭示了协作式 VLM 智能体在视觉空间指称和基于指称的指令生成方面的局限。

Robots operating in diverse environments rely on visual input to interpret objects and spatial layouts. In human-collaborative tasks, they are expected to communicate this understanding through language. Vision-language models (VLMs) support robotic tasks involving visual interpretation, question answering, and instruction following, but their capabilities in collaborative dialogue tasks requiring spatial reasoning remain underexplored. We study this gap through a collaborative structure-building task that combines visual interpretation, grounding, language-guided interaction, and action generation. We develop a framework in which VLMs use dialogue to reconstruct a target structure from visual and textual inputs. We evaluate open-weight and closed VLMs across interaction settings, input modalities, and image representations. Results show that spatial reasoning over visual representations remains difficult for the evaluated VLMs. Detailed text representations of the target yield higher reconstruction success across modality conditions, while decomposed image representations improve performance. These findings reveal limits in visual spatial grounding and grounded instruction generation for collaborative VLM agents.

评分理由: The paper centers on MLLMs (9.0) and MultiModal tasks (8.0), analyzing Visual Encoder outputs (6.0) for spatial reasoning. Unify Models is moderately relevant (5.0) as VLMs unify modalities. Tokenizer (2.0), World Models (1.0), and model-based RL (1.0) are largely irrelevant as they are not discussed. No expert authors from the list were found, so no bonus points applied.

Multi-Turn Multi-Agent Dialogue, Collaborative Reconstruction, Spatial Reasoning, VLM Performance, Visual Grounding, Image Representations, Language-guided Interaction

Chinese Title: 多轮多智能体对话用于协作重建：对视觉语言模型空间推理能力的提升微乎其微

Summary: 本文研究视觉语言模型（VLM）在协作对话任务中的空间推理能力。作者设计了一个结构重建任务：两个VLM智能体（程序员和机器人）通过多轮对话协作，在网格上重建目标结构。程序员根据目标结构生成指令，机器人将指令转化为可执行动作。实验在单智能体和双智能体设置下进行，比较文本、图像及文本+图像三种输入模态，并评估了开源模型Qwen3-VL-30B-A3B-Instruct和闭源模型GPT-5.2-Chat。结果表明，VLM在视觉空间推理上仍然困难；详细的文本描述比纯图像更有利于重建成功；分解的图像表示（如分块）能提升性能。研究揭示了VLM在视觉空间定位和基于指令的动作生成方面的局限性。

Innovations:

• 提出了一个可控的结构重建框架，将VLM协作过程分解为目标解释、指令生成、指令解释和动作执行四个阶段，便于分析错误来源。
• 设计了多轮多智能体对话任务，模拟人机协作中的指令传递与澄清机制，评估VLM在交互中的空间推理能力。
• 系统比较了单智能体与双智能体、单轮与多轮、不同输入模态（文本、图像、文本+图像）对重建性能的影响。
• 分析了对话行为（如澄清问题、纠正指令），揭示了VLM智能体在不确定性和执行错误时的响应模式。

Methodology: 使用SARTCo数据集中的简单网格结构（2-5个组件），渲染为图像。设置两个VLM智能体：程序员（接收目标结构和机器人当前状态，生成指令）和机器人（接收指令和当前状态，生成可执行Python代码）。通过游戏主控（Game Master）协调对话轮次，最多15轮。评估指标为重建成功率。实验变量包括：交互设置（单智能体直接生成动作 vs 双智能体对话）、输入模态（文本、图像、文本+图像）、图像表示（完整图像 vs 分解图像）。温度设为0，零样本设置。

Key Results:

• 双智能体多轮对话相比单智能体直接生成动作，重建成功率提升很小（barely）。
• 详细的文本描述（如坐标、颜色、形状）比纯图像输入更有利于重建成功。
• 分解图像表示（如将网格分块）比完整图像表示性能更好。
• VLM在视觉空间推理上仍然困难，错误主要源于视觉感知和语言接地。
• 澄清问题和纠正指令在对话中出现，但未能显著改善最终结果。

Tech Stack:

• Qwen3-VL-30B-A3B-Instruct（开源VLM）
• GPT-5.2-Chat（闭源VLM）
• SARTCo数据集（网格结构重建）
• Python代码生成（使用put等API操作网格）
• Matplotlib（渲染网格图像）
• JSON格式（机器人响应结构：status和details）
• 零样本推理，温度=0，最大生成token=300

Strengths:

• 任务设计清晰，将复杂空间推理分解为可分析的子阶段。
• 系统比较多种设置（单/双智能体、单/多轮、不同模态），实验全面。
• 使用真实数据集和可执行代码，评估客观。
• 揭示了VLM在视觉空间推理中的具体失败模式，对后续研究有指导意义。

Limitations:

• 仅评估了两个VLM模型，代表性有限。
• 任务网格规模较小（8×8），组件数量少（2-5），可能无法反映复杂场景。
• 未深入分析对话轮次中错误传播的具体机制。
• 重建成功率提升很小，表明当前VLM在协作空间推理上能力不足，但未提出改进方法。

Relevance To Keywords:

• 原生多模态大模型：论文直接评估了多模态VLM（Qwen3-VL、GPT-5.2）在视觉-语言任务中的表现。
• 多模态大模型的理解和生成一体化：任务要求VLM理解图像和文本，并生成指令或代码，体现了理解与生成的结合。
• 表征学习：论文探讨了不同图像表示（完整vs分解）对性能的影响，涉及视觉表征的学习效果。
• 世界模型：结构重建任务要求智能体在内部模型中模拟网格状态变化，与世界模型概念相关。
• 强化学习/后训练：论文未直接涉及，但任务中的多轮对话可视为一种交互式学习场景，与后训练中的对话微调有潜在联系。

对比解码 (Contrastive Decoding, CD) 旨在通过对比标准模型与视觉退化模型的输出分布，以缓解大型视觉 - 语言模型 (Large Vision-Language Models, LVLMs) 中的幻觉问题。然而，现有的无需训练 CD 方法存在次优的退化分支问题：完全丢弃视觉 token 过于极端，会诱发语言幻觉；而破坏输入图像虽能对视觉证据提供粗略控制，但由于需要两次完整的前向传播，导致推理延迟较高。为了解决这些困境，我们提出 YARD (Y-Architecture Register Decoding)，一种无需训练的解码框架。基于观察到可靠的文本到视觉定位主要出现在中间解码器层，YARD 通过共享浅层计算并在此关键阶段精确分支，在内部构建退化分支。对于退化分支，YARD 用寄存器 token 替换块级视觉 token，这些 token 保留了全局图像语义，但缺乏细粒度的局部证据。这种感知图像但局部定位不足的设计提供了忠实的对比信号，且避免了极端的模态不匹配；同时，Y 架构严格避免了昂贵的前向传播。在生成式和判别式幻觉基准上的广泛实验表明，YARD 在多个大型视觉 - 语言模型上始终实现了最先进的幻觉缓解，同时显著降低了推理延迟。

Contrastive decoding (CD) seeks to mitigate hallucinations in Large Vision-Language Models (LVLMs) by contrasting the output distributions of a standard model and a visually degraded model. However, existing training-free CD methods suffer from sub-optimal degraded branches: completely dropping visual tokens is too extreme and induces language hallucinations, while corrupting input images offers coarse control over visual evidence and suffers from high inference latency due to requiring two full forward passes. To address these dilemmas, we propose YARD, a training-free Y-Architecture Register Decoding framework. Motivated by the observation that reliable text-to-vision grounding predominantly emerges in the middle decoder layers, YARD constructs the degraded branch internally by sharing shallow-layer computations and branching exactly at this critical stage. For the degraded branch, YARD replaces patch-level visual tokens with register tokens, which preserve global image semantics but lack fine-grained local evidence. This image-aware yet locally under-grounded design provides a faithful contrastive signal without extreme modality mismatch, while the Y-architecture strictly avoids a costly second forward pass. Extensive experiments on generative and discriminative hallucination benchmarks demonstrate that YARD consistently achieves state-of-the-art hallucination mitigation across multiple LVLMs, alongside a significant reduction in inference latency.

评分理由: The paper focuses on Large Vision-Language Models (MLLM, MultiModal) for hallucination mitigation, hence high scores for these categories. It involves token manipulation (Tokenizer) and visual features (Visual Encoder), but these are secondary to the decoding architecture. Unify Models is moderately relevant due to the unified nature of LVLMs. World Models and model-based RL are unrelated to this inference-time decoding approach.

Hallucination Mitigation, Large Vision-Language Models, Y-Architecture, Register Decoding, Contrastive Decoding, Inference Latency, Training-free

Chinese Title: YARD：Y-架构寄存器解码用于高效缓解大型视觉语言模型中的幻觉

Summary: 大型视觉语言模型（LVLMs）常产生与视觉内容不一致的幻觉。现有对比解码方法通过对比标准模型与视觉退化模型的输出分布来缓解幻觉，但存在退化分支设计不佳的问题：完全丢弃视觉令牌会导致语言先验幻觉，而像素级退化则无法精确破坏局部视觉证据且推理延迟高。本文提出YARD，一种训练免费的Y-架构寄存器解码框架。基于中间层是视觉证据转移关键窗口的观察，YARD在解码器中间层分支，共享浅层计算；退化分支用寄存器令牌替换补丁级视觉令牌，保留全局语义但缺乏细粒度局部证据，从而提供图像感知但局部欠扎根的对比信号。YARD避免完整第二次前向传播，显著降低推理延迟。在生成式和判别式幻觉基准上的实验表明，YARD在多个LVLMs上持续达到最先进的幻觉缓解效果，同时大幅减少推理时间。

Innovations:

• 提出基于寄存器令牌的特征级退化方法，构建图像感知但局部欠扎根的对比分支，无需破坏视觉输入。
• 通过分析跨模态信息流，确定中间解码层为构建退化分支的关键窗口，并设计Y-架构共享浅层计算。
• 实现训练免费的对比解码框架，避免完整第二次前向传播，显著提升推理效率。
• 在多个LVLMs和基准上取得一致的幻觉缓解效果，证明方法的通用性。

Methodology: 首先通过零干预实验和注意力可视化分析，发现视觉证据主要在中间解码层转移到文本侧，确定分支位置。然后利用Vision Transformer中的寄存器令牌（通过sink-shift重定向异常激活）构建退化视觉条件，保留全局语义但去除局部细节。YARD在解码器中间层分裂为干净分支和退化分支，共享浅层计算；退化分支使用寄存器令牌替换补丁令牌，通过对比解码抑制幻觉倾向的logits。整体无需训练，仅需一次前向传播加少量额外计算。

Key Results:

• 在生成式幻觉基准（如POPE、MME）和判别式基准上，YARD相比现有对比解码方法（如VCD、DoLa）持续降低幻觉率。
• YARD在多个LVLM架构（如LLaVA、Qwen-VL）上均有效，证明其通用性。
• 推理延迟相比需要两次完整前向传播的方法（如VCD）显著降低，接近单次前向传播的延迟。
• 寄存器退化分支比文本-only或像素级退化分支提供更纯净的对比信号。

Tech Stack:

• 对比解码（Contrastive Decoding）
• Vision Transformer (ViT) 及其寄存器令牌（Register Tokens）
• 注意力机制与跨模态信息流分析
• 零干预分析（Zero-out Intervention）
• sink-shift技术（重定向异常激活）
• Y-架构（共享浅层、中间层分支）

Strengths:

• 训练免费，无需额外训练数据或模型微调，易于部署。
• 通过特征级退化精确控制视觉证据，避免像素级退化的粗粒度问题。
• Y-架构共享计算，显著降低推理延迟，实用性强。
• 基于深入的分析（中间层关键窗口、寄存器特性）设计，理论动机清晰。
• 在多个模型和基准上验证了通用性和有效性。

Limitations:

• 中间层分支位置可能依赖于具体模型架构，需要针对不同LVLM进行微调或验证。
• 寄存器令牌的构造（sink-shift）可能引入少量额外计算，尽管整体仍高效。
• 方法主要针对幻觉缓解，未探索对其他生成质量（如多样性、连贯性）的影响。
• 实验仅在特定LVLM系列上进行，对更广泛的多模态模型（如原生多模态大模型）的适用性有待验证。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究LVLMs，属于原生多模态大模型范畴，但未涉及理解与生成一体化（如Emu、CogView等），而是聚焦幻觉缓解。
• 表征学习：寄存器令牌作为视觉表征的一种形式，用于构建退化分支，涉及表征学习中的特征级操作。
• 世界模型：间接相关，因为对比解码需要模型对视觉世界有内部表征，但论文未明确构建世界模型或进行模型基RL。
• 强化学习/后训练：论文方法为训练免费，不涉及强化学习或后训练阶段，相关性较弱。
• Unify Models：论文未涉及统一模型（如统一视觉和语言生成），但Y-架构可视为一种统一计算路径的设计。

上下文定位（ICL）旨在根据查询图像中的一组少量支持示例来定位目标对象，无需训练或参数更新即可即时执行。尽管视觉 - 语言模型（VLMs）取得了快速进展，实现类别无关且基于视觉证据的上下文定位（ICL）仍然是一个开放问题，而这一能力对于图像编辑、个性化视觉搜索及检索等应用至关重要。现有方法较为脆弱，且依赖于显式类别监督，这不仅限制了其在具有未命名或特定实例对象的现实场景中的适用性，还引入了类别偏差，导致预测偏向于语义先验而非视觉证据。我们提出了一种两阶段训练框架，该框架在不依赖类别监督的情况下，显式优化支持边界框与查询图像之间的上下文注意力。我们进一步利用强化学习，采用组相对策略优化（GRPO）来优化定位，以直接最小化定位误差。该框架强调视觉对应关系而非语义先验，从而实现了鲁棒的实例级定位。实验结果表明，采用我们的目标训练的 7B 参数模型优于高达 72B 参数的模型，这表明上下文感知定位目标的效果可以超越单纯扩大规模。全面的消融实验验证了各组件的贡献。

In-context localization (ICL) seeks to localize a target object specified by a small set of support examples in a query image, operating on the fly without training or parameter updates. Despite rapid advances in vision-language models (VLMs), achieving category-agnostic and visually grounded ICL remains an open problem, even though it is essential for applications such as image editing, personalized visual search, and retrieval. Existing methods are fragile and rely on explicit category supervision, which not only limits applicability in realistic settings with unnamed or instance-specific objects but also introduces category bias that steers predictions toward semantic priors rather than visual evidence. We introduce a two-stage training framework that explicitly optimizes in-context attention between support bounding boxes and query images without category supervision. We further refine localization via reinforcement learning using Group Relative Policy Optimization (GRPO) to directly minimize localization error. This formulation enforces visual correspondence over semantic priors, yielding robust instance-level localization. Empirically, a 7B-parameter model trained with our objectives outperforms models up to 72B parameters, demonstrating that context-aware localization objectives can surpass scaling alone. Comprehensive ablations validate the contribution of each component.

评分理由: 论文核心在于利用强化学习（Policy Optimization）和视觉支持约束进行上下文对象定位，属于多模态大模型（MLLM）应用，因此 MultiModal 和 MLLM 得分较高。视觉编码器作为 VLM 基础组件隐含其中。论文未明确涉及 Tokenizer 设计、世界模型构建或模型统一架构，故相关度较低。虽使用强化学习，但主要为策略优化，与严格意义上的 model-based RL 有一定关联但非核心。作者列表中不包含指定的专家，无额外加分。

In-context Localization, Visual Support Constraints, Policy Optimization, Reinforcement Learning, Vision-Language Models, Object Localization, Visual Grounding

Chinese Title: FOCUS: 通过视觉支持约束和策略优化强制上下文目标定位

Summary: 论文针对视觉语言模型（VLM）在上下文目标定位（ICL）中依赖类别标签导致语义偏差的问题，提出了一种纯视觉驱动的两阶段训练框架FOCUS。第一阶段通过优化支持图像边界框与查询图像之间的注意力图，强制模型关注视觉对应关系而非语义先验；第二阶段采用组相对策略优化（GRPO）直接最小化边界框对齐误差，进一步细化定位。实验表明，仅7B参数的模型即可超越72B参数的大模型，证明上下文感知的定位目标可以超越单纯规模扩展。消融实验验证了各组件的有效性。该方法无需类别监督，实现了类别无关的实例级定位，适用于图像编辑、个性化搜索等场景。

Innovations:

• 提出类别无关的纯视觉上下文定位框架，完全移除支持图像和查询中的类别名称，消除语义偏差。
• 引入注意力图优化损失，强制模型在支持图像和查询图像之间聚焦于最相关的视觉区域。
• 采用GRPO强化学习奖励机制，直接优化边界框预测的定位误差，提升对齐精度。
• 通过两阶段训练（注意力优化+策略优化）实现鲁棒的实例级定位，无需参数更新或微调。
• 在7B参数模型上超越72B参数模型，证明上下文定位目标比单纯扩大规模更有效。

Methodology: 论文采用两阶段训练框架。第一阶段：基于多模态自回归模型（如Qwen2-VL），输入支持图像及其边界框、查询图像，通过交叉熵损失训练模型预测查询边界框，同时引入注意力损失（Attention Loss）约束模型对查询图像和支持图像中相关区域的注意力权重，增强视觉对应。第二阶段：使用GRPO（组相对策略优化）进行强化学习，以预测边界框与真实边界框的IoU（交并比）作为奖励信号，直接优化定位精度。训练过程中完全去除类别标签，仅依赖视觉支持示例。

Key Results:

• FOCUS模型（7B参数）在多个基准测试上超越IPLoc等基线方法，甚至优于72B参数的大模型。
• 去除类别名称后，模型注意力从类别令牌转向视觉令牌，但单纯去除类别会导致注意力分散；FOCUS的注意力损失使注意力集中到目标区域。
• GRPO优化进一步提升了边界框预测的IoU，减少了定位误差。
• 消融实验表明，注意力损失和GRPO奖励各自贡献显著，两者结合效果最佳。
• 模型在未见类别和无名对象上表现出良好的泛化能力，验证了纯视觉推理的有效性。

Tech Stack:

• 多模态自回归模型（如Qwen2-VL）
• 注意力图优化（Attention Map Optimization）
• 组相对策略优化（Group Relative Policy Optimization, GRPO）
• 交叉熵损失（Cross-Entropy Loss）
• 交并比（IoU）作为奖励信号
• 边界框参数化（bounding box parameterization）
• 视觉-语言模型（VLM）

Strengths:

• 彻底消除类别偏差，实现真正的视觉驱动上下文定位。
• 两阶段训练设计合理，注意力优化与强化学习互补，有效提升定位精度。
• 小模型（7B）超越大模型（72B），证明方法高效且可扩展。
• 无需类别标签，适用于无名对象和实例级定位，实用性强。
• 实验分析深入，通过注意力可视化揭示了现有模型的失败原因，动机充分。

Limitations:

• 依赖支持图像中的边界框标注，在无标注场景下无法直接应用。
• 当前仅支持单目标定位，多目标或复杂场景的扩展性未验证。
• GRPO训练可能对超参数敏感，需要仔细调优。
• 模型在极端外观变化或遮挡情况下可能仍存在定位失败，论文未充分讨论。
• 仅基于视觉对应，对于需要语义理解的定位任务（如抽象概念）可能不适用。

Relevance To Keywords:

• Unify Models: 论文提出的FOCUS框架统一了视觉推理与强化学习，属于多模态模型统一方向。
• World Models: 通过上下文示例进行推理，可视为构建视觉世界模型的一部分。
• Representation Learning: 注意力优化和GRPO促进了视觉表征的实例级对齐。
• Model-Based RL: GRPO是一种基于模型的强化学习方法，用于优化定位策略。
• 原生多模态大模型: 基于Qwen2-VL等原生多模态大模型进行训练和推理。
• 多模态大模型的理解和生成一体化: 论文聚焦于理解（定位）任务，但框架可扩展至生成。
• 强化学习，后训练: GRPO作为后训练阶段，直接优化定位性能。

幻觉仍是削弱大视觉 - 语言模型（LVLMs）可靠性的关键挑战之一。那么，是什么能让 LVLM 减少幻觉呢？许多现有工作专注于改进模型的内部组件。我们认为，幻觉从根本上源于模型架构的设计方式。为此，我们将架构设计分解为三个维度：语言基础（Linguistic Foundation, LF）、视觉表征（Visual Representation, VR）和语义对齐（Semantic Alignment, SA），并将幻觉分为共现型、相似型以及先前被忽视的不确定性型。基于此框架，我们提出 CoSimUE 基准，该基准通过受控文本扰动和随机扰动创建细粒度的幻觉场景，从而实现设计选择与幻觉行为之间的映射。针对 7 个设计方面的实验表明：1）广泛强调的模型参数扩展对减少这三种幻觉类型的影响有限；2）更大且训练更优的语言基础可减少共现型幻觉；3）更强的视觉编码器和更高的分辨率可减轻相似性错误；4）有效的对齐策略可缓解不确定性幻觉。5）此外，跨维度分析表明，同时提升视觉保真度与对齐质量能带来最全面的改进。本研究首次系统性地探索了架构层面设计与幻觉鲁棒性之间的联系，为开发可靠且高效的大视觉 - 语言模型提供了实用指导。

Hallucination remains one of the key challenges undermining the reliability of Large Vision-Language Models (LVLMs). But what makes an LVLM hallucinate less? Many existing efforts focus on improving internal components of the model. We argue that hallucination fundamentally stems from how the model architecture is designed. To investigate this, we factor the architecture design into three dimensions: Linguistic Foundation (LF), Visual Representation (VR), and Semantic Alignment (SA), and categorize hallucinations into Co-occurrence, Similarity, and previously overlooked Uncertainty types. Building on this formulation, we propose CoSimUE, a benchmark that creates fine-grained hallucination scenarios through controlled textual perturbations and random perturbations, enabling mapping between design choices and hallucination behaviors. Experiments across 7 design aspects show that: 1) the widely emphasized scaling of model parameters has only limited impact on reducing all three types of hallucinations; 2) larger and better-trained language foundations can reduce co-occurrence hallucinations; 3) stronger visual encoders and higher resolutions mitigate similarity errors; 4) effective alignment strategies alleviate uncertainty hallucinations. 5) Furthermore, cross-dimensional analysis reveals that jointly enhancing visual fidelity and alignment quality yields the most comprehensive improvements. This study provides the first systematic exploration linking architecture-level design to hallucination robustness, offering practical guidance for developing reliable and efficient LVLMs.

评分理由: The paper focuses on Large Vision-Language Models (LVLMs/MLLM) and their multimodal nature, hence high scores (8.0) for MLLM, MultiModal, and Visual Encoder (explicitly discussed as a factor for similarity errors). It does not discuss Tokenizers, World Models, or Model-Based RL, resulting in low scores (1.0). While it unifies architectural dimensions, 'Unify Models' as a specific paradigm is not the core focus, hence a moderate score (4.0). Total weighted score is 46.5, exceeding the dynamic pass score of 27.8. No listed expert authors were found, so no bonus was applied.

LVLMs, Hallucination, Architectural Factors, Visual Representation, Semantic Alignment, Linguistic Foundation, Model Architecture

Chinese Title: 什么让大型视觉语言模型更少幻觉？揭示架构因素对幻觉鲁棒性的影响

Summary: 本文系统探究了大型视觉语言模型（LVLM）的架构设计如何影响其幻觉鲁棒性。作者将架构设计分解为三个维度：语言基础（LF）、视觉表示（VR）和语义对齐（SA），涵盖7个设计方面。同时，将幻觉类型扩展为三类：共现幻觉、相似性幻觉和此前被忽视的不确定性幻觉。为此，提出了CoSimUE基准，通过受控文本扰动和随机图像扰动生成细粒度幻觉场景，并引入多裁判框架量化不确定性。实验表明：模型参数规模对减少三种幻觉效果有限；更大、训练更好的语言基础可减少共现幻觉；更强的视觉编码器和更高分辨率可缓解相似性错误；有效的对齐策略可降低不确定性幻觉；联合增强视觉保真度和对齐质量能带来最全面的改进。本研究首次系统连接架构级设计与幻觉鲁棒性，为开发可靠高效的LVLM提供实践指导。

Innovations:

• 将LVLM架构设计空间分解为三个正交维度（语言基础、视觉表示、语义对齐），涵盖7个关键方面，提供系统分析框架。
• 引入不确定性幻觉作为新类别，补充了传统的共现和相似性幻觉分类，形成统一的三类幻觉框架。
• 提出CoSimUE基准，通过受控文本扰动和随机图像扰动生成细粒度幻觉场景，首次实现三类幻觉的统一评估。
• 建立综合评估协议，引入多裁判框架量化不确定性幻觉，并系统分析架构设计对各类幻觉的影响，揭示跨维度相关性。

Methodology: 论文采用以下技术路线：1）从MSCOCO数据集选取500张图像，使用GPT-5生成共现词，构建文本扰动；2）以FLUX作为图像生成骨干，通过两条独立路径生成共现幻觉图像（文本扰动）和相似性幻觉图像（随机小扰动）；3）设计不确定性导向问题（无正确答案），构建包含1012张图像和1124个问题的CoSimUE基准；4）采用多裁判框架评估模型的不确定性分数；5）在7个设计方面（参数规模、网络结构、训练机制、视觉编码器、分辨率、对齐程度、数据质量）进行实验，分析各类幻觉表现。

Key Results:

• 模型参数规模对减少共现、相似性和不确定性三种幻觉的影响有限。
• 更大、训练更好的语言基础可有效减少共现幻觉。
• 更强的视觉编码器和更高分辨率可显著缓解相似性错误。
• 有效的语义对齐策略（如高质量指令微调）可降低不确定性幻觉。
• 联合增强视觉保真度和对齐质量能带来最全面的幻觉减少效果。

Tech Stack:

• GPT-5（用于生成共现词和文本扰动）
• FLUX（图像到图像生成骨干，用于创建扰动图像）
• MSCOCO数据集（原始图像来源）
• CoSimUE基准（自定义评估数据集）
• 多裁判框架（用于量化不确定性分数）
• 受控文本扰动和随机图像扰动技术

Strengths:

• 首次系统性地从架构级设计角度研究LVLM幻觉，填补了现有研究空白。
• 提出了新的不确定性幻觉类别，完善了幻觉分类体系。
• 构建了统一基准CoSimUE，能够同时评估三类幻觉，且通过受控扰动生成自然编辑，评估更可靠。
• 实验覆盖7个设计方面，分析全面，并揭示了跨维度联合优化的价值。

Limitations:

• 基准规模有限（1012张图像、1124个问题），可能不足以覆盖所有场景。
• 依赖特定图像生成模型（FLUX），生成质量可能影响评估结果。
• 未涵盖所有可能的架构变体（如不同视觉编码器类型、对齐策略组合等）。
• 不确定性评估的多裁判框架可能存在主观性，缺乏客观标准。
• 研究主要基于MSCOCO数据集，领域泛化性有待验证。

Relevance To Keywords: 论文研究LVLM架构设计对幻觉的影响，涉及视觉表示、语义对齐等表征学习相关概念，与“原生多模态大模型”和“表征学习”高度相关。但论文未直接涉及世界模型、强化学习或后训练，相关性中等。其方法论中使用的GPT-5和FLUX属于生成模型，与“多模态大模型的理解和生成一体化”有一定关联。

文本智能体环境通常被建模为部分可观测马尔可夫决策过程（POMDPs），假设模拟器的潜在状态和转移动力学对智能体是隐藏的。然而，很少有工作研究是否可以通过诱导可执行代码来作为部分可观测性下的世界模型，用于预测和规划。我们引入了 PatchWorld，这是一个无梯度框架，通过基于反例的代码修复将离线轨迹转化为可执行的 Python 世界模型。与使用黑盒模型预测下一个观测不同，PatchWorld 诱导生成符号信念状态程序，其动作更新可以被检查、重放和局部修补。在七个 AgentGym 环境中，PatchWorld-Simple 在评估方法中实现了最高的基于代码的规划分数，在实时单步 lookahead 中达到 76.4% 的宏观成功率，且在世界模型预测模块内部未调用任何 LLM。我们进一步发现，人类指定的残差记忆偏差提高了表面观测保真度，但削弱了决策效用。这揭示了可执行世界模型中的一种权衡，因为提高观测保真度可能会以牺牲动作区分性动力学为代价，反之亦然。代码可在 https://github.com/HKBU-KnowComp/PatchWorld 获取。

Text-agent environments are typically modeled as partially observable Markov decision processes (POMDPs), assuming that the simulator's latent state and transition dynamics are hidden from the agent. Yet little work has examined whether executable code can be induced to serve as a world model for prediction and planning under partial observability. We introduce PatchWorld, a gradient-free framework that turns offline trajectories into executable Python world models through counterexample-guided code repair. Instead of predicting the next observation with a black-box model, PatchWorld induces symbolic belief-state programs whose action updates can be inspected, replayed, and locally patched. Across seven AgentGym environments, PatchWorld-Simple achieves the highest code-based planning score among evaluated methods, reaching 76.4\% macro success in live one-step lookahead while invoking no LLM calls inside the world-model prediction module itself. We further find that a human-specified residual-memory bias improves surface observation fidelity but weakens decision utility. This exposes a tradeoff in executable world models, since improving observation fidelity can come at the expense of action-discriminative dynamics, and vice versa. Code is available at https://github.com/HKBU-KnowComp/PatchWorld.

评分理由: Core topics 'World Models' and 'model-based RL' are highly relevant as the paper focuses on executable code for planning in POMDPs. 'MLLM' is moderately related via text-agent context. 'Unify Models', 'Tokenizer', 'Visual Encoder', and 'MultiModal' are less relevant as the work emphasizes code synthesis over multimodal architecture. No matching expert authors found.

Executable World Models, Gradient-Free Optimization, Counterexample-Guided Code Repair, Symbolic Belief-State Programs, AgentGym Environments, Partial Observability, Code-Based Planning

Chinese Title: PatchWorld：可执行世界模型的无梯度优化

Summary: 论文针对文本智能体环境中的部分可观测马尔可夫决策过程（POMDP），提出了一种无梯度框架PatchWorld，通过反例引导的代码修复，将离线轨迹转化为可执行的Python世界模型。该模型包含显式的符号信念状态、转移规则、校正逻辑和渲染逻辑，支持检查、重放和局部修补。在七个AgentGym环境上的实验表明，PatchWorld-Simple在基于代码的规划得分上达到最高（76.4%宏平均成功率），且世界模型预测模块内部不调用LLM。论文还发现，人为指定的残差记忆偏差能提高表面观测保真度，但会削弱决策效用，揭示了可执行世界模型中观测重建与规划效用之间的权衡。

Innovations:

• 识别了代码基础文本世界建模的关键挑战：在部分可观测性下，有限轨迹可精确重放但不揭示泛化所需的紧凑潜在状态规则。
• 提出PatchWorld无梯度框架，利用LLM作为符号优化器，通过反例引导的归纳合成（CEGIS）生成并修复可执行的信念状态程序。
• 引入残差记忆变体，将人类指定的文本状态证据作为归纳偏置，而非无约束缓存，在保持可执行动态的同时提升重建保真度。
• 揭示了观测重建与规划效用之间的帕累托前沿，证明两者可能相互冲突，并提供了诊断分析。

Methodology: PatchWorld采用生成式优化方法：首先利用LLM从离线轨迹合成初始Python程序，包含信念状态、转移规则、校正逻辑和渲染逻辑；然后通过重放程序与轨迹，将预测失败转化为具体反例，再让LLM提出候选补丁；补丁仅当提升形式化重放保真度时才被接受，形成类似CEGIS的迭代循环。整个过程无梯度更新，依赖离散搜索。残差记忆变体在渲染逻辑中引入受约束的检索记忆，以保留高置信度表面细节。

Key Results:

• 在七个AgentGym环境中，PatchWorld-Simple在基于代码的实时一步前瞻规划中达到76.4%宏平均成功率，且世界模型预测模块不调用LLM。
• PatchWorld-Residual在代码基础模型中取得最高观测保真度，但规划得分低于PatchWorld-Simple。
• 实验证实了观测重建与规划效用之间的权衡：提高表面保真度可能降低动作区分性动态，反之亦然。
• 与LLM-based世界模型（如Word2World）相比，PatchWorld在规划效用上具有竞争力，且无需在线交互或微调。

Tech Stack:

• Python程序合成
• 反例引导的归纳合成（CEGIS）
• LLM（大语言模型）作为符号优化器
• 部分可观测马尔可夫决策过程（POMDP）建模
• 信念状态表示与更新
• 重放验证与文本损失函数
• 残差记忆机制（受约束的检索缓存）

Strengths:

• 提出了一种新颖的无梯度、可解释的世界模型构建方法，输出可检查、可局部修复的代码。
• 有效处理了部分可观测性下的非可识别性问题，通过归纳偏置和反例引导避免过拟合。
• 在多个环境上实现了高规划效用，且世界模型内部不依赖LLM调用，具有效率优势。
• 揭示了观测重建与规划效用之间的根本权衡，为世界模型设计提供了理论视角。

Limitations:

• 依赖LLM进行初始合成和补丁生成，可能引入随机性和成本。
• 仅适用于确定性或近似确定性的环境，对固有随机性环境（如Wordle）的精确预测受限。
• 残差记忆变体需要人工指定偏置，可能限制自动化程度。
• 实验仅在AgentGym环境上进行，泛化性有待验证。

Relevance To Keywords:

• World Models: 论文核心是构建可执行世界模型，用于预测和规划。
• Representation Learning: 通过符号信念状态学习环境动态的紧凑表示。
• Model-Based RL: 世界模型支持基于模型的规划（如一步前瞻），属于模型基强化学习范畴。
• Unify Models: 论文未直接涉及多模态统一，但可执行世界模型的思想可扩展至多模态环境。
• 原生多模态大模型: 论文使用LLM作为合成器，但世界模型本身是符号程序，与原生多模态大模型方向关联较弱。

大型视觉 - 语言模型（LVLMs）已展现出强大的通用多模态能力，并日益被部署于下游系统中。这一趋势引发了对 LVLMs 个性化的日益增长的兴趣，其目标是使模型能够快速有效地学习分布外多模态概念，以满足用户特定需求。然而，许多现有方法依赖于推理时训练，这降低了效率。此外，它们在复杂的多图像、多概念场景下也难以保持准确性。这些局限性限制了基于 LVLMs 系统的更广泛部署。因此，本文提出了上下文提示微调（ICPT）。具体而言，ICPT 采用了一个轻量级投影模块，该模块能够在复杂场景中运行，从多个参考图像中提取细粒度视觉语义，并将这些特征连同身份 - 标签映射无缝转换为连续提示。为了最大化计算效率，该模块根据每个概念的内在视觉复杂性自适应地确定提示长度。至关重要的是，为了克服现实应用中普遍存在的环境偏差和跨概念干扰，本文引入了两种新颖的几何正则化。这些约束通过解耦关键身份与瞬态环境状态以及分离概念以避免语义混淆，从而细化提示表示。广泛实验表明，ICPT 在多样任务和不同 LVLMs 骨干网络上均实现了最先进的个性化准确率。

Large vision-language models (LVLMs) have demonstrated strong general multimodal capability and are increasingly deployed in downstream systems. This trend has driven growing interest in LVLM personalization, which aims to enable models to quickly and effectively learn out-of-distribution multimodal concepts to meet user-specific needs. However, many existing methods rely on inference-time training, which reduces efficiency. They also struggle to maintain accuracy in complex multi-image, multi-concept settings. These limitations restrict the broader deployment of LVLM-based systems. Therefore, this paper proposes in-context prompt tuning (ICPT). Specifically, ICPT employs a lightweight projection module capable of operating in complex scenarios to extract fine-grained visual semantics from multiple reference images, seamlessly transforming these features alongside identity-label mappings into continuous prompts. To maximize computational efficiency, this module adaptively determines the prompt length based on the intrinsic visual complexity of each concept. Crucially, to overcome the environmental biases and cross-concept interference prevalent in real-world applications, we introduce two novel geometric regularizations. These constraints refine prompt representations by decoupling key identities from transient environmental states and separating concepts to avoid semantic confusion. Extensive experiments show that ICPT achieves state-of-the-art personalization accuracy across diverse tasks and LVLM backbones.

评分理由: 该论文主要研究大视觉语言模型（LVLMs）的个性化问题，提出上下文提示调优（ICPT）方法。与 MLLM 和多模态领域高度相关，因此评分较高；涉及视觉特征提取，与 Visual Encoder 有一定关联。但论文未涉及模型统一架构、Tokenizer 设计、世界模型或强化学习，故这些关键词相关性低。作者列表中不包含指定的专家成员。

In-context Prompt Tuning, Large Vision-language Models, Visual Semantics, Continuous Prompts, Geometric Regularizations, Multimodal Personalization, Reference Images

Chinese Title: 用上下文提示调优个性化你的大型视觉语言模型

Summary: 本文提出了一种名为上下文提示调优（ICPT）的方法，用于实现大型视觉语言模型（LVLM）的个性化。ICPT的核心是自适应概念投影器（ACP），它直接从LVLM内置的视觉编码器中提取多尺度层次特征，通过交叉注意力模块和MLP将多个参考图像的视觉信息转换为连续的上下文提示和对应的标签嵌入。为了平衡表示能力与推理效率，ACP引入了动态令牌路由机制，根据概念的视觉复杂度自适应分配提示长度。此外，针对真实场景中的环境偏差和跨概念干扰，论文提出了两种几何正则化约束：上下文变化记忆（CVM）将提示投影到与状态无关的子空间，间隔约束概念分离（MCS）在视觉令牌和文本锚点之间施加软间隔以分离身份。实验表明，ICPT在多种任务和LVLM骨干网络上均取得了最先进的个性化精度，且无需推理时训练。

Innovations:

• 提出自适应概念投影器（ACP），利用LVLM内置视觉编码器提取多尺度层次特征，生成连续提示和标签嵌入，无需外部辅助模型。
• 引入动态令牌路由机制（DTR），根据概念视觉复杂度自适应分配提示长度，兼顾表示能力与推理效率。
• 提出上下文变化记忆（CVM），通过记忆队列解耦身份特征与瞬态环境状态，增强提示的鲁棒性。
• 提出间隔约束概念分离（MCS），在视觉令牌和文本锚点间施加双模态软间隔，防止多概念语义混淆。
• 实现端到端训练，无需推理时训练或词汇扩展，支持多概念、多图像复杂场景的实时个性化。

Methodology: 本文采用以下技术路线：首先，利用LVLM内置的视觉编码器（如ViT）提取参考图像的多层特征，通过通道拼接和线性投影融合为统一表示。然后，使用可学习的潜在查询与融合特征进行交叉注意力计算，再经MLP生成连续提示和标签嵌入。动态令牌路由根据视觉复杂度选择提示长度。训练阶段引入上下文变化记忆（CVM）维护环境变化队列，通过投影约束使提示位于状态不变子空间；同时使用间隔约束概念分离（MCS）在视觉和文本模态上施加余弦相似度软间隔损失。整体框架在精心构建的数据集上端到端优化，冻结LVLM主干，仅训练ACP及相关模块。

Key Results:

• 在单概念和多概念设置下，ICPT在四个常见个性化任务上均达到最先进精度。
• 在四个不同规模和骨干的LVLM（如LLaVA、InternVL等）上验证了方法的泛化性。
• 相比ICL和现有方法（如MyVLM、PLVM），ICPT在复杂多图像、多概念场景中表现更稳定、准确。
• 动态令牌路由有效降低了推理时的令牌数量，同时保持或提升了性能。
• 消融实验证实CVM和MCS对提升身份解耦和抗干扰能力有显著贡献。

Tech Stack:

• 视觉编码器：Vision Transformer (ViT) 用于CLIP
• 特征融合：通道拼接 + 线性投影 (W_fuse)
• 交叉注意力模块 (Cross-Attention)
• 多层感知机 (MLP)
• 动态令牌路由 (Dynamic Token Router)
• 上下文变化记忆 (Contextual Variation Memory) - 队列 + 投影约束
• 间隔约束概念分离 (Margin-constrained Concept Separation) - 余弦相似度软间隔损失
• 端到端训练策略

Strengths:

• 无需推理时训练，显著提升效率，适合实时部署。
• 支持多概念、多图像复杂场景，克服了现有方法在简单任务上的局限。
• 利用LVLM内置编码器，无需额外辅助模型（如分割器或独立视觉编码器），降低系统复杂度。
• 动态令牌路由自适应分配长度，平衡表示能力与计算开销。
• 提出的两种正则化约束有效解决了环境偏差和跨概念干扰问题。
• 在多个LVLM骨干上验证了通用性，具有实际应用价值。

Limitations:

• 训练数据需要精心构建，可能依赖特定数据分布，泛化到未见过的概念类型需进一步验证。
• 动态令牌路由的视觉复杂度度量标准未详细说明，可能引入额外超参数。
• 当前实验规模有限，未探讨大规模概念（如数百个）下的扩展性。
• 方法依赖于LVLM内置视觉编码器的质量，若编码器本身对细粒度特征提取不足，可能影响性能。
• 未与基于后训练（如PVIT）的方法在同等计算成本下进行公平比较。

Relevance To Keywords:

• 原生多模态大模型：论文直接针对LVLM（如LLaVA、InternVL）进行个性化，属于多模态大模型研究。
• 表征学习：ACP通过多尺度特征提取和交叉注意力学习概念的表征，CVM和MCS优化表征的鲁棒性和解耦性。
• 世界模型：虽然论文未直接涉及世界模型，但个性化可视为模型对特定环境（用户私有概念）的适应，与构建个性化世界模型相关。
• 模型基于强化学习/后训练：论文采用端到端训练（后训练的一种形式），但未使用强化学习；其训练策略属于轻量级后训练。
• 多模态大模型的理解和生成一体化：ICPT使LVLM能理解个性化概念并在生成中正确使用，体现了理解与生成的一体化。

最近，得益于多模态大语言模型（Multimodal-LLMs）的出现，深度伪造检测器不仅致力于具备泛化能力，还追求可解释性。我们提出，这两个挑战可以有效联合解决，因为可描述的伪影通常具有更好的泛化能力，从而为将语言用作正则化机制打开了可能性。由于深度伪造检测通常面临过拟合于低级别领域特定伪影的问题，我们的直觉是，经过语言预训练的大语言模型（LLM）会更倾向于那些能被更好描述的高级别伪影。这样，我们可以在可能的情况下使用高级别特征，同时在必要时训练模型使用低级别特征。我们采用了一种双编码器架构，将一个冻结的专家检测器与一个经 LoRA 微调的多模态大语言模型（MLLM）编码器配对，并采用两阶段训练课程：首先，一个二值对齐阶段证明了 MLLMs 的内在能力可以有效结合特征，以缓解对数据集特定伪影的过拟合。为了进一步增强泛化能力并实现可解释性，我们采用了一个强化学习阶段，鼓励模型在分类前生成描述性推理，仅使用二值标签。通过奖励这种“先解释后分类”的行为，我们明确激励模型优先考虑高级别、鲁棒特征。关键的是，这一过程既生成了可解释的描述，又进一步提升了跨数据集性能，即使在推理时省略了推理链。在基准数据集上的广泛实验验证了我们的方法，其性能大幅超越了最先进的方法。

Recently, thanks to the advent of Multimodal-LLMs, deepfake detectors are striving not only to be generalizable but also interpretable. We propose that these two challenges can effectively be tackled jointly, since describable artifacts typically generalize better, opening the possibility to use language as a regularization mechanism. Since deepfake detection generally suffers from overfitting to low-level domain-specific artifacts, our intuition is that an LLM that has been pretrained on language would prefer high-level artifacts that can be described better. This way, we can use high-level features where possible, while training the model to use low-level features where necessary. We utilize a dual-encoder architecture, pairing a frozen specialist detector with a LoRA-tuned MLLM encoder, and a two-stage training curriculum: first, a binary alignment phase demonstrates that the intrinsic capability of MLLMs can effectively combine features to mitigate overfitting to dataset-specific artifacts. To further bolster generalization and achieve interpretability, we employ a reinforcement learning stage that encourages the model to generate descriptive reasoning before classifying, using only binary labels. By rewarding this "explain-then-classify" behavior, we explicitly incentivize the model to prioritize high-level, robust features. Crucially, this process yields both interpretable descriptions and a further boost in cross-dataset performance, even when reasoning chains are omitted at inference. Extensive experiments on benchmark datasets validate our approach, outperforming state-of-the-art methods by a large margin.

评分理由: 论文核心在于利用多模态大模型（MLLM）正则化深度伪造检测器，因此 MLLM 和多模态相关性最高。采用双编码器架构统一检测与语言推理，故 Unify Models 和 Visual Encoder 有一定关联。使用了强化学习阶段，但非典型的基于模型的强化学习，故相关性中等。Tokenizer 和世界模型未在摘要中提及，相关性低。

Deepfake Detection, Multimodal-LLM, Language Regularization, Reinforcement Learning, Interpretability, Generalization, Dual-Encoder, Explain-then-classify

Chinese Title: 语言训练深度伪造检测器的正则化能力

Summary: 本文针对深度伪造检测中模型过拟合于数据集特定伪影、泛化性差且缺乏可解释性的问题，提出一种利用语言训练作为正则化机制的统一框架。作者采用双编码器架构，将冻结的专业深度伪造检测器与LoRA微调的多模态大语言模型（MLLM）编码器结合，通过两阶段训练：首先进行二进制对齐监督微调（SFT），使MLLM融合专业与通用特征；随后引入基于组相对策略优化（GRPO）的强化学习阶段，仅以二进制标签为奖励信号，激励模型在分类前生成描述性推理（解释-然后-分类）。该方法无需人工标注的文本解释，即可同时提升跨数据集泛化性能并产生可解释描述。实验在多个基准数据集上显著超越现有方法，验证了语言训练的正则化效果。

Innovations:

• 提出双编码器架构，融合冻结的专业深度伪造检测器与LoRA微调的MLLM编码器，利用MLLM的预训练知识平衡专业与通用特征，缓解过拟合。
• 采用两阶段训练：先通过SFT实现二进制对齐，再使用GRPO强化学习，仅以二进制正确性作为奖励，激励模型生成描述性推理后再分类，从而隐式正则化特征学习。
• 无需任何语言标注，即可从纯二进制信号中学习到可解释的文本描述，同时提升跨数据集泛化能力。
• 在推理时可选择省略推理链，模型仍能保持对可描述伪影的偏好，实现灵活性与性能的平衡。

Methodology: 论文采用双编码器架构：一个冻结的预训练深度伪造检测器D提取专业特征，一个视觉-语言模型L的视觉编码器V提取通用特征，通过可学习的适配层f对齐维度后与语言特征拼接。语言模型L使用LoRA进行量化低秩微调。训练分为两阶段：第一阶段为监督微调（SFT），使用标准交叉熵损失进行二进制分类，使模型学会融合特征；第二阶段为强化学习，使用GRPO算法，对每个输入采样G个候选回答（包含描述和分类），以二进制正确性计算奖励并归一化得到优势，通过策略梯度损失鼓励正确回答，同时加入KL散度正则项防止偏离基座模型。推理时，模型可生成描述后分类，也可直接分类（省略描述）。

Key Results:

• 在跨数据集评估协议下，所提方法在多个基准数据集（如FaceForensics++、Celeb-DF、DFDC等）上显著优于现有深度伪造检测方法，包括基于频率、空间、伪伪造等方法的SOTA。
• 强化学习阶段进一步提升了跨数据集泛化性能，即使推理时省略推理链，性能仍优于仅SFT阶段。
• 模型能够生成有意义的文本描述，指出图像中的潜在伪造伪影，无需人工标注的解释数据。
• 消融实验验证了双编码器设计、LoRA微调、GRPO训练等各组件的有效性。

Tech Stack:

• 双编码器架构（专业检测器+通用视觉编码器）
• LoRA（Low-Rank Adaptation）量化微调
• GRPO（Group-Relative Policy Optimization）强化学习算法
• 因果语言模型（Causal Language Model）
• Softmax从logits中提取二进制概率
• KL散度正则化
• 监督微调（SFT）与交叉熵损失

Strengths:

• 创新性地将语言训练作为正则化手段，同时解决泛化性和可解释性两大挑战。
• 无需人工标注的文本解释，仅利用二进制标签即可学习描述性推理，降低了数据成本。
• 双编码器设计有效结合了专业检测器的领域知识和MLLM的通用表征能力，缓解过拟合。
• GRPO强化学习阶段通过采样和奖励机制，使模型自发学习高层次的、可描述的伪影特征。
• 推理时灵活选择是否生成描述，兼顾效率与可解释性。

Limitations:

• 依赖预训练的深度伪造检测器和MLLM，模型规模较大，训练和推理资源需求较高。
• 强化学习阶段需要采样多个候选回答，增加了训练时间。
• 生成的描述质量可能受限于MLLM的视觉理解能力，对于细微或新型伪影可能描述不准确。
• 实验主要在面部深度伪造数据集上进行，对其他类型（如全图生成、音频伪造）的泛化性未验证。
• 论文未深入分析语言正则化的理论机制，更多是实验验证。

Relevance To Keywords: 论文研究深度伪造检测，但核心方法涉及多模态大模型（MLLM）、强化学习后训练（GRPO）、表征学习（双编码器特征融合）以及模型正则化。与关键词“原生多模态大模型”相关，因为使用了MLLM作为核心组件；“多模态大模型的理解和生成一体化”体现在模型同时进行图像理解（分类）和文本生成（描述）；“表征学习”体现在通过双编码器学习融合特征；“世界模型”间接相关，因为深度伪造检测可视为对真实世界分布的理解；“强化学习”直接相关，使用GRPO进行后训练；“后训练”即SFT+RL的两阶段训练。整体上，论文展示了语言训练对视觉表征的正则化作用，与这些关键词有较强的关联性。

随着 arXiv 论文和企业 PDF 等大规模视觉文档语料库的持续增长，视觉文档检索受到了越来越多的关注；然而，它仍然缺乏一个可部署的系统，该系统能够对视觉文档进行词汇索引，从而在不进行神经编码的情况下大规模地服务查询。现有的方法要么使用基于 VLM（视觉语言模型）的稠密或多向量模型实现强大的检索质量，但需要在推理时进行神经查询编码；要么避免查询编码，采用基于 OCR 或标题的 BM25，代价是耗时的文本提取或生成。为了填补这一缺失的服务模式，我们提出了 V-SPLADE，一种用于视觉文档检索的无需推理的稀疏检索器。然而，此类无需推理的多模态学习稀疏检索系统仍研究不足，且在高稀疏度下尚未展现出稠密级别的有效性。我们将这一局限性归因于词汇接地问题：视觉稀疏表示往往无法捕捉嵌入在文档图像中的词汇内容。为了解决这一问题，我们引入了标题门控词元监督，这是一种仅用于训练的信号，它利用 VLM 生成的标题作为词汇线索，以激活与检索相关的词汇维度。借助这种监督，V-SPLADE 在六个视觉文档检索基准上的平均 NDCG@5 比同规模稠密基线提高了 13.8 个百分点，比基于 OCR 或标题的 BM25 基线最高提高了 6.3 个百分点。在一个 1870 万文档的语料库上，它使 R@5 超过稠密基线的两倍，并通过分数融合进一步提升了竞争检索器，R@5 最高提高了 2.4 个百分点。代码将于不久后在 https://github.com/naver/v-splade 上发布。

As large-scale visual-document corpora such as arXiv papers and enterprise PDFs continue to grow, visual-document retrieval has gained increasing attention; yet it still lacks a deployable system that lexically indexes visual documents to serve queries without neural encoding at scale. Existing methods either achieve strong retrieval quality with VLM-based dense or multi-vector models but require neural query encoding at serving time, or avoid query encoding with OCR- or caption-based BM25 at the cost of time-consuming text extraction or generation. To fill this missing serving regime, we present V-SPLADE, an inference-free sparse retriever for visual-document retrieval. However, such inference-free multimodal learned sparse retrieval systems remain underexplored and have not yet shown dense-level effectiveness under high sparsity. We attribute this limitation to a lexical grounding problem: visual sparse representations often fail to capture the lexical content embedded in document images. To address this problem, we introduce caption-gated token supervision, a training-only signal that uses VLM-generated captions as lexical cues to activate retrieval-relevant vocabulary dimensions. With this supervision, V-SPLADE improves average NDCG@5 across six visual-document retrieval benchmarks by +13.8pp over the same-scale dense baseline and by up to +6.3pp over OCR- or caption-based BM25 baselines. On an 18.7M-document corpus, it more than doubles R@5 over the same-scale dense baseline and further improves competing retrievers through score fusion by up to +2.4pp R@5. Code will be released soon at https://github.com/naver/v-splade.

评分理由: 论文核心为视觉文档检索，高度契合多模态（MultiModal）与稀疏检索（Tokenizer 相关），并利用 VLM（MLLM）生成字幕进行监督，视觉处理涉及视觉编码器。但论文未涉及模型统一架构、世界模型或强化学习，故相关度低。作者列表中不包含指定专家（Yang Shi 等）。

Visual Document Search, Inference-Free Retrieval, Sparse Retrieval, Multimodal Learning, VLM Supervision, Lexical Grounding, Production-Scale Search

Chinese Title: 面向生产级视觉文档搜索的无推理多模态学习稀疏检索

Summary: 本文针对大规模视觉文档检索（如arXiv论文、企业PDF）中缺乏可直接索引视觉文档且无需神经编码的词汇检索系统的问题，提出V-SPLADE模型。现有方法要么使用VLM密集或多向量模型但需要神经查询编码，要么依赖OCR或字幕生成但耗时。V-SPLADE是一种无推理的稀疏检索器，通过紧凑的250M视觉到稀疏编码器直接将视觉文档映射为词汇索引的稀疏表示，无需OCR或字幕生成，服务时使用倒排索引和词袋查询。为解决视觉稀疏表示难以捕获文档中词汇内容的“词汇接地”问题，作者引入字幕门控令牌监督（caption-gated token supervision），利用VLM生成的字幕作为训练信号激活相关词汇维度。在六个视觉文档检索基准上，V-SPLADE的平均NDCG@5比同规模密集基线提升13.8个百分点，比基于OCR的BM25基线提升5.7个百分点；在1870万文档语料上，R@5比同骨干密集检索器提升一倍以上。此外，V-SPLADE支持亚10毫秒精确倒排索引搜索，文档编码速度比字幕生成或OCR快20倍以上，且与密集检索器互补，通过分数融合进一步提升性能。

Innovations:

• 诊断了视觉文档稀疏检索中的词汇接地问题，即视觉稀疏表示难以从像素中激活正确的词汇维度。
• 提出字幕门控令牌监督（caption-gated token supervision），利用VLM生成的字幕作为训练信号，通过元素级乘积门控强化视觉稀疏表示中的可靠词汇证据。
• 开发V-SPLADE模型，实现无推理的多模态学习稀疏检索，直接索引视觉文档，服务时无需神经查询编码，支持倒排索引高效检索。
• 在多个基准和大型语料上验证了V-SPLADE的优越性，包括比同规模密集模型更高的召回率、更快的编码速度以及更好的语料扩展鲁棒性。
• 展示了V-SPLADE与密集检索器的互补性，通过分数融合进一步提升检索性能。

Methodology: 本文采用以下技术路线：首先，通过诊断实验（将文本渲染为图像并比较稀疏表示与源文本词袋的重叠率）揭示词汇接地问题。然后，设计V-SPLADE模型，使用ModernVBERT作为视觉编码器，通过MLM头将视觉文档映射为词汇空间的稀疏向量。训练时引入字幕门控令牌监督：将VLM生成的文档字幕通过同一编码器得到字幕稀疏向量，与图像稀疏向量进行元素级乘积（门控），仅保留两者都激活的维度作为监督信号。损失函数结合门控向量与查询的匹配损失以及稀疏性正则化。推理时仅使用图像分支，无需字幕生成。服务端使用倒排索引存储文档稀疏向量，查询端使用词袋权重（如Li-LSR的查询侧学习权重）实现无神经编码检索。在六个视觉文档检索基准（如ViDoRe）和自建的1870万文档语料上进行评估，对比密集检索器（BiModernVBERT）、OCR-BM25、字幕BM25等基线。

Key Results:

• 在六个视觉文档检索基准上，V-SPLADE的平均NDCG@5比同规模密集基线BiModernVBERT提升13.8个百分点，比OCR-BM25提升5.7个百分点，比字幕BM25提升6.3个百分点。
• 在1870万文档语料上，V-SPLADE的R@5达到0.228，而相同骨干的密集检索器仅为0.090，提升超过一倍。
• V-SPLADE支持亚10毫秒的精确倒排索引搜索，近似搜索延迟与HNSW相当。
• 文档编码速度比字幕生成或OCR管线快20倍以上。
• 通过分数融合，V-SPLADE进一步提升竞争性密集检索器的R@5最多2.4个百分点。
• 随着语料规模增长，V-SPLADE的召回率下降比密集基线更缓慢，表现出更好的鲁棒性。

Tech Stack:

• ModernVBERT（视觉语言骨干网络，基于MLM对齐）
• SPLADE（稀疏检索框架，词汇空间稀疏向量）
• Qwen3-VL-30B（用于生成文档字幕的VLM）
• 倒排索引（Inverted Index）
• HNSW（近似最近邻搜索）
• 词袋查询（Bag-of-Words query）
• Li-LSR（查询侧学习权重）
• NDCG@5、R@5（评估指标）
• 元素级乘积门控（element-wise product gating）
• 稀疏性正则化（FLOPS regularization）

Strengths:

• 填补了视觉文档检索中缺失的词汇检索服务范式，实现无推理、高效率的检索系统。
• 诊断并解决了词汇接地问题，提出的字幕门控监督简单有效，仅需训练时使用字幕。
• 在多个基准和大型语料上取得显著性能提升，且与密集检索器互补。
• 实际部署友好：编码速度快、支持倒排索引、延迟低、扩展鲁棒。
• 代码开源，可复现。

Limitations:

• 依赖VLM生成的字幕进行训练，字幕质量可能影响监督效果，且生成字幕本身需要额外计算成本（但仅在训练阶段）。
• 实验仅在特定骨干（ModernVBERT）上验证，泛化性需进一步探索。
• 稀疏表示的高稀疏性可能导致某些细粒度语义丢失，尽管论文通过门控缓解。
• 未与更大规模的多向量模型（如ColPali）进行直接对比，仅对比了同规模密集模型。
• 论文未详细讨论查询侧词袋权重的学习细节及其对性能的影响。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但V-SPLADE结合视觉和语言模态，可视为多模态统一检索的一种形式。
• World Models: 不相关。
• Representation Learning: 相关，V-SPLADE学习视觉文档的稀疏表示，并通过字幕监督改进表示质量。
• Model-Based RL: 不相关。
• 原生多模态大模型: 部分相关，使用VLM（Qwen3-VL）生成字幕作为监督，但核心检索模型并非原生多模态大模型。
• 多模态大模型的理解和生成一体化: 不直接相关，但字幕生成体现了理解能力。
• 表征学习: 核心相关，论文聚焦于学习更好的视觉文档稀疏表征。
• 世界模型: 不相关。
• 强化学习: 不相关。
• 后训练: 不相关，论文主要关注训练阶段。

真实世界图像很少仅遭受单一退化，且退化去除的顺序显著影响最终的恢复质量，这推动了基于代理的图像恢复（IR）的发展，其中视觉 - 语言模型 (Vision-Language Model) 调度一个预构建的恢复专家池。然而，现有的基于训练的代理需要每幅图像 $\mathcal{O}((N^{\mathbf{D}})^{2})$ 次恢复专家调用才能构建最优恢复动作轨迹数据集（ORTD），其中 $N^{\mathbf{D}}$ 表示退化全集 $\mathbf{D}$ 中退化类型的数量，且将代理训练耦合到固定的恢复专家池，导致在不进行完全重训练的情况下无法扩展到新引入的恢复专家。为了克服这些效率和可扩展性瓶颈，我们提出 **DiTTo**，一种新颖的感知顺序图像恢复代理框架，由 DiTTo 模拟器和 DiTTo 代理组成。DiTTo 模拟器结合了用于单步恢复动作模拟的 $\cup$S-IR 和用于每步质量预测的 AiO-IQA，将每幅图像的 ORTD 构建减少到 $\mathcal{O}(N^{\mathbf{D}})$ 次模拟器调用；DiTTo 代理在模拟器生成的 ORTD 上通过 SFT 进行训练，随后进行 **感知顺序恢复对齐 (Order-aware Restoration Alignment (ORA))**，该过程沿独立轴对齐退化识别、恢复动作顺序和输出格式。这使得实现 **即插即用可扩展性 (Plug-and-Play Scalable Extensibility)** 成为可能：添加新的恢复专家仅需更新轻量级的 ORA 阶段。在包含多达五种并发退化的 MiO-100 评估集上，我们的 DiTTo 代理在以往的基于代理的 IR 方法中实现了最先进的多退化恢复质量。

Real-world images rarely suffer from a single degradation, and the order in which degradations are removed substantially affects the final restoration quality, motivating agent-based image restoration (IR), where a vision-language model schedules a pool of pre-built restoration-experts. However, existing training-based agents require $\mathcal{O}((N^{\mathbf{D}})^{2})$ restoration-expert calls per image to construct the Optimal Restoration-action Trajectory Dataset (ORTD), where $N^{\mathbf{D}}$ denotes the number of degradation types in the universe $\mathbf{D}$, and couple agent training to a fixed restoration-expert pool, preventing extension to newly introduced restoration-experts without full retraining. To overcome these efficiency and extensibility bottlenecks, we propose \textbf{DiTTo}, a novel order-aware image restoration agent framework consisting of the DiTTo Simulator and the DiTTo Agent. The DiTTo Simulator combines $\cup$S-IR for single-step restoration-action simulation and AiO-IQA for per-action quality prediction, reducing ORTD construction to $\mathcal{O}(N^{\mathbf{D}})$ simulator calls per image; the DiTTo Agent is trained by SFT on the simulator-generated ORTD, followed by \textbf{Order-aware Restoration Alignment (ORA)} that aligns degradation identification, restoration-action-ordering, and output format along independent axes. This enables \textbf{plug-and-play scalable extensibility}: adding a new restoration-expert requires updating only the lightweight ORA stage. On the MiO-100 evaluation set with up to five concurrent degradations, our DiTTo Agent achieves state-of-the-art multi-degradation restoration quality among previous agent-based IR methods.

评分理由: The paper proposes an image restoration agent framework using a vision-language model (MLLM) to schedule experts, scoring high on MLLM and MultiModal. The 'All-in-One' approach aligns with Unify Models. A simulator is used for trajectory generation, offering moderate relevance to model-based RL, while Tokenizers and World Models are not central components. No target expert authors (Yang Shi, Xuanyu Zhu, etc.) are present in the author list.

Image Restoration, Agent Framework, Order-aware, Vision-Language Model, Multi-degradation, Plug-and-play, Simulator

Chinese Title: DiTTo: 可扩展的顺序感知全能图像恢复代理

Summary: 本文提出DiTTo，一种新颖的顺序感知图像恢复代理框架，旨在解决现有基于代理的图像恢复方法中ORTD构建成本高（O((N_D)^2)次真实专家调用）和无法灵活扩展新恢复专家的问题。DiTTo由DiTTo模拟器和DiTTo代理组成：模拟器通过∪S-IR（单步恢复模拟器）和AiO-IQA（全向图像质量预测器）将ORTD构建成本降至O(N_D)次模拟步骤；代理通过两阶段训练（先在大规模模拟器生成的ORTD上进行SFT，再在小规模真实专家轨迹上进行基于DPO的顺序感知恢复对齐）获得最终能力。实验表明，DiTTo在MiO-100多退化评估集上达到SOTA，且添加新专家时仅需轻量级ORA阶段，实现约40倍加速。

Innovations:

• 提出DiTTo框架，将代理训练与真实恢复专家调用解耦，通过模拟器实现可扩展的ORTD构建和即插即用的专家扩展。
• 设计DiTTo模拟器，结合∪S-IR（单步恢复模拟器）和AiO-IQA（质量预测器），将ORTD生成从O((N_D)^2)次真实专家调用降低到O(N_D)次模拟步骤。
• 提出两阶段训练策略：先在大规模模拟器生成的ORTD上进行SFT，再在小规模真实专家轨迹上进行DPO-based顺序感知恢复对齐（ORA），实现高效适应新专家。
• 实现仅需更新轻量级ORA阶段即可添加新恢复专家，相比现有方法加速约40倍且恢复质量更高。

Methodology: 本文采用以下技术路线：1）构建DiTTo模拟器，其中∪S-IR通过自适应频带混合机制模拟单步恢复效果，AiO-IQA预测每个候选动作后的图像质量，从而选择最优动作；2）使用模拟器生成大规模ORTD数据集；3）第一阶段对VLM进行SFT训练，学习退化感知和顺序恢复能力；4）第二阶段使用少量真实专家轨迹进行DPO-based顺序感知恢复对齐（ORA），纠正模拟器偏差；5）推理时，代理依次识别退化类型并调用相应恢复专家。

Key Results:

• DiTTo代理在MiO-100多退化评估集上达到SOTA多退化恢复质量。
• 添加新恢复专家时，仅需更新ORA阶段，相比JarvisIR实现约40倍更快适应且恢复质量更高。
• ORTD构建成本从O((N_D)^2)降至O(N_D)，显著降低训练开销。
• DiTTo是唯一同时支持O(N_D) ORTD生成和即插即用专家扩展的代理式IR框架。

Tech Stack:

• 视觉语言模型（VLM）作为代理基础
• ∪S-IR：基于自适应频带混合的单步恢复模拟器
• AiO-IQA：全向图像质量预测器
• SFT（监督微调）
• DPO（直接偏好优化）用于顺序感知恢复对齐
• ORTD（最优恢复动作轨迹数据集）构建方法

Strengths:

• 高效性：ORTD构建成本从二次降至线性，推理成本也仅为O(N_D)。
• 可扩展性：添加新恢复专家仅需轻量级ORA阶段，无需完全重新训练。
• 顺序感知：明确考虑退化去除顺序，提升多退化恢复质量。
• 模块化设计：模拟器与代理解耦，便于独立改进。

Limitations:

• 模拟器（∪S-IR和AiO-IQA）的精度可能影响训练数据质量，若模拟器与真实专家行为偏差较大，可能限制最终性能。
• 当前方法主要针对合成多退化数据，在真实复杂场景下的泛化能力有待验证。
• 依赖预定义的退化类型集合，无法处理未知退化类型。
• 两阶段训练仍需少量真实专家轨迹进行对齐，完全无真实数据场景下可能效果下降。

Relevance To Keywords:

• Unify Models: DiTTo将退化感知、顺序推理和恢复执行统一在VLM代理框架中。
• World Models: ∪S-IR可视为对恢复过程的轻量级世界模型，模拟单步恢复效果。
• Representation Learning: 通过频带混合机制学习动作条件化的特征表示。
• Model-Based RL: 使用模拟器（世界模型）生成训练数据，再通过SFT和DPO进行策略学习。
• 原生多模态大模型: 基于VLM实现视觉语言联合推理。
• 多模态大模型的理解和生成一体化: 代理同时理解退化状态并生成恢复动作序列。
• 后训练: 两阶段训练（SFT+DPO）属于后训练范式。

当前的多模态模型在静态图像识别方面表现良好，但直观物理推理仍是一个薄弱环节。从单张图像预测物体的运动与交互对这些系统而言仍然困难。我们提出了 BilliardPhys-Bench，这是一个用于合成台球环境中物理推理的基准。其程序化引擎生成包含摩擦和弹性碰撞的随机化场景。该基准测试了三种能力：(1) 预测球与球碰撞，(2) 推理墙壁反弹，以及 (3) 估计运动停止后的最终球位置。我们评估了来自 GPT、Claude、Gemini 和 Qwen 系列的近期 MLLMs（多模态大语言模型）。随着模拟时间增加和场景几何结构变得更加复杂，性能下降。我们还观察到一种一致的失效模式，我们称之为"stasis bias"（静止偏差）：当正确的物理结果更难推断时，模型倾向于预测无交互。这些发现表明了当前 MLLMs 在视觉动力学方面失效之处，并指向了多模态架构对更好物理归纳偏置的需求。

Current multimodal models handle static image recognition well, but intuitive physical reasoning remains a weakness. Predicting how objects will move and interact from a single image is still difficult for these systems. We present BilliardPhys-Bench, a benchmark for physical reasoning in synthetic billiards environments. Its procedural engine generates randomized scenarios with friction and elastic collisions. The benchmark tests three abilities: (1) predicting ball-to-ball collisions, (2) reasoning about wall bounces, and (3) estimating final ball positions after motion stops. We evaluate recent MLLMs from the GPT, Claude, Gemini, and Qwen families. Performance drops as simulation time increases and scene geometry grows more complex. We also observe a consistent failure mode we call "stasis bias": when the correct physical outcome is harder to infer, models tend to predict no interaction. These findings show where current MLLMs break down on visual dynamics and point toward the need for better physical inductive biases in multimodal architectures.

评分理由: The paper centers on benchmarking Multimodal LLMs for physical reasoning, making 'MLLM' and 'MultiModal' highly relevant (score 9). 'Visual Encoder' and 'World Models' have moderate relevance as underlying components or related concepts but are not the core contribution. 'Unify Models', 'Tokenizer', and 'model-based RL' are minimally relevant as the paper does not address model unification, tokenization strategies, or reinforcement learning algorithms. The weighted sum (45.0) exceeds the passing threshold (27.8). No authors from the specified expert list were identified in the authorship.

BilliardPhys-Bench, Physical Reasoning, Visual Dynamics, Multimodal LLMs, Benchmarking, Stasis Bias, Synthetic Billiards, Collision Prediction

Chinese Title: BilliardPhys-Bench：多模态大语言模型物理推理与视觉动态的基准测试

Summary: 该论文提出了BilliardPhys-Bench，一个用于评估多模态大语言模型（MLLMs）在物理推理和视觉动态理解能力的合成台球环境基准。基准通过程序化引擎生成随机场景，包含摩擦和弹性碰撞，测试三种能力：球间碰撞预测、墙壁反弹推理、以及运动停止后最终位置估计。作者评估了GPT、Claude、Gemini、Qwen等系列的最新MLLMs，发现随着模拟时间增加和场景几何复杂度上升，模型性能显著下降。论文还识别出一种称为“停滞偏差”的失败模式：当正确物理结果难以推断时，模型倾向于预测无交互。这些发现揭示了当前MLLMs在视觉动态推理上的短板，并指出了在多模态架构中引入更强物理归纳偏见的必要性。

Innovations:

• 提出了一个程序化生成的多层次基准，将台球物理推理分解为离散碰撞预测、连续最终状态估计和复杂交互链三个层级。
• 构建了诊断框架，系统分析了MLLMs在物理推理中的失败模式，如停滞偏差、动量传递误解和视觉细节敏感性。
• 通过单帧前向模拟（而非交互式动作）评估模型是否具备内部物理模型，填补了现有基准在视觉动态推理上的空白。
• 揭示了当前MLLMs在物理推理上的性能瓶颈，并指出了混合神经-物理方法、因子图或可微物理引擎等改进方向。

Methodology: 论文采用程序化数据生成管道：首先随机采样初始条件（球位置、球杆速度），然后使用高保真物理引擎模拟弹性碰撞和摩擦减速，生成结构化标注（碰撞标签、墙壁碰撞、最终坐标）。接着构建结构化提示，包含场景图像和物理常数，通过聊天API分别调用模型回答三个任务（Q1碰撞预测、Q2墙壁碰撞、Q3坐标估计），并设置链式思考、温度=0、JSON输出格式。最后通过自动化评估脚本计算准确率（Q1/Q2为分类准确率，Q3为欧氏距离≤球半径）。

Key Results:

• 在任务1（碰撞预测）中，GPT-5.4-Pro和GPT-5.5平均准确率分别为78.02%和74.43%，在5秒时仍保持60%以上；而GPT-5.4和Claude-Opus-4.7仅15.66%和20.01%。
• 在任务2（墙壁碰撞）中，GPT-5.5平均准确率90.34%，Qwen3.6-Plus为87.39%，Claude-Opus-4.6在5秒时达到89.54%。
• 在任务3（坐标估计）中，GPT-5.4-Pro和GPT-5.5在1秒时分别达到87.93%和86.93%，5秒时仍高于60%。
• 所有模型性能随模拟时间增加而下降，且场景几何复杂度增加时下降更明显。
• 识别出“停滞偏差”：当正确物理结果难以推断时，模型倾向于预测无交互。

Tech Stack:

• 程序化数据生成引擎（自定义物理模拟器）
• 弹性碰撞模型与恒定摩擦模型（v(s)=√(v0²-2μgs)，s_stop=v0²/(2μg)）
• 牛顿第二定律与匀减速直线运动公式
• 链式思考（Chain-of-Thought）提示策略
• JSON结构化输出与自动解析
• 欧氏距离评估（阈值=球半径）
• GPT、Claude、Gemini、Qwen系列MLLMs的API调用

Strengths:

• 基准设计精细，将物理推理分解为三个明确任务，便于诊断模型具体弱点。
• 程序化生成确保场景多样性和可重复性，且物理模拟高保真。
• 系统评估了多个主流MLLMs，揭示了性能差异和共性失败模式。
• 识别出“停滞偏差”这一重要现象，为后续改进提供方向。
• 强调单帧前向预测能力，区别于交互式或视频跟踪类基准，更具挑战性。

Limitations:

• 仅使用合成台球场景，物理规则简化（恒定摩擦、完美弹性），与现实世界复杂物理存在差距。
• 评估仅基于单个初始图像，未考虑多帧输入或视频信息，可能限制模型利用时序线索。
• 模型输出格式要求严格（JSON），可能引入解析失败或格式偏差，影响结果可靠性。
• 未深入分析模型内部机制（如注意力分布、中间表示），仅从输出结果推断失败原因。
• 样本量有限（每个时间窗口200个场景），统计显著性可能不足。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：论文直接评估多模态大语言模型（MLLMs）的物理推理能力，属于统一模型的研究范畴。
• World Models：基准测试要求模型从单帧图像预测未来状态，本质上测试模型是否具备内部世界模型（物理模拟能力）。
• Representation Learning / 表征学习：模型需要从图像中提取空间位置、速度方向等表征，并用于推理，与表征学习密切相关。
• Model-Based RL / 强化学习：虽然基准本身不涉及强化学习，但物理推理是模型基强化学习中的关键组件，论文指出的失败模式对设计更好的世界模型有启发。
• 多模态大模型的理解和生成一体化：基准同时测试理解（场景解析）和生成（预测输出），体现一体化需求。
• 后训练：论文未直接涉及后训练，但结果暗示当前预训练范式不足，需要后训练或微调来增强物理归纳偏见。

连续情景记忆是自主智能体在动态真实世界环境中运行的核心能力，但当前的流式视频基准在诊断模型记住了什么以及记忆时长方面提供的工具有限。我们引入 egostream，这是一个用于第一人称视角视觉中流式情景记忆评估的诊断基准。egostream 沿七个认知维度组织了 2,250 个精心挑选的问题，包括细节、空间、时间、事件、社会、因果和前瞻记忆。我们引入了答案有效性窗口（AVW），它规定了随着观察场景演变，答案保持有效的时间跨度。这使得我们能够将这些问题扩展为 8,528 个基于回忆条件的评估，从而实现从即时到超长期回忆的控制测试，同时将模型真正的遗忘与自然的世界状态变化区分开来。我们通过一个统一的流式多模态大语言模型（MLLM）框架严格确立了基线性能，该框架比较了多种最先进的内存管理机制，涵盖滑动窗口、attention sinks、KV-cache 剪枝、合并和卸载。在统一的 Qwen3-VL 骨干上进行的实验表明，相似的聚合准确率掩盖了截然不同的记忆特征。例如，token pruning 比 token merging 更好地保留了细粒度的细节和时间结构，而 quantized offloading 则挽救了超长期回忆。最终，所有机制的运行速度远低于实时标准（>1 秒/帧），表现最佳的方法准确率上限约为 45%，暴露了当前架构中的关键差距。egostream 提供了弥合这些差距所需的诊断测试平台。

Continuous episodic memory is a core capability for autonomous agents operating in dynamic, real-world environments, yet current streaming video benchmarks provide limited tools for diagnosing what models remember and for how long. We introduce \egostream, a diagnostic benchmark for streaming episodic memory evaluation in egocentric vision. \egostream organizes 2,250 curated questions along seven cognitive dimensions: detail, spatial, temporal, event, social, causal, and prospective memory. We introduce the Answer Validity Window (AVW), which specifies the temporal span an answer remains valid as the observed scene evolves. This allows us to expand the questions into 8,528 recall-conditioned evaluations, enabling controlled testing from instant to ultra-long-term recall while separating genuine model forgetting from natural world-state changes. We rigorously establish baseline performance through a unified streaming MLLM framework that compares several state-of-the-art memory-management mechanisms, covering sliding windows, attention sinks, KV-cache pruning, merging, and offloading. Experiments within a unified Qwen3-VL backbone reveal that comparable aggregate accuracies mask starkly different memory profiles. For instance, token pruning preserves fine-grained details and temporal structure significantly better than token merging, while quantized offloading rescues ultra-long-term recall. Ultimately, all mechanisms operate well below real-time (>1s per frame), and top performing methods ceil at about 45\% accuracy, exposing critical gaps in current architectures. \egostream provides the diagnostic testbed needed to close these gaps.

评分理由: The paper focuses on evaluating MLLMs (Qwen3-VL) for memory tasks, strongly aligning with MLLM and MultiModal keywords. It uses a unified evaluation framework, moderately matching Unify Models. It processes visual data (Visual Encoder) and discusses world-state changes (World Models) but does not innovate on tokenizers or involve reinforcement learning, resulting in low scores for those keywords.

Egocentric Vision, Streaming Episodic Memory, Diagnostic Benchmark, Memory Management, MLLM, Unified Framework, Qwen3-VL

Chinese Title: EGOSTREAM：面向第一人称视觉中流式情景记忆的诊断基准

Summary: 本文提出EGOSTREAM，一个用于评估第一人称视觉中流式情景记忆的诊断基准。该基准从五个现有第一人称视频问答数据集中筛选出2250个问题，并按照七种认知维度（细节、空间、时间、事件、社交、因果、前瞻）进行组织。引入“答案有效期窗口”（AVW）概念，指定答案在场景变化中保持正确的时间跨度，从而将问题扩展为8528个召回条件评估，支持从即时到超长期的受控测试。在统一的多模态大语言模型（Qwen3-VL）框架下，比较了多种流式记忆管理机制（滑动窗口、注意力汇聚、KV缓存剪枝、合并、卸载）。实验表明，相似的总体准确率掩盖了截然不同的记忆特征：例如，令牌剪枝在保留细节和时间结构上显著优于令牌合并，而量化卸载改善了超长期召回。所有机制均无法达到实时处理速度（>1秒/帧），最佳方法准确率仅约45%，揭示了当前架构的关键缺陷。EGOSTREAM为弥补这些缺陷提供了诊断性测试平台。

Innovations:

• 提出EGOSTREAM基准，专门用于诊断流式情景记忆，而非仅评估总体准确率。
• 引入答案有效期窗口（AVW），将自然世界状态变化与模型遗忘分离，支持受控的召回间隔评估。
• 将情景记忆组织为七个语义维度（细节、空间、时间、事件、社交、因果、前瞻），提供细粒度的记忆能力分析。
• 在统一的多模态大语言模型框架下，系统比较多种流式记忆管理机制，揭示不同机制的记忆保留特征差异。

Methodology: 从Ego4D、EgoLife、EgoTempo、Multi-Hop EgoQA、HD-EPIC五个第一人称视频问答数据集中筛选问题，使用Gemini 3.1重写开放式问题为记忆探针，并生成三个合理干扰项，经LLM质量控制后保留。为每个问题标注视觉证据所在的时间段（证据时刻），并定义答案有效期窗口（AVW）——答案保持正确的时间跨度。将每个问题在多个召回间隔（即时、短期、长期、超长期）下评估，仅当查询时间在AVW内时答案才视为正确。在统一框架中实现多种记忆管理机制（滑动窗口、注意力汇聚、令牌剪枝、令牌合并、KV缓存卸载等），以Qwen3-VL为骨干，在流式输入下逐帧处理并回答查询，记录准确率和处理时间。

Key Results:

• EGOSTREAM包含2250个问题，扩展为8528个召回条件评估，覆盖七种记忆维度。
• 在统一框架下，不同记忆管理机制的总体准确率相近（约45%），但记忆特征差异显著：令牌剪枝在细节和时间结构上优于令牌合并。
• 量化KV缓存卸载显著改善超长期召回（>100秒），但所有机制均无法达到实时处理（每帧>1秒）。
• 最佳方法（滑动窗口+注意力汇聚）准确率仅约45%，暴露了当前流式MLLM在情景记忆上的关键缺陷。

Tech Stack:

• Qwen3-VL（统一多模态大语言模型骨干）
• Gemini 3.1（用于问题重写和干扰项生成）
• 滑动窗口（Sliding Window）
• 注意力汇聚（Attention Sinks）
• KV缓存剪枝（KV-cache Pruning）
• 令牌合并（Token Merging）
• KV缓存卸载（KV-cache Offloading）
• 量化（Quantization）
• 4-way多项选择评估

Strengths:

• 提供诊断性评估，而非仅总体准确率，能揭示不同记忆维度的保留情况。
• 引入AVW概念，有效分离模型遗忘与场景变化，使评估更公平。
• 统一框架下比较多种记忆管理机制，控制变量，结果具有可比性。
• 覆盖多个现有数据集，问题多样性高，具有代表性。

Limitations:

• 仅基于现有数据集的问题，可能未覆盖所有真实场景中的记忆类型。
• 所有方法均无法达到实时处理速度，实际部署仍有挑战。
• 最佳准确率仅约45%，表明当前模型在流式情景记忆上能力有限。
• 未探索更复杂的记忆管理策略（如分层记忆、检索增强生成）。

Relevance To Keywords:

• 原生多模态大模型：论文使用Qwen3-VL作为骨干，研究流式记忆管理，与多模态大模型紧密相关。
• 表征学习：记忆管理机制（如令牌剪枝、合并）涉及如何压缩和保留视觉表征。
• 世界模型：情景记忆是构建世界模型的基础，论文评估模型对动态世界状态的记忆能力。
• 强化学习/后训练：流式记忆是智能体在环境中持续学习的关键，论文的诊断基准可为后训练提供评估工具。

视频生成模型的近期进展推动了可控世界模型的快速发展。然而，在长时序推理下保持细粒度时空一致性仍然是一个关键挑战。本文超越了显式 3D 记忆和粗糙的帧级隐式建模，提出了一种用于一致世界生成的细粒度、可学习和可扩展的记忆机制。我们首先识别出朴素的可学习记忆架构在长时序外推中的两个根本局限性，即计算效率低下和注意力分散。通过对注意力分散的系统分析，我们提出了 DecMem，这是一种解耦记忆架构，采用 Sparse Global Memory（稀疏全局记忆）以实现对全局历史的高效细粒度访问，并采用 Anchored Local Memory（锚定局部记忆）以实现稳定且高质量的外推。大量实验表明，DecMem 显著优于当前的最先进方法。通过确保精确高效的长期记忆并实现卓越的外推能力，DecMem 能够生成具有高保真度和一致性的分钟级可控长视频。

Recent advances in video generative models have promoted rapid progress in controllable world models. However, maintaining fine-grained spatio-temporal consistency under long-horizon reasoning remains a key challenge. In this work, we move beyond explicit 3D memory and coarse frame-level implicit modeling, and propose a fine-grained, learnable, and scalable memory for consistent world generation. We first identify two fundamental limitations of naïve learnable memory architectures in long-horizon extrapolation, namely computational inefficiency and attention dispersion. Through a systematic analysis of attention dispersion, we propose DecMem, a decoupled memory architecture that employs Sparse Global Memory for efficient fine-grained access to global history and Anchored Local Memory for stable and high-quality extrapolation. Extensive experiments demonstrate that DecMem significantly outperforms current state-of-the-art methods. By ensuring precise and efficient long-term memory and achieving superior extrapolation capabilities, DecMem enables minute-level controllable long video generation with high fidelity and consistency.

评分理由: World Models is the core focus of the paper (10). Visual Encoder is relevant for video generation context (6). Unify Models reflects the decoupled memory design unifying global and local access (4). model-based RL is conceptually linked via world models though paper focuses on generation (5). Tokenizer, MLLM, and MultiModal are less relevant as the paper focuses on single-modality video generation without explicit language or tokenizer components (1-2). No expert authors from the specified list were found.

World Generation, Decoupled Memory, Long-horizon Consistency, Video Generative Models, Sparse Global Memory, Anchored Local Memory, Attention Dispersion

Chinese Title: DecMem: 面向分钟级一致世界生成的解耦记忆

Summary: 本文针对长视频生成中细粒度时空一致性难以维持的问题，提出了一种名为DecMem的解耦记忆架构。研究背景指出，现有显式3D记忆和粗粒度帧级隐式记忆方法存在性能瓶颈或计算效率低下。作者首先分析了朴素可学习记忆架构在长程外推中的两个根本限制：计算效率低下和注意力分散。通过系统分析注意力分散现象，本文提出了DecMem，包含两个互补模块：稀疏全局记忆（SGM）用于高效细粒度访问全局历史，锚定局部记忆（ALM）用于稳定高质量外推。实验表明，DecMem在视觉质量和时空一致性上显著超越当前最先进方法，实现了分钟级可控长视频生成，且计算开销低。该方法无需显式3D表示，端到端可学习，为长时世界模型提供了可扩展的记忆机制。

Innovations:

• 系统揭示了朴素密集注意力设计在长程外推中的注意力分散和计算效率问题，并指出了训练无关策略在保留长程记忆上的固有局限。
• 提出了解耦记忆架构DecMem，包含稀疏全局记忆（SGM）和锚定局部记忆（ALM），分别负责高效全局检索和局部注意力稳定。
• 通过块级稀疏检索实现细粒度、可学习、可扩展的长期记忆，避免了显式3D表示的脆弱性和帧级检索的粗粒度瓶颈。
• 在分钟级可控长视频生成任务上，同时实现了高保真度和强时空一致性，打破了现有方法在短程保真与长程一致之间的权衡。

Methodology: 本文基于自回归视频生成框架，使用预训练VAE将视频编码为潜在表示，采用Rectified Flow进行训练。将动作条件通过轻量融合模块注入视觉特征。针对长程外推，设计SGM模块：对历史潜在特征进行块级划分，通过稀疏注意力检索与当前帧最相关的块，实现高效全局记忆。设计ALM模块：在最近帧上施加锚定注意力，强制模型关注局部上下文，抑制注意力分散。同时引入多模态位置编码，融合相机姿态与时空位置信息。训练时采用教师强制，推理时逐步自回归生成。

Key Results:

• DecMem在长程外推中显著优于现有方法（如WorldMem、UltraViCo等），在视觉质量和时空一致性指标上均取得领先。
• 实现了分钟级（超过800帧）可控长视频生成，且生成过程中结构稳定，无质量退化。
• 稀疏全局记忆将生成延迟降低至接近局部窗口方法的水平，远低于密集注意力方法。
• 消融实验验证了SGM和ALM各自的有效性，以及解耦设计的必要性。

Tech Stack:

• 变分自编码器（VAE）
• Rectified Flow
• Transformer
• 旋转位置编码（RoPE）
• 稀疏注意力（块级检索）
• 多模态位置编码（融合相机姿态）
• 教师强制训练范式
• 动作条件注入（轻量融合模块）

Strengths:

• 解决了长视频生成中注意力分散导致的视觉质量退化问题，同时保持了长期一致性。
• 记忆机制是细粒度（token级）、可学习、可扩展的，无需依赖显式3D估计。
• 计算效率高，稀疏检索使得生成延迟与历史长度亚线性相关，适合分钟级视频。
• 端到端可优化，与预训练视频生成模型兼容，易于集成。
• 在多个基准上全面超越现有方法，实验充分。

Limitations:

• 依赖预训练视频生成模型的质量，若基座模型本身存在缺陷，DecMem可能无法完全弥补。
• 稀疏检索策略可能在某些场景下遗漏关键历史信息，需要进一步优化检索粒度或动态调整。
• 当前主要验证了可控相机运动下的世界生成，对于更复杂的交互（如物体操作）尚未充分测试。
• 论文未讨论在极长序列（如数千帧）上的显存和计算瓶颈，实际部署可能仍需工程优化。

Relevance To Keywords:

• 世界模型：论文直接构建可控世界模型，实现长时一致视频生成，是世界模型领域的前沿工作。
• 表征学习：通过可学习的记忆机制（SGM和ALM）学习细粒度时空表征，属于表征学习范畴。
• 多模态大模型的理解和生成一体化：论文将视频生成与动作控制结合，体现了多模态理解与生成的融合。
• 原生多模态大模型：虽然未直接涉及语言模态，但动作条件可视为一种模态，架构具有多模态扩展潜力。
• 强化学习/后训练：论文主要关注生成架构，未涉及强化学习或后训练，但世界模型可服务于基于模型的强化学习。

我们提出 AMix-2，一种蛋白质 - 文本基础模型，该模型将蛋白质确立为大语言模型 (LLMs) 中的原生模态，在单一基础模型中统一了蛋白质理解和序列设计。AMix-2 基于两个关键理念构建：(1) 一种统一的蛋白质 - 文本框架，将自然语言和蛋白质序列嵌入共享的 token 空间，使一个模型能够执行生物推理和条件设计，而非下游任务专用的独立模型；(2) 一种块级 diffusion 语言建模骨干，结合了块间的因果生成与块内的双向上下文和迭代细化。这种方案比严格的从左到右分解更好地匹配了蛋白质的内在特性。为了在真实的泛化设置下评估蛋白质基础模型，我们进一步引入了 ProteinArena，这是一个综合性的基准，包含时间感知和同源性感知协议，涵盖各种理解和设计任务，且基线涵盖了经典生物信息学工具、蛋白质专用模型和 LLMs。在 ProteinArena 上，AMix-2 优于前沿 LLMs，并表现出与特定任务蛋白质模型相当的性能。控制实验进一步表明，基于 diffusion 的范式通常优于其 autoregressive 对应模型，突出了蛋白质序列灵活生成顺序的优势。我们发布了 AMix-2 和 ProteinArena，以促进蛋白质基础模型的开放研究。

We present AMix-2, a protein-text foundation model that establishes protein as a native modality in large language models (LLMs), unifying protein understanding and sequence design within a single foundation model. AMix-2 is built upon two key ideas: (1) a unified protein-text formulation that embeds natural language and protein sequence in a shared token space, enabling one model to perform biological reasoning and conditional design instead of separate downstream task-specialized models; and (2) a block-wise diffusion language modeling backbone that combines causal generation across blocks with bidirectional context and iterative refinement within blocks. This scheme better matches the intrinsic nature of proteins than a strict left-to-right factorization. To evaluate protein foundation models under realistic generalization settings, we further introduce ProteinArena, a comprehensive benchmark with time-aware and homology-aware protocols across various understanding and design tasks, and with baselines covering classical bioinformatics tools, protein-specialized models and LLMs. On ProteinArena, AMix-2 outperforms frontier LLMs and demonstrates competitive performance to task-specific protein models. Controlled experiments further show that the diffusion-based paradigm generally surpasses its autoregressive counterpart, highlighting the advantage of flexible generation order for protein sequences. We release both AMix-2 and ProteinArena to facilitate open research in protein foundation models.

评分理由: The paper strongly focuses on unifying protein and text modalities (Unify Models: 8.5, MultiModal: 8.0) within an LLM framework (MLLM: 6.5). It mentions a shared token space (Tokenizer: 5.0) but lacks visual components (Visual Encoder: 0.0) or reinforcement learning (model-based RL: 0.0). It is a foundation model rather than a World Model (World Models: 1.0). No listed expert authors were found in the author list. The weighted total score is 43.5, exceeding the dynamic passing score of 27.8.

Protein as Native Modality, Large Language Models, Unified Protein-Text Formulation, Block-wise Diffusion Language Modeling, ProteinArena Benchmark, Foundation Model, Sequence Design

Chinese Title: AMix-2：将蛋白质确立为大语言模型的原生模态

Summary: 本文提出AMix-2，一个蛋白质-文本基础模型，旨在将蛋白质作为大语言模型（LLM）的原生模态，统一蛋白质理解与序列设计。AMix-2基于两个核心思想：一是统一的蛋白质-文本公式，将自然语言和蛋白质序列嵌入共享的token空间，使单一模型能够进行生物推理和条件设计；二是块级扩散语言建模骨干，在块间采用因果生成，在块内结合双向上下文和迭代精炼，更好地匹配蛋白质的非局部依赖特性。为评估蛋白质基础模型的泛化能力，作者引入ProteinArena基准，采用时间感知和同源性感知协议，涵盖多种理解与设计任务。实验表明，AMix-2在ProteinArena上优于前沿LLM，并与任务特定的蛋白质模型竞争。控制实验进一步证明扩散范式普遍优于自回归范式，突出了灵活生成顺序对蛋白质序列的优势。论文同时开源AMix-2和ProteinArena以促进开放研究。

Innovations:

• 提出统一的蛋白质-文本公式，将蛋白质序列和自然语言嵌入共享token空间，实现任意模态间的条件生成。
• 设计块级扩散语言建模骨干（dLLM），在块内进行双向去噪和迭代精炼，在块间保持因果生成，更适合蛋白质的非局部依赖。
• 构建ProteinArena基准，采用时间感知和同源性感知的严格评估协议，为不同模型家族提供公平比较平台。
• 通过控制实验证明扩散范式在蛋白质建模上显著优于自回归范式，尤其在蛋白质设计任务上提升明显。
• 实现单一模型同时完成蛋白质理解（问答、分类）和序列设计（功能条件生成），无需任务专用模型或复杂管线。

Methodology: 论文采用两阶段训练策略：首先在UniRef50蛋白质序列与UniProtKB文本描述上进行持续预训练，注入蛋白质知识；然后在指令微调阶段构建包含蛋白质问答、EC/CATH分类、功能条件设计等任务的指令数据集，并附加推理链以增强推理能力。模型架构为解码器Transformer，采用混合注意力机制：训练时块内双向注意力、块间因果注意力；推理时已去噪块作为固定上下文存入KV缓存，当前块迭代精炼。数据构建从UniProtKB、InterPro、CARE等数据库提取，并去除与测试集高相似或时间超限的样本。

Key Results:

• 在ProteinArena通用蛋白质QA任务上达到65.70%准确率，优于所有对比的前沿LLM。
• 在EC和CATH分类任务上，即使在低同源性数据分区下也表现出良好的泛化能力。
• 在功能条件蛋白质设计任务中，生成序列具有高结构合理性和功能恢复率。
• 控制实验表明，在相同训练数据下，扩散骨干相比自回归骨干在蛋白质设计任务上有大幅提升。
• AMix-2与任务特定的蛋白质专用模型（如ESM2）和经典生物信息学工具相比具有竞争力。

Tech Stack:

• UniRef50、UniProtKB、InterPro、CARE等生物数据库
• 解码器Transformer架构
• 块级离散扩散模型（Block-wise Discrete Diffusion）
• 掩码扩散（Mask-based Discrete Diffusion）
• 混合注意力机制（Hybrid Attention：块内双向、块间因果）
• KV缓存（KV Cache）用于推理加速
• 持续预训练（Continual Pre-training）和指令微调（Instruction Tuning）
• 时间感知和同源性感知的数据分割协议

Strengths:

• 首次将蛋白质作为LLM的原生模态，统一理解与生成，避免了任务专用模型的碎片化。
• 块级扩散架构创新性地适配蛋白质的非局部依赖和局部编辑需求，优于传统自回归。
• ProteinArena基准设计严谨，采用时间与同源性感知分割，为公平比较提供基础。
• 实验全面，对比了LLM、蛋白质专用模型和生物信息学工具，验证了方法的有效性。
• 开源模型和基准，促进可复现研究和社区发展。

Limitations:

• 对于前沿LLM（如GPT-4），其预训练语料可能包含蛋白质数据，时间感知分割无法完全排除污染风险。
• 蛋白质设计任务的评估主要依赖结构预测和功能注释，缺乏湿实验验证。
• 论文未详细报告模型参数量、训练计算资源等，可复现性细节不足。
• 块级扩散的块大小选择可能影响性能，论文未深入探讨其敏感性。
• 当前仅支持蛋白质序列，未扩展到蛋白质结构或其他生物分子（如DNA、RNA）。

Relevance To Keywords:

• Unify Models: AMix-2将蛋白质理解与序列设计统一到单一模型，实现了跨模态的统一建模。
• World Models: 蛋白质作为生物世界的基本实体，AMix-2通过原生模态学习蛋白质知识，可视为构建生物世界模型的一步。
• Representation Learning: 通过共享token空间和扩散训练，模型学习蛋白质与文本的联合表征，支持下游任务。
• Model-Based RL: 论文未直接涉及强化学习，但后训练阶段的指令微调可视为一种监督学习，与RL中的策略优化有间接关联。
• 原生多模态大模型: AMix-2将蛋白质作为与文本并列的原生模态，属于多模态大模型范畴。
• 多模态大模型的理解和生成一体化: AMix-2同时支持蛋白质理解（文本输出）和生成（蛋白质输出），实现一体化。
• 后训练: 论文采用两阶段训练，后训练阶段通过指令微调对齐下游任务。

为寄存器传输级（RTL）设计构建有效的表示对于加速硬件设计流程至关重要。然而，现有方法通常仅依赖单一数据模态，要么是 RTL 代码，要么是与其关联的基于图的表示，这限制了所学表示的表达能力和泛化能力。对于 RTL，控制数据流图（CDFG）提供了一种全面的结构表示，保留了完整信息，而代码模态则显式编码了语义和功能信息。我们认为，整合这些互补模态对于全面理解 RTL 设计至关重要。为此，我们提出 UniRTL，一种多模态预训练框架，通过联合利用代码和 CDFG 来学习统一的 RTL 表示。UniRTL 通过相互掩码建模实现代码与图之间的细粒度对齐，并采用分层训练策略，该策略融合了预训练的图感知分词器，并在图集成之前对文本（即功能摘要）和代码进行分阶段对齐。我们在多个设置下，于性能预测和代码检索两个下游任务上对 UniRTL 进行了评估。实验结果表明，UniRTL 一贯优于先前方法，确立其作为推动硬件设计自动化的更稳健、更强大基础的地位。

Developing effective representations for register transfer level (RTL) designs is crucial for accelerating the hardware design workflow. Existing approaches, however, typically rely on a single data modality, either the RTL code or its associated graph-based representation, limiting the expressiveness and generalization ability of the learned representations. For RTL, the control data flow graph (CDFG) offers a comprehensive structural representation that preserves complete information, while the code modality explicitly encodes semantic and functional information. We argue that integrating these complementary modalities is essential for a thorough understanding of RTL designs. To this end, we propose UniRTL, a multimodal pretraining framework that learns unified RTL representations by jointly leveraging code and CDFG. UniRTL achieves fine-grained alignment between code and graph through mutual masked modeling and employs a hierarchical training strategy that incorporates a pretrained graph-aware tokenizer and staged alignment of text (i.e., functional summary) and code prior to graph integration. We evaluate UniRTL on two downstream tasks, performance prediction and code retrieval, under multiple settings. Experimental results show that UniRTL consistently outperforms prior methods, establishing it as a more robust and powerful foundation for advancing hardware design automation.

评分理由: 论文聚焦 RTL 代码与图的多模态表征学习。MultiModal 高度相关（融合代码与图）；Tokenizer 相关（提及图感知 tokenizer）；Unify Models 中度相关（统一模态）；MLLM、Visual Encoder、World Models、model-based RL 低相关（无 LLM、视觉、世界模型或 RL 元素）。未发现指定专家，无加分。加权总分 43.5，高于动态及格分 27.8。

UniRTL, RTL Representation Learning, Multimodal Pretraining, Code and Graph Integration, Control Data Flow Graph, Performance Prediction, Code Retrieval

Chinese Title: UniRTL：统一代码与图以实现鲁棒的RTL表示学习

Summary: 本文提出UniRTL，一种多模态预训练框架，用于学习统一的寄存器传输级（RTL）表示。现有方法通常仅依赖单一模态（RTL代码或图表示），限制了表达能力和泛化能力。UniRTL通过联合利用代码和控制数据流图（CDFG）实现细粒度跨模态对齐，采用互掩码建模策略，并引入层次化训练：先预训练图感知分词器，再在引入图之前进行文本（功能摘要）与代码的对齐，以最大化数据利用。在性能预测（面积和延迟估计）和代码检索（文本查询和代码查询）两个下游任务上，UniRTL一致优于先前方法，证明了其作为硬件设计自动化基础模型的鲁棒性和有效性。

Innovations:

• 首次在RTL表示学习中实现代码与CDFG的细粒度跨模态对齐，通过互掩码建模替代粗粒度对比学习。
• 提出层次化训练策略：先预训练图感知分词器以捕获图结构依赖，再在引入图之前进行文本-代码对齐，最大化数据利用。
• 采用完整的CDFG而非受限的数据流图，保留全部信息且可无损转换回代码，优于GraphCodeBERT和CircuitFusion。
• 构建大规模多源RTL数据集（132,008个设计，其中38,888个成功转换为CDFG），支持鲁棒预训练。

Methodology: 使用统一Transformer架构（基于CodeBERT-base-mlm）作为骨干。首先预训练图感知分词器以编码CDFG的结构信息；然后进行文本-代码对齐（利用功能摘要和代码对）；最后通过互掩码建模实现代码与CDFG的细粒度对齐。CDFG从RTL代码经Yosys编译为RTLIL，再用Stagira解析器生成AST后提取。训练采用多阶段层次化策略，最大化利用无CDFG的噪声样本进行文本-代码对齐。

Key Results:

• 在性能预测任务（面积和延迟估计）上，无论是否包含网表信息，UniRTL均优于StructRTL、VeriDistill等基线。
• 在代码检索任务（文本查询和代码查询）上，UniRTL优于DeepRTL2等先前方法。
• 消融实验验证了图感知分词器、层次化训练和互掩码建模各自的有效性。
• 在多个设置下均取得一致最优结果，证明了框架的鲁棒性和泛化能力。

Tech Stack:

• CodeBERT-base-mlm（预训练代码模型）
• Yosys（RTL编译为RTLIL）
• Stagira Verilog parser（生成AST）
• Transformer架构（Vaswani et al., 2017）
• 互掩码建模（Mutual Masked Modeling）
• 图感知分词器（Graph-aware Tokenizer）
• 层次化训练策略（Hierarchical Training Strategy）

Strengths:

• 首次在RTL领域实现代码与完整CDFG的细粒度对齐，弥补了GraphCodeBERT和CircuitFusion的不足。
• 层次化训练策略有效利用大量无图数据，提升了数据效率和模型鲁棒性。
• CDFG保留完整信息，可无损还原为代码，优于数据流或子电路表示。
• 在多个下游任务和设置下均取得显著提升，验证了方法的通用性和有效性。

Limitations:

• 仅38,888个设计成功转换为CDFG（约29.5%），大量数据无法用于图模态，可能限制图相关任务的性能上限。
• 依赖Yosys和Stagira等外部工具，转换过程可能引入错误或遗漏复杂设计。
• 未探索更大规模或更复杂的RTL设计（如包含多时钟域、异步逻辑等）的适用性。
• 与原生多模态大模型（如视觉-语言模型）的关联较弱，论文未涉及世界模型或强化学习等方向。

Relevance To Keywords:

• Unify Models: 论文提出统一代码和图的表示学习框架，属于多模态统一模型范畴，但未涉及原生多模态大模型（如LLaVA）的架构。
• World Models: 论文未直接涉及世界模型，但RTL表示可用于硬件设计中的性能预测，类似于世界模型中的状态预测。
• Representation Learning: 核心主题，论文专注于RTL表示学习，通过多模态预训练提升表征质量。
• Model-Based RL: 论文未涉及强化学习，但性能预测任务可视为基于模型的规划中的一部分。
• 原生多模态大模型：论文采用统一Transformer架构，但未使用视觉或语音模态，与原生多模态大模型概念有差距。
• 多模态大模型的理解和生成一体化：论文仅关注表示学习（理解），未涉及生成任务（如代码生成）。
• 后训练：论文采用预训练+微调范式，属于后训练范畴，但未涉及RLHF等高级后训练技术。

真正的视频智能不仅要求识别可见内容，更需要推理事件为何发生、预测在不同条件下会发生何种变化，并决定下一步行动。我们将这种从感知经由因果推理和模拟到战略规划的演进过程称为战略视频智能（Strategic Video Intelligence, SVI）。尚无现有基准能够评测这一能力堆栈：真实场景视频（in-the-wild videos）缺乏针对因果和战略问题的可验证真值，而合成环境则牺牲了真实多智能体系统的复杂性。为弥合这一差距，我们提出了 SVI-Bench，这是一个利用团队运动作为动态微观世界的大规模基准，它将真实世界多智能体交互的复杂性（10 至 22 个智能体在对抗压力下做出协调决策）与明确规则及确定结果的可验证性相结合。SVI-Bench 包含约 3.5 万小时的广播视频、1500 万条标注动作、1.5 万小时专家解说、2.3 万份比赛报告以及 10.3 万条结构化统计记录，涵盖篮球、足球和冰球，所有数据均通过一个数据引擎构建，将原始比赛数据转化为密集且交叉引用的语料库。我们将评测组织为 9 个任务，跨越一个渐进式的四支柱层级：动态场景理解（Dynamic Scene Understanding）、因果推理（Causal Reasoning）、战略模拟（Strategic Simulation）和智能体综合（Agentic Synthesis）。在对强大的多模态及智能体基线（Agentic baselines）进行评测时，我们发现存在一个能力悬崖：模型在感知任务上表现尚可，在细粒度动作问答（fine-grained action QA）中达到约 73% 的准确率，但在每一个后续的认知层级上性能急剧下降。智能体任务（Agentic tasks）最为困难：当模型被要求自主收集并整合跨越 180 万片段语料的证据时，最强的模型仅能达到 5% 的准确率。

True video intelligence demands more than recognizing what is visible: it requires reasoning about why events unfold, predicting what would change under different conditions, and deciding what to do next. We refer to this progression, from perception through causal reasoning and simulation to strategic planning, as Strategic Video Intelligence (SVI). No existing benchmark evaluates this capability stack: in-the-wild videos lack verifiable ground truth for causal and strategic questions, while synthetic environments sacrifice the complexity of real multi-agent systems. To bridge this gap, we introduce SVI-Bench, a large-scale benchmark that leverages team sports as a dynamic microworld, combining the complexity of real-world multi-agent interaction (10-22 agents making coordinated decisions under adversarial pressure) with the verifiability of explicit rules and definitive outcomes. SVI-Bench comprises approximately 35K hours of broadcast video, 15M annotated actions, 15K hours of expert commentary, 23K game reports, and 103K structured statistical records across basketball, soccer, and hockey, all constructed via a data engine that transforms raw game data into a dense, cross-referenced corpus. We organize evaluation into 9 tasks spanning a progressive four-pillar hierarchy: Dynamic Scene Understanding, Causal Reasoning, Strategic Simulation, and Agentic Synthesis. Evaluating strong multimodal and agentic baselines, we find a capability cliff: models perform competently on perceptual tasks, achieving approximately 73% on fine-grained action QA, but degrade sharply at each successive cognitive level. Agentic tasks prove hardest: the strongest model achieves only 5% accuracy when required to autonomously gather and integrate evidence across a corpus of 1.8M clips.

评分理由: 论文主要贡献在于提出 SVI-Bench 基准，用于评估战略视频智能。MultiModal 和 MLLM 相关性高，因评测对象为多模态大模型；World Models 和 model-based RL 相关性中，因涉及模拟与规划任务；Unify Models、Tokenizer、Visual Encoder 相关性低，因未涉及具体模型架构创新。作者名单中未包含指定专家，无额外加分。加权总分 43.5，通过动态及格线。

SVI-Bench, Strategic Video Intelligence, Multi-modal Benchmark, Causal Reasoning, Agentic Synthesis, Sports Video, Dynamic Microworld

Chinese Title: SVI-Bench：面向战略视频智能的动态微世界

Summary: 论文提出战略视频智能（SVI）概念，即从感知、因果推理、战略模拟到自主决策的完整认知栈。现有视频基准要么缺乏真实世界复杂性，要么无法验证因果和战略问题。为此，作者构建了SVI-Bench，利用团队体育作为动态微世界，整合约35K小时广播视频、15M标注动作、15K小时专家解说、23K比赛报告和103K统计记录，通过数据引擎实现多模态对齐与LLM辅助实例生成。基准包含9个任务，分为动态场景理解、因果推理、战略模拟和自主合成四层。评估多种多模态和智能体基线，发现模型在感知任务上表现良好（约73%），但在因果推理和自主任务上急剧下降，最强模型在自主任务上仅达5%准确率。论文揭示了当前AI系统在战略视频智能上的能力悬崖，并开源基准以推动研究。

Innovations:

• 首次提出战略视频智能（SVI）框架，将视频理解定义为从感知到因果推理、模拟到自主决策的渐进认知栈。
• 构建大规模多模态体育视频基准，涵盖篮球、足球、冰球，包含35K小时视频、15M动作标注、15K小时解说等，规模远超现有基准。
• 设计数据引擎，通过时间对齐、跨模态实体解析和LLM辅助实例生成，将原始比赛数据转化为密集交叉引用的语料库。
• 组织9个任务覆盖四层体系（动态场景理解、因果推理、战略模拟、自主合成），首次在真实多智能体视频中评估完整SVI栈。
• 发现能力悬崖：模型在感知任务上表现良好，但在因果推理、模拟和自主任务上性能急剧下降，最强模型在自主任务上仅5%准确率。

Methodology: 论文采用数据引擎方法，整合五种模态数据（广播视频、动作标注、专家解说、比赛报告、统计记录），通过时间对齐、跨模态实体解析和LLM辅助实例生成构建密集语料库。评估分为9个任务，覆盖四层体系：动态场景理解（动作QA、事件定位等）、因果推理（为什么问题、结果预测）、战略模拟（反事实生成、策略推荐）、自主合成（多证据整合分析）。使用多种多模态大模型（如Video-LLaMA、GPT-4V等）和智能体基线进行评测，采用自动验证和人工验证结合的方式保证质量。

Key Results:

• 感知任务最佳模型准确率约74%（T2动作QA），因果推理任务下降至约50%，战略模拟任务约30%，自主合成任务仅5%。
• 模型在细粒度动作QA上表现较好，但在解释原因、预测结果、生成反事实和自主分析上严重不足。
• 最强智能体模型在自主任务中需要从180万片段中自主收集证据，准确率仅5%，表明当前AI缺乏战略视频智能。
• 跨体育项目（篮球、足球、冰球）上表现一致，验证了能力悬崖的普遍性。

Tech Stack:

• 多模态大模型（Video-LLaMA, GPT-4V, Gemini等）
• LLM辅助实例生成（GPT-4用于生成问答对和策略分析）
• 时间对齐算法（基于比赛时钟和事件时间戳）
• 跨模态实体解析（球员、球队、动作的跨模态匹配）
• 自动验证与人工验证结合的质量控制流程
• 动作检测与事件定位模型（如SlowFast, TimeSformer）
• 智能体框架（ReAct, Tool-using agents）

Strengths:

• 大规模真实世界多智能体视频数据，具有高生态效度。
• 多模态数据（视频、解说、报告、统计）交叉引用，提供可验证的因果和战略推理基准。
• 首次评估从感知到自主决策的完整认知栈，揭示当前AI的深层局限。
• 数据引擎设计可扩展至其他团队运动或类似多智能体场景。
• 开源基准和代码，促进社区研究。

Limitations:

• 仅覆盖团队体育领域，可能无法直接泛化到其他动态多智能体场景（如自动驾驶、机器人协作）。
• 部分任务实例由LLM生成，尽管有人工验证，仍可能存在偏差或错误。
• 基准规模巨大，评估计算成本高，可能限制广泛使用。
• 未提供训练集用于所有任务（9个任务中7个有训练集），部分任务仅用于测试。
• 未深入分析模型失败的具体原因（如感知错误、推理错误、工具使用错误）。

Relevance To Keywords:

• 原生多模态大模型：论文评估了多种多模态大模型在视频理解上的表现，揭示了其在因果推理和自主决策上的不足。
• 多模态大模型的理解和生成一体化：SVI-Bench要求模型不仅理解视频，还要生成反事实场景和策略建议，涉及理解与生成一体化。
• 表征学习：动态场景理解任务涉及从视频中学习时空表征，论文中使用的模型依赖于预训练的表征学习。
• 世界模型：战略模拟任务要求模型生成反事实未来和策略，这与世界模型的核心能力（预测和模拟）直接相关。
• 强化学习：自主合成任务中模型需要自主收集证据并做出决策，类似于强化学习中的探索与利用，但论文未使用RL方法。
• 后训练：论文未涉及后训练，但基准可用于评估后训练策略（如RLHF、指令微调）对战略推理能力的影响。

掩码生成模型（MGMs）支持并行解码并在跨模态任务中表现出色，但每一步都需要全序列双向变换器，这使得训练成本高昂，且在低采样预算下性能下降。现有工作通过改进采样器或使用更便宜的固定深度去噪器来提升效率，但它们仍为每个细化步骤分配固定数量的去噪器计算量。我们引入了定点掩码生成模型（FP-MGMs），该模型利用基于共享注意力层的定点求解器替换部分去噪器，从而实现自适应深度并减少参数。为了使其在掩码生成中更有效，我们首先引入了一种跨步一致性损失，该损失对齐相邻去噪步骤的隐藏表示；其次，引入三状态复用（3SR），通过分别处理未变、仍掩码和新暴露的 token，利用先前解对求解器进行热启动。这些组件共同构成了我们用于定点掩码生成的完整端到端训练推理框架，即 CoFRe。我们还表明，预训练的 MGM 可通过简短的微调转换为 FP-MGM，从而避免完全重新训练。跨模态来看，CoFRe 改善了质量与成本之间的权衡。在 OpenWebText 数据集上，CoFRe 将参数减少 38.8%，训练时间减少 11.5%，VRAM 占用减少 16.9%；在 96 次变换器块前向传播的预算下，相比 MDLM，其生成困惑度从 830.8 降低至 101.8。在 ImageNette 数据集上，CoFRe 将训练时间减少 48.6%，VRAM 占用减少 50.7%，同时在所有测试的采样预算下均降低了 FID 值。总体而言，CoFRe 提供了一种更经济的训练框架以及更强的低预算掩码生成能力。

Masked Generative Models (MGMs) enable parallel decoding and achieve strong performance across modalities, but require full-sequence bidirectional transformers at every step, making training costly and degrading quality under low sampling budgets. Existing work improves efficiency via better samplers or cheaper fixed-depth denoisers, but they still allocate a fixed amount of denoiser computation to each refinement step. We introduce Fixed-Point Masked Generative Models (FP-MGMs), which replace part of the denoiser with a fixed-point solver over shared attention layers to enable adaptive depth with fewer parameters. To make it more effective for masked generation, we first introduce a cross-step consistency loss, which aligns hidden representations at neighboring denoising steps and, second, three-state reuse (3SR) which warm-starts the solver using the previous solution by treating differently unchanged, still-masked, and newly revealed tokens respectively. Together, these components define our complete training-to-inference framework for fixed-point masked generation, \emph{CoFRe}. We also show that pre-trained MGMs can be converted into FP-MGMs with short fine-tuning, avoiding full retraining. Across modalities, CoFRe improves the quality and cost trade-off. On OpenWebText, CoFRe reduces parameters by 38.8\%, training time by 11.5\%, and VRAM by 16.9\%, while improving generative perplexity from 830.8 to 101.8 at a budget of $96$ transformer-block forward passes, compared to MDLM. In ImageNette, CoFRe reduces training time by 48.6\% and VRAM by 50.7\%, while improving FID in all sample budgets tested. Overall, CoFRe offers a practical framework for cheaper training and stronger low-budget masked generation.

评分理由: The paper focuses on efficient masked generative modeling. It scores high on MultiModal due to explicit text/image evaluation. It relates to MLLM and Tokenizer via token-based generation. Unify Models is partially relevant regarding unified inference. Visual Encoder is weak as vision is secondary. World Models and model-based RL are unrelated to this efficiency-focused generative work.

Fixed-Point Masked Generative Modeling, CoFRe, Adaptive Depth, MultiModal Generation, Efficiency Optimization, Cross-Step Consistency, Three-State Reuse

Chinese Title: 固定点掩码生成建模

Summary: 本文提出固定点掩码生成模型（FP-MGMs），旨在改善掩码生成模型（MGMs）在训练和采样中的效率与质量权衡。传统MGMs在每个去噪步骤使用全序列双向Transformer，计算成本高且低采样预算下质量差。FP-MGMs将去噪器中的部分层替换为共享注意力层的固定点求解器，实现自适应深度和更少参数。为适应掩码生成中的离散状态变化，作者引入跨步一致性损失（LCONS）对齐相邻去噪步的表示，以及三状态重用（3SR）策略，对未变、仍掩码和新揭示的令牌分别处理。这些组件构成完整的训练到推理框架CoFRe。实验表明，在OpenWebText上，CoFRe相比MDLM减少38.8%参数、11.5%训练时间和16.9%显存，并在低预算下将生成困惑度从830.8降至101.8；在ImageNette上，训练时间减少48.6%，显存减少50.7%，所有采样预算下FID均改善。此外，预训练MGM可通过短时微调转换为FP-MGM。

Innovations:

• 将固定点求解器引入掩码生成模型，用共享注意力层替代部分Transformer层，实现自适应深度和参数减少。
• 提出三状态重用（3SR）策略，针对未变、仍掩码和新揭示令牌分别进行热启动，提高固定点求解效率。
• 引入跨步一致性损失（LCONS），对齐相邻去噪步的隐藏表示，类似跨时间自蒸馏，显著提升低预算采样质量。
• 构建完整的训练到推理框架CoFRe，结合固定点去噪器、跨步一致性和三状态重用，改善质量-成本权衡。
• 证明预训练MGM可通过短时蒸馏转换为FP-MGM，避免从头训练，降低适应成本。

Methodology: 论文采用以下技术路线：将标准掩码去噪器分解为预处理栈、输入投影、固定点块和后处理栈；固定点块通过重复应用共享变换求解平衡态，使用Anderson加速等数值求解器；训练时采用掩码生成模型的标准交叉熵损失，并加入跨步一致性损失（LCONS）作为正则化；推理时使用三状态重用（3SR）从上一去噪步的热启动；在文本（MDLM）和图像（MaskGIT）上分别实现FP-MDLM和FP-MaskGIT，并与基线比较。

Key Results:

• 在OpenWebText上，FP-MDLM相比MDLM减少38.8%参数、11.5%训练时间和16.9%显存。
• 在预算96次Transformer前向传播下，CoFRe的生成困惑度从MDLM的830.8降至101.8，优于MDLM+SDTT的193.1。
• 在预算768下，CoFRe困惑度从47.0降至37.8。
• 在ImageNette上，CoFRe相比MaskGIT-Large减少48.6%训练时间和50.7%显存，所有采样预算下FID均改善。
• 预训练MGM可通过仅4%的原始训练步数转换为FP-MGM，并在所有采样预算下优于1M步的FP-MDLM基线。

Tech Stack:

• 固定点求解器（Anderson加速、Broyden方法）
• 深度均衡模型（DEQ）
• 掩码生成模型（MDLM、MaskGIT）
• 跨步一致性损失（LCONS）
• 三状态重用（3SR）
• Halton低差异序列（用于MaskGIT调度）
• 自蒸馏通过时间（SDTT）
• Transformer架构（预处理、后处理栈）

Strengths:

• 提出新颖的固定点掩码生成框架，有效降低参数和训练成本，同时提升低预算采样质量。
• 三状态重用和跨步一致性损失针对掩码生成的特殊性设计，实用性强。
• 在文本和图像两种模态上验证，泛化性好。
• 支持从预训练模型快速转换，降低应用门槛。
• 实验充分，对比多个基线，量化了参数、时间、显存和生成质量的改进。

Limitations:

• 固定点求解器可能增加推理时的迭代次数，虽然参数少但计算时间未必总是减少。
• 跨步一致性损失需要额外超参数调节，可能影响训练稳定性。
• 实验仅在中等规模数据集（OpenWebText、ImageNette）上进行，大规模数据集效果未知。
• 未与最新的高效采样器（如D3PM、SEDD）进行全面比较。
• 对多模态生成（如视频、音频）的适用性未验证。

Relevance To Keywords:

• Unify Models: 论文关注生成模型与表示学习的结合，固定点表示可视为统一模型的一种形式，但未直接涉及多模态统一。
• World Models: 掩码生成模型可用于世界模型中的状态预测，但论文未明确探讨世界模型应用。
• Representation Learning: 跨步一致性损失对齐表示，属于表示学习技术，论文强调表示平滑性。
• Model-Based RL: 未直接涉及强化学习，但生成模型可作为环境模型用于MBRL，论文未讨论。
• 原生多模态大模型: 论文在文本和图像上分别实验，但未提出原生多模态架构，仅分别应用。
• 多模态大模型的理解和生成一体化: 论文聚焦生成，未涉及理解任务，但固定点框架可能扩展至理解。
• 后训练: 论文展示了预训练模型通过短时微调转换为FP-MGM，属于后训练适应。

虽然检索是视觉 - 语言模型的核心功能，但针对检索任务持续更新这些模型的研究仍严重不足。现有工作通常通过类别增量学习（CIL）的视角来处理持续检索问题，在可能无法完全捕捉检索特有动态的场景中，评估标准 CIL 方法及面向检索的适配方法。为此，我们提出了一种新的、基于原理的持续多模态检索（CMR）评估框架，涵盖多样的视觉领域，并在该设定下系统性地评估了常见方法。我们的实证分析表明，标准 CIL 方法在我们更具挑战性的场景中未能取得显著提升。因此，我们提出动态适配器路由（DAR），这是一种新颖的方法，基于通过原型路由选择的适配器，并通过模型合并进行组合。DAR 在先前基线之上实现了优越性能，并在分布外评估中展现出强大的泛化能力。我们的结果突出了 CMR 的独特挑战，并鼓励在这一方向上进行进一步研究。

While retrieval is a core function of vision-language models, continually updating these models for retrieval tasks remains critically underexplored. Existing work often approaches continual retrieval through the lens of class-incremental learning (CIL), evaluating both standard CIL methods and retrieval-oriented adaptations in settings that may not fully capture the retrieval-specific dynamics. To address this, we introduce a new, principled evaluation framework for continual multimodal retrieval (CMR) spanning diverse visual domains, and systematically evaluate common approaches within this setting. Our empirical analysis shows that standard CIL methods fail to yield meaningful gains in our more challenging scenario. Therefore, we propose Dynamic Adapter Routing (DAR), a novel approach based on adapters selected through prototype-based routing and combined via model merging.DAR achieves superior performance over the previous baselines and demonstrates strong generalization under out-of-distribution evaluation. Our results highlights the unique challenges of CMR and encourages further research in this direction.

评分理由: The paper focuses on Continual Multimodal Retrieval (CMR) and Dynamic Adapter Routing (DAR). It is highly relevant to MultiModal (9.0) as the core task involves multimodal data. MLLM (5.0) and Visual Encoder (5.0) are moderately relevant as vision-language models typically utilize these components, though the paper focuses on the routing mechanism rather than the architecture itself. Unify Models (4.0) has slight relevance due to the model merging aspect of adapter combination. Tokenizer (2.0), World Models (1.0), and model-based RL (1.0) are largely irrelevant as these concepts are not addressed in the study. No expert authors from the specified list were found in the author list.

Continual Multimodal Retrieval, Dynamic Adapter Routing, Prototype-based Routing, Model Merging, Vision-Language Models, Out-of-Distribution Evaluation, Adapter Selection, Class-Incremental Learning

Chinese Title: 超越分类：面向持续多模态检索的动态适配器路由

Summary: 本文聚焦于持续多模态检索（CMR）这一未被充分探索的问题。现有研究多从类增量学习（CIL）角度评估检索，未能充分捕捉检索特有的动态（如全局嵌入空间一致性）。为此，作者首先提出了一个更严格、更具挑战性的评估框架，包含异构、非重叠的视觉领域序列以及分布内和分布外评估协议。在该框架下系统评估了常见CIL方法和检索导向方法，发现它们无法带来有意义的改进。基于此，提出了动态适配器路由（DAR）方法，通过原型引导的路由和不确定性触发的适配器合并，在保持全局嵌入空间一致性的同时实现自适应知识迁移。实验表明，DAR显著优于现有基线，并在分布外评估中展现出强泛化能力。论文的主要贡献包括：新的持续检索基准、系统评估以及DAR方法。

Innovations:

• 提出了一个更严格、更具挑战性的持续多模态检索评估框架，包含异构视觉领域、难度校准课程和分布外评估。
• 系统评估了现有CIL和检索导向方法，发现它们在更困难设定下无法提供有意义的改进。
• 提出了动态适配器路由（DAR），通过原型引导路由和不确定性触发的适配器合并，有效缓解表示漂移和跨任务干扰。
• DAR是唯一在持续检索中持续带来显著改进的方法，并在分布外数据上展现强泛化能力。

Methodology: 论文首先构建了包含多个异构数据集（自然图像、AI生成内容、艺术作品、卡通、素描、医学图像等）的持续学习序列，使用冻结主干零样本性能作为任务难度代理来设计课程。然后，在CLIP双编码器架构上，采用参数高效微调（LoRA适配器）进行持续学习。DAR方法的核心是：为每个任务学习一组适配器，在推理时通过原型（每个任务的平均嵌入）进行路由选择，并基于不确定性（如预测置信度）决定是否合并多个适配器，从而在保持全局嵌入空间一致性的同时实现知识迁移。评估指标包括Recall@K、平均最终Recall和平均增量Recall。

Key Results:

• 标准CIL方法（如EWC、LwF、Prompt-based方法）在提出的困难设定下无法带来有意义的检索性能提升。
• DAR在多个异构数据集序列上显著优于所有基线，包括检索导向方法（如DKR、Mod-X、C-CLIP）。
• DAR在分布外（OOD）评估中仍保持强泛化能力，而其他方法性能下降明显。
• 消融实验验证了原型路由和不确定性合并机制的有效性。
• 嵌入空间对齐分析表明DAR能更好地保持全局一致性，减少表示漂移。

Tech Stack:

• CLIP双编码器架构（图像编码器f(·;θ)和文本编码器g(·;ϕ)）
• LoRA（低秩适配）作为参数高效微调方法
• 余弦相似度用于跨模态检索
• Recall@K（R@K）作为检索评估指标
• 原型（prototype）平均嵌入用于路由
• 不确定性触发的适配器合并（model merging）
• 持续学习评估指标：平均最终Recall、平均增量Recall
• 数据集：Flickr30K, Lexica-SD, KreaM, WikiArt, Flintstones, Sketch, ROCOv2

Strengths:

• 提出了更贴近实际应用的持续检索评估框架，弥补了现有基准的不足（领域多样性、语义粒度、课程设计、OOD评估）。
• 系统评估揭示了现有方法在检索场景下的局限性，为后续研究提供了重要参考。
• DAR方法设计巧妙，结合原型路由和不确定性合并，有效解决了表示漂移和知识迁移的平衡问题。
• 实验充分，包括多个数据集序列、消融研究、OOD评估和嵌入空间分析。

Limitations:

• 论文仅基于CLIP模型，未验证在其他视觉-语言模型（如BLIP、LLaVA）上的泛化性。
• DAR方法需要为每个任务存储适配器，可能增加存储开销（尽管推理时通过合并减少参数）。
• 任务序列的设计基于零样本性能代理，但实际应用中任务顺序可能不可控。
• 未探讨更复杂的持续学习场景（如任务边界模糊、流式数据）。

Relevance To Keywords:

• Unify Models: 论文聚焦于持续多模态检索，未直接涉及模型统一或生成与理解一体化，相关性较低。
• World Models: 论文未涉及世界模型或环境建模，相关性低。
• Representation Learning: 论文核心是保持全局一致的嵌入空间，属于表示学习范畴，相关性较高。
• Model-Based RL: 论文未涉及强化学习或基于模型的控制，相关性低。
• 原生多模态大模型: 论文使用CLIP作为基础模型，但未涉及原生多模态大模型（如Gemini、GPT-4V）的持续学习，相关性中等。
• 多模态大模型的理解和生成一体化: 论文仅关注检索（理解），未涉及生成，相关性低。
• 后训练: 持续学习属于后训练范畴，论文研究模型在任务序列上的持续更新，相关性较高。

视觉 - 语言模型（Vision-Language Models）的核心在于在统一表征空间内测量跨模态相似性。然而，大多数图像 - 文本匹配或多类图像分类数据集缺乏细粒度跨模态匹配标注，迫使连续相似空间落入二分类边界。这种压缩导致假负样本，并显著损害跨模态任务的泛化性能。尽管先前研究试图通过建模模内模糊性（intra-modal ambiguity）来缓解这一问题，但往往忽视了固有的标注缺陷，导致不确定性分配次优。为了解决这些挑战，我们提出了一种跨模态相似性表示变分适配器（Variational Adapter for Cross-modal Similarity Representation, VACSR）。该方法将具有细粒度语义稀缺的图像 - 文本匹配重新表述为变分推断（variational inference）问题。它构建了跨模态相似性的潜在空间，并使用正则化技术来缓解对二分类标注的过拟合。在图像 - 文本检索、领域泛化和基类到新类泛化（base-to-novel generalization）上的实验证明了所提方法的有效性和鲁棒泛化能力。

The core of vision-language models lies in measuring cross-modal similarity within a unified representation space. However, most image-text matching or multi-class image classification datasets lack fine-grained cross-modal matching annotations, forcing the continuous similarity space into binary classification boundaries. This compression induces false negative samples and significantly impairs the generalization performance of cross-modal tasks. While prior research has attempted to mitigate this by modeling intra-modal ambiguity, it often overlooks inherent annotation flaws, leading to suboptimal uncertainty allocation. To address these challenges, we propose a Variational Adapter for Cross-modal Similarity Representation (VACSR). This approach reformulates image-text matching with fine-grained semantic scarcity as a variational inference problem. It constructs a latent space for cross-modal similarity and uses regularization techniques to mitigate overfitting to binary annotations. Experiments on image-text retrieval, domain generalization, and base-to-novel generalization demonstrate the proposed method's effectiveness and robust generalization ability.

评分理由: 论文核心在于视觉 - 语言模型的跨模态相似性表示学习，高度契合多模态（MultiModal）及统一表征空间（Unify Models）概念。虽涉及视觉语言模型（MLLM），但未聚焦于大语言模型生成或架构。视觉编码器为背景组件而非创新点。论文未涉及 Tokenizer 设计、世界模型建模或强化学习相关内容，故相关度较低。

Variational Adapter, Cross-modal Similarity, Representation Learning, Image-Text Retrieval, Vision-Language Models, Variational Inference, Generalization Ability

Chinese Title: 变分适配器用于跨模态相似性表示

Summary: 本文针对视觉-语言模型在跨模态相似性度量中因二元稀疏标注（匹配/不匹配）导致的假负样本问题，提出了一种变分适配器（VACSR）。该方法将图像-文本匹配重新表述为变分推断问题，通过构建跨模态相似性的潜在空间，并利用正则化技术缓解对二元标注的过拟合。具体而言，VACSR使用Hadamard积进行特征交互，然后通过一个由编码器和解码器组成的变分适配器将相似性向量映射到高斯混合潜在分布，并采用重参数化技巧采样和重建相似性矩阵。优化目标包括重建损失（MSE）和分布优化损失（KL散度），从而自适应地校准不确定性，使假负样本获得更高不确定性以降低错误梯度影响，而正样本和难负样本获得更低不确定性以增强判别能力。实验在图像-文本检索、域泛化和base-to-novel泛化任务上验证了方法的有效性和鲁棒性。

Innovations:

• 将跨模态相似性建模为潜在概率空间中的变分推断问题，而非直接拟合二元标注。
• 使用高斯混合后验分布近似潜在表示，避免单一高斯分布的表达能力限制。
• 通过KL散度的变分上界实现可计算的正则化，并引入自适应不确定性校准机制，使假负样本获得更高不确定性。
• 提出轻量级变分适配器，可微调预训练视觉-语言模型（如CLIP），无需额外超参数调优即可缓解假负样本导致的语义信息损失。

Methodology: 论文采用以下技术路线：1）使用CLIP编码器提取图像和文本特征，通过Hadamard积生成相似性向量表示；2）设计变分适配器，包含编码器（预测均值和log方差）和解码器（重建相似性分数），编码器输出为两分量高斯混合分布；3）利用重参数化技巧采样潜在变量，并通过解码器得到重建相似性；4）优化目标为ELBO，包括重建损失（MSE等价于负对数似然）和KL散度正则项（使用变分上界近似）；5）训练时使用二元标注作为重建目标，但通过不确定性加权自动调整不同样本的梯度贡献。

Key Results:

• 在图像-文本检索任务上，VACSR显著优于基线方法（如CLIP、SigLIP等），尤其在存在噪声对应关系时表现更佳。
• 在域泛化任务中，VACSR展现出更强的跨域迁移能力。
• 在base-to-novel泛化任务中，VACSR能够更好地平衡基类和新类性能。
• 消融实验表明，高斯混合后验和自适应不确定性校准对性能提升至关重要。
• 梯度分析显示，VACSR通过MSE损失有效降低了假负样本与正样本之间的梯度差异（ri），从而保护语义结构。

Tech Stack:

• CLIP（Contrastive Language-Image Pre-training）作为基础视觉-语言模型
• 变分自编码器（VAE）框架
• 高斯混合模型（GMM）作为后验分布
• 重参数化技巧（Reparameterization Trick）
• Hadamard积（元素级乘法）用于特征交互
• KL散度及其变分上界
• 均方误差（MSE）损失
• Sigmoid归一化
• 多层感知机（MLP）作为编码器和解码器

Strengths:

• 创新性地从标注噪声角度而非数据本身建模不确定性，更直接地解决假负样本问题。
• 轻量级适配器设计，易于集成到现有视觉-语言模型中。
• 理论分析清晰，从梯度角度解释了二元标注的缺陷，并证明了VACSR的缓解机制。
• 实验覆盖多个任务（检索、域泛化、base-to-novel），验证了方法的通用性和鲁棒性。
• 使用高斯混合后验增强了潜在表示的表达能力，优于单一高斯分布。

Limitations:

• 变分适配器引入额外参数和计算开销，尽管轻量但仍需微调。
• 高斯混合后验的KL散度使用变分上界近似，可能引入一定偏差。
• 实验仅在COCO等数据集上验证，未在更大规模或更多模态（如视频-文本）上测试。
• 对假负样本的定义依赖于二元标注，未考虑更复杂的语义关系（如部分匹配）。
• 方法依赖于预训练CLIP的特征质量，若CLIP本身存在偏差则可能受限。

Relevance To Keywords:

• 表征学习（Representation Learning）：论文核心是改进跨模态相似性表示，属于表征学习范畴。
• 原生多模态大模型：方法基于CLIP这类原生多模态模型，并对其进行微调。
• 多模态大模型的理解和生成一体化：论文聚焦于理解（相似性度量），未涉及生成，但方法可扩展至生成任务。
• 世界模型（World Models）：论文未直接涉及世界模型，但通过建模连续相似性空间可视为对世界状态关系的隐式建模。
• 模型-Based RL：无直接关联。
• 强化学习：无直接关联。
• 后训练（Post-training）：VACSR是一种后训练适配方法，属于后训练范畴。
• Unify Models：论文未讨论模型统一，但变分适配器可视为统一不同模态表示的工具。

视觉 - 语言 - 动作（VLA）模型使机器人能够遵循自然语言指令并在多样化任务中实现泛化，但它们在执行失败面前仍具脆弱性，这会损害其在现实世界部署中的可靠性。因此，在执行过程中检测此类失败对于具身系统的稳健部署至关重要。现有的失败检测方法要么依赖昂贵的动作重采样或外部模型，而替代方案则将轨迹级标签均匀传播至每一个时间步，从而掩盖了局部的失败信号。在本文中，我们提出 Hide-and-Seek，这是一个将 VLA 失败检测问题表述为粗粒度监督学习问题的框架。通过结合轨迹间和轨迹内对比目标，Hide-and-Seek 能够定位指示失败的动作，并仅基于轨迹级监督生成时间结构化失败信号，而无需任何步级标注。我们在 LIBERO、VLABench 以及一个真实机器人平台上，针对三种代表性的 VLA 策略（OpenVLA、$\pi_0$ 和 $\pi_{0.5}$）评估了 Hide-and-Seek。该方法在保形预测（conformal prediction）下实现了最先进的多任务失败检测性能，具有实用的准确性 - 及时性权衡，并且在已知任务和未知任务上均具有良好的泛化能力。

Vision-Language-Action (VLA) models enable robots to follow natural language instructions and generalize across diverse tasks, but they remain vulnerable to execution failures that compromise reliability in real-world deployment. Detecting such failures during execution is therefore critical for the robust deployment of embodied systems. Existing failure detection methods either rely on expensive action resampling or external models, while alternatives propagate trajectory-level labels uniformly across every timestep, obscuring localized failure signals. In this paper, we propose \textbf{Hide-and-Seek}, a framework that formulates VLA failure detection as a coarsely supervised learning problem. By combining inter-trajectory and intra-trajectory contrastive objectives, Hide-and-Seek localizes failure-indicative actions and induces temporally structured failure signals from trajectory-level supervision alone, without any step-level annotation. We evaluate Hide-and-Seek on LIBERO, VLABench, and a real-world robotic platform across three representative VLA policies: OpenVLA, $π_0$, and $π_{0.5}$.Our method achieves state-of-the-art multi-task failure detection performance with a practical accuracy--timeliness trade-off under conformal prediction, and generalizes well to both seen and unseen tasks.

评分理由: 论文核心在于 VLA 模型的运行时故障检测，使用对比学习而非模型架构创新。MultiModal 和 Unify Models 相关性较高因 VLA 本质是多模态统一模型；MLLM 相关因架构基础；Tokenizer、Visual Encoder、World Models 及 model-based RL 在摘要中未作为核心方法或贡献提及，相关性较低。

Vision-Language-Action (VLA), Failure Detection, Contrastive Learning, Runtime Monitoring, Trajectory Supervision, Embodied Systems, Hide-and-Seek, Localized Failure Signals

Chinese Title: 轨迹中的捉迷藏：为VLA运行时监控发现故障信号

Summary: 本文提出Hide-and-Seek框架，用于解决视觉-语言-动作（VLA）模型在机器人执行过程中的故障检测问题。现有方法要么依赖昂贵的动作重采样或外部模型，要么将轨迹级标签均匀传播到每个时间步，掩盖了局部故障信号。Hide-and-Seek将故障检测形式化为粗监督学习问题，通过跨轨迹对比损失（区分故障轨迹中最具指示性的动作与成功轨迹中最类似故障的动作）和轨迹内对比损失（在故障轨迹内促使故障开始前后的分数分离），仅利用轨迹级标签即可定位故障指示性动作，无需任何时间步标注。在LIBERO、VLABench仿真平台和真实机器人平台上，使用OpenVLA、πo和πo.5三种代表性VLA策略进行评估，该方法在已知和未知任务上均达到最先进的多任务故障检测性能，并在保形预测下实现了实用的准确率-及时性权衡。代码和视频已公开。

Innovations:

• 首次将粗监督学习（coarsely supervised learning）与具身故障检测联系起来，仅从轨迹级标签发现故障指示性动作。
• 设计跨轨迹对比损失，强制故障轨迹中最具故障指示性的步骤得分高于成功轨迹中最类似故障的步骤，自适应定位最显著故障信号。
• 设计轨迹内对比损失，在故障轨迹内通过代理故障起始点（分数变化最大点）促使故障前后平均分数分离，无需时间标注即可产生时间结构化的故障信号。
• 方法架构无关，兼容自回归（OpenVLA）和流匹配（πo、πo.5）两类VLA范式，并在仿真和真实场景中验证泛化性。
• 在准确率-及时性权衡上优于现有方法，且比VLM运行时监控快2000倍以上。

Methodology: 本文采用粗监督学习框架，训练一个顺序检测器f_φ，输入VLA动作嵌入序列前缀，输出故障分数s_t。训练目标包含两个对比损失：跨轨迹对比损失L_inter（公式2）对故障-成功轨迹对，最大化故障轨迹中最大分数与成功轨迹中最大分数之间的间隔；轨迹内对比损失L_intra（公式3）对每个故障轨迹，定义代理故障起始点t_onset为分数变化最大的时间步，鼓励起始点后的平均分数高于起始点前的平均分数。两个损失联合优化，使分数在正常执行时保持低位，在故障起始点急剧上升。推理时使用保形预测校准阈值，实现可控的误报率。

Key Results:

• 在LIBERO和VLABench上，Hide-and-Seek在所有基线方法中取得最佳平衡准确率（bACC），超越最强分类器基线最高达+11.7%。
• 在真实机器人平台上，方法在已知和未知任务上均优于基线，且无需时间标注即可在故障起始点附近触发警报。
• 与VLM运行时监控相比，准确率提升+13.1%，同时推理速度提高2000倍以上。
• 在保形预测框架下，方法实现了实用的准确率-及时性权衡，可调节误报率。
• 方法对三种不同VLA策略（OpenVLA、πo、πo.5）均有效，验证了架构无关性。

Tech Stack:

• 对比学习（contrastive learning）：跨轨迹对比损失和轨迹内对比损失
• 粗监督学习（coarsely supervised learning）
• 保形预测（conformal prediction）：用于校准阈值
• VLA模型：OpenVLA（自回归）、πo（流匹配）、πo.5（流匹配）
• 动作嵌入提取：从VLA模型的动作token或动作头中提取内部表示h_t
• 仿真环境：LIBERO、VLABench
• 真实机器人平台：具体硬件未详述

Strengths:

• 仅需轨迹级标签，大幅降低标注成本，适合实际部署。
• 方法轻量级，推理速度快，适合实时监控。
• 跨轨迹和轨迹内双重对比损失有效分离正常与故障阶段，无需时间标注。
• 在多个仿真和真实场景、多种VLA策略上均表现优异，泛化性强。
• 与保形预测结合，提供可调节的误报率控制，实用性强。

Limitations:

• 假设故障轨迹中至少有一个步骤具有显著故障信号，对于完全随机或无声故障可能失效。
• 代理故障起始点基于分数变化最大点，可能不精确，尤其当故障缓慢累积时。
• 方法依赖VLA模型内部嵌入的提取，不同模型可能需要适配。
• 实验仅在有限的任务和环境中进行，大规模开放世界泛化性有待验证。
• 未讨论故障类型（如感知错误、执行错误）的区分能力。

Relevance To Keywords:

• Unify Models: 论文研究VLA模型（统一视觉-语言-动作）的运行时监控，与统一模型相关。
• World Models: 故障检测可视为世界模型预测与观测不一致的检测，但本文未显式构建世界模型。
• Representation Learning: 方法从VLA动作嵌入中学习故障表示，属于表征学习范畴。
• Model-Based RL: 故障检测可用于基于模型的强化学习中的安全监控，但本文未涉及RL训练。
• 原生多模态大模型: VLA模型是多模态大模型的一种，本文针对其故障检测。
• 多模态大模型的理解和生成一体化: VLA模型同时理解视觉语言并生成动作，本文检测其生成过程中的故障。
• 表征学习: 通过对比学习学习故障指示性表征。
• 世界模型: 间接相关，故障信号可视为世界模型预测误差的体现。
• 强化学习: 故障检测可作为RL部署中的安全模块，但本文未涉及RL算法。
• 后训练: 本文方法是在VLA模型后训练一个轻量级检测器，属于后训练阶段。

准确预测未来事件对于各个领域的内容理解和决策至关重要。尽管先前研究主要聚焦于文本或短视频场景，但长视频事件预测因其庞大的多模态上下文和更复杂的叙事，至今仍未被充分探索。与此同时，尽管近期基于大语言模型（LLMs）和视觉 - 语言模型（VLMs）构建的长视频语言模型（LVLMs）在长视频问答和摘要方面展现出潜力，但它们难以泛化到事件预测，因为它们既无法精确提取事件相关细节，也无法对事件发展进行细粒度分析。为了解决这一空白，我们提出了 VISTA，一个用于长视频事件预测的多层次事件语义挖掘框架。首先，VISTA 应用以人物为中心的视觉提示，精确提取事件相关的视觉细节，从而增强细节级语义；随后，它采用知识增强迭代检索策略，引导 LLMs 逐步构建逻辑连贯的事件链，进而改进事件级叙事；最终，VISTA 采用类人类的“先提出后检索”策略，生成多样化的未来导向提案并整合多层次线索，从而产生稳健且准确的预测。在真实世界数据集上的广泛实验验证了 VISTA 在长视频事件预测方面的有效性。

Accurately predicting future events is fundamental to content understanding and decision-making across various domains. While prior research has primarily focused on text or short-video scenarios, long-video event prediction, characterized by vast multimodal context and more complex narratives, remains underexplored. Meanwhile, although recent Long-Video Language Models (LVLMs), built on Large Language Models (LLMs) and Vision-Language Models (VLMs), have shown promise in long-video question answering and summarization, they struggle to generalize to event prediction, as they can neither precisely extract event-related details nor perform fine-grained analysis of event development. To address this gap, we propose VISTA, a multi-level event semantics mining framework for long-video event prediction. Initially, VISTA applies a character-centric visual prompt to precisely extract event-related visual details, enhancing detail-level semantics; subsequently, it employs a knowledge-enhanced iterative retrieval strategy, guiding the LLM to progressively construct logically coherent event chains, thereby improving event-level narratives; ultimately, VISTA adopts a human-like propose-then-retrieve strategy to generate diverse future-oriented proposals and integrate multi-level clues, producing robust and accurate predictions. Extensive experiments on real-world datasets validate the effectiveness of VISTA for long-video event prediction.

评分理由: The paper centers on Long-Video Language Models (MLLM) and multimodal video-text analysis (MultiModal), utilizing visual encoders for prompts (Visual Encoder). It proposes a unified framework strategy (Unify Models) but does not address tokenizer architecture, world model generation, or reinforcement learning (Tokenizer, World Models, model-based RL).

Long-Video Event Prediction, Multi-Level Event Semantics, Long-Video Language Models, Visual Prompt, Iterative Retrieval, Future-Oriented Proposals, Multimodal Context

Chinese Title: 面向有效长视频事件预测的多层级事件语义挖掘

Summary: 本文针对长视频事件预测任务中存在的视觉细节语义局限和事件发展粗粒度反映问题，提出VISTA框架。该框架包含三个模块：Describer通过字符中心视觉提示（基于帧内特征匹配）聚焦VLM于角色身份和动作，增强细节级语义；Narrator利用知识增强迭代检索策略，借助常识专家对齐历史与当前事件的因果关系，逐步构建逻辑连贯的事件链，提升事件级叙事；Predictor采用类人的“提出-检索”策略，先基于事件链生成多样化未来提案，再通过多粒度特征匹配检索细节级和事件级线索，整合多层级信息进行稳健预测。在真实长视频数据集上的实验验证了VISTA的有效性，消融研究证实了各模块的贡献。

Innovations:

• 首次系统研究基于长视频的未来事件预测问题，填补了该领域空白。
• 提出字符中心视觉提示方法，通过颜色标注和文本映射引导VLM精确提取事件相关的视觉细节。
• 设计知识增强迭代检索策略，利用常识专家生成因果结果，增强事件链的逻辑连贯性。
• 引入类人的“提出-检索”策略，先生成多样化未来提案，再检索多层级线索进行细化，提升预测鲁棒性。

Methodology: 论文采用多层级事件语义挖掘框架VISTA。首先对长视频进行多模态预处理：使用WhisperX转录音频为对话文本，PySceneDetect进行场景分割并合并为不少于3分钟的视频片段。Describer模块：对每个视频片段逐帧进行人脸检测（InsightFace），用CLIP提取人脸嵌入并与角色肖像嵌入匹配，为检测框分配颜色，将带颜色框的帧输入VLM，配合颜色-角色映射文本提示，提取事件相关视觉细节。Narrator模块：将视觉描述和对话文本输入LLM生成按时间顺序的事件描述；然后采用知识增强迭代检索：对每个当前事件，利用常识专家（基于常识知识图谱微调的LLM）生成历史事件的潜在因果结果，通过嵌入模型计算当前事件与历史事件-因果结果对的余弦相似度，选取top-k历史事件，连同因果指导输入LLM，将当前事件添加到对应事件链中，迭代形成完整事件链。Predictor模块：将每个事件链输入LLM生成多个未来提案；对每个提案，用嵌入模型计算与历史事件描述的相似度（阈值τe）检索事件级线索，同时用VLM提取提案相关的视觉细节作为细节级线索；将提案与多层级线索输入LLM生成最终预测。

Key Results:

• 在真实长视频数据集上，VISTA在事件预测准确率、连贯性等指标上显著优于现有LVLMs和基线方法。
• 消融实验表明，字符中心视觉提示、知识增强迭代检索和提出-检索策略均对性能有正向贡献。
• VISTA能够有效捕捉事件相关视觉细节，构建逻辑连贯的事件链，并生成多样且准确的未来预测。

Tech Stack:

• WhisperX（自动语音识别）
• PySceneDetect（场景检测）
• InsightFace（人脸检测）
• CLIP（视觉-语言嵌入）
• Large Language Models (LLMs) 如GPT系列
• Vision-Language Models (VLMs) 如CLIP、LLaVA等
• 常识专家（基于常识知识图谱微调的LLM）
• 余弦相似度计算
• 嵌入模型（如text-embedding-ada-002）
• top-k选择算法

Strengths:

• 首次聚焦长视频事件预测，任务定义清晰且具有实际应用价值。
• 多层级语义挖掘设计合理，从细节级到事件级逐步提升语义质量。
• 知识增强迭代检索有效利用常识知识增强事件链的逻辑性。
• 提出-检索策略模仿人类认知过程，兼顾多样性和准确性。
• 实验充分，在真实数据集上验证了有效性，消融研究支持各模块必要性。

Limitations:

• 依赖多个外部工具（WhisperX、InsightFace、CLIP等），系统复杂度较高，可能引入累积误差。
• 常识专家基于预训练LLM，可能无法覆盖所有领域常识，对特定类型事件预测存在局限。
• 事件链构建和提案生成均依赖LLM，计算成本较高，实时性可能不足。
• 实验仅在特定类型长视频（如电影、电视剧）上进行，泛化性有待进一步验证。

Relevance To Keywords:

• 原生多模态大模型：论文使用VLM和LLM作为基础模型，属于多模态大模型的应用，但未涉及原生多模态训练或一体化设计。
• 世界模型：论文通过事件链和因果推理模拟事件发展逻辑，与世界模型中的因果建模和预测有相似之处，但未明确构建世界模型。
• 表征学习：论文使用CLIP和嵌入模型进行特征提取和相似度计算，涉及表征学习技术。
• 模型-Based RL：论文未涉及强化学习或基于模型的RL方法，相关性较弱。
• 后训练：论文未讨论模型后训练或微调策略，相关性较低。

由于评估协议不一致以及部件级监督有限，评估视觉基础模型中的结构化对象理解仍然具有挑战性。语义对应（SC）通过测试对象部件在外观、视角和几何形状发生显著变化时能否在不同实例和类别之间进行匹配，来评估这一能力。为了实现系统化的 SC 评估，我们引入了 SOCO（语义对象对应基准），该基准引入了对应类型的分类法，并在 100 个类别和超过 100 万对应对上提供了一致且具有功能意义的关键点标注。此外，SOCO 还包括关键点语言描述，使得能够评估大视觉 - 语言模型（LVLMs）及其细粒度部件级理解。综合实验表明：(i) 视觉基础骨干编码了强大的语义结构，但在相关类别间迁移对应关系的能力较差，且仅部分捕获了对象部件的位置；(ii) LVLMs 在文本提示部件定位方面强于视觉参考跨图像匹配，暴露了基于语言的定位与细粒度视觉对应之间的差距；(iii) 对应性能比 ImageNet 分类更能预测密集下游任务（包括分割、跟踪、3D 姿态估计和 3D 检测）的性能。综上所述，这些发现确立了 SOCO 作为视觉和多模态基础模型中结构化、部件级表示质量的基准。

Measuring structured object understanding in vision foundation models remains challenging due to inconsistent evaluation protocols and limited part-level supervision. Semantic correspondence (SC) evaluates this capability by testing whether object parts can be matched across instances and categories under large variations in appearance, viewpoint, and geometry. To enable a systematic SC evaluation, we introduce SOCO, a new benchmark for Semantic Object Correspondence that introduces a taxonomy of correspondence types and provides consistent, functionally meaningful keypoint annotations across 100 categories and over 1M correspondence pairs. In addition, SOCO includes keypoint language descriptions, enabling the evaluation of large vision-language models (LVLMs) and their fine-grained part-level understanding. Comprehensive experiments reveal that (i) vision foundation backbones encode strong semantic structure but transfer correspondences poorly across related categories and only partially capture object-part position, (ii) LVLMs are stronger at text-prompted part localization than at visual-reference cross-image matching, exposing a gap between language-grounded localization and fine-grained visual correspondence, and (iii) correspondence performance predicts performance on dense downstream tasks, including segmentation, tracking, 3D pose estimation, and 3D detection, more strongly than ImageNet classification. Together, these findings position SOCO as a benchmark for structured, part-level representation quality in vision and multimodal foundation models.

评分理由: 论文核心在于构建语义物体对应基准（SOCO），评估视觉及视觉语言模型（MLLM/MultiModal）的部件级理解能力；Visual Encoder 作为被评估 backbone 具中等相关性；Tokenizer 和 Unify Models 仅间接涉及；World Models 与 model-based RL 完全无关。

Semantic Object Correspondence, Vision Foundation Models, Benchmark, Large Vision-Language Models, Keypoint Annotations, Part-level Understanding, Multimodal Evaluation

Chinese Title: SOCO：视觉基础模型中语义对象对应的基准测试

Summary: 本文提出SOCO，一个用于评估视觉基础模型（VFM）和大视觉语言模型（LVLM）中结构化对象理解能力的基准。现有语义对应（SC）基准存在任务定义模糊、缺乏跨类别评估等问题。作者首先提出语义对象对应（SOC）的层次化分类体系，将对应分为概念对应、结构化对象对应和跨类别对应，从而解耦不同能力。基于此分类，构建了包含100个类别、超过100万对应对的SOCO数据集，并为每个关键点提供语言描述。实验表明：强VFM能识别局部概念但在重复部件和跨类别抽象上表现不佳；LVLM在文本提示的部件定位上强于视觉参考的跨图像匹配；SOC性能比ImageNet分类更能预测下游密集任务（分割、跟踪、3D姿态估计等）。该基准为结构化、部件级表示质量评估提供了统一平台。

Innovations:

• 提出语义对象对应（SOC）的层次化分类体系，将语义对应分解为概念对应、结构化对象对应和跨类别对应，明确区分不同能力。
• 构建大规模SOCO数据集，包含100个类别、超过100万对应对，并提供关键点语言描述，支持LVLM评估。
• 首次系统评估LVLM在语义对应任务上的表现，揭示语言引导定位与视觉对应之间的差距。
• 证明SOC性能比ImageNet分类更能预测下游密集任务（分割、跟踪、3D姿态估计等），作为表示质量的零样本诊断指标。

Methodology: 首先定义SOC分类体系，基于此设计关键点标注策略，确保语义一致性和跨类别可迁移性。从现有数据集（如PASCAL 3D+、AP-10K等）收集100个类别的图像，人工标注具有功能意义的语义关键点，并生成语言描述。构建超过100万对应对（包括同类别和跨类别）。评估多种VFM（DINO、CLIP、Stable Diffusion、I-JEPA等）和LVLM（LLaVA、Qwen-VL等）在SOC任务上的表现，使用PCK（关键点正确比例）等指标。同时分析SOC性能与下游任务（分割、跟踪、3D姿态估计、3D检测）的相关性。

Key Results:

• 强VFM（如DINOv2）能识别局部概念，但在概念对应到结构化对象对应（CC→SOC）时性能大幅下降（重复部件混淆），进一步到跨类别对应（SOC→Cross-SOC）时继续下降（类别抽象不足）。
• LVLM在文本提示的部件定位（单图像）上表现较好，但在视觉参考的跨图像匹配上显著更差，表明语言引导与细粒度视觉对应之间存在鸿沟。
• SOC性能与下游密集任务（分割、跟踪、3D姿态估计、3D检测）的相关性高于ImageNet分类准确率，可作为表示质量的零样本诊断。
• SOCO数据集覆盖100个类别，包含超过100万对应对，提供语言描述，优于现有基准（如SPair-71k、MISC210K）。

Tech Stack:

• 语义对应评估指标：PCK（Percentage of Correct Keypoints）
• 视觉基础模型：DINO、DINOv2、CLIP、Stable Diffusion、I-JEPA等
• 大视觉语言模型：LLaVA、Qwen-VL、GPT-4V、Gemini等
• 数据集构建：基于PASCAL 3D+、AP-10K等现有数据集进行关键点标注
• 下游任务：语义分割、目标跟踪、3D姿态估计、3D检测

Strengths:

• 提出了清晰的语义对应分类体系，解决了现有基准任务定义模糊的问题。
• 数据集规模大、类别多样（100类），包含跨类别对应，支持更全面的评估。
• 首次将语言描述引入语义对应基准，支持多模态模型评估。
• 实验覆盖广泛，系统分析了多种VFM和LVLM的失败模式，并揭示了SOC与下游任务的相关性。

Limitations:

• 数据集标注依赖人工，可能存在主观偏差，且跨类别对应仅覆盖部分相关类别。
• LVLM评估仅使用文本提示，未探索其他多模态交互方式（如图像+文本混合提示）。
• 未涉及动态场景或视频中的语义对应，仅针对静态图像。
• 部分类别（如动物）的关键点定义可能受姿态变化影响较大。

Relevance To Keywords:

• 表征学习（Representation Learning）：论文核心是评估视觉基础模型的表示质量，SOC作为结构化对象理解的诊断指标，直接关联表征学习。
• 多模态大模型（原生多模态大模型、多模态大模型的理解和生成一体化）：论文评估了LVLM在语义对应上的表现，涉及视觉-语言对齐，与多模态大模型相关。
• 世界模型（World Models）：语义对应是理解物体结构的关键能力，与世界模型中的对象建模和推理相关。
• 模型基础（Unify Models）：论文提出的基准可用于统一评估不同架构的视觉基础模型。
• 强化学习/后训练（Model-Based RL, 后训练）：虽然论文未直接涉及，但SOC性能作为表示质量的诊断，可能对基于模型的强化学习和后训练中的表示学习有参考价值。

多模态大语言模型（MLLMs）在通用视觉问答（VQA）任务中已展现出显著成效。然而，它们在机械工程图纸上表现仍显脆弱：高标注密度与领域知识的匮乏，加之在严格投影规则和几何约束下不可靠的空间关系推理，使得决定性线索极易被忽视，并频繁导致错误答案。为弥合这一差距，本文提出了首个全面的机械图纸理解数据集 MechVQA，该数据集通过半自动构建与质量控制流程创建而成。MechVQA 包含 3.3k 张高密度图片及 21K 个问答对，涵盖 10 种不同的细粒度任务，分布于三个能力层级：识别（Recognition）、推理（Reasoning）与判断（Judging），旨在为评估和改进 MLLM 对真实世界机械图纸的理解提供测试平台。基于 MechVQA，本文进一步通过多阶段训练范式开发了 MechVL 模型，构建了一个强大的领域专用基线。广泛的实验结果表明，MechVL 在 MechVQA 总分上比最强的闭源基线高出 7.57 个百分点，显著提升了机械图纸理解能力，并为在机械设计与检测场景中部署 MLLMs 提供了可复用的基础。

Multimodal Large Language Models (MLLMs) have demonstrated significant achievements in general visual question answering (VQA) tasks. However, they remain brittle on mechanical engineering drawings, where high annotation density and weak domain knowledge, compounded by unreliable spatial relation reasoning under strict projection rules and geometric constraints, make decisive cues easy to miss and frequently lead to wrong answers. To bridge this gap, we introduce the first comprehensive mechanical drawing understanding dataset, MechVQA, created through a semi-automated construction and quality-control pipeline. MechVQA contains 3.3k high-density pictures with 21K question-answer pairs, spanning 10 different fine-grained tasks across three capability levels: Recognition, Reasoning, and Judging, providing a testbed to evaluate and improve MLLM understanding on real-world mechanical drawings. On top of MechVQA, we then develop the MechVL model through a multi-stage training paradigm, building a strong domain-specialized baseline. Extensive experimental results demonstrate that MechVL outperforms the strongest closed-source baseline by 7.57 percentage points on the MechVQA total score, significantly enhancing mechanical drawing understanding ability and providing a reusable foundation for deploying MLLMs in mechanical design and inspection scenarios.

评分理由: MLLM and MultiModal are core themes (9.0 each). Visual Encoder and Tokenizer are implicit components (3.0, 2.0). Unify Models has low relevance (3.0) as the paper focuses on domain adaptation rather than architectural unification. World Models and model-based RL are unrelated (0.0). No expert authors from the list were found. Total weighted score is 39.0, exceeding the dynamic passing score of 27.8.

MechVQA, Mechanical Drawing Understanding, Multimodal Large Language Models, Visual Question Answering, Domain Specialization, Benchmarking, MechVL

Chinese Title: MechVQA：面向全面机械图纸理解的多模态大模型基准测试与增强

Summary: 本文针对多模态大语言模型（MLLMs）在机械工程图纸理解上的脆弱性——高标注密度、弱领域知识、不可靠的空间关系推理——提出了首个全面的机械图纸理解数据集MechVQA。该数据集通过半自动构建与质量控制流程，包含3.3k高密度图片和21k问答对，覆盖识别、推理、判断三个能力层级的10个细粒度子任务。在此基础上，作者开发了MechVL模型，采用多阶段后训练范式：先进行监督指令微调（SFT），再基于DAPO强化学习进行自对弈训练，并设计了与任务分类对齐的奖励方案（格式奖励、准确率奖励、LLM评判质量奖励）。实验表明，MechVL在MechVQA总分上超越最强闭源基线7.57个百分点，显著提升了机械图纸理解能力，为机械设计与检测场景中的MLLM部署提供了可复用基础。

Innovations:

• 首次构建了覆盖识别、推理、判断三个能力层级的机械图纸理解基准MechVQA，包含10个细粒度子任务和三级难度划分。
• 提出了MechVL模型，采用SFT+DAPO强化学习的多阶段后训练范式，针对机械图纸理解优化。
• 设计了与任务分类对齐的三元奖励方案（格式、准确率、质量），直接优化答案正确性、输出格式合规性和解释质量。
• 通过半自动构建与专家验证的流水线，保证了数据集的高质量和领域专业性。
• 在密集机械图纸上实现了跨视图推理、约束敏感推理和标准感知判断的显著提升，超越闭源模型。

Methodology: 论文采用半自动数据构建流程：从公开教材、手册和设计平台收集图纸，经OCR提取文本、闭源MLLM推断元数据，再由机械专业研究生二次验证。问题按识别、推理、判断三个能力轴设计，共10个子任务。模型训练采用两阶段后训练：首先进行监督指令微调（SFT）获得基础策略，然后使用DAPO（基于组归一化优势估计的强化学习算法）进行自对弈训练，并设计格式奖励、准确率奖励和LLM-as-a-Judge质量奖励（评估逻辑性、规范性、专业性）来优化输出。

Key Results:

• MechVQA数据集包含3,281张高质量图纸和20,778个问答对，覆盖10个子任务。
• MechVL模型在MechVQA总分上超越最强闭源基线7.57个百分点。
• 多阶段后训练（SFT+RL）显著提升了密集机械图纸上的跨视图推理、约束敏感推理和标准感知判断能力。
• 消融实验表明，DAPO强化学习相比纯SFT带来一致提升，且三元奖励方案有效针对常见失败模式。

Tech Stack:

• OCR模型（Niu et al., 2025c）
• 闭源MLLMs（OpenAI GPT-4o, Google Gemini, Anthropic Claude）用于元数据推断
• 监督指令微调（SFT）
• DAPO强化学习算法（Yu et al., 2025）——基于组归一化优势估计、非对称裁剪、动态采样、令牌级策略梯度、过长奖励整形
• LLM-as-a-Judge质量评估（逻辑性、规范性、专业性）
• 格式奖励、准确率奖励（数值与单位敏感）

Strengths:

• 填补了机械图纸理解领域缺乏统一基准的空白，数据集专业性强、规模适中。
• 任务设计系统化，覆盖识别、推理、判断三个层次，难度分级合理。
• 模型训练方法先进，结合SFT和DAPO强化学习，并设计了针对性的奖励方案。
• 实验结果充分，与多个闭源和开源模型对比，展示了领域专用后训练的有效性。
• 数据构建流程严谨，包含专家验证环节，保证了数据质量。

Limitations:

• 数据集仅来源于公开教育/专业资料，未包含工业专有蓝图和公司特定绘图实践，通用性受限。
• 模型MechVL基于闭源MLLM基座，未完全开源基座模型细节，可复现性可能受影响。
• 仅评估了英文/中文图纸？论文未明确语言范围，可能对非英语图纸支持不足。
• 强化学习训练的计算成本较高，且奖励设计依赖LLM评判，可能引入额外偏差。
• 未探讨世界模型、表征学习等更前沿的多模态理解范式，与关键词中的世界模型、表征学习相关性较弱。

Relevance To Keywords:

• Unify Models: 论文聚焦多模态大模型（MLLMs）的机械图纸理解，属于统一模型范畴，但未涉及理解与生成一体化。
• World Models: 论文未涉及世界模型（如物理世界建模、预测），相关性较低。
• Representation Learning: 论文通过后训练优化模型表征，但未专门研究表征学习机制，相关性一般。
• Model-Based RL: 论文使用DAPO强化学习，但属于无模型RL（基于策略梯度），非基于模型的RL，相关性较弱。
• 原生多模态大模型: 论文研究多模态大模型在特定领域的应用，属于原生多模态大模型的增强，相关性较高。
• 多模态大模型的理解和生成一体化: 论文仅关注理解（VQA），未涉及生成任务，相关性有限。
• 表征学习: 同上，间接相关但非核心。
• 世界模型: 不相关。
• 强化学习: 论文核心方法之一，使用DAPO强化学习进行后训练，相关性高。
• 后训练: 论文核心贡献，采用SFT+RL多阶段后训练，相关性极高。

人类在多对象场景中轻易即可确定哪种颜色属于哪种形状，这种能力被称为概念绑定（concept binding）。视觉 - 语言嵌入模型（vision-language embedding models）如 CLIP 在绑定方面存在困难：它们能够识别独立的概念，但无法表示哪些概念构成了哪些对象。尽管 CLIP 在跨模态检索（cross-modal retrieval）中表现得像一个概念袋模型（bag-of-concepts model），但对象信息仍可分别从其图像和文本嵌入（embeddings）中恢复。我们通过绑定函数（binding function）来研究这种张力，该函数将概念映射到场景嵌入（scene embeddings）。我们发现场景嵌入可加性分解为对象表示（object representations），这解释了为何单模态探针（uni-modal probes）能够恢复对象信息。然而，CLIP 的绑定函数具有高复杂度（high-complexity），这很可能阻止了图像和文本编码器（encoders）学习一种共享的绑定机制，该机制能够泛化到未见过的概念组合。随后我们探究这种限制是否是根本性的。我们表明并非如此。在从零训练的控制型变换器模型（controlled transformer models）中，随着足够的数据覆盖，绑定泛化（binding generalization）得以涌现。这些模型学习到低复杂度绑定函数，其特征是概念之间的乘法交互（multiplicative interactions），从而实现系统性泛化（systematic generalization）。代码公开于 https://github.com/oshapio/binding-concepts-complexity。

Humans easily determine which color belongs to which shape in multi-object scenes, an ability known as concept binding. Vision-language embedding models such as CLIP struggle with binding: they recognize individual concepts but fail to represent which concepts form which objects. Although CLIP behaves like a bag-of-concepts model in cross-modal retrieval, object information is recoverable from its image and text embeddings separately. We study this tension through the binding function, which maps concepts to scene embeddings. We find that scene embeddings decompose additively into object representations, explaining why uni-modal probes can recover object information. However, CLIP's binding function is high-complexity, which likely prevents the image and text encoders from learning a shared binding mechanism that generalizes to unseen concept combinations. We then ask whether this limitation is fundamental. We show that it is not. In controlled transformer models trained from scratch, binding generalization emerges with sufficient data coverage. These models learn low-complexity binding functions characterized by multiplicative interactions between concepts, enabling systematic generalization. Code is publicly available at https://github.com/oshapio/binding-concepts-complexity.

评分理由: 论文主要探讨视觉语言模型（如 CLIP）中的概念绑定机制，与 MultiModal（视觉 - 语言）和 Visual Encoder（CLIP 的视觉编码部分）高度相关，因为分析基于这些组件的嵌入表现。与 Unify Models 中度相关，涉及概念的统一表示；与 MLLM 中度相关，属于多模态大模型研究范畴。与 Tokenizer、World Models、model-based RL 相关性低，文中未涉及 tokenizer 设计、世界模型构建或强化学习算法。加权总分为 39.0，高于动态及格分 27.8。作者列表中未包含指定的五位专家（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang）。

Concept Binding, Vision-Language Embedding, CLIP, Additive Decomposition, Multiplicative Interactions, Systematic Generalization, Transformer Models

Chinese Title: 嵌入模型如何绑定概念？

Summary: 本文研究视觉-语言嵌入模型（如CLIP）在概念绑定（即正确关联多物体场景中每个物体的颜色和形状等属性）上的失败原因。作者首先形式化定义了概念识别、物体识别和绑定能力，并发现CLIP的场景嵌入具有加性分解结构（可分解为物体表示的加和），这解释了为何单模态探针能恢复物体信息。然而，CLIP的绑定函数（从概念到物体表示的映射）复杂度高，无法用简单MLP捕捉，导致不同概念组合的映射差异大，阻碍了跨模态对齐和泛化。通过从零训练可控Transformer双编码器模型，作者证明绑定泛化并非不可能：当训练数据覆盖足够时，模型能学习低复杂度的绑定函数，其特征是概念间的乘法交互而非纯加性组合，从而实现系统泛化。结论：CLIP的绑定失败源于绑定函数的高复杂度，而非缺乏物体结构；嵌入模型有能力实现可泛化的绑定，但需学习低复杂度、可跨模态共享的概念到物体映射。

Innovations:

• 形式化定义了概念绑定问题，包括概念识别、物体识别和绑定能力，为分析嵌入模型提供了清晰框架。
• 发现CLIP场景嵌入具有加性分解结构（物体表示的加和），解释了单模态探针能恢复物体信息的原因。
• 指出CLIP绑定函数的高复杂度（无法用简单MLP捕捉）是跨模态绑定失败的根本原因，而非物体信息的缺失。
• 通过可控实验证明，在足够数据覆盖下，从零训练的Transformer双编码器模型能学习低复杂度绑定函数，实现泛化。
• 揭示泛化绑定函数的乘法交互机制（而非纯加性组合），为设计可泛化绑定模型提供了理论指导。

Methodology: 论文采用理论形式化与实验验证相结合的方法。首先，定义概念空间、场景空间、概念识别、物体识别和绑定函数，建立分析框架。然后，对CLIP进行几何分析，通过线性探针和加性分解实验揭示场景嵌入的结构。接着，设计可控实验：从零训练Transformer双编码器模型（类似CLIP架构）在合成多物体数据上，通过改变数据覆盖规模，观察绑定泛化能力。最后，分析泛化模型的绑定函数结构（乘法交互 vs 加性组合），使用复杂度度量（如MLP拟合难度）和相似性分析。

Key Results:

• CLIP场景嵌入可加性分解为物体表示的加和，物体信息在单模态嵌入中可被线性探针恢复。
• CLIP的绑定函数复杂度高，不同概念组合的映射差异大，无法用简单MLP统一建模。
• 在合成数据上，从零训练的Transformer模型在数据覆盖足够时能泛化到未见概念组合，实现跨模态绑定。
• 泛化模型学习到低复杂度绑定函数，其特征是概念间的乘法交互（而非纯加性组合）。
• 数据规模是关键：小规模数据下物体识别不泛化，但概念识别仍稳健；大规模数据下两者均泛化。

Tech Stack:

• CLIP (Contrastive Language-Image Pre-training)
• Transformer架构（双编码器）
• 余弦相似度（cosine similarity）
• 线性探针（linear probe）
• 多层感知机（MLP）
• 加性分解分析（additive decomposition）
• 合成数据生成（synthetic multi-object data）
• 复杂度度量（如MLP拟合误差）

Strengths:

• 形式化定义清晰，为绑定问题提供了严谨的数学框架。
• 揭示了CLIP绑定失败的根本原因（绑定函数高复杂度），而非简单归因于数据或架构。
• 通过可控实验证明了绑定泛化的可能性，并找到了关键条件（数据覆盖）和机制（乘法交互）。
• 分析深入，从几何结构到函数复杂度再到泛化机制，逻辑链条完整。
• 代码开源，便于复现和后续研究。

Limitations:

• 实验基于合成数据（简单颜色-形状组合），真实场景的复杂性和噪声可能影响结论的普适性。
• 仅研究了双编码器模型（如CLIP），未涉及生成式模型或单编码器模型。
• 对乘法交互机制的分析较为初步，未深入探讨其实现细节（如注意力头的作用）。
• 未讨论训练数据分布与泛化边界的关系，例如需要多少数据覆盖才能保证泛化。

Relevance To Keywords:

• 表征学习：论文深入分析了嵌入模型（CLIP）的表征几何结构（加性分解）和绑定函数复杂度，直接关联表征学习中的线性表示假设和组合泛化。
• 世界模型：概念绑定是构建世界模型的关键能力（理解物体及其属性关系），论文揭示了当前模型（CLIP）的失败原因和可能的改进方向。
• 多模态大模型：CLIP是典型的多模态大模型，论文研究了其跨模态绑定失败的原因，对改进多模态对齐有重要参考价值。
• 模型-Based RL：绑定能力对于基于模型的强化学习中场景理解和状态表示至关重要，论文的发现可为设计更鲁棒的状态表示提供启示。
• 后训练：论文指出数据覆盖是绑定泛化的关键，这提示后训练阶段可通过增加组合多样性数据来提升模型绑定能力。

随着 GPT-4o 等 Audio-LLMs（音频大语言模型）的最新进展，我们开启了与语言模型进行对话交互的新时代。然而，对话化身（Conversational avatars）在面部表情和对话流程上仍显得机械化，部分原因在于语音识别、文本生成、基于回合的文本响应、语音合成以及音频驱动的面部动画等顺序阶段。基于我们的洞察，即当前 Audio-LLMs 产生的 audio-tokens（音频 token）携带了足以重建逼真面部表现的信息，我们提出了 TokTalk，该系统可直接从流式 audio-tokens 实时输出富有表现力的面部动画。我们构建了一个新颖的 audio-token 到 3D 面部运动数据集，TokTalk 使用基于块的 Conditional Flow Matching 模型（Chunk-based Conditional Flow Matching model）在此数据集上进行训练。一种轻量级适配策略允许我们的训练模型以最小的计算开销无缝连接到任何基于 token 的 Audio-LLM。我们的基于块的处理进一步实现了延迟与面部质量之间的参数化权衡，这通过消融实验得到了验证。我们进一步表明，TokTalk 的实时性能在延迟方面与现有技术解决方案相当，而在质量、表现力和 3D 面部表现的控制方面，通过感知研究显著更优。我们利用聊天机器人化身、语音驱动用户化身以及动画导演接口，展示了 TokTalk 的灵活性，作为多样化的视听面部应用。

Recent advances in Audio-LLMs like GPT-4o have ushered in an era of conversational interaction with language models. Conversational avatars however, still seem robotic in facial expression and conversational flow, in part due to sequential stages of speech recognition, text generation, turn-based text response, speech synthesis, and audio driven facial animation. Based on our insight that audio-tokens produced by current Audio-LLMs carry sufficient information to reconstruct a plausible facial performance, we present TokTalk, a system that directly outputs expressive facial animation in real-time from streaming audio-tokens. We construct a novel audio-token to 3D facial motion dataset, on which TokTalk is trained using a Chunk-based Conditional Flow Matching model. A lightweight adaptation strategy allows our trained model to seamlessly connect to any token-based Audio-LLM at minimal computational overhead. Our chunk-based processing further enables parametric trade-off between latency and facial quality, shown through ablation studies. We further show that the real-time performance of TokTalk is comparable in latency to prior art solutions, and significantly favorable (via a perceptual study) in terms of quality, expressivity and control of the 3D facial performance. We showcase TokTalk's flexibility using a chatbot Avatar, a voice-driven user Avatar, and an animation Director's interface, as diverse audio-visual face applications.

评分理由: 论文核心在于利用音频 LLM 令牌直接生成面部动画。'Tokenizer'相关度高（7.0），因系统直接基于音频令牌工作；'MultiModal'相关度高（8.0），涉及音频到视觉的跨模态映射；'MLLM'中度相关（5.0），使用了音频 LLM 组件；'Unify Models'中度相关（3.0），实现了处理流程统一但未涉及模型架构统一；'Visual Encoder'、'World Models'和'model-based RL'相关性低（1.0），因文中未涉及视觉编码器、世界模型或强化学习机制。作者列表中不包含指定的 Yang Shi 等专家，故无额外加分。加权总分为 39.0，高于动态及格分 27.8。

Audio-LLM Tokens, Facial Animation, Real-time Generation, Conditional Flow Matching, Audio-Visual Mapping, Token-based Input, Generative Modeling

Chinese Title: TokTalk: 基于音频-大语言模型令牌的富有表现力的实时面部动画

Summary: 本文提出TokTalk系统，利用音频大语言模型（Audio-LLM）生成的内部令牌（tokens）直接驱动3D面部动画，实现实时、富有表现力的面部表情生成。传统级联流水线（语音识别→文本生成→语音合成→面部动画）存在延迟和信息丢失问题，而TokTalk通过并行处理音频和面部动画，显著降低延迟。主要方法包括：构建音频令牌到3D面部运动的数据集，采用基于分块的连续流匹配（Chunk-based Conditional Flow Matching）模型进行训练，并设计轻量级适配层以兼容不同Audio-LLM架构。实验表明，TokTalk在延迟上与现有方法相当，但在面部动画质量、表现力和控制性上显著优于先前工作。论文还展示了三个应用场景：聊天机器人头像、语音驱动的用户虚拟形象以及动画导演界面。

Innovations:

• 首次利用Audio-LLM内部令牌直接驱动3D面部动画，避免了传统级联流水线的信息丢失和延迟。
• 提出并行生成音频与面部动画的架构，将面部动画作为音频解码的并行模块，消除顺序瓶颈。
• 设计轻量级适配层，使训练好的面部动画模型无需重新训练即可适配不同Audio-LLM架构。
• 采用基于分块的连续流匹配模型，实现延迟与面部质量之间的参数化权衡。
• 验证了Audio-LLM令牌比传统ASR特征（如Wav2Vec 2.0、HuBERT）携带更丰富的非语言和情感信息。

Methodology: 论文首先构建音频令牌到3D面部运动的数据集，使用Audio-LLM分词器将语音转换为令牌序列，并同步采集FLAME参数表示的面部运动。然后训练一个基于分块的连续流匹配（Conditional Flow Matching）模型，该模型以音频令牌嵌入和风格参考片段为条件，直接输出FLAME参数。模型采用分块处理方式，支持延迟与质量的权衡。此外，设计一个轻量级适配层（如线性投影或小MLP），将不同Audio-LLM的令牌嵌入映射到统一空间，实现跨架构兼容。训练时使用均方误差损失和感知损失，并通过消融实验验证各组件效果。

Key Results:

• TokTalk在实时性能上与现有方法（如Han et al. [17]）延迟相当，但面部动画质量、表现力和控制性显著更优。
• 感知研究显示，用户对TokTalk生成的面部动画在自然度、情感表达和同步性上的评分显著高于对比方法。
• 消融实验表明，分块大小可参数化调节延迟与质量：更小的分块降低延迟但可能损失细节，更大的分块提升质量但增加延迟。
• 适配层实验证明，TokTalk可无缝连接多种Audio-LLM（如GLM-4-Voice、CosyVoice等），仅需少量微调即可保持性能。
• 与ASR特征对比实验证实，Audio-LLM令牌在重建非语言信息（如笑声、叹息、颤抖）方面明显优于Wav2Vec 2.0和HuBERT。

Tech Stack:

• Audio-LLM分词器（如GLM-4-Voice、CosyVoice的VQ/RVQ分词器）
• FLAME参数化面部模型
• Conditional Flow Matching（连续流匹配）
• Chunk-based processing（基于分块的处理）
• 轻量级适配层（线性投影或小型MLP）
• 均方误差损失（MSE Loss）
• 感知损失（Perceptual Loss）
• 消融实验（Ablation Study）
• 感知研究（Perceptual Study）

Strengths:

• 创新性地利用Audio-LLM内部令牌，避免了传统ASR特征丢失非语言信息的问题。
• 并行化架构显著降低端到端延迟，适合实时交互应用。
• 模块化设计使得面部动画模型可独立于具体Audio-LLM，具有良好的泛化性和可扩展性。
• 分块处理提供了延迟与质量的灵活权衡，适应不同应用场景。
• 实验验证充分，包括定量指标、感知研究和消融分析，结果可信度高。

Limitations:

• 依赖特定Audio-LLM的分词器，若分词器更新或更换，可能需要重新训练适配层。
• 数据集规模未明确说明，可能限制模型在罕见表情或极端情感下的泛化能力。
• 仅支持3D面部动画（FLAME参数），未涉及身体动作或手势生成。
• 实时性能依赖于Audio-LLM本身的推理速度，若Audio-LLM较慢则整体延迟仍可能较高。
• 未与最新的2D面部动画方法（如MuseTalk）进行直接对比，仅对比了3D方法。

Relevance To Keywords:

• 原生多模态大模型：TokTalk直接利用Audio-LLM的令牌，体现了多模态（音频+视觉）联合建模的思想。
• 多模态大模型的理解和生成一体化：系统将音频理解（令牌）与面部生成（动画）结合，实现端到端的多模态生成。
• 表征学习：论文验证了Audio-LLM令牌作为面部动画表征的有效性，优于传统ASR特征。
• 世界模型：并行生成音频和面部动画可视为对语音交互场景的联合建模，隐含了世界模型中对多模态同步的预测。
• 强化学习/后训练：论文未直接涉及强化学习，但适配层微调可视为后训练的一种形式。

基于 Transformer 的架构在语言和视觉领域的序列建模方面取得了进展，但针对异构多元时间序列的通用表示学习尚未得到充分探索。我们提出了 CHARM（Channel-Aware Representation Model），该模型将通道级文本描述整合进一个对通道顺序等变的 Transformer 编码器中。CHARM 采用联合嵌入预测架构（JEPA）进行训练，并结合一种新颖的损失函数，以促进生成信息丰富且时间稳定的嵌入；潜在空间预测增强了对传感器噪声的鲁棒性，而描述感知门控则通过学习到的通道间关系提供了可解释性。在异常检测、分类以及短期和长期预测任务中，所学习的嵌入仅使用线性探针即可实现优异的性能。性能主要受 JEPA 目标函数和条件架构驱动，其中文本描述作为通道标识符，实现了跨数据集泛化。

Transformer-based architectures have advanced sequence modeling in language and vision, yet general-purpose representation learning for heterogeneous multivariate time series remains underexplored. We introduce CHARM (Channel-Aware Representation Model), which incorporates channel-level textual descriptions into a Transformer encoder equivariant to channel order. CHARM is trained with a Joint Embedding Predictive Architecture (JEPA) and a novel loss promoting informative, temporally stable embeddings; latent-space prediction encourages robustness to sensor noise while description-aware gating provides interpretability through learned inter-channel relationships. Across anomaly detection, classification, and short- and long-term forecasting, the learned embeddings achieve strong performance using only a linear probe. Performance is driven primarily by the JEPA objective and conditioning architecture, with text descriptions serving as channel identifiers for cross-dataset generalization.

评分理由: 论文核心在于多模态时间序列表征学习（MultiModal 高分），使用 JEPA 方法（World Models 相关），但未涉及视觉或强化学习（0 分）。文本描述用于通道标识，非核心 Tokenizer 设计（低分）。加权总分 37.5 分，高于动态及格分 27.8 分。未发现指定专家作者。

Time-Series, JEPA, Transformer, Multimodal, Representation Learning, Anomaly Detection, Forecasting, Channel Descriptions

Chinese Title: 赋予传感器声音：用于语义时间序列嵌入的多模态JEPA

Summary: 本文针对异构多变量时间序列的通用表征学习问题，提出了一种名为CHARM（通道感知表征模型）的架构。该模型将通道级文本描述融入Transformer编码器，并保持对通道顺序的等变性。训练采用联合嵌入预测架构（JEPA）和一种新颖的损失函数，促进信息丰富且时间稳定的嵌入；潜在空间预测增强了对传感器噪声的鲁棒性，而描述感知门控通过学习通道间关系提供了可解释性。在异常检测、分类以及短期和长期预测任务中，仅使用线性探针即可获得强性能。性能主要归因于JEPA目标和条件架构，文本描述作为跨数据集泛化的通道标识符。

Innovations:

• 提出描述感知的时间卷积网络，将通道文本描述直接融入卷积层，实现跨域自适应。
• 设计基于描述感知的通道间注意力门控和时间偏移注意力机制，捕获通道间依赖关系并保持通道顺序等变性。
• 将JEPA（联合嵌入预测架构）首次应用于时间序列领域，通过潜在空间预测避免重建噪声，学习语义表征。
• 引入新颖的损失函数，促进信息丰富且时间稳定的嵌入，提升鲁棒性。

Methodology: 采用多模态Transformer架构，包含两个核心模块：1）上下文时间卷积网络（Contextual TCN），通过描述嵌入生成卷积核门控和上下文卷积核；2）上下文注意力层，包括描述感知的通道间门控和时间偏移注意力。训练使用JEPA自监督学习，对输入时间序列进行掩码和扰动，在嵌入空间预测目标片段，避免原始信号重建。

Key Results: 在异常检测、分类、短期和长期预测任务中，仅使用线性探针即可获得强性能；验证了通道顺序等变性（最大输出差异<1e-4）；性能主要由JEPA目标和条件架构驱动，文本描述作为通道标识符提升跨数据集泛化。

Tech Stack:

• Transformer编码器
• 时间卷积网络（TCN）
• 联合嵌入预测架构（JEPA）
• 自注意力机制
• 门控机制（sigmoid, ReLU）
• 冻结文本嵌入模型
• 线性探针评估

Strengths:

• 创新性地融合文本描述与时间序列，提升跨域泛化能力。
• JEPA避免重建噪声，学习更鲁棒的语义表征。
• 通道顺序等变性设计使模型适应异构传感器配置。
• 在多种下游任务上仅用线性探针即取得强性能，表明表征质量高。

Limitations:

• 依赖高质量通道文本描述，实际应用中可能难以获取。
• JEPA训练需要精心设计数据增强和掩码策略，可能增加调参复杂度。
• 实验仅在有限数据集上验证，大规模跨域泛化能力有待进一步测试。

Relevance To Keywords: 论文紧密相关：研究统一模型和表征学习，提出多模态JEPA用于时间序列；涉及世界模型中的潜在空间预测；与原生多模态大模型理念一致（融合文本和时序）；后训练方面采用自监督学习。

在合作多智能体强化学习（MARL）中，智能体需与伙伴进行协调，而这些伙伴的内部策略和意图无法直接观测。尽管像 Dreamer 这样的世界模型在单智能体设置中已展现出强大的泛化能力和样本效率，但它们应用于 MARL 仍受限于无法处理由队友引发的不确定性。我们提出一种新视角：将队友视为智能体世界模型内的结构化、可学习组件。我们提出了一种架构，该架构将 Dreamer 风格的循环状态空间模型（RSSM）的潜在状态分解为环境组件和队友组件，并学习一个辅助的心智理论（ToM）头，以便从部分轨迹中推断伙伴行为的潜在嵌入，包括性格、意图及预测动作。这些队友潜在值作为条件输入作用于 Actor 和 Critic，使智能体能够想象并适应多样化的合作者。我们阐述了该方法如何在部分可观测设置中支持零样本和少样本协调，并提出了一套基准测试和评估协议以评估其影响。本研究将世界模型定位为不仅是环境动态的预测者，更是社会行为的模拟器，为可泛化、人类兼容的人工智能开辟了新的研究方向。

In cooperative multi-agent reinforcement learning (MARL), agents must coordinate with partners whose internal policies and intentions are not directly observable. While world models such as Dreamer have demonstrated strong generalization and sample efficiency in single-agent settings, their application to MARL remains limited by an inability to handle teammate-induced uncertainty. We propose a new perspective: treat teammates as structured, learnable components within the agent's world model. We introduce an architecture that factorizes the latent state of a Dreamer-style recurrent state-space model (RSSM) into environment and teammate components, and learns an auxiliary Theory-of-Mind (ToM) head to infer latent embeddings of partner behavior such as character, intent, and predicted actions from partial trajectories. These teammate latents condition the actor and critic, enabling the agent to imagine and adapt to diverse collaborators. We outline how this approach can support zero-shot and few-shot coordination in partially observable settings and propose a set of benchmarks and evaluation protocols to assess its impact. This work positions world models as not only predictors of environmental dynamics, but as simulators of social behavior, opening new directions for generalizable, human-compatible AI.

评分理由: 论文主要贡献在于将世界模型应用于多智能体强化学习（MARL），通过因子化潜状态和引入 Theory-of-Mind 头来处理队友不确定性，因此'World Models'和'model-based RL'评分为 10。'Unify Models'评分为 5，因论文统一了队友建模至世界模型架构，但未涉及跨模态统一。其余关键词（Tokenizer, Visual Encoder, MLLM, MultiModal）与论文内容（纯 RL，非多模态，非 LLM）无关，评分为 0。作者 Tomas Leroy-Stone 不在指定专家列表中，无额外加分。

Multi-Agent Reinforcement Learning, World Models, Latent Teammate Modeling, Theory-of-Mind, Dreamer, Recurrent State-Space Model, Coordination

Chinese Title: 梦见他人：多智能体强化学习中世界模型内的潜在队友建模

Summary: 本文提出一种将队友建模整合到世界模型中的新视角，用于解决合作式多智能体强化学习（MARL）中因队友行为不可观测导致的非平稳性问题。作者将Dreamer风格的循环状态空间模型（RSSM）的潜在状态分解为环境分量和队友分量，并增加一个心智理论（ToM）头，从部分轨迹中推断队友的潜在嵌入（如性格、意图、预测动作）。这些队友潜在变量用于条件化演员和评论家网络，使智能体能够在想象中适应多样化的合作伙伴。论文详细描述了架构、训练目标和评估协议，旨在支持零样本和少样本协调。尽管未提供实证结果，但该工作将世界模型从环境模拟器扩展为社会行为模拟器，为通用、人类兼容的AI开辟了新方向。

Innovations:

• 将队友视为世界模型内可学习的结构化潜在组件，而非不可区分的噪声，从而降低非平稳性。
• 提出因子化潜在状态：将RSSM的潜在变量分解为环境潜在（zenv）和队友潜在（zteammate），分别捕获物理动态和队友行为。
• 引入辅助的心智理论（ToM）头，从部分历史轨迹中推断队友的潜在嵌入，并用于条件化演员和评论家。
• 无需集中训练、显式通信或共享潜在状态，支持零样本和少样本协调。
• 将世界模型从环境模拟器扩展为社会行为模拟器，为人类-AI协作提供新范式。

Methodology: 论文采用基于Dreamer的循环状态空间模型（RSSM）作为基础架构。在每一时间步，编码器将智能体观测和动作映射为确定性隐藏状态，然后分解为两个随机潜在变量：环境潜在（zenv）和队友潜在（zteammate）。两个解码器分别重建观测和预测队友下一动作（ToM损失）。动作（智能体自身和队友）共同驱动状态转移。演员和评论家网络在想象过程中以隐藏状态和队友潜在为条件进行训练。总目标函数为Dreamer标准损失加上带时间正则化的ToM交叉熵损失。部署时，智能体通过累积观测更新队友潜在嵌入，并利用想象滚动条采样队友轨迹以实现适应。

Key Results: 本文为提案论文，未报告实证结果。但提出了明确的架构设计、训练目标（公式1）和评估协议（包括Multi-Agent Particle Environments、Overcooked-AI、Melting Pot等基准，以及零样本协调分数、少样本改进、跨玩法鲁棒性等指标）。预期结果包括：降低非平稳性、改善零样本协调、可解释的潜在表示、与人类伙伴的兼容性。

Tech Stack:

• Dreamer (Hafner et al., 2025) - 世界模型框架
• Recurrent State-Space Model (RSSM) - 循环状态空间模型
• Theory of Mind (ToM) head - 心智理论头
• Actor-Critic - 演员-评论家算法
• Cross-entropy loss with temporal KL regularization - 带时间KL正则化的交叉熵损失
• Latent imagination rollouts - 潜在想象滚动条
• JaxMARL (Rutherford et al., 2024) - 多智能体RL工具
• BenchMARL (Bettini et al., 2024) - 基准测试工具

Strengths:

• 提出新颖的视角：将队友建模为世界模型内的结构化潜在过程，而非外部噪声，理论上有助于解决非平稳性。
• 架构设计清晰，与现有Dreamer框架兼容，易于集成和扩展。
• 强调零样本和少样本协调，贴近实际人类-AI协作场景。
• 评估协议全面，涵盖多个基准环境和多种指标，有利于标准化比较。
• 论文虽无实证，但提供了详细的技术路线和讨论，具有启发性和前瞻性。

Limitations:

• 论文为提案性质，未提供任何实验验证，其有效性尚待证明。
• 队友建模依赖于对队友动作的观测，在部分可观测或队友策略变化剧烈时可能难以准确推断。
• 因子化潜在状态可能增加模型复杂度，训练和推理的计算开销需评估。
• 未讨论如何处理多个队友（超过一个）的情况，扩展性存疑。
• 未涉及竞争或混合动机场景，仅聚焦合作环境。

Relevance To Keywords:

• Unify Models: 论文将世界模型与队友建模统一在同一框架内，体现了模型统一的思想。
• World Models: 核心贡献是扩展世界模型以包含社会动态，直接相关。
• Representation Learning: 通过因子化潜在状态和ToM头学习队友的潜在表示，属于表征学习。
• Model-Based RL: 基于Dreamer的模型强化学习范式，使用想象滚动条训练策略。
• 原生多模态大模型: 论文未涉及多模态大模型，但世界模型可处理视觉观测，间接相关。
• 多模态大模型的理解和生成一体化: 论文中的观测解码和动作预测可视为理解与生成的一体化，但非核心。
• 强化学习: 核心方法为多智能体强化学习。
• 后训练: 论文未涉及后训练，但零样本/少样本适应可视为后训练的一种形式。

对齐技术教导视觉 - 语言模型（VLMs）避免表达人口统计学偏见，当性别特征明显时，它们大多能成功。然而，关于模糊输入（例如全套装备的工人、从背后看到的人物）的情况知之甚少，这些情况在实践中很常见却鲜少被研究。我们发现，当提示模糊输入图像时，微弱的提示压力就会暴露职业 - 性别默认关联，模型甚至会倾向于男性，即使面对的是强烈带有女性刻板印象的职业。但这些输出是否反映了模型内部实际编码的内容？我们引入 LALS（潜在关联学习分数），这是一种零样本度量方法，它将视觉标记激活投影到模型的文本嵌入空间中，以测量每个标记和层的概念关联。在 15 种职业、超过 800 张性别模糊图像和四个 VLMs 上，内部表征与输出系统性地解耦：模型内部往往编码了女性关联，但输出却是男性。逐层分析揭示了一种不对称的机制——男性信号在整个过程中被放大，而女性信号在网络中间达到峰值并在生成前被抑制——且颜色消融实验表明，如服装颜色等文化负载的视觉线索进一步调节了这些内部关联。

Alignment teaches vision-language models (VLMs) to avoid expressing demographic biases, and when gender is clearly visible they largely succeed. Far less is known about ambiguous inputs (a worker in full gear, a figure seen from behind) cases common in practice yet rarely studied. We find that minimal prompting pressure exposes occupation-gender defaults when prompting ambiguous input images, with models collapsing to male even for strongly female-stereotyped occupations. But do these outputs reflect what models actually encode internally? We introduce LALS (Latent Association Leaning Score), a zero-shot metric that projects visual-token activations into the model's text-embedding space to measure concept associations per token and layer. Across 15 occupations, over 800 gender-ambiguous images, and four VLMs, internal representations and outputs are systematically decoupled: models often encode a female association internally yet output male. Layer-wise analysis reveals an asymmetric filter -- male signal amplifies end-to-end while female signal peaks mid-network and is suppressed before generation -- and a color ablation shows that culturally loaded visual cues such as clothing color further modulate these internal associations.

评分理由: The paper focuses on bias analysis in Vision-Language Models (VLMs), making MLLM and MultiModal highly relevant (8/10). Visual Encoder is moderately relevant as analysis relies on its token activations (6/10). Tokenizer is mentioned but not a core contribution (2/10). Unify Models, World Models, and model-based RL are unrelated to the bias analysis topic (0-1/10). No expert authors from the specified list are present.

Vision-Language Models, Gender Bias, Ambiguous Input, Internal Representations, Latent Association Leaning Score, Visual Token Activations, Demographic Bias

Chinese Title: 视觉语言模型在模糊输入下抑制女性表征

Summary: 本文研究视觉语言模型（VLM）在处理性别模糊图像时的内部表征与输出行为之间的解耦现象。作者发现，当输入图像中人物性别不可见时，模型在强制选择提示下倾向于输出男性，即使对于女性刻板印象的职业也是如此。为了探测内部表征，作者提出了LALS（潜在关联倾向分数），一种零样本度量方法，通过将视觉令牌激活投影到文本嵌入空间，逐令牌逐层地测量概念关联。实验覆盖15个职业、800多张性别模糊图像和四个VLM，结果表明：内部表征与输出系统性地解耦——模型内部可能编码女性关联，但输出却为男性；层分析揭示了一种不对称滤波机制：男性信号从早期到晚期逐层增强，而女性信号在中间层达到峰值后被抑制；颜色消融实验表明，服装颜色等文化负载视觉线索会进一步调节内部关联。该工作揭示了输出级审计的盲点，并提供了细粒度的内部偏见度量工具。

Innovations:

• 提出LALS（潜在关联倾向分数），一种零样本、逐令牌、逐层的度量方法，无需训练即可量化视觉令牌内部表征与概念极性的关联。
• 首次系统揭示VLM在性别模糊输入下内部表征与输出行为的解耦现象，发现模型内部可能编码女性关联但输出男性。
• 通过层扫描发现不对称滤波机制：男性信号从早期到晚期逐层增强，女性信号在中间层达到峰值后被抑制。
• 通过颜色消融实验证明文化负载视觉线索（如服装颜色）会显著影响内部性别关联，说明模型学习了文化性别刻板印象。

Methodology: 论文采用以下技术路线：（1）构建性别模糊图像数据集，使用Gemini 2.5 Flash生成15个职业的800多张无面部/遮挡人物图像，经人工验证确保无性别线索。（2）提出LALS指标：构建男性/女性关联词参考语料库，通过文本编码器获取嵌入；提取VLM各层视觉令牌隐藏状态，利用LatentLens投影到文本嵌入空间；对每个投影令牌计算k近邻（k=20）的性别平衡得分，取绝对值最大的前5%令牌聚合得到图像级得分。（3）对比内部表征与输出行为：使用开放提示和强制选择提示获取模型输出，并测量无图像时的文本先验。（4）进行层扫描分析，追踪性别信号随网络深度的变化。（5）进行颜色消融实验，改变人物服装颜色（蓝/粉）观察LALS变化。

Key Results:

• LALS在可见性别图像上准确定位性别信号（男性蓝色、女性红色），在无人图像上接近零，验证了有效性。
• 在性别模糊图像上，强制选择提示下模型输出强烈偏向男性，即使对于女性刻板职业（如保姆、化妆师）也是如此。
• 内部表征与输出解耦：存在三类职业——内部和输出一致偏向男性（如消防员）、一致偏向女性（如化妆师）、内部偏向女性但输出偏向男性（如保姆）。
• 层分析显示：男性信号从早期到晚期逐层增强，女性信号在中间层达到峰值后向输出层被抑制。
• 颜色消融：将服装从蓝色改为粉色显著降低内部男性信号，表明模型学习了颜色与性别的文化关联。

Tech Stack:

• Qwen2-VL-7B, Qwen2.5-VL-7B, LLaVA-v1.6-Mistral-7B, InternVL2.5-8B（四个开源VLM）
• LatentLens（视觉令牌隐藏状态投影到文本嵌入空间的方法）
• 余弦相似度（cosine similarity）用于k近邻检索
• k近邻（k=20）聚合性别平衡得分
• Logistic回归探针（作为LALS的交叉验证）
• Google Gemini 2.5 Flash（图像生成）
• RLHF（提及作为对齐技术）

Strengths:

• 提出零样本、细粒度的内部表征度量方法LALS，无需训练即可应用于任意VLM和任意概念维度。
• 首次系统揭示VLM内部表征与输出行为的解耦，指出输出级审计的盲点。
• 层扫描分析提供了对偏见传播机制的深入理解，具有可解释性。
• 跨多个模型（4个）和多个职业（15个）验证，结果具有泛化性。
• 颜色消融实验巧妙地将文化因素纳入分析，增强了生态效度。

Limitations:

• 仅关注性别维度，未涉及种族、年龄等其他社会偏见。
• 图像数据集为合成生成，可能无法完全代表真实世界中的性别模糊场景。
• 职业数量有限（15个），且部分职业的性别刻板印象可能因文化而异。
• LALS依赖LatentLens投影，该投影本身可能存在误差或信息损失。
• 未探讨如何缓解内部偏见，仅停留在检测层面。

Relevance To Keywords:

• Unify Models: 论文研究的是视觉语言模型（VLM），属于多模态大模型，与统一模型方向相关。
• World Models: 论文未直接涉及世界模型，但内部表征分析可视为理解模型对世界的编码方式。
• Representation Learning: 核心是研究内部表征中的性别关联，属于表征学习范畴。
• Model-Based RL: 论文未涉及强化学习或基于模型的RL。
• 原生多模态大模型: 评估的模型（Qwen2-VL等）属于原生多模态大模型。
• 多模态大模型的理解和生成一体化: 论文关注VLM的理解（内部表征）和生成（输出），但未强调一体化。
• 表征学习: 直接相关，LALS就是度量表征中的概念关联。
• 世界模型: 弱相关，内部表征可视为模型对世界的隐式建模。
• 强化学习: 不相关。
• 后训练: 论文提及RLHF作为对齐技术，属于后训练范畴，但未深入研究。

多模态幻觉仍是视觉 - 语言模型（VLMs）面临的一个持久性挑战。标准的文本直接偏好优化（DPO）往往因缺乏明确的视觉监督而无法有效缓解这一问题。尽管现有工作通过对比原始图像与负图像引入视觉偏好 DPO，但它们面临着由配分函数不匹配导致的理论不一致目标问题，且依赖于粗粒度负样本，这可能导致捷径学习。本文提出上下文视觉对比优化（IC-VCO）。通过将对比图像置于共享的多图像上下文中，IC-VCO 确保了数学上严格的目标。此外，我们还引入了视觉对比蒸馏（VCDist），这是一种辅助性的可靠性门控正则化器，旨在促进多图像对比训练与单图像推理之间的一致性。最后，我们提出了一种对比样本编辑策略，该策略通过精确的语义扰动生成难负样本。在五个基准上的实验表明，IC-VCO 取得了最佳的整体性能，并且我们的样本编辑策略是有效的。代码与数据可在 https://github.com/OPPO-Mente-Lab/IC-VCO 获取。

Multimodal hallucination remains a persistent challenge for Vision-Language Models (VLMs). Standard textual Direct Preference Optimization (DPO) often fails to mitigate it due to a lack of explicit visual supervision. While existing works introduce visual preference DPO by contrasting original images against negative ones, they suffer from a theoretically inconsistent objective caused by partition function mismatches and rely on coarse-grained negatives that could enable shortcut learning. In this work, we propose In-Context Visual Contrastive Optimization (IC-VCO). By placing contrastive images within a shared multi-image context, IC-VCO ensures a mathematically rigorous objective. We further introduce Visual Contrast Distillation (VCDist), an auxiliary reliability-gated regularizer that encourages consistency between multi-image contrastive training and single-image inference. Finally, we propose a contrastive sample editing strategy that generates hard negatives via precise semantic perturbations. Experiments on five benchmarks demonstrate IC-VCO's best overall performance and the effectiveness of our sample editing strategy. Code and data are available at https://github.com/OPPO-Mente-Lab/IC-VCO.

评分理由: 论文核心针对视觉语言模型（MLLM）的多模态幻觉问题，因此 MLLM 和 MultiModal 相关性最高。虽然涉及视觉编码器，但重点在于训练优化方法而非编码器架构，故 Visual Encoder 相关性中等。论文未涉及 Tokenizer 架构、世界模型构建、模型强化学习或模型统一架构，因此这些关键词相关性极低。

Multimodal Hallucinations, In-Context Visual Contrastive Optimization, Vision-Language Models, Visual Contrast Distillation, Contrastive Sample Editing, Fine-Grained Visual Discrepancies, Multi-image Context

Chinese Title: 从细粒度视觉差异中学习：通过上下文视觉对比优化缓解多模态幻觉

Summary: 多模态幻觉是视觉语言模型（VLM）面临的持续挑战。标准的文本直接偏好优化（DPO）因缺乏显式视觉监督而难以缓解该问题。现有方法通过对比原始图像与负样本引入视觉偏好DPO，但存在理论目标不一致（配分函数不匹配）和粗粒度负样本导致捷径学习的问题。本文提出上下文视觉对比优化（IC-VCO），通过将对比图像置于共享的多图像上下文中，确保数学上严格的目标函数。进一步引入视觉对比蒸馏（VCDist），一种辅助的可靠性门控正则化器，鼓励多图像对比训练与单图像推理之间的一致性。最后提出对比样本编辑策略，通过精确语义扰动生成硬负样本。在五个基准上的实验表明IC-VCO具有最佳整体性能，且样本编辑策略有效。

Innovations:

• 提出上下文视觉对比优化（IC-VCO），将对比图像置于共享多图像上下文中，确保配分函数一致，实现理论严格的DPO目标。
• 引入视觉对比蒸馏（VCDist），通过可靠性门控机制将多图像偏好分布作为软标签校准单图像分支，缩小训练-推理上下文差距。
• 提出对比样本编辑策略，通过精确局部语义扰动生成硬负样本，避免粗粒度差异导致的捷径学习。
• 引入细粒度token级偏好，对描述编辑视觉证据的响应token进行掩码，提升单图像策略对细粒度视觉差异的敏感性。
• 对称偏好优化框架，同时优化原始图像和对比图像两个方向的偏好，增强视觉接地能力。

Methodology: 首先构建共享多图像上下文M=[m, m']，通过锚点提示扩展（如“基于第一张图像回答”）明确目标图像，消除歧义。基于此构造对称偏好对，推导理论一致的DPO目标。引入视觉对比蒸馏（VCDist），使用双门控机制（正确性门控和置信度门控）过滤蒸馏信号，并应用停止梯度稳定优化。同时采用锚点损失防止选择似然下降。对比样本编辑策略通过精确局部修改（如替换物体、改变属性）生成硬负样本，保持风格一致但语义矛盾。训练时联合优化单图像分支和多图像分支的偏好损失、蒸馏损失和锚点损失。

Key Results:

• IC-VCO在五个多模态幻觉基准上取得最佳整体性能，优于标准DPO和现有视觉偏好DPO方法。
• 对比样本编辑策略作为硬负样本，能提升多种偏好优化方法（包括IC-VCO自身）的性能。
• 消融实验验证了VCDist、token级偏好、对称优化等各组件的有效性。
• 理论分析表明IC-VCO解决了视觉偏好DPO中配分函数不匹配的理论不一致问题。

Tech Stack:

• 直接偏好优化（DPO）
• Bradley-Terry模型
• 视觉对比蒸馏（VCDist）
• 锚点损失（Anchor Loss）
• token级偏好掩码
• 对比样本编辑（局部语义扰动）
• 多图像上下文构建
• 可靠性门控机制（正确性门控+置信度门控）
• 停止梯度（stop-gradient）

Strengths:

• 理论严谨：解决了现有视觉偏好DPO中配分函数不匹配的理论缺陷，目标函数数学一致。
• 硬负样本生成：通过精确编辑而非检索或全局合成，生成风格一致、语义矛盾的硬负样本，避免捷径学习。
• 训练-推理一致性：VCDist有效缩小多图像训练与单图像推理之间的上下文差距。
• 细粒度优化：token级偏好使模型关注具体视觉差异，提升细粒度视觉接地能力。
• 实验充分：在五个基准上验证，消融实验全面，代码开源。

Limitations:

• 依赖对比样本编辑的质量，编辑策略可能无法覆盖所有类型的视觉差异。
• 多图像上下文训练增加计算开销，推理时仍需单图像，存在一定上下文差距。
• 方法主要针对视觉幻觉，对文本幻觉或事实错误的缓解效果未充分验证。
• 超参数较多（λ1, λ2, η1, η2, γ等），调参可能复杂。

Relevance To Keywords:

• 原生多模态大模型：IC-VCO直接优化多模态大模型的视觉接地能力，属于多模态后训练方法。
• 多模态大模型的理解和生成一体化：方法同时涉及视觉理解和语言生成，通过偏好优化提升生成质量。
• 表征学习：对比样本编辑和对比优化有助于模型学习更精细的视觉表征。
• 世界模型：缓解视觉幻觉有助于模型更准确地建模视觉世界，但论文未直接涉及世界模型。
• 强化学习：DPO源于强化学习框架，本文属于基于偏好的后训练方法，与RL相关。
• 后训练：本文聚焦于VLM的后训练阶段，通过偏好优化对齐模型。

CT 解读要求放射科医生在每次检查中审阅数百个容积切片，使得报告撰写耗时且高度依赖专家经验。自动 CT 报告生成为提高临床效率提供了一条有前景的途径，但该领域仍缺乏一个可泛化的 CT 报告生成基础模型，该模型支持多区域报告，并在外部真实队列中保持稳健。队列间报告风格和诊断术语的内在不一致性使得朴素联合训练容易受到噪声文本监督的影响，从而限制了模型的泛化能力。在此，我们提出 Astra，一个可泛化的 CT 报告生成基础模型，该模型基于 90,678 个胸腹 CT-报告对（CTRgDB）进行训练，涵盖 353,671 个异常，涉及八个器官系统。通过统一报告风格并利用强化学习进一步细化诊断一致性，Astra 能够在不同的解剖区域和机构间实现风格一致且诊断准确的报告生成。在 CTRgDB 和六个外部队列上评估，Astra 取得了最先进的性能，在细粒度诊断指标上平均提高了 44.1% (P<0.001)。在真实世界临床工作流程中，Astra 辅助将胸部报告撰写时间缩短了 29.6%，并将腹部报告完整性提高了 11.3% (P<0.001)。此外，Astra 还展示了作为 CT AI 开发基础的广泛用途，通过高质量报告合成改善下游诊断性能并扩展视觉 - 语言预训练。总体而言，Astra 作为一个广泛可及的临床助手，以及下一代 AI 驱动医疗的关键基础设施。

CT interpretation requires radiologists to review hundreds of volumetric slices per examination, making reporting time-consuming and highly expertise-dependent. Automated CT report generation offers a promising route to improving clinical efficiency, yet the field still lacks a generalizable CT report generation foundation model that supports multi-region reporting and remains robust across external real-world cohorts. Intrinsic inconsistencies in reporting style and diagnostic terminology across cohorts make naive joint training prone to noisy textual supervision, thereby limiting model generalizability. Here we present Astra, a generalizable CT report generation foundation model trained on 90,678 thoracoabdominal CT-report pairs (CTRgDB) with 353,671 abnormalities spanning eight organ systems. By harmonizing report style and further refining diagnostic consistency via reinforcement learning, Astra achieves style-consistent and diagnostically accurate report generation across diverse anatomical regions and institutions. Evaluating on CTRgDB and six external cohorts, Astra achieves state-of-the-art performance with a 44.1% average improvement in fine-grained diagnostic metrics (P<0.001). In real-world clinical workflows, Astra assistance accelerates chest report drafting by 29.6% and improves abdominal report completeness by 11.3% (P<0.001). Furthermore, Astra also demonstrates broad utility as a foundation for CT AI development, improving downstream diagnostic performance and scaling vision-language pretrain through high-quality report synthesis. Overall, Astra serves as a broadly accessible clinical assistant and a pivotal infrastructure for the next generation of AI-powered healthcare.

评分理由: The paper presents Astra, a foundation model for CT report generation. It shows high relevance to MultiModal (8.0) and MLLM (7.0) as it integrates 3D imaging and text using a large-scale model. Reinforcement Learning is used for style refinement, giving moderate relevance to RL keywords (3.0). However, the paper does not focus on Tokenizer architecture, World Models (environment dynamics), Unify Models (architectural unification), or specifically model-based RL algorithms, resulting in lower scores for those categories. The weighted total score is 37.5 (sum of scores 25 * 1.5), exceeding the dynamic pass score of 27.8. None of the specified expert authors (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) appear in the author list.

CT report generation, Foundation model, Reinforcement learning, Generalizable, 3D computed tomography, Diagnostic consistency, Vision-language, Clinical assistant

Chinese Title: Astra：一种用于三维计算机断层扫描的通用报告生成基础模型

Summary: 论文提出Astra，一种用于3D CT报告生成的通用基础模型。针对现有模型局限于单一解剖区域或单一队列、难以泛化的问题，Astra在包含90,678个胸腹部CT-报告对（涵盖353,671个异常，涉及八个器官系统）的大规模数据集CTRgDB上训练。通过报告风格统一（利用大语言模型将报告重组为固定解剖顺序并去除噪声）和基于强化学习（GRPO）的后训练（设计区域级属性奖励函数以缓解术语异质性），Astra实现了跨区域、跨机构的风格一致且诊断准确的报告生成。在CTRgDB和六个外部队列上，Astra在细粒度诊断指标上平均提升44.1%（P<0.001）。临床人机协作研究表明，Astra辅助使胸部CT报告起草速度提升29.6%，腹部CT报告完整性提升11.3%（P<0.001）。此外，Astra作为基础模型可提升下游诊断性能，并通过合成高质量报告扩展视觉-语言预训练。

Innovations:

• 构建了大规模、多区域、多器官的CT报告生成数据集CTRgDB（90,678对），覆盖353,671个异常，为通用模型训练奠定基础。
• 提出报告风格统一策略，利用大语言模型将原始报告重组为固定解剖顺序并去除非视觉噪声，减少机构间模板差异。
• 引入基于GRPO的强化学习后训练，设计区域级属性奖励函数（程度、位置、特征、印象），通过同义词映射匹配临床等价表达，提升细粒度诊断准确性。
• 在六个外部真实世界队列上实现零样本泛化，平均细粒度诊断指标提升44.1%，超越现有专家模型和通用模型。
• 验证了Astra作为基础模型的扩展性：可增强预训练CT编码器的下游分类性能，并通过合成报告扩展视觉-语言预训练数据。

Methodology: 首先，从多个公开数据集（Merlin、Atlas3.0、CT-Rate、Inspect、BIMCV）收集CT-报告对，构建CTRgDB。然后，使用闭源大语言模型对原始报告进行风格统一：按10个胸部区域和13个腹部区域提取诊断描述并重组为固定顺序，去除阴性提及、临床沟通和比较性语句。接着，在统一后的数据上进行监督微调（SFT），使模型获得初步跨区域泛化能力。最后，采用组相对策略优化（GRPO）进行强化学习后训练：对每个CT输入生成多个候选报告，通过奖励函数评分计算组相对优势，引导模型优化。奖励函数基于FORTE方法，从生成报告和真实报告中提取四个属性（程度、位置、特征、印象）的关键词，通过同义词映射进行匹配，并引入区域级关键词匹配策略减少误匹配。

Key Results:

• Astra在CTRgDB和六个外部队列上达到SOTA性能，细粒度诊断指标（如异常检测F1、属性匹配准确率）平均提升44.1%（P<0.001）。
• 临床人机协作实验：Astra辅助使胸部CT报告起草时间减少29.6%，腹部CT报告完整性提升11.3%（P<0.001）。
• 作为基础模型，Astra的视觉编码器通过集成策略可提升下游分类任务性能；Astra生成的合成报告可有效扩展视觉-语言预训练，提升下游模型表现。
• CTRgDB数据集特征：平均每病例涉及3.9个器官，腹部报告平均含4.85个程度描述、9.97个解剖位置、7.33个形态描述；胸部报告相应为4.28、7.75、4.45。

Tech Stack:

• 闭源大语言模型（用于报告风格统一）
• 组相对策略优化（GRPO）
• FORTE奖励函数（基于四个属性：Degree, Landmark, Feature, Impression）
• 同义词映射表（用于临床等价表达匹配）
• 区域级关键词匹配策略
• 监督微调（SFT）
• 3D CT扫描与报告对数据集（CTRgDB）

Strengths:

• 大规模、多区域、多器官的数据集CTRgDB为通用模型训练提供了丰富资源。
• 报告风格统一和强化学习后训练有效解决了机构间模板和术语异质性，实现了跨队列零样本泛化。
• 全面的评估体系：包括方法论基准测试、临床人机协作实验和基础模型扩展性验证。
• 临床实用性显著：加速报告起草、提升报告完整性，且适用于不同经验水平的放射科医生。
• 作为基础模型可赋能下游AI任务，展示了报告生成模型的更广泛价值。

Limitations:

• 报告风格统一依赖闭源大语言模型，可能带来成本、隐私和可重复性问题。
• 奖励函数设计需要专家知识构建同义词映射表，且可能无法覆盖所有罕见或新兴术语。
• 模型在罕见病或极低频率异常上的表现未在论文中充分评估。
• 训练和推理需要大量计算资源（3D CT体积处理），可能限制在资源受限环境中的部署。
• 仅针对胸腹部CT，未扩展到其他解剖区域（如头部、脊柱等）。

Relevance To Keywords: 论文与多个研究关键词高度相关：1）原生多模态大模型：Astra是一个专门针对CT图像和文本报告的多模态模型，但并非通用型；2）多模态大模型的理解和生成一体化：Astra从3D CT图像生成结构化报告，实现了理解（图像特征提取）和生成（文本输出）的一体化；3）表征学习：通过报告生成任务，模型学习到丰富的视觉表征，并可迁移至下游分类任务；4）强化学习：采用GRPO进行后训练，优化报告生成质量；5）后训练：在SFT基础上使用强化学习进一步微调。与“世界模型”和“Model-Based RL”相关性较弱，因为Astra并未显式构建环境模型或进行规划。与“Unify Models”部分相关，因为Astra统一了多区域、多机构的报告生成。

现代 3D 医学视觉 - 语言模型（VLMs）虽能生成流畅的放射学风格文本，但在病理检测和输出多样性方面表现极低，退化为通用模板，导致罕见但关键的发现被低估。我们将此失败模式称为“模板坍塌”（Template Collapse）。此失败源于 3D 医学成像的独特约束，例如数据有限、严重的标签不平衡以及来自体编码器的弱信号。在此类约束下，文本生成目标会促使模型进行捷径学习，生成流畅但临床依据微弱的报告。我们通过临床保真度、输出多样性、正常模板偏差以及罕见发现保留率，系统地诊断了模板坍塌现象。为缓解这一问题，我们提出 CLarGen，这是一个解耦框架，将“说什么”（临床检测）与“怎么说”（语言合成）分离开来。CLarGen 包含三个组件：(i) 用于多标签病理检测的潜在查询变换器（Latent Query Transformer）；(ii) 用于获取临床匹配示例的病理引导检索；(iii) 基于检测到的发现和检索到的上下文合成最终报告的医学语言模型。在一系列最先进的 3D CT 报告生成基线模型上，CLarGen 有效缓解了模板坍塌，并显著提高了临床准确性（宏 F1 分数：0.487 vs 0.189；CRG：0.472 vs 0.368），同时保持了流畅的报告生成能力。我们的结果表明，明确且可测量的临床依据对于构建抗模板坍塌的 3D CT 报告生成系统至关重要。代码将在录用后开源。

Modern 3D medical vision-language models (VLMs) can generate fluent radiology-style text while exhibit critically low pathology detection and output diversity, collapsing to generic templates that under-report rare yet critical findings. We identify this failure mode as Template Collapse. This failure stems from the unique constraints of 3D medical imaging, e.g., limited data, severe label imbalance, and weak signals from volumetric encoders. Under these constraints, text-generation objectives encourage shortcut learning and fluent but weakly grounded reports. We systematically diagnose the Template Collapse through clinical fidelity, output diversity, normal-template bias, and rare-finding survival. To mitigate it, we propose CLarGen, a decoupled framework that separates what to say (clinical detection) from how to say it (language synthesis). CLarGen uses (i) a Latent Query Transformer for multi-label pathology detection, (ii) pathology-guided retrieval for clinically matched exemplars, and (iii) a medical language model to synthesize the final report from detected findings and retrieved context. Across state-of-the-art 3D CT report generation baselines, CLarGen mitigates Template Collapse and substantially improves clinical accuracy (macro-F1 0.487 vs. 0.189; CRG 0.472 vs. 0.368) while maintaining fluent reporting. Our results suggest that explicit, measurable clinical grounding is essential for template-collapse-resistant 3D CT report generation. Code will be released upon acceptance.

评分理由: The paper focuses on 3D medical report generation, making MultiModal (Vision+Language) and MLLM (Vision-Language Models) highly relevant. Visual Encoder is moderately relevant due to the discussion on volumetric encoders as a bottleneck. Unify Models, Tokenizer, World Models, and model-based RL are not core topics. No specified expert authors were found. The calculated weighted score is 36.0, surpassing the dynamic passing threshold of 27.8.

Template Collapse, 3D CT Report Generation, Vision-Language Models, CLarGen, Clinical Detection, Language Synthesis, Volumetric Encoders

Chinese Title: 生成报告还是重复模板？测量与缓解3D CT报告生成中的模板坍塌现象

Summary: 本文针对3D CT报告生成中视觉-语言模型（VLM）出现的“模板坍塌”现象进行系统研究。该现象表现为模型生成流畅但重复的报告，缺乏患者特异性，尤其漏报罕见但关键的病理发现。作者从临床保真度、输出多样性、正常模板偏差、罕见发现存活率等多个维度诊断该问题，并提出解耦框架CLarGen。CLarGen将报告生成分为三个阶段：首先使用潜在查询变换器（LQT）进行多标签病理检测；然后基于检测结果进行病理引导的检索，获取临床匹配的示例报告；最后利用冻结的医学语言模型（MedGemma-27B）综合检测结果与检索上下文生成最终报告。在CT-RATE数据集上的实验表明，CLarGen显著缓解了模板坍塌，临床准确率大幅提升（macro-F1从0.189提升至0.487，CRG从0.368提升至0.472），同时保持报告流畅性。

Innovations:

• 首次明确识别并系统定义了3D CT报告生成中的“模板坍塌”失败模式，并从多个互补维度进行量化诊断。
• 提出CLarGen解耦框架，将临床检测（说什么）与语言合成（怎么说）分离，避免端到端训练中的捷径学习。
• 引入潜在查询变换器（LQT）进行显式病理建模，通过可学习病理查询从3D特征中提取特定病理证据。
• 设计病理引导的检索机制，结合视觉相似性与临床一致性分数，并采用覆盖感知贪心选择确保检索示例涵盖所有高置信度发现。
• 保持LLM冻结，避免在小规模不平衡数据集上微调导致的模板坍塌，利用预训练医学推理能力。

Methodology: 论文采用三步解耦技术路线：1）临床感知阶段：使用冻结的3D视觉编码器（HLIP）提取特征，通过潜在查询变换器（LQT）的交叉注意力机制提取病理特异性证据，并用焦点损失优化多标签分类。2）病理引导检索阶段：计算查询CT与报告库中每个报告的视觉相似度（对比学习投影）和临床一致性分数（基于预测病理概率与报告标签的匹配），结合两者排序，并通过覆盖感知贪心选择确保检索示例覆盖所有高置信度病理。3）报告合成阶段：将预测病理标签、检索示例报告和患者元数据输入冻结的MedGemma-27B LLM，生成结构化的发现与印象部分。

Key Results:

• CLarGen在CT-RATE数据集上显著优于现有VLM基线：macro-F1从0.189提升至0.487，CRG从0.472提升至0.368（原文数据可能有误，应为0.472 vs 0.368，但摘要写0.472 vs 0.368，需确认；实际摘要为CRG 0.472 vs. 0.368）。
• 报告多样性显著提升：CLarGen生成的报告在嵌入空间中分布更广，而基线模型输出高度集中于少数模板。
• 罕见病理发现存活率提高：CLarGen对常见和罕见病理的检测性能均优于基线，克服了基线对罕见发现的系统性漏报。
• 临床保真度改善：CLarGen生成的报告更贴近真实报告，减少了正常模板偏差。

Tech Stack:

• 3D视觉编码器：HLIP（冻结）
• 潜在查询变换器（LQT）：可学习病理查询、交叉注意力、自注意力
• 多标签分类损失：焦点损失（Focal Loss）
• 对比学习：图像-文本投影器（用于检索嵌入）
• 检索排序：余弦相似度 + 临床一致性分数
• 覆盖感知贪心选择算法
• 医学语言模型：MedGemma-27B（冻结）
• 数据集：CT-RATE（25,678例胸部CT）

Strengths:

• 问题定义清晰：首次系统刻画3D CT报告生成中的模板坍塌现象，提供多维度诊断指标。
• 方法设计合理：解耦临床检测与语言生成，避免端到端训练中的捷径学习，符合医学报告生成的实际需求。
• 实验充分：在多个基线模型上对比，展示了显著的临床准确率提升和多样性改善。
• 实用性强：保持LLM冻结，降低计算成本，且避免过拟合，易于部署。
• 代码开源承诺：促进可复现性和后续研究。

Limitations:

• 依赖外部检索库：检索质量受限于训练集覆盖范围，对于罕见病理可能缺乏足够示例。
• 病理查询数量固定（18类），可能无法覆盖所有临床相关发现。
• 仅在一个数据集（CT-RATE）上验证，泛化性需在更多3D CT数据集上测试。
• 未与最新端到端VLM（如3D-CT-GPT等）进行详细消融对比，部分基线可能未包含。
• 冻结LLM虽然避免模板坍塌，但可能无法充分利用任务特定知识进行微调。

Relevance To Keywords:

• 原生多模态大模型：论文研究3D CT与文本的多模态对齐，属于多模态大模型在医学领域的应用，相关性较高。
• 多模态大模型的理解和生成一体化：CLarGen将理解（病理检测）与生成（报告合成）解耦，但整体仍是一体化流程，相关性中等。
• 表征学习：LQT和对比学习投影器涉及表征学习，用于提取病理相关特征，相关性较高。
• 世界模型：论文未涉及世界模型概念，相关性很低。
• 强化学习：论文未使用强化学习方法，相关性很低。
• 后训练：论文保持LLM冻结，未进行后训练，相关性较低。
• Unify Models：论文未讨论统一模型，相关性较低。
• Model-Based RL：不相关。

推理对于自动驾驶（AD）在长尾场景中至关重要，在此类场景中，车辆必须应用常识知识、理解空间关系、推断智能体交互并做出安全决策。然而，现有的自动驾驶数据集和基准主要侧重于感知、预测或规划，针对真实长尾驾驶场景中的推理提供的监督有限。我们引入了 nuReasoning，这是一个以推理为中心的大规模真实世界自动驾驶数据集与基准。秉承 nuScenes 和 nuPlan 的系列传统，nuReasoning 推动真实世界自动驾驶数据集和基准向长尾驾驶场景中的推理方向发展。该数据集包含 20,000 个片段，每个片段时长 20 秒，采集自多个城市，包含同步的多相机图像、激光雷达（LiDAR）数据、高精地图（HD Maps）、对象标注以及经人工验证的推理标注，涵盖空间推理（Spatial Reasoning）、决策推理（Decision Reasoning）和反事实推理（Counterfactual Reasoning）。与主要侧重于视觉问答（Visual Question Answering）的先前数据集不同，nuReasoning 同时支持推理评估和规划评估，从而能够直接研究推理监督如何影响驾驶性能。实验表明，在 nuReasoning 上微调视觉语言模型（VLMs）显著提升了驾驶特定问答性能，而在视觉 - 语言 - 动作（VLA）训练中融入推理监督则提升了规划性能，即使在推理时刻禁用文本推理输出时。这些结果确立了 nuReasoning 作为评估和改进稳健、可解释、推理驱动的自动驾驶系统的基础，适用于真实长尾场景。

Reasoning is essential for autonomous driving (AD) in long-tail scenarios, where vehicles must apply commonsense knowledge, understand spatial relations, infer agent interactions, and make safe decisions. However, existing AD datasets and benchmarks mainly target perception, prediction, or planning, and provide limited supervision for reasoning over realistic long-tail driving scenes. We introduce nuReasoning, a large-scale real-world dataset and benchmark for reasoning-centric AD. Following the lineage of nuScenes and nuPlan, nuReasoning advances real-world AD datasets and benchmarks toward reasoning in long-tail driving scenarios. The dataset contains 20,000 clips, each 20 seconds long, collected across multiple cities, with synchronized multi-camera images, LiDAR data, HD maps, object annotations, and human-verified reasoning annotations spanning Spatial Reasoning, Decision Reasoning, and Counterfactual Reasoning. Unlike prior datasets that focus primarily on visual question answering, nuReasoning supports both reasoning evaluation and planning evaluation, enabling a direct study of how reasoning supervision affects driving performance. Experiments show that fine-tuning VLMs on nuReasoning substantially improves driving-specific question answering, while incorporating reasoning supervision into VLA training improves planning performance even when textual reasoning outputs are disabled at inference time. These results establish nuReasoning as a foundation for evaluating and improving robust, interpretable, reasoning-driven AD systems in realistic long-tail settings.

评分理由: 论文核心为自动驾驶推理数据集，非模型架构开发。因此 Tokenizer、Visual Encoder 相关性低（1 分）。MLLM 和 MultiModal 因涉及 VLM 微调及多模态数据（相机、激光雷达、地图）而相关性高（7-8 分）。Unify Models 部分相关（3 分），World Models 与 model-based RL 仅在规划层面有间接关联（2 分）。作者列表中未发现指定专家，无额外加分。

Autonomous Driving, Reasoning Dataset, Multi-modal Data, VLM Fine-tuning, Long-tail Scenarios, Planning Evaluation, Benchmark

Chinese Title: nuReasoning：面向长尾自动驾驶的以推理为中心的数据集与基准

Summary: 本文提出nuReasoning，一个大规模真实世界数据集与基准，专注于长尾驾驶场景中的推理能力。现有自动驾驶数据集主要关注感知、预测或规划，缺乏对推理的监督与评估。nuReasoning包含20,000个20秒长的驾驶片段，覆盖多城市、多模态数据（多视角相机、LiDAR、高清地图、物体标注），并配有经过人工验证的三种推理标注：空间推理、决策推理和反事实推理。不同于仅关注视觉问答的数据集，nuReasoning同时支持推理评估和规划评估，可直接研究推理监督对驾驶性能的影响。实验表明，在nuReasoning上微调视觉语言模型（VLM）显著提升驾驶特定问答能力；将推理监督融入视觉语言动作模型（VLA）训练中，即使推理文本输出在推理时被禁用，也能提升规划性能。nuReasoning为在真实长尾场景中评估和改进鲁棒、可解释的推理驱动自动驾驶系统奠定了基础。

Innovations:

• 首个大规模真实世界长尾驾驶推理数据集，包含空间、决策和反事实三种推理标注。
• 提出统一评估推理和规划性能的基准，支持VLM、VLA和端到端驾驶模型的测试。
• 引入nuVLA强基线，证明推理监督可同时提升VLM推理能力和VLA规划性能。
• 采用VLM自动评估与人工验证相结合的数据筛选与标注流程，确保规模与质量。
• 数据集基于nuScenes/nuPlan生态扩展，便于社区使用和对比。

Methodology: 论文采用以下技术路线：1）从Motional内部自动驾驶车队日志中挖掘潜在长尾场景，使用基于Gemini 3.1 Pro的VLM自动评估器对每个片段进行难度评分（1-10）和场景分类，保留评分>5的片段。2）人工专家验证并选择决策关键帧，提取前后各10秒形成20秒片段。3）所有模态数据以10Hz同步采样，包括多视角相机图像、LiDAR点云、高清地图、物体跟踪、交通灯状态和自车状态。4）推理标注采用VLM自动标注与人工修正相结合的方式，生成空间推理（描述场景和周围代理）、决策推理（解释自车意图和依据）和反事实推理（分析替代决策的后果）。5）数据集划分为训练（17K）、验证（2K）和私有测试（1K）集。6）在基准上评估多种VLM和VLA模型，并训练nuVLA基线。

Key Results:

• 81.72%的保留片段被专家确认为长尾且具有挑战性。
• 在nuReasoning上微调VLM显著提升驾驶特定视觉问答性能，尤其在空间定位、决策和反事实评估方面。
• 将推理监督融入VLA训练可提升规划性能，即使推理文本输出在推理时被禁用。
• nuReasoning为长尾自动驾驶推理提供了统一的评估平台，支持推理与规划联合评估。

Tech Stack:

• Gemini 3.1 Pro（VLM自动评估器）
• 多模态数据：多视角相机图像、LiDAR点云、高清地图、3D边界框标注
• 推理标注类型：空间推理、决策推理、反事实推理
• VLM模型（如DriveVLM等）
• VLA模型（如nuVLA）
• nuScenes/nuPlan数据格式与生态
• 自动标注+人工验证的混合标注流程

Strengths:

• 大规模真实世界数据，覆盖多城市、多场景类型，聚焦长尾挑战。
• 提供三种互补的推理标注，支持空间、决策和反事实推理，超越简单问答。
• 同时评估推理和规划，直接衡量推理监督对下游任务的影响。
• 数据筛选流程结合VLM自动评分和人工验证，保证数据质量和场景多样性。
• 基于成熟的nuScenes/nuPlan生态，易于扩展和对比。

Limitations:

• 数据来源单一（Motional内部车队），可能引入特定传感器配置和驾驶风格偏差。
• 推理标注依赖VLM自动生成和人工修正，仍可能存在噪声或主观性。
• 私有测试集不公开，限制了第三方独立验证和公平比较。
• 仅提供开环规划评估，未涉及闭环仿真测试。
• 长尾场景定义依赖VLM评分和人工判断，可能遗漏某些罕见但重要的场景。

Relevance To Keywords:

• 原生多模态大模型：论文使用VLM（如Gemini）进行场景评估和推理标注，并微调VLM提升驾驶问答，直接相关。
• 多模态大模型的理解和生成一体化：数据集支持空间、决策和反事实推理，涵盖理解与生成（如解释决策、生成替代后果）。
• 表征学习：推理监督作为中间表征，提升VLA规划性能，即使推理输出被禁用，表明推理有助于学习更好的规划表征。
• 世界模型：反事实推理涉及对替代行动后果的预测，与世界模型中的因果推理和模拟相关。
• 强化学习：论文未直接使用强化学习，但反事实推理和决策推理可视为提供奖励信号或先验知识，与后训练阶段结合强化学习有潜在关联。
• 后训练：微调VLM和VLA训练属于后训练阶段，数据集可用于后训练中的推理能力增强。

基础变换器（Plain Transformers）已成为处理文本、音频、图像和视频的事实上的标准架构，为多模态学习提供了统一的骨干网络。然而，点云语义分割的最先进架构仍然主要由 U-Net（U-Nets）架构主导，其中卷积与局部或窗口注意力交错排列。在本文中，我们展示了如何有效地利用基础、非层次化的 ViT（视觉变换器）进行大规模汽车激光雷达场景的分割。通过精心设计的编码器（tokenizer）、轻量级解码器分割头以及定制的数据增强，我们成功弥合了性能差距。我们的方法，即 VaViT（基础 ViT），在保持 ViT 架构简洁性的同时，达到了或超过了最先进方法的性能。我们在 nuScenes、SemanticKITTI 和 Waymo Open Dataset 上进行了广泛评估，以验证该方法的有效性。代码和模型可在 https://github.com/valeoai/VaViT 获取。

Plain Transformers have become the de-facto architecture for processing text, audio, image, and video, offering a unified backbone for multimodal learning. However, state-of-the-art architectures for point cloud semantic segmentation remain dominated by U-Nets architectures where convolutions are interleaved with local or windowed attentions. In this work, we show how to effectively leverage vanilla, non-hierarchical ViTs for segmentation of large-scale automotive lidar scenes. We bridge the performance gap thanks to a carefully designed tokenizer, a lightweight decoder segmentation head, and tailored data augmentations. Our approach, VaViT for Vanilla ViT, matches or exceeds the performance of state-of-the-art methods while maintaining the simplicity of ViT architecture. We provide extensive evaluations on nuScenes, SemanticKITTI, and Waymo Open Dataset to validate the efficiency of our method. Code and models are available at https://github.com/valeoai/VaViT.

评分理由: The paper explicitly highlights a 'carefully designed tokenizer' and uses 'vanilla ViTs' (acting as Visual Encoder) for point cloud segmentation, scoring high on these keywords. It references unified transformer backbones for multimodal learning in the introduction (Unify Models, MultiModal) but focuses on single-modality point clouds. World Models, MLLM, and model-based RL are completely unrelated to the content. None of the listed expert authors are present in the author list.

Vanilla ViT, Point Cloud, Semantic Segmentation, Tokenizer, Automotive Lidar, Transformer Architecture, nuScenes

Chinese Title: 用于汽车点云语义分割的普通ViT

Summary: 本文探讨了如何将普通的、非层次化的Vision Transformer（ViT）直接应用于大规模激光雷达点云的语义分割。当前最先进的方法多采用U-Net架构，将卷积与局部或窗口注意力交织，而本文提出的VaViT框架则使用单尺度的普通ViT作为骨干，通过精心设计的令牌化策略、轻量级解码分割头和针对性的数据增强，弥合了性能差距。令牌化将原始点云在鸟瞰图（BEV）上投影为粗粒度令牌，同时保留高分辨率点嵌入；解码头结合全局上下文与局部点特征；数据增强PillarMix+通过混合不同扫描的柱体提升泛化能力。在nuScenes、SemanticKITTI和Waymo Open Dataset上的实验表明，VaViT能够匹配或超越现有最先进方法，同时保持架构的简洁性，表明普通Transformer可作为3D语义分割的可行替代方案。

Innovations:

• 首次证明普通、非层次化的ViT可直接用于大规模激光雷达点云语义分割，并达到最先进水平。
• 提出专用令牌化策略：在BEV上构建粗粒度柱体令牌，同时保留高分辨率点嵌入，兼顾全局与局部信息。
• 设计轻量级解码头，通过将ViT输出的全局特征与令牌化前的点嵌入融合，实现精确的点级语义预测。
• 引入强几何数据增强方法PillarMix+，通过混合不同扫描的柱体区域提升模型泛化能力，尤其适用于自动驾驶数据集。

Methodology: VaViT采用以下技术路线：1）令牌化：输入点云（含坐标、距离、强度等特征）经过多层共享MLP（类似PointNet++/DGCNN）提取点嵌入，然后在BEV上按固定尺寸柱体进行最大池化得到令牌序列。2）骨干网络：使用标准ViT（无层次结构，全局自注意力）处理令牌序列，建模长程空间依赖。3）解码头：将ViT输出的令牌特征通过反池化（基于点所属柱体）回传至每个点，并与原始点嵌入拼接，再经MLP输出逐点语义标签。4）数据增强：在训练时应用PillarMix+，将不同扫描的柱体随机混合生成复合场景，同时结合旋转、缩放等常规增强。

Key Results:

• 在nuScenes、SemanticKITTI和Waymo Open Dataset上，VaViT的mIoU指标匹配或超越当前最先进方法（如PTv3、LitePT等）。
• 验证了普通ViT在点云分割中的有效性，无需卷积或局部注意力即可达到高性能。
• PillarMix+数据增强显著提升了模型泛化能力，尤其对稀有类别效果明显。
• 消融实验表明令牌化策略和解码头设计对性能至关重要。

Tech Stack:

• Vision Transformer (ViT) 作为骨干网络
• PointNet++/DGCNN风格的共享MLP用于点嵌入提取
• 最大池化（Max Pooling）用于柱体令牌聚合
• 鸟瞰图（BEV）投影
• 自注意力机制（全局）
• 数据增强：PillarMix+（柱体混合）、旋转、缩放
• 批归一化（BatchNorm）、ReLU激活函数
• 门控机制（Gating）用于过滤邻域特征

Strengths:

• 架构简洁统一：使用普通ViT，便于与图像、文本等模态的Transformer统一，促进多模态学习。
• 性能优异：在多个主流数据集上达到或超越专门设计的点云分割方法。
• 设计巧妙：令牌化在BEV上粗粒度投影降低了计算复杂度，同时通过保留点嵌入和解码头恢复细节。
• 数据增强有效：PillarMix+针对激光雷达特性设计，提升了泛化能力。
• 开源代码和模型，可复现性强。

Limitations:

• 依赖BEV投影，可能丢失垂直方向上的精细几何信息（如高度变化）。
• 令牌化中的柱体尺寸是超参数，需要针对不同数据集调优。
• 全局自注意力计算复杂度随令牌数平方增长，在大规模场景下可能成为瓶颈（但本文通过粗粒度令牌缓解）。
• 仅在自动驾驶数据集上验证，未在室内或通用点云分割任务上测试。
• 与基于卷积的U-Net方法相比，训练可能需要更多数据增强技巧来弥补归纳偏置的缺失。

Relevance To Keywords: 本文研究点云语义分割，与给定关键词（统一模型、世界模型、表征学习、模型基强化学习、原生多模态大模型等）的直接相关性较低。但其中“Unify Models”和“原生多模态大模型”相关：VaViT使用普通ViT作为骨干，与图像、文本等模态的Transformer架构一致，有助于实现多模态统一。此外，点云分割可视为3D感知任务，是构建世界模型（World Models）中环境理解的一部分。表征学习方面，令牌化和点嵌入的设计涉及特征提取。总体而言，本文为统一架构提供了点云领域的实证，但未涉及强化学习或后训练。

视频语言模型仅能处理有限数量的帧，因此帧选择成为高效视频字幕生成过程中的关键瓶颈。大多数字幕生成管道仍依赖均匀采样，虽然计算成本低，但对视觉内容不敏感。近年来，自适应帧采样已成为一种有前景的方法，用于从视频中选择最具信息量的帧；然而，现有方法在计算上仍然昂贵。我们提出 PEEK，一种高效的动态帧采样方法，该方法将来自更强教师模型的、基于字幕条件的帧相关性排名知识蒸馏至一个仅处理视觉内容的轻量级时序模型中。实验结果表明，总体而言，在 ActivityNet Captions 和 MSR-VTT 数据集上，我们的方法在所有评估的下游视觉语言模型上均优于现有最先进方法，尤其是在仅选择一或两帧进行字幕生成时，对于大多数帧预算均取得了最佳的 CIDEr 分数。在 ActivityNet Captions 上，PEEK 表现尤为突出，在 16 种配置中有 14 种取得了最佳成绩。在 MSR-VTT 上的零样本评估表明，我们的模型在低帧预算下迁移效果最佳，而在四帧和八帧下的结果则较为混杂，这是因为随着时间覆盖范围和视觉多样性的竞争日益加剧。与近期自适应基线方法相比，PEEK 在低预算范围内不仅更准确，而且更高效：它仅使字幕生成时间增加 5.2%，而 CSTA 和 MaxInfo 分别增加了 65.4% 和 211.9%。我们将代码和预训练检查点开源至 https://github.com/momentslab/peek。

Video-language models can process only a limited number of frames, making frame selection a key bottleneck for efficient video captioning. Most captioning pipelines still rely on uniform sampling, which is computationally cheap but agnostic to visual content. Adaptive frame sampling has recently emerged as a promising approach for selecting the most informative frames from a video; however, existing methods remain computationally expensive. We introduce PEEK, an efficient dynamic frame sampling method that distills caption-conditioned frame relevance rankings from a stronger teacher model into a lightweight temporal model that operates only on visual content. We find that, overall, on ActivityNet Captions and MSR-VTT, our method outperforms state-of-the-art methods across all evaluated downstream vision language models, especially when only one or two frames are selected for captioning, obtaining the best CIDEr for most frame budgets. On ActivityNet Captions, PEEK is particularly strong, winning 14 out of 16 configurations. Zero-shot evaluation on MSR-VTT shows that our model transfers best at low frame budgets, while results at four and eight frames are more mixed as temporal coverage and visual diversity become increasingly competitive. Compared with recent adaptive baselines, PEEK is both more accurate in the low-budget regime and more efficient: it adds only $5.2\%$ to the captioning time, compared with $65.4\%$ for CSTA and $211.9\%$ for MaxInfo. We release our code and pre-trained checkpoint at https://github.com/momentslab/peek.

评分理由: 论文核心在于视频语言模型的高效帧采样与知识蒸馏，与 MultiModal 和 MLLM 高度相关，Visual Encoder 作为视觉特征提取组件有一定关联。但论文未涉及模型架构统一、分词器设计、世界模型构建或强化学习，故相关关键词得分较低。作者列表中未包含指定的 Yang Shi 等专家，无额外加分。加权总分为 36.0，高于动态及格分 27.8。

Video-language models, Frame selection, Knowledge distillation, Video captioning, Efficient sampling, Visual content, Temporal model

Chinese Title: PEEK：通过高效知识蒸馏挑选关键帧

Summary: 视频语言模型只能处理有限数量的帧，因此帧选择成为高效视频字幕生成的关键瓶颈。现有方法多采用均匀采样，虽计算成本低但忽略视觉内容。自适应帧采样虽能选择信息量最大的帧，但计算开销大。本文提出PEEK，一种高效的动态帧采样方法，通过将字幕条件化的帧相关性排名从强教师模型蒸馏到一个仅基于视觉内容的轻量级时序模型中。在ActivityNet Captions和MSR-VTT上，PEEK在大多数帧预算下优于现有方法，尤其在仅选择1-2帧时取得最佳CIDEr分数。PEEK仅增加5.2%的字幕生成时间，远低于CSTA的65.4%和MaxInfo的211.9%。代码和预训练模型已开源。

Innovations:

• 提出一种查询无关的帧选择器，通过蒸馏SigLIP 2的字幕条件化排名到仅使用视觉特征的轻量级时序评分器中。
• 设计字幕条件化帧评分作为Oracle诊断工具，量化语义帧相关性对视频字幕的价值。
• 在低帧预算下显著优于现有方法，且选择成本极低，仅增加5.2%的计算开销。
• 方法独立于下游字幕模型，无需在推理时使用文本编码器或字幕。

Methodology: 两阶段蒸馏框架。第一阶段：使用冻结的SigLIP 2双编码器作为教师，对候选帧与真实字幕计算余弦相似度，得到每帧的语义相关性分数，并归一化到[0,1]。第二阶段：使用轻量级MobileCLIP2视觉编码器提取帧嵌入，训练一个小型时序Transformer（学生模型）预测教师给出的排名，学生模型仅依赖视觉特征，不访问字幕。推理时，将视频分段，每段内选择得分最高的帧。

Key Results:

• 在ActivityNet Captions上，PEEK在16种配置中赢得14种，显著优于均匀采样和自适应基线。
• 在MSR-VTT零样本评估中，低帧预算下PEEK表现最佳，4帧和8帧时结果与基线混合。
• PEEK仅增加5.2%的字幕生成时间，而CSTA增加65.4%，MaxInfo增加211.9%。
• 在1-2帧的低预算下，PEEK在所有下游VLM上取得最佳CIDEr分数。

Tech Stack:

• SigLIP 2（教师模型，双编码器）
• MobileCLIP2（学生视觉编码器，轻量级）
• 余弦相似度
• Min-Max归一化
• 时序Transformer（轻量级）
• 知识蒸馏（ranking distillation）
• CIDEr评估指标

Strengths:

• 方法高效，推理时仅需轻量级视觉模型，计算开销极低。
• 教师模型提供高质量语义排名，学生模型成功蒸馏，无需字幕即可选择关键帧。
• 在低帧预算下表现突出，适合资源受限场景。
• 独立于下游字幕模型，通用性强。
• 开源代码和预训练模型，可复现。

Limitations:

• 在帧预算较高（如4-8帧）时，均匀采样和多样性方法竞争力增强，PEEK优势减弱。
• 依赖教师模型SigLIP 2的质量，若教师模型有偏差则可能影响蒸馏效果。
• 仅针对视频字幕任务设计，未验证在其他视频理解任务（如问答）上的泛化性。
• 训练需要真实字幕作为教师监督，可能不适用于无标注视频。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL：论文聚焦于视频帧选择，属于多模态大模型中的高效推理和表征学习，与统一模型和表征学习相关，但未直接涉及世界模型或强化学习。
• 原生多模态大模型：PEEK使用SigLIP 2和MobileCLIP2等预训练多模态模型，属于多模态大模型的应用。
• 多模态大模型的理解和生成一体化：视频字幕生成是理解和生成的结合，PEEK优化了理解阶段的帧选择。
• 表征学习：通过蒸馏学习帧的视觉表征与语义相关性，属于表征学习范畴。
• 后训练：知识蒸馏是一种后训练技术，将教师知识迁移到学生模型。

盲和低视力（BLV）受众在视觉艺术描述方面仍服务不足，尤其是在跨语言场景及博物馆环境中，由于隐私和知识产权限制，此类环境可能更偏向于使用小型本地部署视觉语言模型（VLMs）。本试点研究探究了利用 Qwen2.5-VL-3B-Instruct 针对德语、罗马尼亚语和塞尔维亚语的策展人引导式多语言艺术描述。我们基于艺术品图像和元数据构建了一个平行的 BLV 导向描述语料库，并在固定骨干网络和训练预算条件下，比较了语言特定的 LoRA 适配器与单个多语言适配器。评估结合了自动词汇和基于嵌入的指标，以及一个基于小型罗马尼亚 BLV 试点研究校准的 LLM-as-Judge 协议。在我们的试点设置下，语言特定适配器在罗马尼亚语和塞尔维亚语上表现出更稳定的可控性及基于视觉的描述质量，而多语言适配在德语中仍具竞争力。我们将这些发现视为面向小型本地部署 VLMs 的证据，并强调在得出关于多语言可访问性的普遍结论之前，需要开展更大规模的 BLV 用户研究及更广泛的语言覆盖。

Blind and low-vision (BLV) audiences remain underserved by visual art descriptions, particularly across languages and in museum settings where privacy and intellectual-property constraints may favour small on-premise vision-language models (VLMs). This pilot study investigates curator-guided multilingual art description with Qwen2.5-VL-3B-Instruct for German, Romanian, and Serbian. We construct a parallel BLV-oriented caption corpus from artwork images and metadata, and compare language-specific LoRA adapters with a single multilingual adapter under a fixed backbone and training budget. Evaluation combines automatic lexical and embedding-based metrics with an LLM-as-Judge protocol calibrated against a small Romanian BLV pilot study. Under our pilot setup, language-specific adapters show more stable controllability and visually grounded description quality for Romanian and Serbian, while multilingual adaptation remains competitive in German. We frame these findings as deployment-oriented evidence for small on-premise VLMs, and highlight the need for larger BLV user studies and broader language coverage before drawing general conclusions about multilingual accessibility.

评分理由: The paper primarily utilizes Vision-Language Models (MLLM, MultiModal) for accessibility tasks, justifying high scores for these keywords. It employs a fixed backbone (Visual Encoder) and tokenizer implicitly but does not focus on their design or analysis, resulting in low scores. There is no involvement of World Models or Reinforcement Learning, hence zero scores. Unify Models is moderately relevant due to the use of a single backbone with adapters, but it is not the core research contribution.

Blind and Low-Vision Audiences, Multilingual Art Description, Small Vision-Language Models, Curator-Guided, LoRA Adapters, Accessibility, Image Captioning, Multilingual Adaptation

Chinese Title: 策展人引导的多语言艺术描述对盲人和低视力受众的初步研究：基于小型视觉语言模型

Summary: 本文针对博物馆场景中盲人和低视力（BLV）受众的多语言艺术描述问题，探索了在固定骨干网络和训练预算下，使用小型视觉语言模型（VLM）进行语言特定适配器与单一多语言适配器的性能比较。研究基于Qwen2.5-VL-3B-Instruct模型，构建了德语、罗马尼亚语和塞尔维亚语的平行BLV导向描述语料库，并微调了单语言和多语言适配器。通过自动指标和LLM-as-Judge协议（涵盖多个先进模型）进行评估，并在罗马尼亚BLV试点研究中校准了评判者可靠性。结果表明，在罗马尼亚语和塞尔维亚语中，语言特定适配器在可控性和视觉基础描述质量上更稳定，而多语言适配器在德语中仍具竞争力。研究为小型本地部署VLM提供了实证依据。

Innovations:

• 首次在约3B参数的小型VLM上系统比较了单语言适配器与多语言适配器在BLV艺术描述中的性能，填补了低资源语言下的研究空白。
• 构建了策展人引导的BLV原型描述生成管道，结合图像、元数据和语言特定描述规范，实现了结构化、可控的多语言描述生成。
• 采用LLM-as-Judge协议并基于罗马尼亚BLV试点研究校准评判者可靠性，将评估扩展到缺乏BLV标注的德语和塞尔维亚语。
• 在风格留出测试集上评估模型对未见艺术风格的泛化能力，揭示了不同适配策略在长度控制、重复率和视觉基础内容上的差异。

Methodology: 研究采用以下技术路线：1）基于ARTEMIS数据集和Art-GenEvalGPT构建英文基础语料库，经稀有风格剪枝和风格留出划分得到553训练/212测试样本；2）利用GPT-4o-mini结合策展人提供的BLV原型描述、元数据和图像，生成德语、罗马尼亚语和塞尔维亚语的平行描述语料库；3）以Qwen2.5-VL-3B-Instruct为骨干，使用LoRA微调单语言适配器（每语言独立）和多语言适配器（三语言合并）；4）评估采用自动指标（嵌入余弦相似度、长度误差、重复率、ROUGE-L、BLEU、chrF）和LLM-as-Judge协议（GPT-4o、Claude、Gemma-3-12B-IT等），并在罗马尼亚BLV试点中校准评判者偏好一致性。

Key Results:

• 在罗马尼亚语和塞尔维亚语中，语言特定适配器在嵌入相似度、长度误差、重复率和词汇指标上均优于多语言适配器，尤其在长度控制和视觉基础内容上更稳定。
• 在德语中，多语言适配器与语言特定适配器性能相当，甚至在某些指标上略优。
• 基础模型（零样本）在所有语言上表现最差，表明微调的必要性。
• LLM-as-Judge校准显示，GPT-4o与人类BLV偏好一致性最高，可用于扩展评估。
• 语言特定适配器在风格留出测试集上表现出更强的泛化能力，错误类型（长度、重复、视觉内容）分布更均衡。

Tech Stack:

• Qwen2.5-VL-3B-Instruct（骨干VLM）
• LoRA（低秩适配）
• GPT-4o-mini（语料生成）
• GPT-4o、Claude、Gemma-3-12B-IT（LLM-as-Judge）
• gte-multilingual-base（嵌入相似度计算）
• ROUGE-L、BLEU、chrF（词汇指标）
• ARTEMIS数据集、Art-GenEvalGPT
• Python、PyTorch、Hugging Face Transformers

Strengths:

• 聚焦真实博物馆部署场景，考虑隐私和可控性需求，具有实际应用价值。
• 系统比较单语言与多语言适配策略，为低资源语言提供明确指导。
• 引入策展人引导的BLV原型描述，确保生成内容符合专业实践。
• 通过LLM-as-Judge校准解决BLV标注稀缺问题，评估方法可扩展。
• 在风格留出测试集上评估泛化能力，增强结论的鲁棒性。

Limitations:

• 语料库规模较小（每语言765条），可能限制模型泛化能力。
• 仅使用单一骨干模型（Qwen2.5-VL-3B），结论对其他VLM的普适性待验证。
• BLV试点研究仅覆盖罗马尼亚语，其他语言的评判者校准依赖间接验证。
• 自动指标与人类感知的关联性有限，LLM-as-Judge仍存在偏差风险。
• 未探索不同LoRA秩或参数预算的影响，适配器容量固定。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：论文使用Qwen2.5-VL作为原生多模态模型，但未涉及理解与生成一体化。
• World Models：论文未涉及世界模型或环境建模。
• Representation Learning：通过LoRA微调进行表征学习，但非核心贡献。
• Model-Based RL：论文未涉及强化学习或基于模型的RL。
• 后训练：论文的微调属于后训练范畴，但未探索强化学习后训练。
• 总体相关性中等：论文聚焦多语言艺术描述的可访问性，与关键词中的多模态大模型和后训练有部分关联，但与世界模型、表征学习、强化学习关联较弱。

现实世界中的多模态系统必须对低质量数据（如传感器噪声、不完整的多模态数据及冲突输入）具有鲁棒性。然而，现有的可信融合方法依赖于模型自身的预测置信度来评估数据质量。这产生了一种循环依赖：当模型自信但错误时，这些方法无法检测到错误。为打破这一循环，我们提出基于几何的多模态融合（Geometry-based Multimodal Fusion，GMF）。与依赖预测不同，我们通过测量输入在潜在空间中所需的传输校正量来评估其可靠性。我们实现了一种基于校正流（Rectified Flow）的扩散薛定谔桥（Diffusion Schrödinger Bridge）传输方法，其中初始速度的平方提供了一个高效的学习校正分数。有效数据的速度平方模较小，而含噪声、不完整或冲突的数据则需要更强的传输校正。这种基于几何的可靠性信号充当了独立的评判者，即使分类器被误导，也能有效标记不可靠的输入。大量实验表明，与基于置信度的基线方法相比，GMF 在面对严重传感器噪声和语义冲突时显著提升了鲁棒性。

Real-world multimodal systems must be robust against low-quality data, such as sensor noise, incomplete multimodal data and conflicting inputs. However, existing trustworthy fusion methods rely on the model's own prediction confidence to judge data quality. This creates a circular dependency: when a model is confident but wrong, these methods fail to detect the error. To break this loop, we propose Geometry-based Multimodal Fusion (GMF). Instead of relying on predictions, we evaluate reliability by measuring how much transport correction the input needs in latent space. We implement Diffusion Schrödinger Bridge transport with Rectified Flow, where the squared initial velocity gives an efficient learned correction score. Valid data has low squared velocity magnitude, while noisy, incomplete data or conflicting data requires stronger transport correction. This geometry-based reliability signal acts as an independent judge, effectively flagging unreliable inputs even when the classifier is fooled. Extensive experiments demonstrate that GMF significantly improves robustness against severe sensor noise and semantic conflicts compared to confidence-based baselines.

评分理由: The paper focuses on Geometry-based Multimodal Fusion (GMF) using Diffusion Schrödinger Bridges, making it highly relevant to MultiModal (Score: 9). It involves unifying modalities via latent transport, which loosely relates to Unify Models and MLLM (Score: 4 each). Visual Encoder is implicit in multimodal systems but not the core contribution (Score: 3). The method does not involve Tokenizers, World Models, or Model-Based RL, hence low scores (Score: 1 each). The total weighted score is 34.5, exceeding the dynamic passing score of 27.8. None of the specified expert authors are present in the author list.

Geometry-based Multimodal Fusion, Diffusion Schrödinger Bridge, Rectified Flow, Trustworthy Fusion, Latent Space Transport, Sensor Noise Robustness, Semantic Conflicts

Chinese Title: 基于几何的薛定谔桥用于可信多模态融合

Summary: 本文针对现有可信多模态融合方法依赖模型自身预测置信度所导致的循环依赖问题（模型自信但错误时无法检测），提出了一种基于几何的多模态融合方法（GMF）。该方法不依赖分类器输出，而是通过测量输入在潜在空间中所需的传输校正量来评估可靠性。具体地，采用扩散薛定谔桥与整流流技术，将初始速度的平方作为学习到的校正分数：有效数据具有低速度幅度，而噪声、不完整或冲突数据需要更强的传输校正。这种基于几何的可靠性信号充当独立评判者，即使在分类器被欺骗时也能有效标记不可靠输入。实验表明，GMF在严重传感器噪声和语义冲突场景下显著优于基于置信度的基线方法。

Innovations:

• 识别出基于置信度的融合方法中的“循环依赖”缺陷，并提出基于几何的范式，利用潜在传输成本评估可靠性。
• 将扩散薛定谔桥与整流流集成，创建高效的基于速度的度量，通过平方初始速度量化模态质量，与决策边界解耦。
• 将融合机制推导为几何能量目标的全局最小化器，提供针对传感器噪声和语义冲突的条件几何保证。
• 提出模态内传输成本（检测传感器噪声）和模态间传输成本（检测语义冲突）的双重几何检测机制。

Methodology: 首先，利用整流流（Rectified Flow）对每个模态的潜在特征进行传输建模，通过平方初始速度计算模态内传输成本，反映数据偏离干净流形的程度。其次，构建跨模态速度场，计算模态间传输成本以检测语义冲突。然后，通过竞争-交互机制合成几何成本：竞争阶段使用玻尔兹曼分布优先选择高稳定性模态，交互阶段通过稳定邻居的跨模态共识门控权重。最后，将几何权重与证据分类器结合，实现动态融合。

Key Results:

• GMF在四个基准数据集上显著优于基于置信度的基线方法。
• 在严重传感器噪声和语义冲突场景下，GMF能有效过滤被破坏的模态，而基于置信度的方法因循环依赖而失败。
• 几何可靠性信号（平方初始速度）能够独立于分类器输出准确识别低质量数据，即使分类器过度自信时也能正确标记。

Tech Stack:

• 扩散薛定谔桥（Diffusion Schrödinger Bridge）
• 整流流（Rectified Flow）
• 流匹配目标（Flow Matching Objective）
• 玻尔兹曼分布（Boltzmann distribution）
• Softplus激活函数
• Sigmoid门控函数
• 证据分类器（Evidential Classifier）

Strengths:

• 打破了传统方法对分类器置信度的循环依赖，提供了独立于预测的几何可靠性信号。
• 同时处理模态内噪声和模态间语义冲突，具有双重检测能力。
• 理论推导了融合机制作为几何能量最小化器，具有条件几何保证。
• 方法高效，整流流单步回归避免了迭代积分，适合实时推理。

Limitations:

• 需要为每个模态训练独立的整流流网络，增加了模型复杂度。
• 跨模态传输成本的计算需要成对训练速度场，在模态数量多时扩展性可能受限。
• 几何可靠性信号的有效性依赖于整流流对干净数据流形的准确建模，若训练数据本身存在噪声可能影响效果。
• 论文未讨论在模态缺失情况下的处理细节（如完全缺失某模态时如何定义传输成本）。

Relevance To Keywords:

• 表征学习（Representation Learning）：论文通过潜在空间几何传输成本评估数据质量，与表征学习相关。
• 世界模型（World Models）：整流流建模数据流形可视为隐式世界模型的一部分。
• 多模态大模型的理解和生成一体化：论文聚焦多模态融合的可信性，与多模态大模型的理解任务相关。
• 模型基础强化学习（Model-Based RL）：论文未直接涉及强化学习，但几何传输思想可用于RL中的状态可靠性评估。
• 后训练（Post-training）：论文方法可视为后训练阶段的质量评估模块。
• 原生多模态大模型：论文提出的几何融合机制可集成到原生多模态大模型中提升鲁棒性。

语义语音标记器已成为音频大语言模型（Audio-LLMs）的广泛使用接口，得益于其紧凑的单码本设计和强大的语言对齐能力。然而，其对语言抽象的关注导致了声学盲视，限制了其在以语音为中心的任务之外的适用性。我们提出了 UniAudio-Token，一种赋予语义标记器通用音频感知能力而不损害语音能力的框架。与改变语义范式不同，UniAudio-Token 通过两项关键创新来减轻其信息损失：(1) 语义 - 声学基元（SAP）通过将音频分解为语言内容、发声属性和听觉场景基元，提供结构化监督；(2) 语义 - 声学均衡（SAE）引入了一种内容感知门控机制，从浅层自适应地恢复细粒度声学细节。广泛的评估表明，UniAudio-Token 在学习全面的通用表征的同时，保持了高保真的语音生成能力。当与下游大语言模型（LLMs）集成时，它在理解和生成任务上优于所有单码本基线标记器，有效地充当了统一音频接口。我们公开发布了所有代码，包括训练和推理脚本以及模型检查点，网址为 https://github.com/Tencent/Universal_Audio_Tokenizer。

Semantic speech tokenizers have become a widely used interface for Audio-LLMs, owing to their compact single-codebook design and strong linguistic alignment. However, their focus on linguistic abstraction induces acoustic blindness, limiting their applicability beyond speech-centric tasks. We propose UniAudio-Token, a framework that empowers semantic tokenizers with general audio perception without compromising speech ability. Instead of altering the semantic paradigm, UniAudio-Token mitigates its information loss through two key innovations: (1) Semantic-Acoustic Primitives (SAP) provide structured supervision by decomposing audio into linguistic content, vocal attributes, and auditory-scene primitives; and (2) Semantic-Acoustic Equilibrium (SAE) introduces a content-aware gating mechanism that adaptively restores fine-grained acoustic details from shallow layers. Extensive evaluations show that UniAudio-Token learns comprehensive universal representations while preserving high-fidelity speech generation. When integrated with downstream LLMs, it outperforms all single-codebook baseline tokenizers on both understanding and generation tasks, effectively serving as a unified audio interface. We publicly release all our code, including training and inference scripts, together with the model checkpoints at https://github.com/Tencent/Universal_Audio_Tokenizer.

评分理由: The paper focuses on audio tokenization for LLMs. 'Tokenizer' is the core contribution (10/10). 'Unify Models' has moderate relevance (5/10) due to the unified design of semantic and acoustic primitives, though not architectural unification across modalities. 'MLLM' is moderately relevant (5/10) as it targets Audio-LLMs. 'MultiModal' is weakly relevant (3/10) as it focuses on audio modality without vision fusion. 'Visual Encoder', 'World Models', and 'model-based RL' are irrelevant (0/10). No expert authors from the specified list are found.

Semantic speech tokenizers, General Audio Perception, Audio-LLMs, Semantic-Acoustic Primitives, Unified Audio Interface, Acoustic Blindness, Large Language Models

Chinese Title: UniAudio-Token：赋予语义语音分词器通用音频感知能力

Summary: 本文提出UniAudio-Token框架，旨在解决语义语音分词器在通用音频感知任务中的声学盲区问题。现有语义分词器基于ASR编码器，擅长提取语言内容但抑制声学细节；而声学分词器虽保留细节但缺乏语义对齐。UniAudio-Token通过两项创新实现统一：一是语义-声学基元（SAP），利用LLM将音频分解为语言内容、声音属性和听觉场景三层结构化监督；二是语义-声学均衡（SAE），引入内容感知门控机制，自适应地从浅层恢复细粒度声学细节注入深层语义流。实验表明，UniAudio-Token在保持高质量语音生成的同时，在通用音频理解任务（如ESC-10聚类纯度）上显著优于基线。与Qwen2.5集成后，在MMAU基准上理解和生成性能均领先，可作为统一的音频接口。

Innovations:

• 提出语义-声学基元（SAP）结构化监督协议，将音频分解为语言内容、声音属性和听觉场景三层，显式解耦内容与风格，解决监督冲突。
• 设计语义-声学均衡（SAE）内容感知门控机制，自适应融合浅层声学细节与深层语义特征，缓解深层编码器的声学信息丢失。
• 实现单码本统一接口，同时支持高保真语音生成和通用音频理解，无需异构架构或额外适配器。
• 构建自动化SAP标注流水线，利用音频语言模型和LLM教师生成结构化标注，并通过多级验证保证质量。

Methodology: 首先，通过自动化流水线生成SAP标注：音频语言模型生成描述，LLM教师聚合转录和描述并结构化输出JSON，经多级验证后保留。模型架构基于ASR编码器（如HuBERT），中间层输出经向量量化（VQ）得到离散token；同时，SAE门控机制从浅层提取声学特征，根据内容感知权重动态注入深层语义表示。训练时使用SAP监督（包括语言内容、声音属性、听觉场景）和重构损失。下游集成时，将UniAudio-Token作为前端与LLM（如Qwen2.5）结合，进行理解和生成任务。

Key Results:

• 在ESC-10音频事件分类上，UniAudio-Token的token序列t-SNE可视化形成清晰分离的聚类，而语义基线（GLM-4-Voice-Tokenizer）和声学基线（WavTokenizer）均存在重叠或混淆。
• 在语音生成质量上，UniAudio-Token超越专用语音分词器（如CosyVoice2），证明通用感知能力未损害生成能力。
• 与Qwen2.5-3B集成后，在MMAU基准上理解和生成性能均优于所有单码本基线分词器。
• SAE机制表现出自适应行为：对语音内容保留语义，对非语音场景注入更多声学细节。

Tech Stack:

• ASR编码器（如HuBERT）
• 向量量化（Vector Quantization, VQ）
• 内容感知门控机制（Content-aware Gating）
• LLM教师模型（用于SAP结构化合成）
• 音频语言模型（用于声学描述生成）
• t-SNE可视化
• MMAU基准
• ESC-10数据集

Strengths:

• 创新性地解决了语义分词器的声学盲区问题，实现单码本统一音频接口。
• SAP结构化监督显式解耦内容与风格，降低训练难度并提升泛化性。
• SAE门控机制动态平衡语义与声学信息，避免简单融合导致的语义稀释。
• 自动化SAP标注流水线降低了人工成本，且通过多级验证保证质量。
• 实验全面，在理解和生成任务上均验证有效性，且开源代码和模型。

Limitations:

• SAP标注依赖LLM生成，可能存在幻觉或偏差，尽管有多级验证但仍需人工抽查。
• 当前主要验证英文和通用音频场景，多语言或低资源场景下的表现未充分探讨。
• SAE门控机制的设计可能增加模型复杂度，推理效率需进一步评估。
• 与下游LLM集成时，仅测试了Qwen2.5，其他架构的兼容性未知。

Relevance To Keywords:

• Unify Models: UniAudio-Token统一了语音和通用音频的离散表示，支持理解和生成一体化，符合统一模型方向。
• World Models: 通过SAP结构化描述音频场景（如听觉场景），有助于构建音频世界模型。
• Representation Learning: 提出语义-声学均衡的表示学习方法，学习兼具语义和声学细节的通用音频表征。
• Model-Based RL: 虽未直接涉及强化学习，但统一的音频接口可作为多模态智能体感知模块，支持基于模型的交互。
• 原生多模态大模型: 作为音频分词器，可直接集成到多模态大模型中，实现原生音频输入输出。

真实世界图像恢复（IR）受限于高质量成对训练数据的稀缺。合成数据集虽丰富，但往往难以模拟真实世界退化，而真实世界成对数据集则成本高昂且难以采集。因此，在这些数据集上训练的 IR 模型在真实世界场景中的泛化能力有限。本文提出生成式真实标签（GGT），利用生成式多模态基础模型（MFMs）从真实世界低质量（LQ）图像生成高质量（HQ）目标。我们首先对九种最先进的生成式多模态基础模型（MFMs），包括 Nano-Banana-2 和 GPT-Image-2，在各种场景及退化类型的图像上进行了系统评估。结果表明，采用基于视觉语言模型（VLM）的自适应提示的 Nano-Banana-2 表现出最强的能力，能够合成感知上真实且内容忠实的高质量（HQ）目标，可作为低质量（LQ）输入的生成式真实标签（GGT）。随后，我们利用 Nano-Banana-2 构建了一个 GGT 合成管道，该管道包含多阶段质量控制以确保数据可靠性，并构建了 GGT-100K 数据集，这是一个 LQ-HQ 成对数据集，包含 103,707 对训练样本，覆盖多样场景及复杂的真实世界退化。此外，还建立了包含 500 对图像的测试集。大量实验表明，GGT-100K 始终能提升多种 IR 模型在真实世界场景下的泛化能力，尤其在针对 IR 任务微调生成模型时表现出显著优势。我们的结果表明，MFMs 可作为面向恢复任务的数据生成实用工具，而 GGT-100K 则是扩展真实世界 IR 模型泛化边界的有用资源。

Real-world image restoration (IR) is bottlenecked by the scarcity of high-quality paired training data. Synthetic datasets are abundant but often fail to model real-world degradations, while real-world paired datasets are expensive and difficult to capture. As a result, IR models trained on these datasets show limited generalization in real-world scenarios. In this work, we propose Generative Ground Truth (GGT) by using generative multimodal foundation models (MFMs) to produce high-quality (HQ) targets from real-world low-quality (LQ) images. We first conduct a systematic evaluation of nine state-of-the-art MFMs, including Nano-Banana-2 and GPT-Image-2, on images of various scenes and degradation types. The results demonstrate that Nano-Banana-2 with VLM-based adaptive prompting shows the highest capability to synthesize perceptually realistic and content-faithful HQ targets, which can serve as the GGT for the LQ input. We then employ Nano-Banana-2 to build a GGT synthesis pipeline, which involves multi-stage quality control to ensure data reliability, and construct GGT-100K, an LQ-HQ paired dataset comprising 103,707 training pairs and covering diverse scenes and complex real-world degradations. A test set of 500 image pairs is also established. Extensive experiments show that GGT-100K consistently improves the real-world generalization of a wide range of IR models, with particularly strong benefits for finetuning generative models for IR tasks. Our results suggest that MFMs can serve as practical tools for restoration-oriented data generation, and GGT-100K is a useful resource to expand the generalization boundaries of real-world IR models.

评分理由: The paper focuses on real-world image restoration using generative multimodal foundation models (MFMs), making MLLM and MultiModal highly relevant (7.0) as core tools. Unify Models is moderately relevant (4.0) due to the unified nature of MFMs, but not the primary contribution. Tokenizer, Visual Encoder, World Models, and model-based RL are largely irrelevant (1.0-2.0) as they are not discussed or central to the image restoration task. None of the listed expert authors (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) appear in the author list, so no bonus points apply.

Generative Ground Truth, Real-World Image Restoration, Multimodal Foundation Models, GGT-100K Dataset, Data Generation, Model Generalization, VLM-based Prompting

Chinese Title: GGT-100K：面向泛化真实世界图像恢复的生成式真值数据集

Summary: 真实世界图像恢复面临高质量配对训练数据稀缺的瓶颈。合成数据虽丰富但难以模拟真实退化，而真实配对数据采集成本高且场景有限。本文提出利用生成式多模态基础模型（MFMs）从真实低质量图像生成高质量目标图像，作为生成式真值（GGT）。系统评估了9种先进MFMs（如Nano-Banana-2、GPT-Image-2）在不同场景和退化类型上的表现，发现Nano-Banana-2结合VLM自适应提示能生成感知真实且内容忠实的高质量目标。基于此，构建了包含103,707对训练样本和500对测试样本的GGT-100K数据集，涵盖多种真实退化。实验表明，GGT-100K能持续提升多种图像恢复模型（CNN、Transformer、生成式模型）在真实场景下的泛化能力，尤其对生成式模型的微调效果显著。

Innovations:

• 提出GGT范式：利用生成式多模态基础模型从真实低质量图像生成高质量真值，为真实世界图像恢复提供可扩展的配对数据构建方法。
• 系统评估9种MFMs及多种提示策略（固定提示、VLM自适应提示），为恢复导向的数据生成提供实用见解。
• 构建GGT-100K数据集：包含103K对高质量LQ-HQ配对样本，覆盖多种真实退化（混合退化、雨、雾、雪、低光照、老照片等），并经过多阶段质量控制。
• 验证GGT-100K能显著提升多种恢复模型（包括CNN、Transformer、全合一模型、生成式模型）在真实场景下的泛化性能，尤其对生成式模型效果突出。

Methodology: 首先收集真实低质量图像（来自现有数据集、互联网和自拍），归一化至1024×1024。然后系统评估9种MFMs（开源和闭源）结合固定提示和VLM自适应提示，通过保真度指标（PSNR、SSIM、LPIPS、DISTS）、感知指标（NIQE、MUSIQ、MANIQA、TOPIQ、AFINE-NR）、VLM评估和人工偏好综合选择最佳模型（Nano-Banana-2 + VLM自适应提示）。使用该模型大规模生成候选高质量目标，再经过多阶段质量控制：自动指标过滤、VLM辅助筛选、人工验证，最终构建GGT-100K。测试集包含500对人工精心挑选的配对。最后在多种恢复模型上微调或重新训练，评估泛化性能。

Key Results:

• Nano-Banana-2结合VLM自适应提示在保真度、感知质量、VLM评估和人工偏好上综合最优，适合作为GGT生成模型。
• GGT-100K包含103,707对训练样本和500对测试样本，覆盖多种真实退化场景。
• 在多个恢复模型（FoundIR、Qwen-Image-Edit、MIRNet、Restormer等）上，使用GGT-100K微调后，在真实退化图像上的泛化性能显著提升，视觉细节更丰富且场景保真度更好。
• 生成式恢复模型（如Qwen-Image-Edit）受益最大，GGT-100K帮助其避免幻觉和颜色偏移，同时增强细节生成能力。

Tech Stack:

• 多模态基础模型：Nano-Banana-2, GPT-Image-2, GPT-Image-1.5, Kling-Image-O1, Seedream-5.0, FireRed-1.1, Qwen-Image-Edit-2511, FLUX.2-dev
• 视觉语言模型（VLM）：GPT-5.4-Pro, Gemini-3.1-Pro（用于自适应提示生成）
• 保真度指标：PSNR, SSIM, LPIPS, DISTS
• 感知质量指标：NIQE, MUSIQ, MANIQA, TOPIQ, AFINE-NR
• 图像恢复模型：FoundIR, Qwen-Image-Edit, MIRNet, Restormer, MPRNet, AirNet, PromptIR, DiffBIR等
• 数据预处理：图像归一化至1024×1024
• 多阶段质量控制：自动指标过滤、VLM辅助筛选、人工验证

Strengths:

• 提出了一种可扩展的、基于生成式模型的数据构建范式，有效缓解真实世界图像恢复的数据瓶颈。
• 系统评估了多种MFMs和提示策略，为后续研究提供了有价值的基准和选择依据。
• 构建的GGT-100K数据集规模大、场景多样、退化类型丰富，且经过严格质量控制，具有实用价值。
• 实验验证充分，涵盖多种主流恢复模型架构，证明了GGT-100K的泛化提升效果，尤其对生成式模型效果显著。

Limitations:

• 依赖闭源MFM（Nano-Banana-2），可能受限于模型可用性和成本。
• 生成式真值可能存在潜在偏差或幻觉，尽管经过多阶段控制，但无法完全消除。
• 数据集主要针对常见真实退化，对极端罕见退化或特定领域（如医学图像）的覆盖可能不足。
• 评估主要基于感知和保真度指标，缺乏与真实地面真值的直接对比（因为真实地面真值本身难以获取）。

Relevance To Keywords: