具身智能通常通过针对操作或导航等单个任务的专用模型进行研究，导致能力碎片化，且在任务、环境和机器人形态上的泛化能力受限。在这项工作中，我们研究异构具身决策问题是否能够在单个视觉 - 语言 - 动作模型（Vision-Language-Action, VLA）中统一。我们提出了 Qwen-VLA，一个统一的具身基础模型，该模型通过基于 DiT 的动作解码器，将 Qwen 的视觉 - 语言建模堆栈从感知、理解和推理扩展到连续动作和轨迹生成。Qwen-VLA 采用大规模联合预训练方案，在多样数据源上进行训练，包括机器人操作轨迹、人类第一人称视角演示、合成仿真数据、视觉 - 语言导航数据、以轨迹为中心的监督以及辅助视觉 - 语言数据。为了支持多种机器人平台，我们引入了具身感知的提示调节（embodiment-aware prompt conditioning），其中机器人特定的文本描述指定了当前的具身状态和控制约定。我们进一步将操作、导航和轨迹预测纳入统一的动作 - 轨迹预测框架，实现了跨机器人形态、任务家族和环境的可迁移视觉 grounding、空间推理及连续动作生成。在操作、导航及以轨迹为中心的基准测试上的实验表明，在场景布局、背景、光照、物体配置和机器人形态变化下，该方法具有一致的多任务性能和分布外泛化能力。Qwen-VLA-Instruct 在 LIBERO 上达到 97.9%，在 Simpler-WidowX 上达到 73.7%，在 RoboTwin-Easy/Hard 上分别达到 86.1%/87.2%，在 R2R 上 OSR 为 69.0%，在 RxR 上 SR 为 59.6%，在真实世界 ALOHA 实验中平均 OOD 成功率为 76.9%，在 DOMINO 动态操作中零样本成功率为 26.6%。

Embodied intelligence is often studied through specialized models for individual tasks such as manipulation or navigation, resulting in fragmented capabilities and limited generalization across tasks, environments, and robot embodiments. In this work, we study whether heterogeneous embodied decision-making problems can be unified within a single vision-language-action model. We present Qwen-VLA, a unified embodied foundation model that extends Qwen's vision-language modeling stack from perception, understanding, and reasoning to continuous action and trajectory generation through a DiT-based action decoder. Qwen-VLA is trained with a large-scale joint pretraining recipe over diverse data sources, including robotics manipulation trajectories, human egocentric demonstrations, synthetic simulation data, vision-and-language navigation data, trajectory-centric supervision, and auxiliary vision-language data. To support multiple robot platforms, we introduce embodiment-aware prompt conditioning, where robot-specific textual descriptions specify the current embodiment and control convention. We further cast manipulation, navigation, and trajectory prediction into a unified action-and-trajectory prediction framework, enabling transferable visual grounding, spatial reasoning, and continuous action generation across robot morphologies, task families, and environments. Experiments on manipulation, navigation, and trajectory-centric benchmarks show consistent multi-task performance and out-of-distribution generalization under variations in scene layout, background, lighting, object configuration, and robot embodiment. Qwen-VLA-Instruct achieves 97.9% on LIBERO, 73.7% on Simpler-WidowX, 86.1%/87.2% on RoboTwin-Easy/Hard, 69.0% OSR on R2R, 59.6% SR on RxR, 76.9% average OOD success in real-world ALOHA experiments, and 26.6% zero-shot success on DOMINO dynamic manipulation.

评分理由: 论文核心在于统一视觉 - 语言 - 动作建模（Unify Models, MultiModal, MLLM），标题与摘要均强调统一性。虽然基于 Qwen 架构隐含了 Tokenizer 和 Visual Encoder，但未作为主要创新点提出。模型涉及机器人动作生成与轨迹预测，与 model-based RL 及 World Models 有一定关联，但主要定位为统一的基础模型而非特定的 RL 算法或世界模型框架。

Vision-Language-Action, Unified Foundation Model, Embodied Intelligence, DiT-based Action Decoder, Robot Embodiments, Multi-task Performance, Generalization

Chinese Title: Qwen-VLA：跨任务、环境和机器人本体的统一视觉-语言-动作建模

Summary: 论文提出Qwen-VLA，一个统一的具身基础模型，旨在解决当前具身智能模型碎片化、缺乏跨任务、环境和本体泛化能力的问题。该模型基于Qwen3.5-4B视觉语言骨干和DiT流匹配动作解码器，通过大规模联合预训练（涵盖机器人操作轨迹、人类第一人称演示、合成仿真数据、视觉语言导航数据及辅助视觉语言数据）和本体感知提示条件，将操作、导航、轨迹预测统一到共享的动作-轨迹预测框架中。采用分阶段训练策略：文本到动作预训练、多模态持续预训练、监督微调和强化学习，以稳定训练并提升下游迁移能力。实验在多个操作、导航和轨迹基准上取得优异性能，如LIBERO 97.9%、Simpler-WidowX 73.7%、R2R OSR 69.0%，并在真实世界ALOHA实验中达到76.9%的OOD成功率，展示了跨本体和场景的泛化能力。

Innovations:

• 提出统一的视觉-语言-动作模型，将操作、导航和人类第一人称动作建模到共享的动作-轨迹空间，支持多种机器人平台和任务族。
• 构建大规模异构数据联合预训练混合体，包括多种机器人操作轨迹、人类演示、合成仿真、导航和精选视觉语言数据，覆盖低层运动先验和高层语义推理。
• 引入本体感知提示条件，通过文本描述统一不同机器人平台、控制约定和预测视野，无需为每个本体设计独立策略。
• 设计渐进式训练流程：文本到动作预训练、多模态持续预训练、监督微调和强化学习，有效弥合离散视觉语言令牌与连续动作轨迹之间的差距，提升训练稳定性和下游迁移。
• 在多个基准上实现跨任务、环境和本体的泛化，验证了联合预训练和渐进学习对多任务性能和鲁棒性的提升。

Methodology: 论文采用基于Qwen3.5-4B视觉语言骨干和DiT流匹配动作解码器的统一架构。所有任务统一为条件预测框架：输入视觉上下文、语言指令、本体描述和可选任务标识，输出统一表示的动作或轨迹。训练分为四个阶段：第一阶段进行文本到动作DiT预训练（无视觉输入），学习语言条件动作压缩先验；第二阶段加入视觉输入进行多模态持续预训练，将动作先验与视觉观察对齐；第三阶段进行监督微调，针对下游任务优化；第四阶段使用强化学习优化闭环任务成功率。本体感知提示通过文本描述指定当前机器人平台和控制约定，使同一模型处理不同控制模式。

Key Results:

• 在LIBERO基准上达到97.9%的成功率。
• 在Simpler-WidowX基准上达到73.7%的成功率。
• 在RoboTwin Easy/Hard上分别达到86.1%和87.2%的成功率。
• 在R2R导航任务上达到69.0%的OSR，在RxR上达到59.6%的SR。
• 在真实世界ALOHA实验中达到76.9%的平均OOD成功率。
• 在DOMINO动态操作任务上实现26.6%的零样本成功率。
• 展示了跨场景布局、背景、光照、物体配置和机器人本体的分布外泛化能力。

Tech Stack:

• Qwen3.5-4B（视觉语言骨干，原生多模态，ViT+空间合并）
• DiT（扩散Transformer，用于流匹配动作解码器）
• 流匹配（Flow Matching，用于连续动作生成）
• MANO（手部姿态表示，用于人类第一人称数据）
• 强化学习（用于后训练阶段优化闭环成功率）
• 条件预测框架（统一输入输出格式）
• 本体感知提示（文本描述统一控制约定）

Strengths:

• 统一框架覆盖操作、导航和人类动作，实现跨任务、环境和本体的泛化。
• 大规模异构数据联合预训练，充分利用多种数据源提升模型能力。
• 渐进式训练策略有效解决视觉语言骨干与动作解码器初始化不对称问题，训练稳定。
• 在多个标准基准和真实世界实验中取得领先性能，验证了方法的有效性。
• 开源模型和代码，促进社区研究和应用。

Limitations:

• 模型依赖大规模异构数据收集和清洗，数据获取成本高。
• 训练计算资源需求大，可能限制小型团队复现。
• 导航任务性能（如R2R 69.0%）相比专用导航模型可能仍有差距，统一模型在特定任务上可能弱于专家模型。
• 未详细讨论模型在极端未知环境或安全关键场景下的表现和失败案例。
• 强化学习阶段的具体算法和超参数未明确，可能影响可复现性。

Relevance To Keywords:

• Unify Models：论文核心是统一模型，将操作、导航、人类动作整合到单一架构。
• World Models：统一动作预测框架可视为世界模型的一部分，但论文未明确构建世界模型。
• Representation Learning：视觉语言骨干提供强大的表征学习能力，用于视觉、语言和动作的联合表示。
• Model-Based RL：论文使用强化学习进行后训练，但未明确基于模型，更接近无模型RL。
• 原生多模态大模型：Qwen3.5是原生多模态模型，支持早期视觉语言融合。
• 多模态大模型的理解和生成一体化：模型同时处理视觉语言理解和连续动作生成。
• 表征学习：通过联合预训练学习跨模态和跨本体的共享表征。
• 世界模型：统一动作预测可视为对物理世界动态的隐式建模。
• 强化学习：第四阶段使用强化学习优化闭环成功率。
• 后训练：分阶段训练包含监督微调和强化学习后训练。

数字人是沉浸式交互的基础，但创建一个涵盖文本、音频、运动和视觉内容等全模态的统一模型仍是一个开放挑战。本文提出 Archon，一个完全预训练、以人为本的统一多模态模型，用于全化身生成。Archon 使用模态特定 tokenizer 统一七种模态，并在同步模态和 72 项多样任务上预训练了一个原生自回归统一多模态模型，以建模全联合分布。为了解决高保真说话视频中的 token 爆炸挑战，我们引入了一种内存高效的语义视频重参数化方法，在保持细粒度动态的同时实现 token 数量缩减至原来的 1/4，并结合了语义驱动的视频扩散解码器。我们进一步提出一种"Thinking in Modality"（模态思维），将模糊的跨模态任务分解为模态交替链中的逐步思考，逐步提升保真度和可控性。广泛的实验表明，Archon 在多样的数字人生成任务上实现了优越或相当的性能，验证了我们的统一框架的有效性。项目页面：https://zju3dv.github.io/archon/.

Digital humans are fundamental to immersive interaction, yet creating a unified model for holistic modalities, including text, audio, motion, and visual content, remains an open challenge. In this paper, we present Archon, a fully pretrained, human-centric unified multimodal model for holistic avatar generation. Archon unifies seven modalities with modality-specific tokenizers, and a native autoregressive unified multimodal model pretrained on synchronized modalities and 72 diverse tasks to model holistic joint distributions. To address the token explosion challenge in high-fidelity talking videos, we introduce a memory-efficient semantic video reparameterization, achieving 4x token reduction while preserving fine-grained dynamics, coupled with a semantic-driven video diffusion decoder. We further propose a "Thinking in Modality" that decomposes ambiguous cross-modal tasks into stepwise thinking in an alternative chain of modality, progressively enhancing fidelity and controllability. Extensive experiments demonstrate that Archon achieves superior or comparable performance across diverse digital human generation tasks, validating the effectiveness of our unified framework. Project page: https://zju3dv.github.io/archon/.

评分理由: The paper introduces Archon, a unified multimodal model for digital human generation, demonstrating high relevance to 'Unify Models', 'Tokenizer' (modality-specific tokenizers are a key contribution), and 'MultiModal' (core focus). 'MLLM' is relevant due to the autoregressive unified architecture. 'Visual Encoder' is moderately relevant as visual data is processed, though not the primary architectural novelty. 'World Models' shares conceptual ground with autoregressive joint distribution modeling but differs in application (generation vs. RL). 'model-based RL' is irrelevant as the paper focuses on generation without reinforcement learning. No expert authors from the provided list are present.

Unified Multimodal Model, Digital Human Generation, Modality-specific Tokenizers, Autoregressive Pretraining, Semantic Video Reparameterization, Thinking in Modality, Holistic Joint Distributions

Chinese Title: Archon：面向整体数字人生成的统一多模态模型

Summary: 本文提出Archon，一个完全预训练的、以人为中心的统一多模态模型，用于整体数字人生成。该模型整合了描述、脚本、语音、动画、语义视频、图像和视频七种模态，通过模态特定分词器将异构信号编码为离散token，并采用原生自回归统一多模态模型在同步模态数据和72个多样化任务上进行预训练，以建模整体联合分布。针对高保真说话视频中的token爆炸问题，引入内存高效的语义视频重参数化（实现4倍token压缩）和语义驱动的视频扩散解码器，以生成高质量视频。此外，提出“模态思考”推理策略，将模糊的跨模态任务分解为逐步的模态链生成，提升保真度和可控性。实验表明，Archon在多种数字人生成任务上达到或超越专家模型性能，验证了统一框架的有效性。

Innovations:

• 提出完全预训练的、以人为中心的统一多模态模型Archon，支持七种模态的任意到任意生成与理解，克服了传统专家模型的碎片化问题。
• 设计内存高效的语义视频离散化方法，用语义标签视频替代RGB视频，实现4倍token减少，同时保留关键动态信息。
• 提出语义驱动的视频扩散解码器，以语义视频、参考图像和文本描述为条件，生成高保真视频。
• 引入“模态思考”推理策略，将复杂跨模态任务分解为逐步的模态链生成，增强生成质量和可控性。
• 在同步模态数据和72个多样化任务上预训练统一模型，学习丰富的跨模态对应关系，实现零样本泛化。

Methodology: Archon包含四个核心模块：1) 模态特定分词器：使用MAGVITv2编码图像，微调MAGVITv2编码语义视频（将语义标签映射为RGB颜色），使用SoundStream编码语音，并设计动画、描述等分词器；2) 自回归语言模型骨干：将各模态token按结构化格式排列，输入Transformer进行跨模态推理，输出目标模态token；3) 语义驱动视频扩散模型：以语义视频、参考图像和文本为条件，通过扩散过程生成高质量RGB视频；4) 推理时“模态思考”策略：将模糊任务（如语音到视频）分解为中间模态（如语音→动画→语义视频→视频）的逐步生成，降低歧义。训练采用两阶段：先预训练分词器，再在大规模同步多模态数据及72个任务上联合训练语言模型。

Key Results:

• Archon在说话头生成任务中，视频质量（FID、FVD）和唇同步精度（LSE-D、LSE-C）达到或优于SadTalker、Wav2Lip等专家模型。
• 在语音驱动动画任务中，动画参数（如表情、头部姿态）的生成误差低于专用模型。
• 在图像到语音、文本到视频等跨模态任务中，生成结果具有高保真度和一致性。
• 语义视频重参数化实现4倍token压缩，使5秒30fps视频的token数从9K降至约2.25K，适配语言模型上下文窗口。
• “模态思考”策略在模糊任务（如语音到视频）上显著提升生成质量和身份保持能力。

Tech Stack:

• MAGVITv2（3D卷积VQGAN，用于图像和语义视频tokenization）
• SoundStream（残差向量量化器，用于语音tokenization）
• 自回归Transformer（语言模型骨干，处理多模态token序列）
• 扩散模型（语义驱动的视频解码器，基于U-Net或类似架构）
• 人脸语义分割模型（如[34]中的模型，用于提取21类语义标签）
• VQGAN（向量量化生成对抗网络，用于离散表示学习）
• 残差向量量化（RVQ，用于多级音频编码）

Strengths:

• 统一框架：单一模型支持七种模态的任意到任意生成与理解，消除专家模型间的碎片化和分布不匹配。
• 高效token表示：语义视频重参数化大幅减少视频token数量，使长视频序列可被语言模型处理。
• 高质量生成：语义驱动扩散解码器结合参考图像，生成高保真视频，保留身份和动态细节。
• 推理灵活性：“模态思考”策略利用模型的多模态推理能力，逐步分解模糊任务，提升可控性和质量。
• 大规模预训练：在72个任务上预训练，赋予模型丰富的跨模态知识，支持零样本泛化。

Limitations:

• 依赖预训练分词器（MAGVITv2、SoundStream），其性能直接影响整体生成质量。
• 语义视频需要离线人脸分割模型，可能引入额外计算开销，且仅适用于人脸区域，对全身数字人支持有限。
• 模型规模较大，训练和推理资源需求高（如TPUv6），可能限制实际部署。
• 未明确讨论后训练（如强化学习或人类反馈）对生成质量的进一步提升，当前仅依赖预训练和推理策略。
• 实验主要针对数字人相关任务，在通用多模态任务（如开放域图像描述）上的泛化能力未充分验证。

Relevance To Keywords:

• Unify Models: 高度相关：Archon是一个统一的、以人为中心的多模态模型，整合七种模态于单一框架，实现任意到任意生成与理解。
• World Models: 相关：模型通过预训练学习多模态联合分布，可视为一种数字人领域的“世界模型”，但未明确强调环境交互或因果推理。
• Representation Learning: 高度相关：通过模态特定分词器（VQGAN、SoundStream）将异构信号离散化为共享token空间，学习紧凑、可泛化的跨模态表征。
• Model-Based RL: 不直接相关：论文未涉及强化学习或基于模型的规划，主要关注生成任务。
• 原生多模态大模型: 高度相关：Archon是原生多模态大模型，采用自回归Transformer直接处理多模态token，而非通过外部接口。
• 多模态大模型的理解和生成一体化: 高度相关：模型同时支持多模态理解（输入任意模态）和生成（输出任意模态），实现理解与生成一体化。
• 表征学习: 同Representation Learning，高度相关。
• 世界模型: 同World Models，相关但非核心。
• 强化学习: 不相关：论文未使用强化学习技术。
• 后训练: 部分相关：论文提及预训练，但未涉及后训练（如RLHF或微调策略），不过“模态思考”可视为一种推理时后处理策略。

近期研究开始为视觉 - 语言 - 动作（VLA）策略引入显式中间推理。然而，在具身控制中，文本思维链并不适用：无关或弱文本信息可能干扰动作预测，而自回归文本解码带来的延迟过高，无法满足实时闭环执行的需求。我们提出 VISUALTHINK-VLA，这是一个面向准确、低延迟 VLA 策略的视觉中间推理框架。我们的自举策略在于利用有效的视觉思考来指导动作：VISUALTHINK-VLA 通过一个紧凑的视觉证据接口引导动作预测，该接口在保持空间精度的同时避免了解码开销。此外，为了进一步提升性能与效率，VISUALTHINK-VLA 采用了一种定制的选择性路由机制来学习视觉证据标记，从而在保持高容量专业化的同时实现低延迟推理。另外，我们还引入了 VisualEvidence-Kit，这是一个以 VisualEvidence-Agent 为中心的监督与审计资源，该资源构建了一个包含 754.7k 条 VLA 指令的 VisualEvidence-Set，用于路由监督和反事实忠实性测试。在多个基准测试及真实机器人评估中，VISUALTHINK-VLA 在大多数基准上取得了最高的成功率，同时将推理增强基线的多秒级延迟降低至亚秒级。例如，在 BridgeData V2 上，它将步骤延迟从 ECoT 的 8.377 秒降低至 0.367 秒，实现了 22.8 倍的加速。

Recent work has begun to equip vision-language-action (VLA) policies with explicit intermediate reasoning. In embodied control, however, textual chain-of-thought is a poor fit: irrelevant or weakly textual information can interfere with action prediction, while autoregressive text decoding adds too much latency for real-time closed-loop execution. We present VISUALTHINK-VLA, a visual intermediate-reasoning framework for accurate, low-latency VLA policies. Our bootstrapping philosophy is to guide action with effective visual thinking: VISUALTHINK-VLA bootstraps action prediction through a compact visual-evidence interface that preserves spatial precision while avoiding decoding overhead. Besides, to further improve performance and efficiency, VISUALTHINK-VLA adopts a tailored selective routing mechanism to learn the visual evidence tokens, enabling low-latency inference while preserving high-capacity specialization. We also introduce VisualEvidence-Kit, a supervision-and-audit resource centered on a VisualEvidence-Agent that constructs a 754.7k VLA instructions VisualEvidence-Set for route supervision and counterfactual faithfulness tests. Across multiple benchmarks and real-robot evaluation, VISUALTHINK-VLA achieves the highest success rate on most benchmarks while reducing the multi-second latency of reasoning-augmented baselines to the sub-second regime. For example, on BridgeData V2, it reduces step latency from 8.377,s with ECoT to 0.367,s, achieving a 22.8 times speedup.

评分理由: 论文核心在于视觉 - 语言 - 动作（VLA）策略的视觉中间推理，因此与多模态（MultiModal）和视觉编码器（Visual Encoder）高度相关；统一了视觉、语言和动作，故 Unify Models 和 MLLM 相关性中等；文中涉及视觉证据令牌，Tokenizer 有一定相关性；但未涉及世界模型构建或基于模型的强化学习动力学建模，故这两项相关性较低。

VisualThink-VLA, Visual Intermediate Reasoning, Vision-Language-Action, Low-Latency, Visual Evidence Tokens, Selective Routing, Embodied Control

Chinese Title: VisualThink-VLA：用于高效低延迟视觉-语言-动作策略的视觉中间推理

Summary: 本文提出VisualThink-VLA框架，旨在解决现有视觉-语言-动作（VLA）策略中文本链式推理延迟高、视觉干扰多的问题。该框架通过构建紧凑的视觉证据接口（六通道候选证据库，筛选后保留四个有效通道），并采用任务自适应路由机制选择相关证据通道，避免文本解码开销。同时引入VisualEvidence-Kit，利用VisualEvidence-Agent构建754.7k条指令的VisualEvidence-Set，用于路由监督和反事实忠实性检验。实验表明，VisualThink-VLA在多个仿真和真实机器人基准上取得最高成功率，并将推理延迟从数秒降至亚秒级（如BridgeData V2上延迟从8.377秒降至0.367秒，加速22.8倍）。

Innovations:

• 提出视觉中间推理接口，用路由视觉线索替代文本链式推理，避免延迟和干扰。
• 设计任务自适应证据编排机制，包括通道筛选、稀疏路由、软硬协作优化和师生蒸馏。
• 构建路由监督与审计框架VisualEvidence-Kit，生成大规模路由标注数据集用于忠实性诊断。
• 实现插件式视觉推理模块，可冻结VLA骨干并保持高性能。

Methodology: 首先构建六通道候选证据库（位置、边界、运动、关系、深度、分割），通过通道筛选剔除低效的深度和分割通道，保留四个有效通道。然后采用任务自适应路由器预测通道概率，经硬化操作生成推理时路由掩码。视觉状态组合器将路由证据投影为学习状态，注入冻结的VLA骨干进行动作解码。训练过程使用软硬协作掩码和从全密集教师（FULLSOFT）蒸馏，稳定稀疏路由。VisualEvidence-Agent自动提取通道级证据并构建带人工审核的VisualEvidence-Set，用于监督路由和反事实测试。

Key Results:

• 在BridgeData V2上，步延迟从ECoT的8.377秒降至0.367秒，实现22.8倍加速。
• 在多个基准（包括真实机器人评估）上取得最高成功率。
• 路由证据具有阶段敏感性和行为对齐性，可审计。
• 稀疏路由策略几乎保持全密集教师的性能，同时减少活跃通道和干扰。

Tech Stack:

• Grounding DINO（目标检测）
• SAM2（分割）
• Qwen2.5-VL（视觉语言模型）
• CLIP（视觉编码）
• ViT（视觉Transformer）
• OWL-ViT（开放词汇检测）
• 软硬协作掩码（soft-hard collaborative masks）
• 师生蒸馏（teacher-student distillation）
• 条件计算/混合专家（conditional computation）

Strengths:

• 显著降低推理延迟，适合实时闭环控制。
• 保持高成功率，优于文本推理和密集视觉方法。
• 路由证据可审计，提供可解释性。
• 通用插件式设计，可适配不同VLA骨干。
• 构建大规模监督数据集，支持忠实性验证。

Limitations:

• 证据通道预定义，可能不覆盖所有任务所需视觉信息。
• 通道筛选基于特定基准，泛化性需进一步验证。
• 路由机制增加训练复杂度，且依赖高质量监督数据。
• 未探索与更复杂世界模型或强化学习的结合。

Relevance To Keywords:

• 多模态大模型：VLA策略是多模态大模型在机器人领域的典型应用。
• 表征学习：视觉证据通道设计涉及紧凑视觉表征学习。
• 世界模型：中间推理可视为隐式世界模型，用于预测动作后果。
• 模型-Based RL：路由机制和蒸馏与模型基强化学习中的值函数学习相关。
• 后训练：师生蒸馏属于后训练阶段优化。

多模态大语言模型正越来越多地被部署为长程代理，在此情境下，记忆的功能远超回忆：它必须追踪不断演化的世界，修订过时的内容，并在决策时刻呈现正确的证据。现有基准仅在静态对话上测量回忆能力，将记忆简化为单一的任务结束准确率，并将视觉观测缩减为字幕，导致我们无法将故障定位到记忆生成、维护、检索或使用环节。能够自主编写记忆的代理框架（agent harnesses）的兴起加剧了这一差距，因为我们缺乏严谨的方法来比较手工设计的管道与自我管理替代方案。为了弥补这些差距，我们将多模态代理记忆形式化为具有可观察四阶段生命周期的动作 - 世界交互循环（Action-World Interaction Loop），并在 WorldMemArena 中实例化该框架：包含 400 个多会话多模态任务，涵盖终身进化（Lifelong Evolution，个人和任务状态的演化）和代理执行（Agentic Execution，基于真实观测、动作和反馈的记忆），并标注了黄金记忆点、更新、干扰项和证据链，以支持阶段级诊断。这使得长上下文记忆代理、手工设计（如 RAG 和外部记忆系统）以及基于框架的记忆代理之间的首次直接比较成为可能。结果表明：(1) 更优的记忆生成与存储并不保证更好的性能；(2) 多模态记忆仍难以充分利用视觉证据；(3) 系统在不同领域间不稳定，且在真实的代理轨迹上性能退化；(4) 框架记忆更具灵活性，但成本高昂且可靠性较低。

Multimodal large language models are increasingly deployed as long-horizon agents, where memory must do more than recall: it must track an evolving world, revise what has gone stale, and surface the right evidence at decision time. Existing benchmarks measure recall over static dialogue, collapse memory into a single end-of-task accuracy, and reduce visual observations to captions, leaving us unable to localize failures to writing, maintenance, retrieval, or use. The rise of agent harnesses that author their own memory sharpens this gap, since we have no principled way to compare hand-designed pipelines with self-managing alternatives. To close these gaps, we formulate multimodal agent memory as an Action-World Interaction Loop with an observable four-stage lifecycle, and instantiate it in WorldMemArena: 400 multi-session multimodal tasks spanning Lifelong Evolution (evolving personal and task states) and Agentic Execution (memory from real observations, actions, and feedback), annotated with gold memory points, updates, distractors, and evidence chains for stage-level diagnosis. This enables the first head-to-head comparison of long-context, manually designed (RAG and external memory systems), and harness-based memory agents. Results show that: (1) better memory writing and storage do not guarantee better performance; (2) multimodal memory still struggles to fully use visual evidence; (3) systems are unstable across domains and degrade on realistic agentic trajectories; and (4) harness memory is more flexible but remains costly and less reliable.

评分理由: 论文核心聚焦于多模态大模型（MLLM）作为长时程代理时的记忆评估，因此 MLLM 和多模态相关性最高（9.0）；标题涉及“世界”及状态演化，与 World Models 高度相关（8.0）；动作与反馈循环涉及 model-based RL 概念（6.0）；Tokenizer 未提及（2.0）；Unify Models 和 Visual Encoder 为背景技术但非核心贡献（5.0）。经核对，作者列表中不包含指定的 Yang Shi 等专家，无额外加分。加权总分 66.0，远超及格线 27.8。

WorldMemArena, Multimodal Agent, Memory Evaluation, Action-World Interaction, Visual Evidence, Lifelong Evolution, Agentic Execution

Chinese Title: WorldMemArena：通过动作-世界交互评估多模态智能体记忆

Summary: 论文针对多模态大语言模型作为长期交互智能体时记忆能力评估不足的问题，提出了一个基于动作-世界交互循环的评估框架。现有基准主要测试静态对话中的回忆能力，缺乏对记忆写入、维护、检索和使用全生命周期的诊断，且多局限于文本。作者将多模态智能体记忆形式化为一个四阶段生命周期（写入、维护、检索、使用），并构建了WorldMemArena基准，包含400个多会话多模态任务，覆盖终身演化（个人和任务状态演化）和智能体执行（从真实观察、动作和反馈中提取证据）两个领域。每个任务都标注了黄金记忆点、状态更新、干扰项和证据链，支持分阶段诊断。在统一设置下比较了长上下文智能体、手动设计记忆系统（RAG和外部记忆）以及基于执行框架的记忆智能体。主要发现：（1）存储更多正确记忆并不保证更好性能；（2）多模态记忆在复杂视觉推理中仍是瓶颈；（3）系统在不同领域不稳定，在真实智能体轨迹上性能下降；（4）基于框架的记忆更灵活但成本高且可靠性低。

Innovations:

• 将多模态智能体记忆形式化为动作-世界交互循环，并定义写入、维护、检索、使用四阶段生命周期，实现可诊断的评估。
• 构建WorldMemArena基准，包含400个多会话多模态任务，覆盖终身演化和智能体执行两个互补领域，并配有细粒度标注。
• 首次在统一设置下对长上下文、手动设计（RAG/外部记忆）和基于执行框架的三种记忆范式进行头对头比较。
• 揭示了记忆写入/存储能力与最终使用能力之间的脱节，以及多模态证据利用的瓶颈。
• 提供了分阶段诊断框架，能够定位记忆失败的具体阶段（写入、维护、检索、使用）。

Methodology: 论文首先将智能体-世界交互建模为部分可观测的马尔可夫过程，定义轨迹和会话分割。然后基于动作-世界交互循环，将记忆生命周期分解为四个可观测阶段：写入（从当前会话提取未来有用证据）、维护（整合新信息并更新旧记忆）、检索（根据查询获取相关证据）、使用（在最终回答或动作中正确利用检索结果）。WorldMemArena基准通过人工标注和自动流程构建了400个任务，每个任务包含多会话交互、多模态输入（图像、文本、工具反馈等），并标注了黄金记忆点、状态更新、干扰项和证据链。评估时，对三种记忆范式（长上下文、手动设计RAG/外部记忆、基于执行框架的记忆）在统一环境下进行测试，使用分阶段指标（写入准确率、维护一致性、检索召回率、使用正确率）以及最终任务成功率进行对比分析。

Key Results:

• 存储更多正确记忆并不保证更好性能，关键在于能否在回答时正确使用。
• 多模态记忆仍是主要瓶颈，尤其在复杂视觉推理任务中表现不佳。
• 记忆性能在不同领域间不稳定，在智能体执行任务（关键信息分散在动作、工具反馈和状态变化中）上性能下降明显。
• 手动设计的记忆系统（RAG/外部记忆）更结构化但适应性差，基于执行框架的记忆智能体更灵活但成本高且可靠性低。
• 分阶段诊断揭示了不同范式的失败模式：长上下文模型在检索和使用阶段易出错，RAG系统在写入和维护阶段有优势但检索精度不足，基于框架的记忆在写入和维护上灵活但检索和使用不稳定。

Tech Stack:

• 多模态大语言模型（如GPT-4o、Qwen-VL、Claude等）
• 检索增强生成（RAG）
• 外部记忆系统（如向量数据库、记忆网络）
• 智能体执行框架（如OpenClaw、Codex）
• 部分可观测马尔可夫决策过程（POMDP）建模
• 人工标注与自动流程结合的基准构建方法
• 分阶段评估指标（写入准确率、维护一致性、检索召回率、使用正确率）

Strengths:

• 提出了一个系统性的记忆评估框架，覆盖完整生命周期，可定位具体失败阶段。
• 基准设计考虑了真实智能体交互场景（多会话、多模态、动态环境），比现有静态对话基准更贴近实际应用。
• 首次对三种主流记忆范式进行统一比较，提供了有价值的对比分析。
• 标注了细粒度的黄金记忆点、证据链等，支持深入诊断。
• 揭示了记忆写入与使用之间的脱节这一重要发现，对后续记忆系统设计有指导意义。

Limitations:

• 基准规模相对有限（400个任务），可能不足以覆盖所有记忆挑战场景。
• 评估主要基于最终问答准确率和分阶段指标，但未深入分析记忆系统在复杂推理链中的动态行为。
• 对基于执行框架的记忆智能体的评估可能受限于当前框架的能力，结论的泛化性需进一步验证。
• 多模态输入主要包含图像和文本，未涉及视频、音频等其他模态。
• 未探讨记忆系统在持续学习或灾难性遗忘方面的表现。

Relevance To Keywords: 论文与给定研究背景关键词高度相关。首先，论文聚焦于多模态大模型作为智能体时的记忆能力，直接涉及“原生多模态大模型”和“多模态大模型的理解和生成一体化”中的理解与决策部分。其次，论文提出的动作-世界交互循环本质上是一种世界模型视角，智能体通过交互学习世界状态并更新内部记忆，与“世界模型”和“表征学习”紧密相关——记忆可视为对世界状态的表征。第三，论文评估了基于执行框架的记忆智能体，这类系统通常使用强化学习或后训练来优化记忆策略，因此与“强化学习”和“后训练”有间接关联。最后，论文强调记忆应支持长期决策，这与“Model-Based RL”中利用模型规划的思想一致。总体而言，论文为多模态智能体记忆评估提供了新范式，对统一模型、世界模型、表征学习等方向具有参考价值。

近期，视频扩散基础模型在高质量视频生成方面取得了显著进展，然而将其转化为实时交互式视频世界模型仍具挑战性。交互式世界模型需要具备可控性、因果性和低延迟的展开（rollout），这在实践中要求涵盖数据构建、可控微调、自回归训练、少步蒸馏以及流式推理的完整流程。本文提出了 minWM，一个用于构建实时交互式视频世界模型的全栈开源框架。minWM 提供了一套端到端的流程，可将现有的双向文本到视频（T2V）/文本到图像到视频（TI2V）视频基础模型转换为相机可控的少步自回归世界模型。具体而言，minWM 首先利用相机控制对双向视频扩散模型进行微调，随后应用因果强制（Causal Forcing）/因果强制++（Causal Forcing++）流程，包括自回归（AR）扩散训练、因果常微分方程（ODE）或因果一致性蒸馏以及非对称 DMD，将其蒸馏为少步自回归生成器，以实现低延迟展开。该框架具有模块化且架构可扩展的特点：我们在代表性的开源骨干网络上进行了实例化，包括 Wan2.1-T2V-1.3B 和 HY1.5-TI2V-8B，涵盖了基于交叉注意力的条件注入以及 MMDiT 风格架构。minWM 还支持将现有的视频世界模型（例如 HY-WorldPlay）适配到新的数据分布、训练方案及延迟目标上。除了发布可运行脚本、检查点、文档及推理代码外，我们还提供了关于相机轨迹质量、可控性训练步数及最小批量大小要求的实用消融实验。我们希望 minWM 能成为构建和适配实时交互式视频世界模型的可复现且可扩展的方案。项目页面：[https://github.com/shengshu-ai/minWM]

Recent video diffusion foundation models have achieved remarkable progress in high-quality video generation, yet turning them into real-time interactive video world models remains challenging. Interactive world models require controllable, causal, and low-latency rollout, which in practice demands a full pipeline spanning data construction, controllable fine-tuning, autoregressive training, few-step distillation, and streaming inference. In this work, we present minWM, a full-stack open-source framework for building real-time interactive video world models. minWM provides an end-to-end pipeline that converts existing bidirectional T2V/TI2V video foundation models into camera-controllable few-step autoregressive world models. Specifically, minWM first fine-tunes a bidirectional video diffusion model with camera control, and then applies the Causal Forcing / Causal Forcing++ pipeline, including AR diffusion training, causal ODE or causal consistency distillation, and asymmetric DMD, to distill it into a few-step autoregressive generator for low-latency rollout. The framework is modular and architecture-extensible: we instantiate it on representative open backbones, including Wan2.1-T2V-1.3B and HY1.5-TI2V-8B, covering both cross-attention-based condition injection and MMDiT-style architectures. minWM also supports adapting existing video world models, such as HY-WorldPlay, to new data distributions, training recipes, and latency targets. Beyond releasing runnable scripts, checkpoints, documentation, and inference code, we provide practical ablations on camera trajectory quality, controllability training steps, and minimal batch-size requirements. We hope minWM serves as a reproducible and extensible recipe for building and adapting real-time interactive video world models. Project Page: [https://github.com/shengshu-ai/minWM](https://github.com/shengshu-ai/minWM)

评分理由: 论文核心聚焦于构建实时交互式视频世界模型（World Models），故该关键词得满分。论文提供全栈框架统一了数据、训练与蒸馏流程，与 Unify Models 概念部分契合但未涉及架构统一，得 6 分。涉及视频生成与文本/图像控制（TI2V），属于多模态范畴，得 7 分。交互式世界模型是 Model-Based RL 的关键组件，高度相关，得 8 分。使用现有视频扩散模型骨干（含视觉编码器）但未创新编码器本身，得 5 分。未提及 tokenizer 设计，得 3 分。主要关注视频生成而非多模态大语言模型（MLLM），得 4 分。作者列表中未包含指定的 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 专家。

Video World Models, Real-time Interactive, Full-Stack Framework, Autoregressive Training, Distillation, Camera Control, Low-latency Rollout

Chinese Title: minWM：用于实时交互式视频世界模型的全栈开源框架

Summary: 本文提出了minWM，一个全栈开源框架，用于将现有的双向文本到视频（T2V）或文本+图像到视频（TI2V）扩散基础模型转换为实时交互式视频世界模型。该框架覆盖完整流程：数据构建、相机可控微调、自回归扩散训练、少步蒸馏和低延迟推理。具体分为两阶段：首先通过PRoPE注入相机参数，微调双向扩散模型使其具备相机可控性；然后采用Causal Forcing或Causal Forcing++管道，包括自回归扩散训练、因果ODE或因果一致性蒸馏初始化、以及非对称DMD后训练，最终得到少步自回归生成器。框架在Wan2.1-T2V-1.3B和HY1.5-TI2V-8B上实例化，支持多种架构，并适配现有世界模型如HY-WorldPlay。实验报告了相机轨迹质量、可控性训练步数、最小批量需求等实用消融，提供了可复现的构建指南。

Innovations:

• 提出全栈开源框架minWM，覆盖从数据构建到低延迟推理的完整管道，支持端到端复现。
• 采用PRoPE方法注入相机参数，使双向扩散模型具备相机可控性，并保持原有生成质量。
• 引入Causal Forcing/Causal Forcing++管道，将多步双向模型蒸馏为少步自回归模型，实现实时交互。
• 支持多种架构（交叉注意力注入和MMDiT风格），并在Wan2.1和HY1.5上实例化，验证框架通用性。
• 提供实用消融实验（相机轨迹质量、训练步数、批量需求），为可复现训练提供指导。

Methodology: 论文采用两阶段方法：第一阶段，使用PRoPE将相机参数（内参和外参）编码为块对角变换，注入到自注意力层，微调双向扩散模型使其能根据相机轨迹生成视频。第二阶段，通过Causal Forcing或Causal Forcing++管道进行蒸馏：首先进行自回归扩散训练（教师强制），然后通过因果ODE蒸馏或因果一致性蒸馏初始化少步模型，最后使用非对称DMD（利用双向教师模型的高质量分布）进行后训练，对齐少步模型分布。整个流程在相机可控数据上执行，确保模型支持交互式控制。

Key Results:

• 在HY1.5模型上，多步双向模型首帧延迟771.041秒，多步自回归模型81.014秒（加速9.52倍），少步自回归模型3.446秒（加速223.75倍）。
• 在Wan2.1模型上，多步双向模型首帧延迟269.055秒，多步自回归模型28.651秒（加速9.39倍），少步自回归模型1.137秒（加速236.64倍）。
• 框架成功将Wan2.1-T2V-1.3B和HY1.5-TI2V-8B转换为相机可控的少步自回归世界模型，并支持HY-WorldPlay的适配。
• 消融实验表明相机轨迹质量、可控性训练步数和最小批量需求对最终性能有显著影响。

Tech Stack:

• PRoPE（Projective Rotary Position Embedding）用于相机参数注入
• Causal Forcing / Causal Forcing++ 蒸馏管道
• 自回归扩散训练（Teacher Forcing）
• 因果ODE蒸馏（PF-ODE轨迹回归）
• 因果一致性蒸馏（Causal Consistency Distillation）
• 非对称DMD（Asymmetric Distribution Matching Distillation）
• Wan2.1-T2V-1.3B（交叉注意力架构）
• HY1.5-TI2V-8B（MMDiT架构）
• HY-WorldPlay 适配

Strengths:

• 提供完整的开源框架，覆盖从数据到推理的全流程，易于复现和扩展。
• 架构通用，支持多种视频扩散基础模型和条件注入方式。
• 通过两阶段蒸馏实现显著加速（>200倍），满足实时交互需求。
• 释放中间检查点，允许研究者从任意阶段继续训练或修改。
• 包含实用消融实验，为实际训练提供经验指导。

Limitations:

• 框架依赖已有的高质量视频基础模型，自身不涉及基础模型训练。
• 相机控制仅支持预设轨迹，未涉及更复杂的用户交互（如物体操作）。
• 少步模型质量仍受限于教师模型，非对称DMD可能无法完全弥补分布差距。
• 实验仅在特定模型和数据集上验证，泛化性需进一步测试。

Relevance To Keywords:

• Unify Models: 框架统一了视频生成、世界模型构建和交互控制，体现了模型一体化思想。
• World Models: 直接目标是构建实时交互式视频世界模型，支持因果推演和用户控制。
• Representation Learning: 通过PRoPE编码相机参数，学习场景的几何表示。
• Model-Based RL: 世界模型可用于基于模型的强化学习中的环境模拟。
• 原生多模态大模型: 基于T2V/TI2V基础模型，融合文本、图像和视频模态。
• 多模态大模型的理解和生成一体化: 框架将生成模型转化为交互式世界模型，兼具理解（控制响应）和生成能力。
• 后训练: 通过蒸馏和DMD进行后训练，提升推理速度和生成质量。

自回归多模态大语言模型 (MLLMs) 能够实现 3D 生成，但因 3D 标记化 (tokenizations) 不足，难以扩展至高分辨率形状。基于紧凑集合的表示 (compact set-based representations) 放弃了确定性空间顺序，导致序列预测模糊；而均匀或基于八叉树的体素网格 (voxel grids) 虽保留了顺序，却付出了严重冗余和序列过长的代价。这种结构权衡限制了稳定且高效的自回归 3D 生成。本文提出 SuperVoxelGPT，这是一种表示优先的框架，通过自适应且确定有序的 supervoxel (超体素) 标记化解决了这一张力。给定 prompt (提示)，我们首先预测粗略的几何显著性分布，并利用显著性引导的中心 Voronoi 划分 (Voronoi tessellation) 构建形状自适应的 supervoxel 划分，将精细单元分配给复杂区域，将较大单元分配给平滑区域。在文本和有序 supervoxel 布局的条件下，我们引入 SuperVoxelVAE，并微调预训练的 MLLM，以自回归生成 supervoxel 标记。在 Trellis-500K 上的实验表明，SuperVoxelGPT 将标记序列长度缩减至均匀 voxel 标记化的 12.8%，同时实现了最先进的生成质量，且平均比先前方法加速 10 倍。

Autoregressive multimodal large language models (MLLMs) enable 3D generation but struggle to scale to high-resolution shapes due to inadequate 3D tokenizations. Compact set-based representations discard deterministic spatial ordering, leading to ambiguous sequence prediction, while uniform or octree-based voxel grids preserve ordering at the cost of severe redundancy and excessively long sequences. This structural trade-off limits stable and efficient autoregressive 3D generation. We present SuperVoxelGPT, a representation-first framework that resolves this tension through adaptive and deterministically ordered supervoxel tokenization. Given a prompt, we first predict a coarse geometric saliency distribution and construct a shape-adaptive supervoxel partition using saliency-guided centroidal Voronoi tessellation, allocating fine-grained cells to complex regions and larger cells to smooth regions. Conditioned on the text and ordered supervoxel layout, we introduce a SuperVoxelVAE and fine-tune a pretrained MLLM to autoregressively generate supervoxel tokens. Experiments on Trellis-500K show that SuperVoxelGPT reduces token sequence length to 12.8% of uniform voxel tokenization while achieving state-of-the-art generation quality and an average 10$\times$ speedup over prior methods.

评分理由: 论文核心聚焦于 3D Tokenization (10) 与 MLLM (10) 的结合，处理多模态输入 (MultiModal: 10)。Unify Models (5) 和 Visual Encoder (6) 相关性中等。World Models (1) 和 model-based RL (0) 无关，因论文为静态生成而非动态建模或强化学习。作者无指定专家，无加分。加权总分 63.0，高于及格线。

SuperVoxelGPT, 3D Tokenization, Autoregressive Shape Generation, MLLM, Supervoxel Partition, Text-to-3D, Adaptive Tokenization

Chinese Title: SuperVoxelGPT：面向自回归形状生成的自适应有序3D标记化

Summary: 本文提出SuperVoxelGPT，一种面向高分辨率3D生成的两阶段多模态大语言模型（MLLM）框架。现有3D标记化方法要么过于紧凑（无序集合）导致序列预测模糊，要么过于冗余（均匀体素）导致序列过长。SuperVoxelGPT通过自适应且确定有序的超体素标记化解决这一矛盾。第一阶段，根据文本或图像提示预测粗粒度几何显著性分布，并利用显著性引导的质心Voronoi剖分（SCVT）构建形状自适应的超体素划分，在复杂区域分配细粒度单元，平滑区域分配大单元。第二阶段，引入SuperVoxelVAE对超体素进行编码，并微调预训练MLLM以自回归方式生成超体素令牌序列。实验表明，在Trellis-500K数据集上，SuperVoxelGPT将令牌序列长度减少至均匀体素标记化的12.8%，达到最先进的生成质量，并实现平均10倍加速。

Innovations:

• 提出SuperVoxelGPT两阶段框架：先预测显著性分布并生成自适应超体素结构，再自回归生成超体素令牌，实现高效高分辨率3D生成。
• 设计SuperVoxelVAE表示：基于超体素的3D分词器产生紧凑、确定有序的令牌序列，与自回归建模天然适配，且可即插即用集成到现有稀疏体素VAE中。
• 开发显著性驱动的3D质心Voronoi剖分（SCVT）：根据几何复杂度自适应分配超体素，在保持细节的同时大幅减少冗余令牌。
• 利用Jacobi解码实现并行自回归生成：由于第一阶段已确定序列长度，可直接应用并行解码策略，显著加速令牌生成。

Methodology: 论文采用两阶段方法：第一阶段（Prompt-to-Supervoxel），使用轻量级MaskGIT模型从提示预测粗粒度3D显著性体积，再通过显著性引导的质心Voronoi剖分（SCVT）生成自适应超体素结构。第二阶段（Supervoxel-to-Shape），设计SuperVoxelVAE将超体素编码为离散令牌，微调预训练MLLM（如LLaMA）以自回归方式生成令牌序列，并采用Jacobi解码并行化生成。整体流程包括：显著性VQ-VAE编码、MaskGIT生成、SCVT剖分、SuperVoxelVAE编码/解码、MLLM微调与自回归生成。

Key Results:

• 令牌序列长度减少至均匀体素标记化的12.8%，大幅降低计算开销。
• 在Trellis-500K数据集上达到最先进的生成质量（定量指标如FID、覆盖率等）。
• 平均生成速度相比先前方法提升10倍。
• 自适应超体素结构有效保留高频几何细节，同时避免平滑区域冗余。

Tech Stack:

• MaskGIT（掩码生成图像Transformer）用于预测粗粒度显著性体积
• 质心Voronoi剖分（CVT）及其显著性引导变体（SCVT）
• VQ-VAE（向量量化变分自编码器）用于显著性体积和超体素编码
• 预训练多模态大语言模型（MLLM，如LLaMA）
• Jacobi解码（并行自回归解码策略）
• 稀疏体素VAE（作为SuperVoxelVAE的基础架构）

Strengths:

• 创新性地提出自适应有序超体素表示，同时满足紧凑性和确定性顺序，完美适配自回归建模。
• 两阶段设计解耦了“在哪里分配令牌”和“生成什么几何”，提高了效率和可控性。
• 显著缩短令牌序列长度，降低训练和推理成本，实现10倍加速。
• 即插即用的SuperVoxelVAE可集成到现有稀疏体素VAE中，兼容性强。
• 在生成质量上达到SOTA，验证了表示的有效性。

Limitations:

• 第一阶段预测显著性分布依赖于MaskGIT，可能引入额外误差，影响超体素划分的准确性。
• 超体素结构生成需要额外的训练和推理步骤，增加了系统复杂度。
• 当前方法主要针对3D几何生成，未涉及纹理或材质生成。
• 对极复杂形状（如大量细长结构）的自适应划分可能不够鲁棒。
• 实验仅在Trellis-500K数据集上进行，泛化性有待进一步验证。

Relevance To Keywords: 论文聚焦于3D生成中的表示学习与自回归建模，与“表征学习”高度相关（设计自适应有序超体素表示）。其两阶段框架涉及“世界模型”思想（预测显著性分布作为隐式世界知识）。但论文未涉及强化学习或后训练，与“Unify Models”、“Model-Based RL”、“强化学习”、“后训练”相关性较弱。与“原生多模态大模型”和“多模态大模型的理解和生成一体化”有一定关联，因为方法基于MLLM实现文本/图像到3D的生成，但更侧重于生成而非理解。

跨视频推理（CVR）已成为多模态智能领域的一个关键前沿，要求模型能够检索、对齐并聚合分布在多个视频中的证据。当前的多模态大语言模型（MLLMs）在 CVR 任务上往往面临挑战，因为简单的单轮策略将多个视频编码为共享的压缩上下文，这可能会掩盖罕见但关键的证据。本文提出 AgentCVR，这是一个多智能体框架，将 CVR 视为一种主动证据获取任务。AgentCVR 采用主智能体迭代协调专门的视觉智能体和音频智能体，以进行针对性证据提取。为确保高效训练，我们引入了脚本模拟强化学习（Script-Simulated RL），该方法利用 LLM 生成的语义脚本和轻量级基于文本的模拟器来优化智能体策略，从而在在线探索过程中避免了昂贵的多模态推理。在综合 CVR 基准测试上的实验结果表明，AgentCVR 优于单轮基线方法，并在复杂的跨视频对齐和定位任务上达到了与最先进的闭源系统相当的性能。为确保可复现性，我们的代码已开源，网址为 https://github.com/wang-jh24/AgentCVR。

Cross-Video Reasoning (CVR) has emerged as a critical frontier in multimodal intelligence, requiring models to retrieve, align, and aggregate evidence distributed across multiple videos. Current Multimodal Large Language Models (MLLMs) often struggle with CVR, as simple single-pass strategies encode multiple videos into a shared compressed context, potentially obscuring rare but critical evidence. In this paper, we propose AgentCVR, a multi-agent framework that treats CVR as an active evidence-acquisition task. AgentCVR employs a Master Agent to iteratively coordinate specialized Visual and Audio Agents for targeted evidence extraction. To ensure efficient training, we introduce Script-Simulated RL, which optimizes the agent's policy with LLM-generated semantic scripts and a lightweight text-based simulator, bypassing costly multimodal inference during online exploration. Experimental results on a comprehensive CVR benchmark show that AgentCVR outperforms single-pass baselines and achieves comparable performance to state-of-the-art closed-source systems, particularly in complex cross-video alignment and localization. To ensure reproducibility, our code is available at https://github.com/wang-jh24/AgentCVR.

评分理由: The paper focuses on Cross-Video Reasoning using a multi-agent framework (Unify Models: 7) and leverages MLLMs for script generation and context (MLLM: 8). The task is inherently MultiModal (9) involving video and audio. It employs a simulator for RL training (model-based RL: 7). Visual Encoder is implicit in Visual Agents (5), Tokenizer is not discussed (2), and World Models are loosely related via the simulator concept (4). No matching expert authors were found in the list.

Cross-Video Reasoning, Multi-Agent Framework, Script-Simulated Reinforcement Learning, Multimodal Intelligence, Active Evidence Acquisition, Master Agent, Visual and Audio Agents

Chinese Title: AgentCVR：基于脚本模拟强化学习的主动多智能体跨视频推理

Summary: 跨视频推理（CVR）要求模型从多个视频中检索、对齐和聚合证据，但当前多模态大模型（MLLM）采用单次压缩编码的方式容易丢失稀疏关键证据。本文提出AgentCVR，一个多智能体框架，将CVR视为主动证据获取任务：主智能体迭代协调专门的视觉和音频智能体进行定向证据提取。为高效训练，引入脚本模拟强化学习（Script-Simulated RL），利用LLM生成的语义脚本和轻量级文本模拟器优化策略，避免在线探索中昂贵的多模态推理。在CrossVid基准上，AgentCVR优于单次基线，性能接近闭源系统，尤其在复杂跨视频对齐和定位任务上表现突出。

Innovations:

• 提出主动多智能体框架AgentCVR，将CVR从被动单次压缩转变为主动多轮证据获取，主智能体动态协调视觉和音频智能体。
• 引入脚本模拟强化学习（Script-Simulated RL），用LLM生成语义脚本和轻量文本模拟器替代原始视频交互，大幅降低训练成本。
• 将CVR问题建模为部分可观察马尔可夫决策过程（POMDP），明确分离证据收集与最终推理。
• 在CrossVid基准上取得与闭源系统相当的性能，尤其在细粒度跨视频对齐和定位任务上表现优异。

Methodology: 论文采用多智能体框架，主智能体（Master Agent）基于POMDP进行多轮决策，动作空间包括视觉查询、音频查询和终止回答。训练阶段使用脚本模拟RL：LLM生成语义脚本，轻量文本模拟器提供反馈，通过GRPO优化策略。推理阶段将训练好的策略直接迁移到真实视频环境，主智能体调用视觉和音频智能体获取局部多模态证据。

Key Results:

• AgentCVR在CrossVid基准上超越所有单次基线方法。
• 性能与最先进的闭源系统（如GPT-4V）相当，尤其在需要精确证据定位和跨视频对齐的任务上。
• 脚本模拟RL有效降低了训练成本，无需人工标注轨迹。
• 多轮证据获取策略显著提升了稀疏证据的召回率和跨视频比较的准确性。

Tech Stack:

• 多模态大语言模型（MLLM）
• 部分可观察马尔可夫决策过程（POMDP）
• 强化学习（RL）
• GRPO（Group Relative Policy Optimization）
• LLM生成语义脚本
• 轻量文本模拟器
• 视觉智能体（Visual Agent）
• 音频智能体（Audio Agent）

Strengths:

• 创新性地将CVR从单次压缩范式转变为主动多轮证据获取，更符合人类推理过程。
• 脚本模拟RL有效解决了多模态在线RL训练成本过高的问题，具有实用价值。
• 框架模块化设计，主智能体与专用智能体分离，便于扩展和替换。
• 在标准基准上取得强竞争力结果，验证了方法的有效性。

Limitations:

• 脚本模拟RL依赖LLM生成的脚本质量，可能引入偏差。
• 当前仅验证了视觉和音频两种模态，未涉及其他模态（如文本、触觉）。
• 多轮交互可能增加推理延迟，实时性有待优化。
• 实验仅在CrossVid一个基准上进行，泛化性需更多验证。

Relevance To Keywords:

• Unify Models: 论文使用多模态大模型（MLLM）作为基础，但未涉及生成与理解的统一，相关性较低。
• World Models: 脚本模拟RL中的文本模拟器可视为一种轻量世界模型，用于近似环境动态，有一定相关性。
• Representation Learning: 论文未直接研究表征学习，但多智能体证据获取隐式涉及跨视频表征对齐，相关性中等。
• Model-Based RL: 脚本模拟RL属于基于模型的强化学习范式，使用模拟器替代真实环境进行策略优化，高度相关。

视觉 - 语言 - 动作（VLA）模型的实时推理对于机器人控制至关重要。尽管视觉令牌剪枝在加速推理方面显示出巨大潜力，但大多数现有方法主要基于浅层线索做出剪枝决策，存在丢弃深层所需视觉信息的风险。为了解决这一问题，我们提出了 SAFE-Pruner，这是一种即插即用的剪枝框架，将后续层的注意力线索纳入剪枝决策中。具体来说，我们识别出语义注意力一致性，即 VLA 模型在执行步骤中将注意力概率质量集中在同一语义实体上的趋势。基于这一观察，我们设计了一种前瞻策略来预测深层中的令牌显著性，这防止了关键令牌的过早移除，并实现了更稳定的加速。我们进一步引入了一种自适应子任务划分策略来检测注意力的突变，从而提高预测精度和剪枝可靠性。在仿真和真实世界环境中的广泛实验表明，我们的方法实现了高达 1.89 倍的加速，且成功率下降幅度小于 1.7%，同时比最先进方法高出 1.9%。

Real-time inference of vision-language-action (VLA) models is essential for robotic control. While visual token pruning has shown strong potential for accelerating inference, most existing methods mainly base pruning decisions on shallow-layer cues and risk discarding visual information required by deep layers. To address this issue, we propose SAFE-Pruner, a plug-and-play pruning framework that incorporates attention cues of future layers into pruning decisions. Specifically, we identify semantic attention consistency, the tendency that VLA models concentrate their attention probability mass on the same semantic entity across execution steps. Based on this observation, we design a forward-looking strategy to forecast the token saliency in deep layers, which prevents the premature removal of critical tokens and leads to more stable acceleration. We further introduce an adaptive subtask division strategy to detect abrupt attention shifts, thereby improving forecasting accuracy and pruning reliability. Extensive experiments in simulation and real-world settings demonstrate that our method achieves up to 1.89x speedup with a minimal degradation in success rate of less than 1.7%, while outperforming state-of-the-art methods by up to 1.9%.

评分理由: 论文核心在于 VLA 模型的推理加速，与 MultiModal (VLA 属多模态) 和 MLLM (架构类似) 高度相关；涉及 Token Pruning 故与 Tokenizer 有关联；Visual Encoder 输出视觉令牌被剪枝；VLA 统一了视觉、语言和动作故与 Unify Models 相关；但非 World Models 或 model-based RL 算法核心，主要侧重于推理效率优化。

Vision-Language-Action, Token Pruning, Semantic Attention, Inference Acceleration, Robotic Control, Visual Token, Future-Aware

Chinese Title: SAFE-Pruner: 面向高效视觉-语言-动作操控的语义注意力引导的未来感知令牌剪枝

Summary: 本文针对视觉-语言-动作（VLA）模型在机器人实时控制中的高延迟问题，提出了一种即插即用的令牌剪枝框架SAFE-Pruner。现有剪枝方法多依赖浅层注意力信号，容易过早丢弃深层推理所需的关键令牌。作者首先发现VLA模型在执行连续任务时存在“语义注意力一致性”现象，即模型注意力始终集中在同一语义实体上（如目标物体），而非空间位置。基于此，提出前向预测策略，利用历史帧的深层注意力信息预测当前帧的后期令牌重要性，避免过早剪枝。同时引入自适应子任务划分策略，通过检测早期注意力突变来识别子任务边界，防止历史信息干扰。实验在多个VLA架构和基准上验证，SAFE-Pruner实现最高1.89倍加速，成功率下降不超过1.7%，优于现有方法。

Innovations:

• 首次发现并验证了VLA模型在连续操控中的语义注意力一致性现象，揭示了注意力在时间维度上的稳定规律。
• 提出未来感知令牌剪枝框架，利用历史帧的深层注意力预测当前帧后期重要性，从根本上解决短视剪枝问题。
• 设计自适应子任务划分策略，通过早期注意力变化检测子任务边界，提升预测准确性和剪枝可靠性。
• 实现即插即用，无需重新训练或修改模型架构，适用于多种VLA模型。

Methodology: 首先分析VLA模型内部注意力动态，发现早期注意力分散、后期聚焦的粗到细模式，以及跨时间步的语义一致性。基于此，设计前向预测策略：在剪枝层（早期）利用历史帧同一阶段的深层注意力分布作为参考，预测当前帧后期令牌的显著性。为应对子任务切换导致的注意力突变，提出自适应子任务划分：计算当前帧早期注意力与历史帧的差异，若差异超过阈值则重置参考帧。最终结合预测的显著性得分与当前早期得分进行剪枝决策。实验在模拟和真实场景中，使用OpenVLA-OFT、Octo、RT-2-X等模型，在BridgeData V2、RLBench等基准上评估。

Key Results:

• 在多个VLA架构上实现最高1.89倍推理加速。
• 成功率下降不超过1.7%，优于现有剪枝方法（最高提升1.9%）。
• 在70%以上剪枝率下，核心令牌丢失率显著低于仅依赖早期显著性的方法。
• 自适应子任务划分有效提升预测准确性，在长时任务中表现稳定。

Tech Stack:

• Transformer架构
• 多头注意力机制（MHA）
• 缩放点积注意力
• 令牌剪枝（Token Pruning）
• 语义注意力一致性分析
• 自适应阈值检测
• VLA模型（OpenVLA-OFT, Octo, RT-2-X等）
• 模拟环境（BridgeData V2, RLBench）

Strengths:

• 即插即用，无需重新训练或修改模型，实用性强。
• 基于VLA模型特有的注意力规律设计，针对性强。
• 显著加速同时保持高成功率，性能损失极小。
• 在多种VLA架构和任务上验证，泛化性好。
• 自适应子任务划分解决了长时任务中的注意力漂移问题。

Limitations:

• 依赖历史帧的深层注意力信息，若历史帧质量差（如初始帧注意力不准确）可能影响预测。
• 自适应子任务划分的阈值需要手动设定或调参，可能影响泛化。
• 仅针对视觉令牌剪枝，未考虑其他加速手段（如KV缓存、量化）的协同。
• 在极低剪枝率下加速效果有限，高剪枝率时仍存在性能下降风险。

Relevance To Keywords:

• Unify Models: 本文研究的VLA模型正是统一视觉、语言、动作的模型，与统一模型方向高度相关。
• World Models: VLA模型可视为一种隐式世界模型，通过视觉语言理解环境并生成动作，本文加速有助于实时世界模型推理。
• Representation Learning: 语义注意力一致性揭示了VLA模型学习到的语义表征的稳定性，与表征学习相关。
• Model-Based RL: VLA模型常用于模仿学习或强化学习策略，本文加速可提升基于模型的强化学习部署效率。
• 原生多模态大模型: VLA模型基于预训练多模态大模型，本文剪枝方法适用于此类模型。
• 多模态大模型的理解和生成一体化: VLA模型同时进行视觉理解、语言理解和动作生成，本文加速其一体化推理。
• 后训练: 本文方法无需后训练，属于训练后加速，与后训练方向有交集。

大视觉 - 语言模型（LVLMs）将视觉输入映射为密集的令牌序列，从而在推理过程中引入了二次计算瓶颈。弹性视觉令牌压缩通过训练一个能够在多种视觉令牌预算下运行的单一模型来解决这一问题。然而，现有方法在激进压缩下表现不佳。仅空间压缩（如嵌套池化）表现为一种不完美的低通滤波器，会引发频谱混叠，从而掩盖细粒度细节。仅查询压缩（如嵌套查询重采样）则用非局部摘要替换显式的网格对齐令牌，并显著削弱空间定位能力。为了解决这种表征冲突，我们提出了 PARCEL（Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding），这是一种视觉令牌化架构，能够动态划分特征提取的任务。PARCEL 将空间池令牌确立为低频布局锚点，并通过池条件查询重采样（Pool-Conditioned Query Resampling）基于这些锚点对弹性查询令牌进行条件化。这使得查询令牌能够专注于互补的视觉特征，而非冗余的空间映射。在 27 个基准测试上的广泛评估表明，PARCEL 改进了性能 - 效率帕累托前沿，在多种视觉令牌预算下持续优于现有的俄罗斯套娃基线，同时保持了“一次训练，随处部署”的范式。

Large Vision-Language Models (LVLMs) map visual inputs into dense token sequences, imposing a quadratic computational bottleneck for inference. Elastic visual-token compression addresses this by training a single model that can run at multiple visual-token budgets. However, existing approaches struggle under aggressive compression. Spatial-only compression, as in nested pooling, behaves as an imperfect low-pass filter and induces spectral aliasing that obscures fine-grained detail. Query-only compression, as in nested query resampling, replaces explicit grid-aligned tokens with non-local summaries and substantially degrades spatial grounding. To resolve this representational conflict, we introduce PARCEL (Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding), a visual tokenization architecture that dynamically partitions the labor of feature extraction. PARCEL establishes spatial pool tokens as low-frequency layout anchors and conditions elastic query tokens on these anchors through Pool-Conditioned Query Resampling. This encourages query tokens to focus on complementary visual features rather than redundant spatial mapping. Extensive evaluations across 27 benchmarks show that PARCEL improves the performance-efficiency Pareto frontier, consistently outperforming existing matryoshka baselines across visual-token budgets while preserving the "train once, deploy anywhere" paradigm.

评分理由: 论文核心在于视觉语言模型（LVLM）的视觉令牌压缩与效率优化，与 Tokenizer（令牌架构）、Visual Encoder（视觉特征提取）、MLLM（大型视觉语言模型）及 MultiModal（多模态）高度相关。Unify Models 相关性中等，因论文聚焦于令牌架构统一而非模型架构统一。World Models 和 model-based RL 与论文内容无关。作者列表中未包含指定的 Yang Shi 等专家，故无额外加分。

Visual Tokenization, Pool-Anchored Resampling, Elastic Queries, Vision-Language Understanding, Efficiency Optimization, Spatial Grounding, LVLM Compression

Chinese Title: PARCEL: 基于池锚点重采样与条件弹性查询的高效视觉语言理解

Summary: 大型视觉语言模型（LVLMs）将视觉输入映射为密集的令牌序列，导致推理时二次计算瓶颈。弹性视觉令牌压缩通过训练单一模型支持多种令牌预算，但现有方法在激进压缩下表现不佳：空间压缩（如M3）导致频谱混叠模糊细节，查询压缩（如MQT）削弱空间定位。本文提出PARCEL架构，通过动态划分特征提取任务：空间池令牌作为低频布局锚点，条件弹性查询令牌作为高频语义探索器，两者通过池条件查询重采样机制互补。在27个基准上的实验表明，PARCEL在不同令牌预算下均优于现有弹性基线，改善了性能-效率帕累托前沿，并保持了“一次训练，随处部署”的范式。

Innovations:

• 形式化分析了现有弹性LVLMs的互补瓶颈：M3的刚性空间池化导致频谱混叠，MQT的非局部查询重采样削弱空间理解。
• 提出PARCEL混合视觉连接器，通过池条件查询重采样机制实现特征提取的动态分工：空间锚点保留几何布局，查询令牌捕获高频细节。
• 设计预算感知路由策略，使单一模型在16至256令牌预算下无缝运行，无需重新训练。
• 在27个多样化基准（包括视频理解、密集识别、VQA）上验证了性能-效率帕累托前沿的改进。

Methodology: PARCEL采用SigLIP视觉编码器提取图像特征，首先通过多尺度空间平均池化生成一组空间池令牌作为低频布局锚点；然后引入一组可学习的弹性查询令牌，这些查询令牌通过池条件查询重采样机制（基于交叉注意力）显式地以空间锚点为条件，再与原始视觉特征交互，从而专注于互补的高频细节。训练时使用嵌套dropout策略随机截断查询序列长度以实现弹性，推理时根据用户指定的预算选择对应数量的查询令牌。频谱分析使用径向功率谱密度评估压缩表示的频率分布。

Key Results:

• 在27个基准上，PARCEL的平均保留率（相对于未压缩的PG2基线）在所有令牌预算（16、64、256）下均优于M3和MQT。
• 在低预算（16令牌）下，PARCEL显著优于M3和MQT，表明其能更好地保留细粒度信息。
• 理论计算显示，PARCEL的预填充FLOPs和KV缓存成本与M3、MQT在相同预算下基本一致，但性能更高。
• 频谱分析表明，PARCEL的空间池令牌在低频段集中了更多频谱能量，而查询令牌补充了高频成分，避免了M3的混叠问题。

Tech Stack:

• SigLIP视觉编码器
• Transformer架构（自注意力、交叉注意力）
• 多尺度空间平均池化
• 嵌套dropout（Matryoshka表示学习）
• 池条件查询重采样（Pool-Conditioned Query Resampling）
• 径向功率谱密度分析（Radial Power Spectral Density）
• 预算感知路由策略

Strengths:

• 解决了现有弹性压缩方法的互补瓶颈，实现了更优的表示质量与压缩效率权衡。
• 单一模型支持多种推理预算，无需重新训练，适合实际部署。
• 在大量多样化基准上进行了全面评估，包括视频、密集识别等分辨率敏感任务。
• 提供了频谱分析的理论视角，加深了对压缩机制的理解。

Limitations:

• PARCEL引入了额外的池条件查询重采样模块，可能增加少量计算开销（尽管论文声称FLOPs差异很小）。
• 论文未与最新的非弹性压缩方法（如Mask-LLaVA、动态剪枝等）进行直接比较，仅与弹性基线对比。
• 频谱分析主要针对空间池令牌，对查询令牌的频谱特性分析不够深入。
• 未讨论在生成任务（如图文生成）上的表现，仅聚焦于理解任务。

Relevance To Keywords:

• 原生多模态大模型：论文研究视觉语言理解，属于多模态大模型范畴，但未涉及生成一体化。
• 多模态大模型的理解和生成一体化：论文仅关注理解任务，未涉及生成。
• 表征学习：采用Matryoshka表示学习实现弹性表征，与表征学习高度相关。
• 世界模型：不直接相关。
• 强化学习：不直接相关。
• 后训练：论文采用“一次训练，随处部署”，不涉及后训练。

理解视觉 - 语言 - 动作 (VLA) 模型如何将多模态知识转化为具身控制仍是一个开放性的挑战。我们提出了 VLA-Trace，这是一种渐进式诊断框架，它通过从表示动力学到因果控制归因及行为表现的统一证据链来分析 VLA 模型。它具体结合了跨模态与检查点漂移中心核对齐 (CKA) 以追踪表示演化，采用注意力敲除干预以识别模态特异性控制路径，并通过轨迹级行为探针来考察锚定、捷径依赖及语义跟随情况。在 π0.5 和 OpenVLA 上的实验揭示了三个关键发现。首先，这两个模型在 VLA 微调过程中表现出截然不同的模态特异性适应动力学。其次，它们在动作解码过程中依赖于不同的多模态路由策略及层间依赖关系。第三，尽管 VLA 策略擅长视觉锚定轨迹生成，但在细粒度语义跟随方面仍存在局限。这些发现为未来的表示保持的适应、因果 VLA 电路以及组合式语义控制指明了方向。

Understanding how Vision-Language-Action (VLA) models transform multimodal knowledge into embodied control remains an open challenge. We present VLA-Trace, a progressive diagnostic framework that analyzes VLA models through a unified evidence chain from representation dynamics to causal control attribution and behavioral manifestation. It specifically combines cross-modal and checkpoint-drift centered kernel alignment (CKA) to trace representation evolution, attention knockout interventions to identify modality-specific control pathways, and rollout-level behavioral probes to examine grounding, shortcut dependence, and semantic following. Experiments on $π_{0.5}$ and OpenVLA reveal three key findings. First, the two models exhibit distinct modality-specific adaptation dynamics during VLA finetuning. Second, they rely on different multimodal routing strategies and layer-wise dependencies during action decoding. Third, although VLA policies excel at visually grounded trajectory generation, they remain limited in fine-grained semantic following. These findings highlight future directions for representation-preserving adaptation, causal VLA circuits, and compositional semantic control.

评分理由: 论文聚焦视觉 - 语言 - 动作（VLA）模型诊断，核心涉及多模态（10）与 MLLM（8），采用统一证据链（7）及视觉表征分析（6）。Tokenizer（1）未提及，World Models（2）无关，model-based RL（4）仅属背景。作者列表中未包含 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 等指定专家。

Vision-Language-Action, Representation Tracing, Behavioral Diagnosis, Multimodal Routing, Causal Control, Embodied Control, Model Diagnosis

Chinese Title: VLA-Trace：通过表征与行为追踪诊断视觉-语言-动作模型

Summary: 本文提出VLA-Trace，一个渐进式诊断框架，用于分析视觉-语言-动作（VLA）模型如何将多模态知识转化为具身控制。该框架通过统一的证据链，从表征动态、因果控制归因到行为表现，逐步解析模型内部机制。具体方法包括：结合跨模态和检查点漂移中心核对齐（CKA）追踪表征演化；通过注意力剔除干预识别模态特定的控制通路；通过轨迹级行为探测检查视觉接地、捷径依赖和语义遵循能力。实验在π0.5和OpenVLA上进行，发现三个关键结果：1）两种模型在VLA微调中表现出不同的模态适应动态；2）它们在动作解码时依赖不同的多模态路由策略和层间依赖；3）VLA策略擅长视觉接地轨迹生成，但在细粒度语义遵循上仍有限。这些发现为表征保持适应、因果VLA电路和组合语义控制指明了未来方向。

Innovations:

• 提出VLA-Trace，首个将表征几何分析、因果分析和输入干预统一为渐进式诊断管道的框架，用于理解VLA模型的行为控制机制。
• 引入检查点漂移CKA，量化VLA微调过程中视觉、文本和联合表征的几何保持或重组程度。
• 设计注意力剔除实验，系统评估视觉和文本通路在动作解码中的因果贡献，揭示不同架构的模态路由策略差异。
• 通过注意力定位、视觉掩码和输入编辑等行为探测，揭示VLA策略在视觉接地与语义遵循之间的差距，指出其强视觉轨迹模仿与弱组合语言控制的瓶颈。

Methodology: 论文采用三阶段渐进式分析框架：第一阶段（表征级）使用跨模态CKA和检查点漂移CKA分析视觉-语言对齐和表征演化；第二阶段（因果级）通过注意力剔除和逐层剔除干预，评估模态依赖和层间控制；第三阶段（行为级）结合注意力IoU、视觉补丁掩码和输入编辑，探测视觉接地、捷径依赖和语义遵循。实验在LIBERO、COCO、CALVIN、RoboTwin2.0、Simpler等基准上进行，主要分析π0.5和OpenVLA模型。

Key Results:

• π0.5和OpenVLA在VLA微调中表现出不同的模态适应动态：π0.5的跨模态CKA在中间层广泛分布且随检查点波动，表明活跃的跨模态重组；OpenVLA的跨模态对齐更平滑但较弱，常集中在边界或终端层。
• 检查点漂移CKA显示π0.5的文本表征漂移显著，语言表征被大量重组；OpenVLA的文本池化表征保持较好，主要重组视觉池化和联合池化子空间。
• 注意力剔除实验表明π0.5在动作解码中由集中的视觉到动作路由通路主导，语言功能角色受限；OpenVLA则将控制相关信息分布在视觉和文本通路中。
• 行为探测发现VLA策略能定位操作相关区域，但常忽略细粒度语义修改，表现出强视觉接地轨迹模仿和弱组合语言控制。

Tech Stack:

• 中心核对齐（CKA）
• 注意力剔除（Attention Knockout）
• 逐层剔除（Layer-wise Knockout）
• 注意力IoU（Attention Intersection over Union）
• 视觉补丁掩码（Visual Patch Mask）
• 输入编辑（Input Editing）
• Flow-matching动作生成（π0.5）
• 自回归架构（OpenVLA基于Llama）
• PaliGemma视觉语言模型
• LIBERO、COCO、CALVIN、RoboTwin2.0、Simpler等基准数据集

Strengths:

• 提出了一个系统、统一的诊断框架，将表征、因果和行为分析有机结合，弥补了现有研究碎片化的不足。
• 通过对比两种代表性VLA架构（π0.5和OpenVLA），揭示了不同设计选择对多模态融合和动作解码的影响，具有较强的一般性。
• 实验设计全面，覆盖多种基准和探测任务，结果可靠且具有可重复性。
• 发现具有实际指导意义，为未来VLA模型的设计（如表征保持、因果电路、组合语义控制）提供了明确方向。

Limitations:

• 主要分析π0.5和OpenVLA两种模型，对其他VLA模型（如OFT、X-VLA）的覆盖有限，结论的泛化性有待验证。
• 行为探测主要基于LIBERO-10等模拟环境，真实机器人场景下的表现可能不同。
• 注意力剔除等因果干预方法可能对模型性能产生非预期影响，解释需谨慎。
• 未深入探讨不同训练数据规模或微调策略对表征演化的影响。

Relevance To Keywords:

• Unify Models: 论文研究的VLA模型正是统一视觉、语言和动作的模型，与统一模型方向高度相关。
• World Models: 论文未直接涉及世界模型，但VLA模型可视为隐式世界模型的一种，诊断其内部表征有助于理解世界建模能力。
• Representation Learning: 论文核心是表征分析（CKA、漂移分析），直接关联表征学习。
• Model-Based RL: 论文未涉及基于模型的强化学习，但VLA模型的动作生成可视为策略学习，诊断方法可迁移至基于模型的策略分析。
• 原生多模态大模型: π0.5和OpenVLA均基于原生多模态大模型（PaliGemma、Llama），论文分析其多模态融合机制，高度相关。
• 多模态大模型的理解和生成一体化: VLA模型将理解（视觉语言）和生成（动作）一体化，论文诊断其内部机制，直接相关。
• 表征学习: 同Representation Learning。
• 世界模型: 同World Models。
• 强化学习: 论文未涉及强化学习训练，但VLA模型可通过RL微调，诊断方法可应用于RL后训练分析。
• 后训练: 论文分析了VLA微调（后训练）过程中的表征变化，直接相关。

时间序列基础模型（TSFMs）擅长利用数值数据进行零样本单模态预测，但与大型语言模型（LLMs）不同，它们无法处理多模态非数值上下文，而这些上下文往往塑造了现实世界的轨迹。在这项工作中，我们弥合了这一差距，并主张一种多模态时间序列预测方法，该方法通过后训练使大型语言模型（LLMs）充当基于上下文引导的修正器，以修正强大的数值 TSFM 先验。我们引入了 PostTime，这是一种结合监督微调（SFT）和基于可验证奖励的强化学习（RLVR）的后训练方案，并附带一种用于生成预测修正自动推理轨迹的方法。PostTime 教导大型语言模型（LLM）生成上下文条件化的预测干预——即基于多模态上下文决定修正、保留或忽略 TSFM 先验的决策。我们在 TimesX 多模态预测基准上，使用 Gemma-3-4B 大型语言模型和 TimesFM-2.5 时间序列基础模型评估了该方法，结果表明其显著优于独立的 TSFMs、仅使用 LLM 的基线以及现有的多模态预测方法。

Time-Series Foundation Models (TSFMs) excel at zero-shot unimodal forecasting using numerical data, but unlike LLMs they cannot consume multimodal, non-numerical context that often shape real-world trajectories. In this work, we bridge this gap and argue for a multimodal time-series forecasting approach that post-trains LLMs to act as context-guided revisors over strong numerical TSFM priors. We introduce PostTime, a post-training recipe combining Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR), along with a methodology to generate automated reasoning traces for forecast revisions. PostTime teaches an LLM to generate context-conditioned forecast interventions -- decisions to revise, preserve, or ignore the TSFM prior based on the multimodal context. We evaluate this approach on the TimesX multimodal forecasting benchmark using a Gemma-3-4B LLM and TimesFM-2.5 TSFM, and show that it significantly outperforms standalone TSFMs, LLM-only baselines, and existing multimodal forecasting approaches.

评分理由: 论文核心在于利用 LLM 作为 revisor 修正 TSFM 预测，结合多模态上下文。Unify Models 相关度高（融合了 LLM 与 TSFM）；MultiModal 和 MLLM 相关度高（核心是多模态上下文与 LLM 应用）；model-based RL 中度相关（使用 RLVR 而非典型模型基强化学习）；Tokenizer 和 Visual Encoder 低相关（非核心贡献）；World Models 低相关（侧重预测而非世界模型）。作者列表中无指定专家。

Multimodal Time-Series Forecasting, Post-Training, LLM Revisors, TSFM Priors, RLVR, Context-Guided, Foundation Models

Chinese Title: 重新思考多模态时间序列预测的后训练方法

Summary: 本文针对时间序列基础模型（TSFMs）无法处理多模态非数值上下文的问题，提出了一种后训练方法POSTTIME。该方法将大型语言模型（LLM）作为上下文引导的修订器，利用TSFM的强数值先验进行预测修正。POSTTIME结合了监督微调（SFT）和基于可验证奖励的强化学习（RLVR），并自动生成推理轨迹。实验使用Gemma-3-4B作为LLM、TimesFM-2.5作为TSFM，在TimesX基准上显著优于单独的TSFM、仅LLM的基线以及现有的多模态预测方法。研究表明，将LLM定位为修订器而非直接预测器更有效，且后训练是释放其修订能力的关键。

Innovations:

• 提出将LLM作为上下文引导的修订器，而非直接预测器，利用TSFM强数值先验进行修正。
• 设计了一套完整的后训练配方（POSTTIME），包括SFT和RLVR两阶段训练。
• 开发了自动生成推理轨迹的方法，无需人工干预，使用前沿LLM生成高质量SFT数据。
• 构建了适用于多模态预测的RLVR奖励函数，强化成功的修订策略。
• 系统性地重新思考了后训练中的设计选择（LLM角色、SFT数据构建、RL目标），并通过消融实验验证。

Methodology: 论文采用两阶段后训练方法：首先进行监督微调（SFT），使用自动生成的推理轨迹训练LLM产生有效的预测干预（修订、保留或忽略TSFM先验）；然后进行基于可验证奖励的强化学习（RLVR），通过GRPO优化和规则奖励进一步强化策略。具体实现中，使用Gemma-3-4B作为LLM，TimesFM-2.5提供数值先验，Gemini-3.1-Flash-Lite自动生成推理轨迹。评估在TimesX数据集上进行，采用滚动窗口划分，使用MAE和MSE及其归一化版本作为指标。

Key Results:

• 修订策略（LLM+TSFM先验）在8个LLM中，6个在nMAE上提升，7个在nMSE上提升，且有效窗口率从0.77提升至0.96。
• POSTTIME方法在ID和OOD评估中均显著优于单独TSFM、LLM-only、零样本修订以及现有多模态预测方法。
• 零样本修订不足以可靠提升性能，后训练（SFT+RLVR）是释放LLM修订能力的关键。
• 将LLM作为直接预测器效果较差，而作为修订器能更好地利用TSFM的数值优势。

Tech Stack:

• Gemma-3-4B（LLM）
• TimesFM-2.5（TSFM）
• Gemini-3.1-Flash-Lite（用于生成推理轨迹的前沿LLM）
• GRPO（Group Relative Policy Optimization，用于RLVR）
• SFT（Supervised Fine-Tuning）
• RLVR（Reinforcement Learning with Verifiable Rewards）
• MAE（Mean Absolute Error）
• MSE（Mean Squared Error）
• nMAE（归一化MAE）
• nMSE（归一化MSE）
• Chain-of-Thought（CoT）推理

Strengths:

• 系统性地重新思考了多模态时间序列预测的后训练设计空间，提供了清晰的决策依据。
• 提出了一种无需人工干预的自动推理轨迹生成方法，可扩展性强。
• 通过大量消融实验验证了各设计选择的有效性，实证充分。
• 在多个LLM上验证了修订策略的通用优势，结果具有鲁棒性。
• 结合了TSFM的数值能力和LLM的语义理解能力，实现了互补。

Limitations:

• 仅评估了Gemma-3-4B和TimesFM-2.5这一组合，泛化性有待更多模型验证。
• 数据集仅覆盖99个变量，时间范围2022-2025，领域多样性有限。
• 自动生成的推理轨迹质量依赖于前沿LLM，可能存在噪声或偏差。
• 未探讨多变量时间序列或更复杂的多模态输入（如图像、音频）的适用性。
• RLVR阶段奖励函数设计较为简单，可能无法完全捕捉预测修正的细微策略。

Relevance To Keywords:

• 多模态大模型：论文核心是融合数值时间序列与文本上下文的多模态预测，LLM作为多模态理解器。
• 后训练：论文聚焦于LLM的后训练配方（SFT+RLVR），是后训练在时间序列领域的应用。
• 强化学习：RLVR阶段使用GRPO优化，强化学习是提升策略的关键步骤。
• 世界模型：时间序列预测可视为对世界动态的建模，论文通过上下文修正先验，隐含世界模型思想。
• 表征学习：LLM通过后训练学习如何表征数值先验与文本上下文的交互。
• 模型基础RL：RLVR基于可验证奖励，属于基于模型的强化学习范畴。

后训练（Post-training）极大地改进了前沿视觉 - 语言模型（vision-language models）的推理能力，但其对感知（perception）的提升相对有限，从而构成了端到端视觉推理（end-to-end visual reasoning）的瓶颈。为探究这一差距，我们提出一个受控诊断框架，包含两个能够解耦感知与推理的合成任务。我们的分析揭示了一致的感知 - 推理不对称性（perception-reasoning asymmetry）：后训练对推理的提升幅度显著大于感知，尽管其底层机制因训练范式而异。在监督微调（SFT）中，这种不对称性源于思维链（chain-of-thought）监督中的标记不平衡：感知任务占用的标记更少，因而接收到的训练信号较弱。动态重加权损失（dynamically reweighting the loss）可缓解此不平衡，并将端到端性能提升高达 18.2 点。而在强化学习（RL）中，不对称性则源于奖励耦合（reward coupling）：结果奖励与推理的相关性强于与感知的相关性，从而削弱了感知学习的信号。引入感知感知奖励（perception-aware reward）可缓解此不平衡，并将端到端准确率提升高达 6.0 点；即使没有真实感知奖励，可靠的替代奖励（surrogate reward）也能提供有用信号，带来 3.2 点的增益。综上所述，我们的结果全面诊断了非对称优化问题，并提出了平衡感知与推理的具体干预措施。

Post-training has greatly improved reasoning in frontier vision-language models, yet its gains for perception remain comparatively limited, creating a bottleneck for end-to-end visual reasoning. To investigate this gap, we introduce a controlled diagnostic framework with two synthetic tasks that disentangle perception from reasoning. Our analysis reveals a consistent perception-reasoning asymmetry: posttraining improves reasoning more substantially than perception, though the underlying mechanism differs by training paradigm. For supervised fine-tuning (SFT), this asymmetry stems from token imbalance in chain-of-thought supervision, where perception occupies fewer tokens and thus receives a weaker training signal. Dynamically reweighting the loss mitigates this imbalance and boosts end-to-end performance by up to 18.2. For reinforcement learning (RL), the asymmetry instead arises from reward coupling: outcome rewards correlate more strongly with reasoning than with perception, weakening the signal for perception learning. Adding a perception-aware reward alleviates the imbalance and improves end-to-end accuracy by up to 6.0; even without groundtruth perception rewards, a reliable surrogate reward provide useful signal, yielding gains of 3.2 points. Together, our results comprehensively diagnose asymmetric optimization and suggest concrete interventions to balance perception and reasoning.

评分理由: 论文核心聚焦于视觉语言模型（MLLM/MultiModal）的后训练优化，因此这两个关键词相关性最高（9.0）。研究涉及感知与推理的平衡，与 Visual Encoder（感知）和 Tokenizer（token 不平衡提及）有一定关联，但非架构核心，故评分中等（4.0-6.0）。论文虽提及强化学习（RL），但未涉及模型基强化学习（model-based RL），世界模型（World Models）亦未提及，相关性较低（2.0-3.0）。总加权分 57.0，远高于动态及格分 27.8。作者列表中不包含指定的 Yang Shi 等专家。

Vision-Language Model, Post-Training, Reasoning, Perception, Asymmetric Optimization, Reinforcement Learning, Supervised Fine-tuning

Chinese Title: 视觉语言模型后训练中推理与感知的不对称优化研究

Summary: 本文针对视觉语言模型（VLM）后训练中推理能力显著提升而感知能力提升有限的问题，提出了一个可控的诊断框架，通过图着色和数独两个合成任务将感知与推理解耦。研究发现，监督微调（SFT）中的不对称性源于链式思维监督中的token不平衡（感知token占比仅2.5%），而强化学习（RL）中的不对称性则源于奖励耦合（结果奖励与推理的相关性远高于感知）。针对SFT，动态损失重加权可将端到端性能提升高达18.2个百分点；针对RL，引入感知感知奖励可将端到端准确率提升6.0个百分点，即使使用代理奖励也能获得3.2个百分点的提升。研究揭示了两种训练范式下不对称优化的不同机制，并提出了具体的缓解策略。

Innovations:

• 提出了一个可控的诊断框架，通过合成任务将感知与推理完全解耦，支持直接评估感知和反事实推理评估。
• 首次系统识别了VLM后训练中感知-推理不对称性的两种不同机制：SFT中的token不平衡和RL中的奖励耦合。
• 针对SFT提出了动态损失重加权方法，无需手动调参即可提升端到端性能达18.2个百分点。
• 针对RL提出了感知感知奖励增强方法，即使在没有真实感知奖励的情况下，代理奖励也能提供有效信号。
• 揭示了感知与推理之间存在平滑的权衡关系，并找到了最优的平衡点。

Methodology: 本文采用可控的合成任务（图着色和数独）作为测试平台，通过程序化渲染图像并保留文本输入作为标准感知表示。使用Qwen3-VL和InternVL3.5两个开源VLM家族进行实验。对于SFT，通过分解损失函数分析token不平衡，并采用动态多任务平衡方法（如GradNorm）进行干预。对于RL，采用GRPO算法，通过计算奖励与感知/推理的相关性验证奖励耦合，并引入感知奖励加权。使用反事实推理评估（在标准感知条件下采样推理）来解耦推理能力。

Key Results:

• 后训练中推理能力提升显著高于感知能力，感知成为端到端视觉推理的主要瓶颈。
• SFT中感知token仅占2.5%，贡献1.3%的损失和8.5%的梯度范数，导致感知学习信号弱。
• 动态损失重加权（如GradNorm）将端到端性能提升最多18.2个百分点。
• RL中结果奖励与推理正确性的相关系数为0.65-1.00，与感知正确性的相关系数仅为0.34-0.43。
• 引入感知奖励（α=0.5）将端到端准确率提升最多6.0个百分点；代理奖励（如感知长度）提升3.2个百分点。
• 感知与推理之间存在权衡：过度提升感知会削弱推理，最优端到端性能出现在适度提升感知时。

Tech Stack:

• Qwen3-VL
• InternVL3.5
• GRPO (Group Relative Policy Optimization)
• GradNorm (动态多任务平衡方法)
• 链式思维 (Chain-of-Thought, CoT)
• 交叉熵损失 (Cross-Entropy Loss)
• 反事实推理评估 (Counterfactual Reasoning Evaluation)
• 皮尔逊相关系数 (Pearson Correlation Coefficient)
• 程序化图像渲染 (Programmatic Image Rendering)

Strengths:

• 提出了一个干净可控的实验框架，有效解耦了感知与推理，便于归因分析。
• 系统性地识别了SFT和RL两种范式下不对称优化的不同机制，具有理论深度。
• 提出的干预方法（动态损失重加权、感知奖励）简单有效，且无需大量人工调参。
• 实验在两个不同VLM家族和两个任务上进行，结果具有泛化性。
• 对感知-推理权衡的揭示为未来VLM后训练设计提供了重要指导。

Limitations:

• 实验仅在合成任务上进行，真实世界视觉任务（如自然图像理解）中的不对称性可能更复杂。
• 感知奖励增强需要额外的感知标注或代理设计，在真实场景中获取成本可能较高。
• 未探索其他后训练范式（如DPO、PPO等）中的不对称性。
• 动态损失重加权方法（如GradNorm）的计算开销可能较大。
• 未深入分析感知与推理权衡的根本原因，仅停留在机制层面。

Relevance To Keywords:

• 原生多模态大模型：论文研究视觉语言模型（VLM），属于原生多模态大模型范畴。
• 多模态大模型的理解和生成一体化：论文关注VLM的感知（理解）和推理（生成）能力，并探索其优化平衡。
• 表征学习：感知部分涉及视觉信息的表征提取，但论文未深入表征学习本身。
• 世界模型：合成任务（图着色、数独）可视为简单世界模型，但论文未直接讨论世界模型。
• 强化学习：论文重点研究了RL（GRPO）中的奖励耦合问题，与强化学习高度相关。
• 后训练：论文核心主题是VLM后训练（SFT和RL）中的不对称优化。
• Unify Models, Model-Based RL：论文未涉及模型统一或基于模型的RL，相关性较弱。

尽管大型视觉 - 语言模型（VLMs）在插值方面表现出色，但在系统性泛化方面却遭遇灾难性失败，尤其在视觉计数任务上。本研究通过将视觉计数分解为三个认知阶段——视觉个体化、量级意识和符号映射——来探究这一外推瓶颈。利用合成围棋棋盘和线性探针，我们发现视觉骨干网络在外推范围内仍能保持强健的、线性可分的数量表示，从而排除了感知失败的可能性。此外，模型保留了潜在的量级意识，即便在无法枚举具体数量的情况下，也能成功进行数量比较推理。我们将崩溃点定位在符号映射阶段，即模型无法将有效的视觉量级正确映射到符号标记上。我们的发现支持“破碎量级假说”：VLMs 未能习得通用数字空间，而是学习不相交的、模态特定的统计流形，这阻碍了对未见数量的跨模态接地。在最新的基础模型上验证，我们的结果表明，弥合这一差距需要引入强制统一表示的归纳偏置，仅靠数据规模扩大是远远不够的。

While Large Vision-Language Models (VLMs) excel at interpolation, they suffer catastrophic failures in systematic generalization, most notably in visual counting. In this work, we investigate this extrapolation bottleneck by deconstructing visual counting into three cognitive stages: visual individuation, magnitude awareness, and symbolic mapping. Using synthetic Go boards and linear probes, we demonstrate that visual backbones maintain robust, linearly separable representations of quantity well into the extrapolation regime, ruling out perceptual failure. Furthermore, models retain latent magnitude awareness, successfully performing comparative reasoning on quantities they fail to enumerate. We pinpoint the collapse to the symbolic mapping stage, where the model fails to project valid visual magnitudes onto symbolic tokens. Our findings support a frac tured magnitude hypothesis: VLMs fail to acquire a universal number space, instead learning disjoint, modality-specific statistical manifolds that prevent cross-modal grounding for unseen quantities. Validated on the state-of-the-art foundation model, our results suggest that bridging this gap requires inductive priors enforcing unified representations, as data scaling alone is insufficient.

评分理由: The paper focuses on Vision-Language Models (MLLM, MultiModal) and analyzes Visual Encoders, justifying high scores. It discusses symbolic mapping involving tokens (Tokenizer) and concludes on unified representations (Unify Models), warranting moderate scores. World Models and model-based RL are irrelevant to the content. None of the listed expert authors (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) appear in the author list.

Vision-Language Models, Visual Counting, Symbolic Mapping, Systematic Generalization, Visual Backbones, Extrapolation Bottleneck, Unified Representations

Chinese Title: 揭示视觉语言模型中的视觉计数瓶颈

Summary: 本文系统研究了视觉语言模型（VLM）在视觉计数任务上的系统性泛化失败问题。作者将视觉计数分解为三个认知阶段：视觉个体化（感知物体）、数量感知（理解数量）和符号映射（输出数字）。通过构建合成围棋棋盘数据集和轻量级Toy VLM（ViT+GPT-2），并采用解耦训练课程（语言预训练至99，视觉对齐仅至49），利用线性探针提取隐藏数量表征，发现：视觉骨干网络在超出训练分布（50-120）时仍能保持线性可分的数量表征，模型也能进行数量比较推理，但失败发生在符号映射阶段——模型无法将视觉数量映射到正确的符号标记。作者提出“断裂数量假说”：VLM未能学习跨模态的通用数量空间，而是学习分离的模态特定统计流形。该结论在Qwen3-VL-32B等真实大模型上得到验证，表明仅靠数据缩放无法解决该瓶颈，需要引入统一表征的归纳偏置。

Innovations:

• 将视觉计数失败分解为三个认知阶段（视觉个体化、数量感知、符号映射），并精确定位瓶颈在符号映射阶段。
• 构建合成围棋棋盘实验室，严格控制训练分布，解耦视觉与语言训练，实现精确的分布偏移分析。
• 发现视觉骨干网络在超出训练分布时仍保持线性可分的数量表征，模型具备数量比较能力但无法枚举，揭示感知与符号映射的断裂。
• 提出“断裂数量假说”：VLM学习分离的模态特定数量流形，而非通用数量空间，解释跨模态泛化失败。
• 在SOTA开源VLM（Qwen3-VL-32B）上验证了该机制，证明该瓶颈在真实大规模模型中也存在。

Methodology: 采用两阶段实验设计：1）合成实验室：训练轻量级Toy VLM（2层ViT编码器+2层GPT-2解码器），使用19×19围棋棋盘图像（黑石为目标，白石为干扰物），解耦训练课程（语言预训练至N=99，视觉对齐仅至N=49），评估在分布内（0-49）、视觉外推（50-99）和完全外推（100-120）三个区间的计数准确率。2）真实模型验证：在Qwen3-VL-32B上使用6×6围棋棋盘进行零样本CoT测试。核心诊断工具为线性探针：在视觉编码器输出上训练二分类线性探针检测每个网格位置是否有黑石，聚合得到隐藏数量NH，通过比较NH与真实数量NG及预测数量NP，量化视觉误差和语言误差。

Key Results:

• Toy VLM在文本计数任务上完美泛化至N=99，但视觉计数在N>49后准确率骤降至接近零，形成“基线悖论”。
• 线性探针显示，视觉骨干在VE（50-99）和FE（100-120）区域仍能准确预测隐藏数量NH（误差极小），证明视觉个体化能力保留。
• 模型在数量比较任务（判断视觉集合与文本列表是否数量相等）上在VE和FE区域表现良好，证明数量感知能力保留。
• 符号映射阶段失败：NH与NP之间存在巨大差距，模型无法将正确的视觉数量映射到正确的数字符号。
• 在Qwen3-VL-32B上验证了相同机制：视觉感知和数量感知存在轻微噪声，但主要失败仍源于符号映射断裂。

Tech Stack:

• Vision Transformer (ViT-Base, 2层)
• GPT-2风格因果Transformer解码器 (2层)
• 线性探针 (Linear Probe, 二分类)
• 合成围棋棋盘数据集 (19×19, 6×6)
• 解耦训练课程 (语言预训练+视觉对齐)
• Greedy Decoding (贪心解码)
• Chain-of-Thought (CoT) 提示
• Exact Match 准确率评估

Strengths:

• 系统性地将计数失败分解为可独立测试的认知阶段，定位精确。
• 使用合成环境严格控制变量，排除自然图像中的混淆因素，实验设计严谨。
• 线性探针方法简单有效，能直接量化内部表征的线性可分性。
• 在真实大模型上验证结论，增强了结果的外部有效性。
• 提出“断裂数量假说”为理解跨模态泛化失败提供了理论框架。

Limitations:

• 合成围棋棋盘环境过于简化，可能无法完全反映自然图像中的物体识别复杂性（如遮挡、语义歧义）。
• 仅研究了计数这一单一任务，其他系统性泛化任务（如空间关系、组合推理）可能具有不同瓶颈。
• Toy VLM规模较小（2层ViT+2层GPT-2），结论在更大模型上可能部分变化。
• 线性探针仅测量线性可分性，未探索非线性表征的潜力。
• 未提出具体的解决方案或架构改进，仅诊断了问题。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究VLM的视觉计数能力，属于多模态大模型的核心能力评估。
• 表征学习：通过线性探针分析视觉和语言模块的内部表征，揭示模态特定流形与通用数量空间的缺失。
• 世界模型：计数涉及对物体数量的感知和推理，与世界模型中的场景理解相关。
• 模型基于强化学习/后训练：论文虽未直接涉及RL，但指出数据缩放不足，暗示需要新的训练范式（如对比学习、跨模态对齐）来统一表征，与后训练方向相关。

近期计算机视觉领域的进展催生了一系列强大的专用模型，用于检测、分割、计数及其他视觉任务。然而，这些模型通常针对孤立的任务形式进行优化，难以直接支持通用视觉智能，尤其在任务需要复杂语言理解和密集小目标感知时。本文提出 VisHarness，一种可训练的视觉智能体，它将高层感知、推理和决策与底层任务执行解耦。VisHarness 并非通过训练单一模型来解决特定的视觉任务，而是学习利用一组精心设计的异构视觉专家（heterogeneous visual experts）。这种范式保留了智能体的通用智能，同时充分利用了专用视觉模型在具体视觉任务中的精度优势。仅需轻量级训练，VisHarness 即可学习一种可泛化的视觉专家调度策略，并通过与视觉专家模型的多轮交互，在各种复杂条件下解决常见的基础视觉任务。为了在在线环境中实现高效的同策略（on-policy）强化学习训练，我们引入了动态视觉记忆归档，该机制缓解了因与视觉专家模型进行多轮交互而迅速累积的视觉 token（visual-token）开销。在涵盖推理分割、广义指代分割、密集小目标检测和指代计数四个代表性基准上的实验表明，VisHarness 显著优于现有的通用模型，并在性能上与任务特定模型相当或更优。

Recent progress in computer vision has produced a wide range of powerful specialized models for detection, segmentation, counting, and other visual tasks. However, these models are usually optimized for isolated task formulations, making it difficult to directly support general-purpose visual intelligence, especially when a task requires complex language understanding and dense small-object perception. In this paper, we propose VisHarness, a trainable visual agent that decouples high-level perception, reasoning, and decision-making from low-level task execution. Instead of training a model to solve a specific visual task, VisHarness learns to harness a set of carefully designed heterogeneous visual experts. This paradigm preserves the general intelligence of the agent while fully leveraging the precision advantages of specialized visual models in concrete visual tasks. With only lightweight training, VisHarness learns a generalizable visual expert-harnessing policy and can solve common fundamental vision tasks under various complex conditions through multi-turn interactions with visual expert models. To enable efficient on-policy reinforcement learning training in a live environment, we introduce dynamic visual memory archiving, which mitigates the rapidly accumulating visual-token overhead caused by multi-turn interactions with visual expert models. Experiments on four representative benchmarks covering reasoning segmentation, generalized referring segmentation, dense small-object detection, and referring counting demonstrate that VisHarness substantially outperforms existing general-purpose models and achieves competitive or superior performance compared with task-specific models.

评分理由: 论文核心在于通过智能体统一调度异构视觉专家进行多轮推理。Unify Models 和 MultiModal 高度相关，分别对应统一专家调度及视觉语言结合；MLLM 和 World Models 中度相关，涉及视觉推理任务及智能体与环境交互；model-based RL 中度相关，使用强化学习训练策略；Tokenizer 和 Visual Encoder 低度相关，仅提及视觉 token 开销及使用现有编码器，非核心贡献。作者列表中未发现指定专家。

Heterogeneous Experts, Multi-Turn Visual Reasoning, Reinforcement Learning, Visual Agent, Dynamic Visual Memory, General-Purpose Visual Intelligence, Task Execution

Chinese Title: 训练智能体而非专家：学习利用异构专家进行多轮视觉推理

Summary: 本文提出VisHarness，一种可训练的视觉智能体，通过多轮交互利用一组精心设计的异构视觉专家模型来解决多种基础视觉任务。VisHarness将高层感知、推理和决策与低层视觉任务执行解耦，仅需少量训练数据即可学习通用的专家利用策略。为了支持在线策略强化学习训练，引入动态视觉记忆归档机制，有效减少多轮交互中累积的视觉token开销。在四个基准（推理分割、广义指代分割、密集小目标检测、指代计数）上的实验表明，VisHarness显著优于现有通用模型，并达到或超过专用模型性能。

Innovations:

• 提出VisHarness，将高层视觉感知、推理和决策与低层视觉任务执行解耦，仅需少量数据即可学习通用的专家利用策略。
• 引入动态视觉记忆归档机制，大幅降低多轮交互中的视觉上下文开销，使在线策略强化学习训练可行。
• 将多轮交互过程建模为马尔可夫决策过程，并通过分解为多个单轮MDP来保持训练与推理的一致性。
• 设计异构视觉专家套件，涵盖检测、分割、计数等基础视觉能力，支持并行执行。
• 使用在线强化学习训练智能体自主探索有效策略，减少无效或冗余的专家调用。

Methodology: VisHarness基于多轮交互的马尔可夫决策过程框架。每个时间步，智能体根据当前记忆选择动作（专家名称及参数），环境执行专家并返回视觉和文本反馈。动态视觉记忆归档机制仅保留最新视觉结果，同时通过文本摘要保留历史信息。训练采用在线策略强化学习（如PPO），以轨迹级奖励引导智能体学习有效的专家调用策略。异构专家套件包括检测、分割、计数等模型，每个模型实例化为多个工作线程并行执行。

Key Results:

• 在广义指代分割（GRES）基准上，VisHarness超越所有通用模型，并与专用模型性能相当。
• 在推理分割基准上，VisHarness显著优于通用模型，接近专用模型。
• 在密集小目标检测和指代计数任务上，VisHarness取得竞争性或更优性能。
• 在线强化学习有效减少了冗余的视觉工具调用次数，提升了效率。
• 仅需少量训练数据即可学习通用策略，无需大规模任务特定数据。

Tech Stack:

• 多模态大语言模型（MLLM）作为智能体基础
• 在线策略强化学习（如PPO）
• 马尔可夫决策过程（MDP）建模
• 动态视觉记忆归档（文本摘要+视觉丢弃）
• 异构视觉专家模型：目标检测（如DETR）、语义分割（如SAM）、计数模型（如CounTR）
• 并行执行控制器（负载均衡调度）

Strengths:

• 解耦设计使智能体保持通用性，同时充分利用专用模型的精度优势。
• 仅需少量训练数据即可泛化到多种视觉任务，训练成本低。
• 多轮交互支持自我纠正和复杂任务分解，提升鲁棒性。
• 动态记忆归档机制有效缓解长序列视觉token开销，使RL训练可行。
• 在多个基准上取得优异性能，验证了方法的有效性。

Limitations:

• 依赖异构专家模型的质量和覆盖范围，若专家模型在某些场景下失效，智能体性能可能受限。
• 多轮交互可能增加推理延迟，实时性要求高的场景需优化。
• 当前实验仅覆盖基础视觉任务，尚未验证在更复杂开放场景（如视频理解、3D感知）中的表现。
• 动态记忆归档可能丢失部分历史视觉细节，影响需要精细历史信息的任务。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文通过解耦高层智能体与低层专家，体现了统一模型的思想；智能体学习利用专家可视为一种世界模型中的工具使用能力；强化学习训练与后训练范式高度相关。
• 原生多模态大模型，多模态大模型的理解和生成一体化: VisHarness基于MLLM构建智能体，利用其多模态理解能力进行决策，但未涉及生成一体化。
• 表征学习: 论文未直接研究表征学习，但动态记忆归档涉及对视觉信息的压缩表征。
• 世界模型: 智能体通过多轮交互感知环境反馈，可视为隐式学习环境动态。
• 强化学习，后训练: 核心方法为在线策略强化学习，属于后训练阶段。

视觉 - 语言 - 动作 (VLA) 模型已成为一种有前景的范式，用于将视觉语言理解扎根于真实世界的机器人操作中。然而，由于高维手部控制和累积执行误差，灵巧操作对于 VLA 策略仍然具有挑战性，这使得真实世界强化学习 (RL) 后训练对于弥合视觉扎根的动作生成与物理可靠的灵巧执行之间的差距至关重要。然而，高维灵巧探索在真实世界中经常引发时间不一致性、样本效率低下以及硬件风险。为了解决这些挑战，我们提出 BORA，这是一个为真实世界灵巧 VLA 模型设计的离线到在线强化学习 (RL) 后训练框架。在离线阶段，BORA 构建一个批评家 (Critic)，它以视觉语言模型 (VLM) 的认知 token 和动作块作为输入。这种设计使得动作条件价值引导成为可能，允许批评家评估灵巧手部动作，而不仅仅是基于单纯的视觉上下文。在随后的在线阶段，BORA 冻结 VLA 基础模型，并引入一个轻量级、人在回路 (HiL) 的块级残差适应机制，以减轻真实世界执行误差，并在实际物理环境中进一步纠正离线学习得到的意图。通过继承离线批评家并使用干预驱动奖励，BORA 有效纠正执行偏差并适应真实世界的物理差异，同时保留预训练策略作为稳定先验。在五个复杂真实世界灵巧任务上的广泛评估表明，BORA 显著优于纯模仿学习和传统解耦强化学习 (RL) 基线，在标准设置下平均成功率实现了 33% 的绝对提升，并在未见物体泛化上达到了 43% 的改进。

Vision-Language-Action (VLA) models have emerged as a promising paradigm for grounding visual-language understanding into real-world robotic manipulation. However, dexterous manipulation remains challenging for VLA policies due to high-dimensional hand control and compounding execution errors, which makes real-world RL post-training essential for bridging the gap between visually grounded action generation and physically reliable dexterous execution. However, high-dimensional dexterous exploration often triggers temporal inconsistency, sample inefficiency and hardware risks in the real world. To address these challenges, we propose BORA, an offline-to-online RL post-training framework designed for real-world dexterous VLA models. In the offline phase, BORA constructs a critic that takes both the VLM's cognition tokens and action chunks as inputs. This design enables action-conditioned value guidance, allowing the critic to evaluate dexterous hand motions beyond visual context alone. During the subsequent online phase, BORA freezes the VLA base and introduces a lightweight, Human-in-the-Loop (HiL) chunk-wise residual adaptation mechanism to mitigate real-world execution errors and further correct the offline-learned intents within the actual physical environment. By inheriting the offline critic and employing intervention-driven rewards, BORA effectively corrects execution discrepancies and adapts to real-world physical variances while preserving the pretrained policy as a stable prior. Extensive evaluations across five complex real-world dexterous tasks demonstrate that BORA significantly outperforms pure imitation learning and traditional decoupled RL baselines, achieving a 33% absolute increase in average success rate under standard settings and up to a 43% improvement in unseen object generalization.

评分理由: 论文核心为 VLA 模型的 RL 后训练，MLLM 与 MultiModal 高度相关（VLA 本质是多模态大模型）；Unify Models 中度相关（桥接离线/在线阶段）；model-based RL 中度相关（RL 核心但侧重价值指导而非显式模型）；Tokenizer、Visual Encoder、World Models 相关性低（非核心贡献）。作者列表中未包含指定的专家。

Vision-Language-Action (VLA), Offline Reinforcement Learning, Online Residual Adaptation, Dexterous Manipulation, Post-training, Action-conditioned Value, Human-in-the-Loop (HiL)

Chinese Title: BORA：弥合离线强化学习与在线残差自适应，实现真实世界灵巧VLA模型

Summary: 本文提出BORA框架，针对灵巧操作中视觉-语言-动作（VLA）模型在真实世界部署时面临的高维动作空间、视觉遮挡和离线-在线分布偏移等问题，设计了两阶段后训练方案。离线阶段采用一致性策略（1-3步生成动作块）截断计算图，并构建融合VLM认知令牌与动作块的批评者，实现基于物理交互的价值评估，避免视觉伪影过拟合。在线阶段冻结VLA基座，引入轻量级人机协同（HiL）的块级残差自适应机制，通过继承离线批评者和干预驱动奖励，安全高效地修正执行误差并适应物理变化。在五个真实灵巧任务上，BORA相比纯模仿学习和传统解耦RL基线，平均成功率绝对提升33%，未见物体泛化提升43%。

Innovations:

• 提出动作条件批评者（Action-Conditioned Critic），将连续动作块与VLM认知令牌融合，实现基于物理执行后果的精确价值引导，克服视觉遮挡导致的过拟合。
• 设计轻量级在线残差自适应机制，冻结VLA基座，引入人机协同（HiL）的块级残差策略，结合继承的离线批评者和干预奖励，安全高效地修正真实世界执行偏差。
• 构建统一的离线到在线RL后训练框架BORA，利用一致性策略解决生成式动作架构的信用分配问题，并通过渐进优化桥接离线意图学习与在线物理执行。
• 在真实灵巧操作任务上实现显著性能提升，平均成功率绝对提升33%，未见物体泛化提升43%。

Methodology: BORA采用两阶段方法：离线阶段，使用一致性策略（Consistency Policy）作为动作专家，在1-3步内生成连续动作块以截断计算图；设计动作条件批评者，输入VLM语义令牌、动作块和位置嵌入，输出逐步Q值和V值，并通过移位值引导（shifted value bootstrap）实现块内信用传播；采用IQL（隐式Q学习）进行策略优化。在线阶段，冻结离线训练的VLA基座，引入轻量级残差块策略π_res，通过继承的离线批评者提供稳定价值估计，结合稀疏任务奖励和人机干预信号进行训练，最终动作由基座动作与残差动作加权组合得到。

Key Results:

• 在五个真实世界灵巧操作任务上，BORA平均成功率绝对提升33%，相比纯模仿学习和传统解耦RL基线。
• 在未见物体泛化测试中，BORA成功率提升高达43%。
• 消融实验验证了动作条件批评者、一致性策略和在线残差自适应各模块的有效性。
• BORA在样本效率和安全性方面优于直接在线微调方法，避免了灾难性遗忘。

Tech Stack:

• 一致性策略（Consistency Policy）
• 隐式Q学习（Implicit Q-Learning, IQL）
• 动作条件批评者（Action-Conditioned Critic）
• 人机协同（Human-in-the-Loop, HiL）残差自适应
• VLM（视觉-语言模型）编码器
• 扩散/流匹配（作为对比基线）
• 稀疏奖励设计（终端成功奖励+时间惩罚）
• 位置嵌入（Positional Embedding）
• 移位值引导（Shifted Value Bootstrap）

Strengths:

• 针对灵巧操作的高维动作空间和视觉遮挡问题，提出了创新的动作条件批评者，有效避免视觉伪影干扰。
• 离线到在线框架兼顾了离线数据的规模优势与在线交互的适应性，通过冻结基座和残差自适应防止灾难性遗忘。
• 一致性策略大幅缩短了生成动作的计算图，使得RL梯度能够有效回传至VLM，解决了信用分配难题。
• 在真实机器人上进行了五个复杂任务的全面评估，结果显著优于现有方法，泛化能力突出。

Limitations:

• 依赖人机协同干预数据，可能引入人为偏差且需要一定的人力成本。
• 离线阶段需要大量高质量的灵巧操作数据，数据获取成本较高。
• 当前框架仅针对灵巧手操作，对于其他类型机器人（如移动操作）的适用性未验证。
• 在线残差自适应机制中残差权重的选择（λ）可能对性能敏感，需要调参。

Relevance To Keywords:

• Unify Models: BORA将VLM（视觉-语言模型）与动作生成模型统一在RL后训练框架中，实现了理解与生成的一体化。
• World Models: 论文未显式构建世界模型，但动作条件批评者隐含了对物理交互后果的建模，可视为一种隐式世界模型。
• Representation Learning: 通过VLM认知令牌与动作块的融合，批评者学习到更鲁棒的表示，避免视觉伪影。
• Model-Based RL: BORA未使用显式动力学模型，但离线批评者提供了类似模型的价值估计，在线残差自适应可视为模型预测与真实环境的偏差补偿。
• 后训练: 论文核心正是VLA模型的后训练，包括离线RL和在线微调，与关键词高度相关。

视觉 - 语言模型（VLMs）在各类理解与推理任务中取得了显著进展，这得益于旨在实现多模态融合的大规模图像 - 文本训练。理想情况下，用渲染图像替换文本问题，模型性能应基本不受影响。然而，在实践中，这种模态替换会导致性能显著下降。我们将这种“载体敏感性”问题归因于当前训练语料中存在的固有偏差。在图像描述、VQA、OCR 及网络来源的交错数据等常见数据集中，文本与图像通常被组织成不同且不对称的角色，文本充当语言查询，图像充当视觉参考。此类数据偏差导致 VLMs 在不同模态的信息获取上表现出显著的偏好差异。因此，VLMs 无法在文本载体与视觉载体上对齐语义等价内容的表征，导致模型推理在模态替换下变得脆弱。为解决这一问题，我们提出局部模态替换（LoMo），这是一种轻量级、架构无关的数据策展范式，旨在为语义等价文本与图像载体之间的跨模态表征不变性提供监督。LoMo 通过将单模态提示重构为无缝交错的多模态序列来实现这一目标。它动态选择目标文本片段并将其转换为渲染图像，从而在“文本 - 视觉 - 文本”载体上保持相同的语义。在 13 种多样的多模态基准上进行的广泛实验表明，LoMo 显著提升了整体多模态推理能力，并实现了更深层的跨模态融合。具体而言，它在基础模型上带来了持续的提升，相较于标准监督微调（SFT），其在 LLaVA-OneVision-1.5-8B 上提升了 2.67 分，在 Qwen3.5-9B 上提升了 2.82 分。

Vision-Language Models (VLMs) have achieved substantial progress across a wide range of understanding and reasoning tasks, driven by large-scale image-text training aimed at multimodal fusion. Ideally, replacing a textual question with its rendered-image counterpart should leave model performance essentially unaffected. In practice, however, such modality substitution induces dramatic performance degradation. We attribute this "carrier sensitivity" issue to an inherent bias in current training corpora. Across prevalent datasets such as image captioning, VQA, OCR, and web-sourced interleaved data, text and images are typically organized into distinct and asymmetric roles, with text serving as linguistic queries and images as visual references. Such data bias leads VLMs to exhibit distinct preferences for information acquisition across different modalities. Consequently, VLMs fail to align representations of semantically equivalent content across textual and visual carriers, making model reasoning fragile under modality substitution. To address this, we propose Local Modality Substitution (LoMo), a lightweight, architecture-agnostic data curation paradigm designed to provide supervision for cross-modal representational invariance between semantically equivalent text and image carriers. LoMo achieves this by reformulating single-modality prompts into seamlessly interleaved multimodal sequences. It dynamically selects target text spans and recasts them as rendered images, thereby preserving the same semantics across "text, visual, text" carriers. Extensive experiments across 13 diverse multimodal benchmarks demonstrate that LoMo significantly improves overall multimodal reasoning and yields deeper cross-modal fusion. Specifically, it delivers consistent gains across foundational models, improving over standard SFT by 2.67 points on LLaVA-OneVision-1.5-8B and 2.82 points on Qwen3.5-9B.

评分理由: 论文核心研究视觉语言模型（MLLM/MultiModal）的跨模态融合与推理，故这两项评分最高（9-10 分）。'Unify Models'相关度中等（7 分），因目标为统一跨模态表征但方法侧重数据而非架构统一。'Tokenizer'和'Visual Encoder'相关度较低（3-4 分），因方法被描述为架构无关（architecture-agnostic），不修改底层组件。'World Models'和'model-based RL'与论文主题（多模态理解）完全无关，评分为 1 分。

Vision-Language Models, Modality Substitution, Cross-modal Fusion, Carrier Sensitivity, Data Curation, Representational Invariance, Multimodal Reasoning

Chinese Title: LoMo: 局部模态替换以实现更深入的视觉-语言融合

Summary: 论文针对当前视觉-语言模型（VLM）中存在的“载体敏感性”问题展开研究，即当将文本查询替换为渲染图像时，模型性能显著下降。作者将这一现象归因于训练数据中文本与图像角色的不对称性（文本作为指令，图像作为视觉参考），导致模型对不同模态的信息获取存在偏好，未能对齐语义等价内容在不同载体上的表征。为此，提出LoMo（局部模态替换），一种轻量级、架构无关的数据策展范式。LoMo通过三个步骤：结构感知的跨度定位、视觉渲染和感知失真，将纯文本实例中的选定文本片段动态替换为渲染图像，形成“文本→视觉→文本”的交错序列，从而在标准监督微调（SFT）中隐式提供跨载体对齐监督。实验表明，LoMo在13个多模态基准上显著提升性能，在LLaVA-OneVision-1.5-8B上平均提升2.67分，在Qwen3.5-9B上提升2.82分，同时将跨模态距离降低14.2%，增强了跨模态融合。

Innovations:

• 系统诊断了VLM中的载体敏感性问题，揭示其与训练数据中文本和图像角色不对称导致的跨载体模态差距密切相关。
• 提出LoMo数据策展范式，通过局部模态替换（将文本片段渲染为图像）提供跨模态表征不变性的隐式监督，无需架构修改或推理开销。
• 设计结构感知的跨度定位和内容感知渲染管线，确保替换后的交错序列语义连贯且视觉质量鲁棒。
• 引入感知失真步骤，使模型在感知挑战条件下仍能保持鲁棒的跨模态融合。
• 在13个多模态基准上验证了LoMo的通用性和有效性，同时展示了跨载体表征一致性的改善。

Methodology: LoMo包含三个连续阶段：1) 结构感知跨度定位（S）：基于语义结构（如公式、句子边界）将纯文本实例分割为三部分，选定中间跨度作为目标；2) 视觉渲染（R）：通过内容感知路由（LaTeX渲染器或标准文本渲染器）将选定跨度转换为图像；3) 感知失真（A）：对渲染图像施加语义保持的退化（如模糊、噪声、JPEG压缩）。最终将失真后的图像替换回原位置，形成“文本→图像→文本”交错序列，保持原始监督目标不变。该范式可无缝集成到任何多模态训练流程中，使用标准SFT目标进行训练。

Key Results:

• LoMo在13个多模态基准上（涵盖数学推理、VQA、OCR、文档理解、视觉感知）一致提升性能：在LLaVA-OneVision-1.5-8B上平均提升2.67分，在Qwen3.5-9B上平均提升2.82分。
• 跨模态距离分析显示，LoMo将文本与渲染图像之间的平均余弦距离降低14.2%，表明跨载体对齐更紧密。
• 载体敏感性实验表明，LoMo显著缩小了原始文本与渲染图像输入之间的性能差距，从最高21.23%的准确率下降降至更小差距。
• 在不同数据规模下，LoMo均能提升下游准确率和表征对齐指标。
• 模态集成率（MIR）分析进一步证实LoMo增强了跨模态融合深度。

Tech Stack:

• 结构感知跨度定位：基于语义结构（如公式、句子边界）的分割算法
• 视觉渲染：LaTeX渲染器（用于数学公式）和标准文本渲染器（用于普通文本）的内容感知路由
• 感知失真：模糊、噪声、JPEG压缩等语义保持退化
• 标准监督微调（SFT）目标
• 余弦距离度量用于跨模态表征对齐评估
• 模态集成率（MIR）指标用于量化融合深度

Strengths:

• 方法轻量且架构无关，无需修改模型结构或增加推理开销，易于集成到现有VLM训练流程。
• 从数据层面解决跨模态对齐问题，避免了复杂的解码时修正或额外损失函数。
• 通过局部替换而非全局替换，保留了原始语义和上下文，使模型学习到局部跨载体对应关系。
• 在多个主流VLM（LLaVA-OneVision、Qwen3.5）上取得一致且显著的性能提升，泛化性强。
• 提供了充分的诊断分析（载体敏感性、模态距离、MIR），验证了问题的存在和方法的有效性。

Limitations:

• 方法依赖于渲染图像的质量和感知失真的选择，可能对特定渲染风格或退化类型敏感。
• 仅针对文本到图像的局部替换，未探索图像到文本的替换或双向对齐。
• 实验主要在8B-9B规模的模型上进行，在更大规模模型（如70B）上的效果尚未验证。
• 对于长文本或复杂结构化内容（如表格、代码），渲染图像的保真度和可读性可能受限。
• 未讨论LoMo对生成任务（如图像描述、视觉故事生成）的影响，主要聚焦于理解型任务。

Relevance To Keywords:

• 表征学习：LoMo直接针对跨模态表征不变性，通过数据策展促进文本和图像载体在语义等价时的表征对齐，与表征学习核心目标高度相关。
• 原生多模态大模型：LoMo旨在提升多模态大模型的跨模态融合能力，属于多模态大模型训练优化范畴。
• 多模态大模型的理解和生成一体化：论文主要关注理解任务（VQA、OCR等），但方法可扩展至生成任务，与一体化方向部分相关。
• 世界模型：论文未涉及世界模型中的因果推理或环境建模，相关性较弱。
• 强化学习：论文使用标准SFT，未涉及RL或RLHF，相关性弱。
• 后训练：LoMo属于后训练阶段的数据策展方法，与后训练（SFT）直接相关。
• Unify Models：论文未讨论统一模型架构，相关性弱。
• Model-Based RL：不相关。

随着视频扩散模型（VDMs）向世界模型演进，一个关键问题浮现：它们是否真正理解了因果关系，还是仅仅过度拟合了统计时间模式？现有的基准测试主要依赖合成数据，由于存在模拟到现实的差距，限制了其在现实世界中的泛化能力。我们提出了 YoCausal，这是一个受认知科学中“期望违背”（Violation of Expectation, VoE）范式启发的两级基准。通过以零成本对真实世界视频进行时间反转，将其作为自然反事实样本，YoCausal 建立了一个任意可扩展的评估协议。第一级引入了反向惊讶指数（Reverse Surprise Index, RSI），通过去噪损失量化时间之箭的感知。第二级引入了因果认知指数（Causality Cognition Index, CCI），利用视觉语言模型（VLM）对数据集进行分层，划分为因果和非因果子集，从而将真实的因果推理与时间偏差解耦。对 13 种最先进的 VDMs 的评估表明，感知时间之箭并不意味着理解因果关系，且相对于人类水平的因果认知，仍存在显著差距。

As video diffusion models (VDMs) advance toward world models, a key question arises: do they truly understand causality, or merely overfit to statistical temporal patterns? Existing benchmarks mostly rely on synthetic data, limiting real-world generalization due to the sim-to-real gap. We present YoCausal, a two-level benchmark inspired by the Violation of Expectation (VoE) paradigm from cognitive science. By temporally reversing real-world videos at zero cost as natural counterfactual samples, YoCausal establishes an arbitrarily extensible evaluation protocol. Level 1 introduces the Reverse Surprise Index (RSI), quantifying arrow-of-time perception via denoising loss. Level 2 introduces the Causality Cognition Index (CCI), which leverages a VLM to stratify datasets into causal and non-causal subsets, disentangling genuine causal reasoning from temporal bias. Evaluation of 13 state-of-the-art VDMs reveals that perceiving the arrow of time does not imply understanding causality, and a significant gap persists relative to human-level causal cognition.

评分理由: World Models is highly relevant as it is the core theme of the title and abstract. MultiModal and MLLM are moderately relevant due to the use of Vision-Language Models in evaluation. Unify Models is moderately relevant regarding the convergence of generation and understanding. Tokenizer, Visual Encoder, and model-based RL are less relevant as they are not explicitly discussed in the paper's context.

Video Generation, World Model, Causality, Benchmark, Video Diffusion Models, Causality Cognition Index, Reverse Surprise Index

Chinese Title: YoCausal：从因果视角看视频生成距离世界模型还有多远

Summary: 本文提出YoCausal基准，用于评估视频扩散模型（VDM）的因果认知能力。受认知科学中“期望违背”（VoE）范式启发，通过零成本的时间反转真实视频生成反事实样本，建立可任意扩展的评估协议。Level 1引入反向惊奇指数（RSI），通过去噪损失量化模型对时间箭头的感知；Level 2引入因果认知指数（CCI），利用视觉语言模型（VLM）将数据集分为因果与非因果子集，从而分离真正的因果推理与时间偏差。对13个最先进VDM的评估表明：感知时间箭头不等于理解因果关系，模型与人类因果认知之间仍存在显著差距。

Innovations:

• 首个针对视频扩散模型的因果认知基准，基于可扩展的真实世界数据集，消除了模拟到真实的差距。
• 受认知科学VoE范式启发，利用时间反转生成自然反事实样本，无需合成数据或受控录制。
• 提出两级评估框架：RSI量化时间箭头感知，CCI通过因果/非因果子集差异分离真正的因果理解。
• 提供人类标注的上界参考（1200个视频），揭示当前开源VDM缺乏因果理解，指明通往世界模型的关键差距。

Methodology: 构建包含通用、物理、人类动作、动物动作四个主题子集的真实视频数据集，对每个视频进行时间反转得到反事实对。使用去噪损失作为模型“惊奇度”的代理：对同一噪声添加后的前向和反向视频计算损失，若反向损失更高则模型更“惊奇”。Level 1的RSI统计反向损失高于前向的比例；Level 2利用VLM（如GPT-4V）将视频分为因果和非因果子集，CCI = RSI(因果子集) - RSI(非因果子集)，以消除时间偏差。评估13个VDM并与人类基线对比。

Key Results:

• 先进VDM能感知时间箭头，部分模型表现出初步因果认知，但与人类存在显著差距。
• 感知时间箭头不等于理解因果关系。
• 因果认知与直观物理部分相关，但与美学质量无关。
• 参数规模扩大和架构升级（如UNet到DiT）可改善因果认知，表明缩放定律适用于高阶推理。

Tech Stack:

• 视频扩散模型（VDM）：UNet-based（AnimateDiff-SDXL等）、DiT-based（CogVideoX1.5-5B、Wan2.2-A14B等）
• 去噪损失（Denoising Loss）作为似然代理
• 视觉语言模型（VLM）用于因果/非因果子集划分
• 时间反转（Temporal Reversal）生成反事实样本
• 反向惊奇指数（RSI）和因果认知指数（CCI）
• 数据集：Moment in Time、Physics IQ、Kinetics、Animal Kingdom

Strengths:

• 数据集可任意扩展，零成本获取反事实样本，消除模拟到真实差距。
• 两级评估框架有效分离时间箭头感知与因果理解，避免混淆。
• 评估覆盖13个主流VDM，并提供人类基线，对比全面。
• 揭示因果认知与美学质量无关，强调评估的独特性。

Limitations:

• 时间反转仅能测试因果方向性，无法覆盖更复杂的因果推理（如多因素交互）。
• VLM划分因果子集可能引入标注偏差，且依赖VLM自身能力。
• 仅评估生成模型的似然，未直接测试生成视频的因果正确性。
• 当前数据集仅包含四个领域，未来需扩展更多场景（如工具使用、社会交互）。

Relevance To Keywords:

• 世界模型：论文直接评估VDM作为世界模型的因果理解能力，指出当前差距。
• 表征学习：通过去噪损失隐式探测模型学到的因果表征。
• 多模态大模型：使用VLM进行因果/非因果划分，评估对象包括多模态生成模型。
• 后训练：论文未涉及后训练，但结果可指导后续训练策略改进因果认知。
• 强化学习：论文未直接涉及，但世界模型与因果推理是模型基强化学习的关键。

视频大语言模型（Video-LLMs）已在视频理解任务中展现出强大的能力。然而，由于处理海量视觉 tokens 导致的效率低下，它们的实际部署仍受到阻碍。尽管近期方法在保持与全 token 基线相当准确性的同时实现了极低的 token 保留率，但它们大多仅在预填充（prefilling）的后期阶段执行压缩，导致视觉编码器的效率未被优化。本文首先指出，视觉编码过程占据了首 token 时间（TTFT）的很大一部分。因此，与其仅在视觉编码器之后压缩视觉 tokens，在编码器内部执行压缩仍留有巨大的探索空间。基于这一洞察，本文提出 EarlyTom，一种无需训练的 token 压缩框架，该框架在视觉编码器内部执行早期视觉 token 压缩，从而实现更显著的 TTFT 降低和更高的吞吐量。此外，我们还引入了一种解耦的空间 token 选择策略，以提升整体压缩效果。在单个 NVIDIA A100 GPU 上，针对 LLaVA-OneVision-7B 模型，EarlyTom 将 TTFT 降低高达 2.65 倍，FLOPs 减少高达 61%，同时保持与全 token 基线相当的准确性。这些改进显著提升了 Video-LLMs 在实际生产场景中的部署实用性。

Video large language models (Video-LLMs) have demonstrated strong capabilities in video understanding tasks. However, their practical deployment is still hindered by the inefficiency introduced by processing massive amounts of visual tokens. Although recent approaches achieve extremely low token retention ratios while maintaining accuracy comparable to full-token baselines, most of them perform compression only at the late stage of prefilling, leaving the efficiency of the vision encoder unoptimized. In this paper, we first show that vision encoding contributes a large portion to the time-to-first-token (TTFT). Therefore, instead of compressing visual tokens only after the vision encoder, performing compression inside the encoder still leaves substantial room for exploration. Based on this insight, we propose EarlyTom, a training-free token compression framework that performs early-stage visual token compression inside the vision encoder, enabling significantly better TTFT reduction and higher throughput. In addition, we introduce a decoupled spatial token selection strategy that improves the overall compression effectiveness. EarlyTom reduces TTFT by up to 2.65x and FLOPs by up to 61% on a single NVIDIA A100 GPU for the LLaVA-OneVision-7B model, while maintaining accuracy comparable to the full-token baseline. These improvements substantially enhance the practicality of deploying Video-LLMs in real-world production scenarios.

评分理由: The paper optimizes Video-LLMs via early token compression in the visual encoder, highly relevant to Visual Encoder, MLLM, and MultiModal. It moderately relates to Tokenizer through token handling but lacks focus on tokenizer architecture. It is unrelated to Unify Models, World Models, and model-based RL as it targets inference efficiency, not unification, world dynamics, or RL. No specified expert authors were found.

Video-LLMs, Token Compression, Visual Encoder, Inference Efficiency, Training-free, Time-to-First-Token, Spatial Token Selection

Chinese Title: EarlyTom：早期令牌压缩实现快速视频理解

Summary: 论文针对视频大语言模型（Video-LLMs）推理效率低的问题，提出了一种无需训练的令牌压缩框架EarlyTom。通过分析时间到首令牌（TTFT）的组成，发现视觉编码阶段是主要瓶颈（占36.3%），而现有压缩方法多在后阶段进行，未优化编码器。EarlyTom包含两个核心组件：一是内部视觉编码器帧合并，在编码过程中通过自适应分段和局部最优合并减少帧间冗余；二是分离的空间令牌选择策略，将合并后的特征分解为动态和静态令牌集，分别进行全局和局部窗口选择，以保持空间分布。实验表明，在LLaVA-OneVision-7B模型上，仅保留10%令牌时，TTFT降低2.65倍，FLOPs减少61%，吞吐量提升1.3倍，同时在MVBench、EgoSchema等四个基准上保持与全令牌方法相当的精度。该方法显著提升了Video-LLMs在实际部署中的实用性。

Innovations:

• 提出内部视觉编码器帧合并机制，在编码阶段直接压缩冗余视觉信息，显著降低TTFT且开销极小。
• 引入分离的空间令牌选择策略，对动态帧和静态帧分别采用全局Top-K和局部窗口选择，避免引入偏差并提高压缩效果。
• 实现训练无关的压缩框架，无需额外训练即可达到2.65倍TTFT加速和61% FLOPs减少，同时保持下游任务精度。
• 通过分析视频注意力沉没现象（sink tokens），揭示现有基于注意力分数的压缩方法存在语义信息丢失问题，并据此设计更合理的令牌选择策略。

Methodology: 论文首先对Video-LLM推理过程进行延迟剖析，识别视觉编码为TTFT主要瓶颈。然后提出两阶段压缩方法：第一阶段在视觉编码器内部进行帧合并，基于流式帧相似度自适应分割视频，对冗余中间帧采用局部最优准则合并，并通过加权融合细化表示；第二阶段在编码后执行分离的令牌选择，将合并后的帧特征分解为动态和静态令牌集，动态帧使用全局Top-K选择，静态帧使用局部窗口选择以保持空间分布，最后重组令牌输入LLM。方法无需训练，仅依赖推理时的计算。

Key Results:

• 在LLaVA-OneVision-7B模型上，TTFT降低2.65倍，FLOPs减少61%，吞吐量提升1.3倍（10%令牌保留率）。
• 在MVBench、EgoSchema、LongVideoBench、VideoMME四个基准上，平均性能与全令牌方法相当，优于其他训练无关方法。
• 视觉编码阶段在基线中占36.3% TTFT，在HoliTom和VisionZip中分别升至55.8%和68.4%，而EarlyTom直接减少编码时间，几乎无额外开销。
• 视频注意力沉没现象表明某些令牌（sink tokens）始终吸引高注意力，导致现有Top-K方法忽略其他帧的语义信息。

Tech Stack:

• SigLIP视觉编码器
• KNN聚类（用于令牌合并）
• 注意力机制（用于分析sink tokens）
• 局部最优合并准则（基于相似度）
• 全局Top-K选择与局部窗口选择
• 加权融合（weighted fusion）
• FLOPs和TTFT延迟剖析工具

Strengths:

• 无需训练，直接应用于现有模型，实用性强。
• 针对视觉编码器这一被忽视的瓶颈进行优化，实现显著加速。
• 分离的令牌选择策略兼顾动态和静态帧，保持空间分布，避免偏差。
• 在多个基准上保持与全令牌方法相当的精度，验证了压缩的有效性。
• 提供了详细的延迟剖析和注意力沉没分析，具有理论洞察。

Limitations:

• 方法依赖于特定视觉编码器（SigLIP）的注意力特性，可能不适用于其他架构。
• 帧合并策略基于相似度，对剧烈场景切换的视频可能效果下降。
• 实验仅在LLaVA-OneVision系列模型上验证，泛化性需进一步测试。
• 未讨论解码阶段的优化，仅聚焦于预填充阶段。

Relevance To Keywords:

• 原生多模态大模型：EarlyTom针对视频多模态大模型（Video-LLMs）的推理效率问题，属于多模态大模型优化范畴。
• 多模态大模型的理解和生成一体化：方法提升理解任务（视频问答）的推理速度，间接支持生成效率。
• 表征学习：通过令牌压缩和合并，学习更紧凑的视觉表征，保留关键语义信息。
• 世界模型：视频理解是世界模型的重要能力，加速推理有助于世界模型在实时场景中的应用。
• 模型基于强化学习/后训练：论文未涉及强化学习或后训练，但压缩方法可作为后训练阶段加速推理的组件。

视觉 - 语言模型（VLMs）依赖长视觉 token 序列来实现视觉理解，导致预填充阶段在计算和内存开销上都非常高昂。大多数现有的剪枝方法遵循绝对排名范式，即为视觉 token 分配重要性分数并保留固定的前 K 子集。本文认为，这种范式本质上存在根本性脆弱性：注意力汇点会扭曲 token 的重要性排名，而图像冗余及查询依赖的视觉证据使得固定 token 预算在不同输入下不可靠。本文提出 OccamToken，这是一种无需训练的框架，它用基于寄存器的相对证据测试取代了绝对 token 排名。与询问哪些 token 全局重要不同，OccamToken 评估视觉 token 是否提供了超出基于寄存器参考的信息。我们的核心见解在于，寄存器 token 自然吸收低信息量的注意力模式，从而使其成为识别真正具有信息量的视觉证据的稳定参考。基于此原理，OccamToken 通过基于寄存器注意力导出的动态阈值，同时执行图像自适应冗余剪枝和查询自适应相关性剪枝。在 LLaVA-NeXT、LLaVA-v1.5 和 Qwen3-VL 上，OccamToken 无需额外训练即可一致地提高准确率 - 效率权衡。值得注意的是，在 LLaVA-NeXT 上，它将 2,880 个视觉 token 压缩至约 40 个，同时保留超过 93% 的原始准确率，即使在极端 1.4% 的保留率情形下，也能实现稳定的视觉 token 压缩。

Vision-language models (VLMs) rely on long visual token sequences for visual understanding, making the prefill stage expensive in both computation and memory. Most existing pruning methods follow an absolute-ranking paradigm, assigning importance scores to visual tokens and retaining a fixed top-K subset. In this work, we argue that this paradigm is fundamentally brittle: attention sinks distort token importance rankings, while image redundancy and query-dependent visual evidence make fixed token budgets unreliable across inputs. We propose OccamToken, a training-free framework that replaces absolute token ranking with register-anchored relative evidence testing. Instead of asking which tokens are globally important, OccamToken evaluates whether a visual token provides information beyond a register-based reference. Our key insight is that register tokens naturally absorb low-information attention patterns, making them a stable reference for identifying genuinely informative visual evidence. Based on this principle, OccamToken performs both image-adaptive redundancy pruning and query-adaptive relevance pruning through dynamic thresholds derived from register attention. Across LLaVA-NeXT, LLaVA-v1.5, and Qwen3-VL, OccamToken consistently improves the accuracy-efficiency trade-off without additional training. Notably, on LLaVA-NeXT, it reduces 2,880 visual tokens to approximately 40 while preserving over 93% of the original accuracy, enabling stable visual token compression even in the extreme 1.4% retention regime.

评分理由: 论文核心为视觉语言模型（MLLM）的推理加速，直接涉及视觉编码器输出（Visual Encoder）及多模态（MultiModal）处理，故评分较高；虽处理 token 但未设计 tokenizer，故 Tokenizer 中等；方法适用于多种模型但未统一架构（Unify Models）；与世界模型及强化学习（model-based RL）完全无关。

Token Pruning, VLM Inference, Visual Tokens, Training-Free, Budget-Adaptive, Register-anchored, Efficiency Optimization

Chinese Title: OccamToken: 无需训练且预算自适应的令牌剪枝实现高效VLM推理

Summary: 视觉语言模型（VLM）依赖长序列视觉令牌进行视觉理解，导致预填充阶段计算和内存开销巨大。现有剪枝方法通常采用绝对排名范式，固定保留前K个令牌，但存在注意力沉没扭曲重要性排名、图像冗余和查询依赖导致固定预算不可靠的问题。本文提出OccamToken，一种无需训练的两阶段剪枝框架，用寄存器锚定的相对证据测试替代绝对令牌排名。核心思想是：寄存器令牌自然吸收低信息注意力模式，可作为稳定参考来识别真正有信息的视觉证据。第一阶段在视觉编码器输出处利用[CLS]-到-寄存器注意力去除图像级冗余；第二阶段在语言模型内部利用[文本]-到-寄存器注意力剪枝查询无关令牌，实现图像自适应和查询自适应的令牌预算。在LLaVA-NeXT、LLaVA-v1.5和Qwen3-VL上，OccamToken在相同预算下优于现有方法，且无需额外训练。在LLaVA-NeXT上，将2880个视觉令牌压缩至约40个（保留率1.4%），仍保持93%以上的原始准确率。

Innovations:

• 提出寄存器锚定动态阈值机制，将注意力沉没缓解与自适应令牌剪枝结合，无需训练即可实现。
• 设计两阶段训练无关剪枝框架，分别处理图像级冗余和查询级相关性，实现预算自适应。
• 用相对比较范式（令牌是否优于寄存器参考）替代绝对排名（固定前K），解决固定预算不可靠问题。
• 在极端压缩率（1.4%保留）下仍能保持高精度，显著优于现有训练无关方法。
• 即插即用，无需修改模型或额外训练，适用于多种VLM架构。

Methodology: OccamToken采用两阶段剪枝策略。第一阶段（图像级冗余剪枝）：在视觉编码器输出后插入测试时寄存器令牌，计算[CLS]令牌到所有视觉令牌（包括寄存器）的注意力分布，以寄存器令牌的注意力分数作为动态阈值，保留分数高于该阈值的视觉令牌。第二阶段（查询级相关剪枝）：在语言模型内部，利用文本令牌（如[text]）到视觉令牌（包括寄存器）的注意力，同样以寄存器分数为阈值，进一步剪枝与当前查询无关的令牌。两阶段均无需训练，仅依赖注意力计算。寄存器令牌通过吸收注意力沉没来稳定分数分布，其自身分数作为语义参考，自动适应不同样本和查询。

Key Results:

• 在LLaVA-NeXT上，将2880个视觉令牌压缩至约40个（1.4%保留率），保持93%以上原始准确率。
• 在LLaVA-v1.5和Qwen3-VL上，相同预算下优于所有对比基线（包括训练无关和训练方法）。
• 自适应预算：同一图像不同查询保留不同数量令牌（如刀块问题保留9个，冰箱-炉子关系问题保留17个）。
• 有效缓解注意力沉没：插入寄存器后，有效注意力数量（neff）从42提升至281，分数分布更可区分。

Tech Stack:

• 注意力机制（Multi-Head Attention, Softmax归一化）
• 测试时寄存器令牌（Test-time Register Token）
• [CLS]令牌和[text]令牌的注意力分数
• 动态阈值剪枝（基于寄存器分数的相对比较）
• 两阶段剪枝框架（图像级+查询级）
• PyTorch（推测，用于实现和实验）

Strengths:

• 完全训练无关，无需额外数据或微调，即插即用。
• 自适应预算，能根据图像复杂度和查询需求动态调整保留令牌数。
• 有效解决注意力沉没问题，提高重要性分数可区分性。
• 在极端压缩率下仍保持高精度，性能优于现有方法。
• 方法简洁，仅需插入一个寄存器令牌并计算注意力，计算开销小。

Limitations:

• 依赖寄存器令牌的插入，可能对不支持测试时插入的模型架构需要适配。
• 两阶段剪枝可能增加少量推理延迟（但论文声称高效）。
• 当前实验主要在图像理解基准上，对多图、视频等复杂场景的泛化性有待验证。
• 寄存器令牌的参考阈值可能在某些极端分布下不够鲁棒（如所有令牌分数均低于寄存器）。
• 未探讨与生成任务（如视觉生成）的结合，仅针对理解型VLM。

Relevance To Keywords:

• 原生多模态大模型：论文研究VLM（视觉语言模型）的推理效率，属于多模态大模型范畴，直接相关。
• 多模态大模型的理解和生成一体化：论文聚焦理解任务（图像问答），未涉及生成一体化，但剪枝方法可推广到生成模型，部分相关。
• 表征学习：寄存器令牌的表征学习特性（吸收沉没、编码全局信息）是方法核心，与表征学习高度相关。
• 世界模型：论文未涉及世界模型构建或预测，相关性低。
• 强化学习：论文未使用强化学习，相关性低。
• 后训练：论文方法为训练无关，属于推理优化而非后训练，相关性较低。

我们提出了 GR3D，这是一个空间视觉语言模型（Spatial Vision Language Model），在统一框架内配备了三种互补的定位能力——显式 2D 定位、隐式 2D 定位和单目 3D 定位。GR3D 引入了一种隐式定位机制，该机制在生成过程中识别实体提及，并将相应的区域标记插入文本流中，从而使模型能够在生成空间思维链响应时即时参考视觉证据。与此同时，一种基于区域提示的单目 3D 定位设计从已定位的区域查询中预测相机视图中的 3D 边界框，该设计得到了内禀感知归一化和密集几何监督的支持。协同地，这些定位能力使 GR3D 能够将复杂的空间理解问题分解为基于定位的 2D 感知，随后进行 3D 推理。GR3D 在基于定位和未基于定位的空间基准上均实现了持续改进，表明定位是一种有效的归纳偏置，用于加强视觉语言模型（VLMs）中的空间理解。这些定位能力共同增强了超越定位任务本身的一般空间理解。

We present GR3D, a spatial vision language model equipped with three complementary grounding capabilities--explicit 2D grounding, implicit 2D grounding, and monocular 3D grounding--within a single framework. GR3D introduces an implicit grounding mechanism that identifies entity mentions during generation and inserts the corresponding region tokens into the text stream, allowing the model to reference visual evidence on the fly when producing spatial chain-of-thought responses. In parallel, a region-prompted monocular 3D grounding design predicts 3D bounding boxes in the camera view from grounded region queries, supported by intrinsic-aware normalization and dense geometric supervision. Together, these grounding capabilities enable GR3D to decompose complex spatial understanding problems into grounded 2D perception followed by 3D inference. GR3D achieves consistent improvements across grounded and non-grounded spatial benchmarks, demonstrating grounding as an effective inductive bias for strengthening spatial understanding in VLMs. These grounding capabilities collectively enhance general spatial understanding beyond the grounding task itself.

评分理由: 论文属于多模态大模型（MLLM, MultiModal）范畴，核心涉及视觉编码器（Visual Encoder）和区域标记机制（Tokenizer），并统一了多种 grounding 能力（Unify Models）。然而，论文主要关注空间理解与视觉 - 语言对齐，未涉及世界模型（World Models）的生成预测，也未包含强化学习（model-based RL）相关内容，故后两者相关性极低。

Grounded 3D-Aware, Spatial Vision-Language, Region Tokens, 2D Grounding, 3D Grounding, Spatial Understanding, Visual Evidence, Single Framework

Chinese Title: 基于三维感知的接地空间视觉语言建模

Summary: 本文提出GR3D，一个集成了显式2D定位、隐式2D定位和单目3D定位三种互补能力的空间视觉语言模型。隐式定位机制在生成过程中自动识别实体提及并插入对应的区域token，使模型能够在视觉链式推理中动态引用视觉证据。区域提示的单目3D定位通过内在感知归一化和密集几何监督，从定位的区域查询中预测3D边界框。这些能力使GR3D能够将复杂的空间理解问题分解为接地2D感知和3D推理。实验表明，GR3D在接地和非接地空间基准上均取得一致改进，证明定位作为归纳偏置能有效增强VLM的空间理解。

Innovations:

• 提出隐式2D定位机制，通过流式区域插入在生成过程中自动关联文本提及与视觉区域，实现视觉链式推理。
• 设计区域提示的单目3D定位方法，利用内在感知归一化和密集几何监督从2D区域查询预测3D边界框。
• 将显式2D定位、隐式2D定位和单目3D定位统一在一个框架中，实现从2D到3D的分解式空间推理。
• 构建大规模隐式定位标注数据和平衡的2D-3D监督数据，支持模型训练。
• 发现定位能力作为归纳偏置能提升一般空间理解，即使在没有显式定位任务时也有效。

Methodology: 基于NVILA-8B-Lite架构构建基础空间VLM，通过2D位置嵌入和相对深度线索增强视觉token的空间感知。显式2D定位使用语言头直接预测HTML格式的边界框。隐式2D定位采用流式区域插入：模型在生成过程中预测实体边界框，通过区域编码器提取区域token并插入文本流。单目3D定位以2D区域为查询，结合内在感知归一化和密集点监督（来自深度估计）预测3D边界框。训练时使用教师强制和梯度截断，推理时自动执行。数据构建包括从现有数据集生成隐式定位标注和平衡2D-3D监督。

Key Results:

• 在CVBench、ERQA、SAT等空间基准上，隐式定位提升了CoT准确性和空间一致性。
• 在Omni3D上，区域提示的单目3D定位结合密集点监督达到最先进性能。
• 定位能力增强了一般空间理解，即使在没有显式定位任务时也有效。
• 密集几何监督提供了可扩展的结构线索。
• 隐式定位与区域提示3D推理结合，支持指代实例3D定位、类别级3D检测和多物体场景定位。

Tech Stack:

• NVILA-8B-Lite架构
• 2D位置嵌入
• 相对深度线索
• 区域编码器（基于池化）
• HTML格式边界框输出
• 教师强制训练
• 内在感知归一化
• 密集几何监督（深度估计）
• 链式推理（CoT）

Strengths:

• 统一了三种互补的定位能力，覆盖2D和3D空间理解。
• 隐式定位机制使模型能够自动进行实体定位，更接近人类视觉推理过程。
• 单目3D定位通过区域提示和密集监督解决了深度和尺度模糊问题。
• 在多个基准上取得一致改进，验证了定位作为归纳偏置的有效性。
• 框架灵活，支持单视图和多视图输入。

Limitations:

• 单目3D定位仍受限于单视图的固有歧义，可能无法处理严重遮挡或对称物体。
• 隐式定位依赖于训练数据中的标注，数据构建过程可能引入噪声。
• 模型基于NVILA-8B-Lite，可能受限于基础架构的容量。
• 未在真实机器人场景中验证，仅停留在图像级基准测试。
• 多视图扩展仅在补充材料中提及，缺乏详细分析。

Relevance To Keywords:

• Unify Models: GR3D统一了2D和3D定位能力，属于统一模型范畴。
• World Models: 模型通过3D定位和空间推理构建场景的几何表示，与世界模型相关。
• Representation Learning: 通过定位和几何监督学习空间特征表示。
• Model-Based RL: 论文未直接涉及强化学习，但空间理解为具身智能提供基础，间接相关。
• 原生多模态大模型: GR3D基于NVILA，属于原生多模态大模型。
• 多模态大模型的理解和生成一体化: 模型同时进行视觉理解和语言生成，实现一体化。
• 表征学习: 通过定位和几何监督学习空间表征。
• 世界模型: 模型学习3D空间结构，可视为世界模型的一部分。
• 强化学习: 论文未涉及强化学习。
• 后训练: 论文主要关注模型架构和训练，未明确讨论后训练策略。

我们提出了 Stable-Layers，这是一种强化学习框架，它通过仅使用视觉 - 语言模型（VLM）的反馈来微调预训练层分解模型，从而消除了对成对监督的需求。基于 Qwen-Image-Layered，我们应用了带有 LoRA 适配的 Flow-GRPO，对每张图像采样多个候选分解，使用 VLM 对其进行评分，并根据组内相对优势优化策略。关键挑战在于设计可靠的奖励信号：单独评分样本的 VLM 倾向于将其判断压缩到一个狭窄的范围内，导致 GRPO 几乎没有组内方差可供学习。我们通过一个两阶段评估流程来解决这一问题，该流程将基于五个以编辑为中心的标准的结构化单样本评分与一个基于网格的校准步骤相结合，在该步骤中 VLM 并排重新评分所有候选项。与基础模型相比，Stable-Layers 在 Crello 数据集上产生的分解具有更强的层分离度、更少的空白或伪影较多的层以及更低的每层重建误差。

We present Stable-Layers, a reinforcement learning framework that eliminates the need for paired supervision by fine-tuning a pretrained layer decomposition model using only feedback from a vision-language model (VLM). Starting from Qwen-Image-Layered, we apply Flow-GRPO with LoRA adaptation, sampling multiple candidate decompositions per image, scoring them with a VLM, and optimising the policy from group-relative advantages. The key challenge lies in designing a reliable reward signal: VLMs scoring samples in isolation tend to compress their judgements into a narrow band, leaving GRPO with little within-group variance to learn from. We address this with a two-stage evaluation pipeline that pairs structured per-sample scoring across five edit-centric criteria with a grid-based calibration step in which the VLM re-scores all candidates side-by-side. Stable-Layers produces decompositions with stronger layer separation, fewer blank or artifact-heavy layers, and lower per-layer reconstruction error on the Crello dataset compared to the base model.

评分理由: The paper focuses on RL fine-tuning of image decomposition using VLM feedback, making MLLM and MultiModal highly relevant. Unify Models and Visual Encoder are moderately relevant as the method aligns models and processes images. Tokenizer and World Models are not discussed. model-based RL is moderately relevant due to RL usage (GRPO), though technically policy optimization. No expert authors from the specified list were found.

Reinforcement Learning, Vision-Language Model, Image Layer Decomposition, Fine-Tuning, GRPO, LoRA, Unsupervised Learning

Chinese Title: 稳定层：使用VLM评分强化学习微调图像层分解模型

Summary: 本文提出Stable-Layers框架，通过强化学习微调预训练的层分解模型，无需配对监督数据，仅依赖视觉语言模型（VLM）的反馈。针对VLM评分压缩导致组内方差不足的问题，设计了两阶段评估管道：第一阶段对每个候选分解按五个编辑相关标准进行结构化评分；第二阶段将候选组放在标注网格中重新评分以增强区分度。同时，针对流匹配模型中序列打包潜在表示导致的比率归一化问题，改进了RatioNorm方法。在未标注图像上训练后，Stable-Layers在Crello数据集上相比基线模型实现了更好的层分离、更少的空白或伪影层以及更低的逐层重建误差。

Innovations:

• 提出两阶段VLM奖励协议，缓解组内强化学习中分数压缩问题，第一阶段按五个标准独立评分，第二阶段通过网格对比实现精细校准。
• 针对流匹配强化学习中序列打包潜在表示导致的比率标准差抑制问题，改进了RatioNorm方法，恢复O(1)量级的比率幅度。
• 首次将VLM作为唯一监督源应用于图像层分解的后训练强化学习，无需任何层标注或配对数据。
• 通过LoRA适配和Flow-GRPO框架，在未标注图像上显著提升预训练层分解模型的编辑可用性。

Methodology: 采用Flow-GRPO强化学习框架，以Qwen-Image-Layered为基模型，通过LoRA（秩16）微调注意力投影层和前馈层。训练循环：每步生成G个候选分解（通过SDE采样），使用两阶段VLM评分管道获得奖励，然后计算组相对优势并执行GRPO更新。第一阶段：每个候选独立由VLM按五个标准（语义分离、Alpha清洁度、背景修复、特征分布、内容有效性）评分，归一化至[0,1]；第二阶段：将所有候选排列在标注网格中，由VLM重新评分以增强组内方差。同时采用GRPO-Guard的RatioNorm和梯度重加权，并针对打包潜在表示进行修正。

Key Results:

• 在Crello数据集上，Stable-Layers相比Qwen-Image-Layered基线实现了更好的层分离，减少了空白或伪影层。
• 逐层重建误差显著降低，表明层分解的忠实度提升。
• 在未标注的Fine-T2I图像上训练后，模型在保持原图重构质量的同时，提高了各层的语义一致性和Alpha蒙版质量。
• 两阶段评分管道有效恢复了组内奖励方差，使GRPO能够从相似候选中学到有效信号。

Tech Stack:

• Flow-GRPO（流匹配强化学习框架）
• GRPO-Guard（比率归一化与梯度重加权）
• LoRA（低秩适配，秩16）
• Qwen-Image-Layered（预训练层分解模型）
• VLM（视觉语言模型，作为评分器）
• SDE增强流匹配（扩散系数σ_t = a√(t/(1-t)), a=0.7）
• RGBA-VAE（3D变分自编码器，8×空间压缩）
• MMDiT（多模态扩散Transformer）

Strengths:

• 无需配对数据或人工标注，仅依赖VLM反馈即可提升分解质量，降低了数据获取成本。
• 两阶段评分设计有效解决了VLM评分压缩问题，使强化学习能够从组内相似候选中学到有效梯度。
• 针对流匹配模型中序列打包潜在表示的比率归一化改进具有通用性，可推广到其他类似场景。
• 在多个编辑相关维度（语义分离、Alpha清洁度、背景修复等）上同时优化，提升了层分解的实际编辑可用性。

Limitations:

• 依赖VLM的评分质量，若VLM对某些视觉特征（如Alpha蒙版）理解不足，可能引入偏差。
• 两阶段评分增加了推理成本，每个训练步骤需多次调用VLM，计算开销较大。
• 实验仅在Crello数据集和部分未标注图像上验证，泛化到其他类型图像（如自然照片、复杂场景）的能力尚未充分证明。
• 当前方法仅针对固定层数（N层）的分解，未探索可变层数场景下的奖励设计。

Relevance To Keywords:

• 原生多模态大模型：论文使用VLM作为评分器，体现了多模态大模型在视觉任务中的监督能力。
• 多模态大模型的理解和生成一体化：VLM同时理解图像和文本，用于评估生成层分解的质量。
• 表征学习：层分解本质上是学习图像的分层表征，强化学习优化了表征的编辑友好性。
• 世界模型：层分解可视为对图像内容的结构化世界模型，本文通过RL提升其一致性。
• 强化学习：核心方法为Flow-GRPO，属于强化学习在生成模型后训练中的应用。
• 后训练：论文聚焦于预训练模型的后训练微调阶段，使用RL而非监督学习。

多模态检索增强生成（MMRAG）已成为一种强大的范式，通过整合外部视觉、文本和结构知识，以增强多模态大语言模型在知识密集型问答中的能力。然而，现有的 MMRAG 框架存在关键局限性，包括噪声检索与无关检索、跨模态语义错位、缺乏自适应推理，以及局部与全局上下文间生成不连贯等问题。我们提出 CogniVerse，这是一种新颖的 MMRAG 框架，通过认知启发式且数学严谨的方法解决这些挑战。借鉴类人推理，CogniVerse 集成了三个协同组件：(1) 认知反思模块，该模块动态评估检索必要性并过滤相关多模态内容，从而减少噪声和计算开销；(2) 多模态检索模块，该模块利用信息几何在黎曼流形上对齐嵌入表示，并通过谱图理论精炼知识图谱，以确保精确且连贯的检索；(3) 层次化生成模块，该模块采用基于最优传输的损失函数，以平衡词元级精度与全局语义连贯性。大量实验表明，CogniVerse 在准确性和连贯性方面显著优于最先进系统，同时降低了检索延迟。

Multi-modal Retrieval-Augmented Generation (MMRAG) has emerged as a powerful paradigm for enhancing Multimodal Large Language Models in knowledge-intensive question answering by integrating external visual, textual, and structural knowledge. However, existing MMRAG frameworks suffer from critical limitations, including noisy and irrelevant retrieval, cross-modal semantic misalignment, lack of adaptive reasoning, and incoherent generation across local and global contexts. We introduce \textbf{CogniVerse}, a novel MMRAG framework that addresses these challenges through a cognitive-inspired, mathematically rigorous approach. Drawing from human-like reasoning, CogniVerse integrates three synergistic components: (1) a Cognitive Reflection Module that dynamically assesses retrieval necessity and filters relevant multi-modal content, reducing noise and computational overhead; (2) a Multi-modal Retrieval Module that aligns embeddings in a Riemannian manifold using information geometry and refines knowledge graphs via spectral graph theory, ensuring precise and coherent retrieval; and (3) a Hierarchical Generation Module that employs an optimal transport-based loss to balance token-level accuracy and global semantic coherence. Extensive experiments demonstrate that CogniVerse significantly outperforms state-of-the-art systems in both accuracy and coherence, while reducing retrieval latency.

评分理由: 论文核心为多模态检索增强生成（MMRAG），与 MultiModal (10) 和 MLLM (9) 高度相关。框架统一了检索与生成逻辑，故 Unify Models 得 6 分。涉及 token-level 精度但未聚焦 Tokenizer 设计 (2)，隐含视觉编码器 (4)，与 World Models (1) 及 model-based RL (0) 无关。作者列表中无指定专家。加权总分 48.0，高于动态及格分 27.8。

Multi-Modal Retrieval-Augmented Generation, Cognitive Reflection, Geometric Reasoning, Multimodal Large Language Models, Riemannian Manifold, Hierarchical Generation, Optimal Transport

Chinese Title: CogniVerse：利用认知反思与几何推理革新多模态检索增强生成

Summary: 本文提出CogniVerse，一种新型多模态检索增强生成（MMRAG）框架，旨在解决现有系统在噪声检索、跨模态语义错位、缺乏自适应推理以及生成不连贯等方面的关键局限。受人类认知过程启发，CogniVerse集成三个协同模块：认知反思模块动态评估检索必要性并过滤相关多模态内容；多模态检索模块利用信息几何将嵌入对齐到黎曼流形，并通过谱图理论精化知识图谱；层次化生成模块采用基于最优传输的损失函数平衡词元级准确性与全局语义连贯性。实验表明，CogniVerse在准确性和连贯性上显著超越现有系统，同时降低检索延迟。

Innovations:

• 提出认知反思模块，动态判断检索必要性并过滤噪声，降低计算开销。
• 利用信息几何将多模态嵌入对齐到黎曼流形（双曲空间），实现跨模态语义一致性。
• 引入谱图理论精化知识图谱，构建查询相关子图，提升多跳检索精度。
• 设计基于最优传输（Wasserstein距离）的层次化生成损失，平衡局部与全局连贯性。
• 提供几何对齐与谱优化的收敛性理论保证，并实验验证有效性。

Methodology: CogniVerse采用三阶段流水线：1）认知反思模块：基于预训练多模态大模型计算置信度，通过对比学习训练分类头判断检索必要性与文档相关性。2）多模态检索模块：将视觉、文本和知识图谱嵌入映射到黎曼流形，最小化测地距离实现对齐；利用谱图理论对知识图谱进行特征分解，提取查询相关子图。3）层次化生成模块：结合检索内容与查询，使用基于Wasserstein距离的损失函数优化生成，兼顾词元级准确性与全局语义。

Key Results:

• 在多个基准多模态问答数据集上，CogniVerse在准确性和连贯性指标上均超越MuRAG、MMCoQA等现有方法。
• 认知反思模块有效减少不必要的检索，降低检索延迟约30%。
• 几何对齐与谱图精化显著提升跨模态检索精度，尤其在多跳复杂查询上。
• 最优传输损失生成的回答在事实正确性和语义连贯性上均优于交叉熵损失。

Tech Stack:

• 多模态大模型（MLLM）
• 信息几何（黎曼流形、测地距离）
• 谱图理论（特征分解、子图提取）
• 最优传输（Wasserstein距离）
• 对比学习损失
• 双曲空间嵌入
• 预训练视觉语言模型（如BLIP、CLIP）

Strengths:

• 创新性地将认知科学概念（反思）引入MMRAG，实现自适应检索。
• 数学框架严谨（信息几何、谱图理论、最优传输），提供理论保证。
• 全面解决噪声、错位、静态推理和不连贯四大问题，效果显著。
• 实验充分，在多个数据集上验证有效性，并展示消融分析。

Limitations:

• 依赖预训练多模态大模型，可能继承其偏见或知识边界。
• 黎曼流形对齐与谱图精化计算复杂度较高，大规模部署需优化。
• 未涉及世界模型、强化学习或后训练等方向，与部分关键词关联较弱。
• 实验仅针对问答任务，泛化到其他多模态生成任务（如摘要、对话）未验证。

Relevance To Keywords:

• 原生多模态大模型：论文使用多模态大模型作为基础，并增强其检索能力，高度相关。
• 多模态大模型的理解和生成一体化：CogniVerse同时涉及理解（检索）和生成（回答），相关。
• 表征学习：通过几何对齐和谱图理论进行多模态表征学习，相关。
• 世界模型：论文未涉及世界模型构建或预测，不直接相关。
• 模型-Based RL：未涉及强化学习或基于模型的决策，不相关。
• 后训练：论文未讨论后训练阶段（如微调、RLHF），不直接相关。

视觉 - 语言模型（VLMs）往往难以实现稳健的三维空间推理。依赖使用三维视觉问答（VQA）数据集进行微调的主流方法可能会过拟合数据集特定的偏差，而集成专用的三维视觉编码器通常既缺乏灵活性又繁琐。本文认为，真正的空间理解应源于学习基础几何先验，而不仅仅依赖于高层的 VQA 监督。我们提出了 GASP（几何感知空间先验），该框架将这些先验直接注入到大语言模型（LLM）的变换器层中。GASP 采用了一个小型对应头，将其作为深层监督信号应用于所有层，并利用大规模视频场景中的真实几何进行双重目标训练：基于真实点对应的对比损失强制二维视图不变性，而深度一致性监督则用于解决三维几何歧义。我们的分析首先提供了一项诊断，表明标准 VLMs 的内部对应匹配准确率非常低（通常低于 5%）。随后我们证明，我们的训练显著改善了这一行为，将峰值层间对应率提升至 70% 以上，并保持超过 85% 的时间鲁棒性，而基线模型则保持在 5% 以下。这些内部改进转化为下游空间基准上的显著提升，包括在 All-Angles Bench 上提升 18.2%，在 VSI-Bench 上提升 29.0%，且均未使用任何三维 VQA 数据进行训练。我们的发现表明，从基础几何先验进行学习是一条有前景且可泛化的途径，有助于构建具有更可靠三维空间推理能力的视觉 - 语言模型。

Vision-Language Models (VLMs) often struggle with robust 3D spatial reasoning. Prevailing methods that rely on fine-tuning with 3D visual question-answering (VQA) datasets may overfit dataset-specific biases, while integrating specialized 3D visual encoders is often inflexible and cumbersome. In this paper, we argue that genuine spatial understanding should emerge from learning fundamental geometric priors, not only from high-level VQA supervision. We propose GASP (Geometric-Aware Spatial Priors), a framework that injects these priors directly into the LLM's transformer layers. GASP employs a small correspondence head, applied as a deep supervision signal across all layers, and is trained with a dual objective leveraging ground-truth geometry from large-scale video scenes: a contrastive loss on ground-truth point correspondences enforces 2D view-invariance, while a depth consistency supervision resolves 3D geometric ambiguities. Our analysis first provides a diagnostic showing that standard VLMs' internal correspondence matching accuracy is very low (often below 5%). We then demonstrate that our training substantially improves this behavior, boosting peak layer-wise correspondence to over 70% and maintaining over 85% temporal robustness while baselines remain below 5%. These internal improvements translate to significant gains on downstream spatial benchmarks including +18.2% on All-Angles Bench and +29.0% on VSI-Bench, all without training on any 3D VQA data. Our findings indicate that learning from fundamental geometric priors is a promising and generalizable pathway towards VLMs with more reliable 3D spatial reasoning.

评分理由: MLLM 和 MultiModal 评分最高（8.0），因论文核心为视觉语言模型，属于多模态大模型范畴；Unify Models（5.0）和 Visual Encoder（4.0）有一定关联，涉及视觉与语言统一理解及编码器讨论；Tokenizer、World Models 和 model-based RL 评分较低（1.0-2.0），因未在摘要中体现或无关。作者列表中未包含指定的专家。

Vision-Language Models, 3D Spatial Reasoning, Geometric Priors, Deep Supervision, Contrastive Loss, Depth Consistency, Transformer Layers

Chinese Title: 超越3D VQA：将3D空间先验注入视觉-语言模型以增强几何推理

Summary: 本文针对视觉-语言模型（VLM）在3D空间推理中的不足，提出了一种名为GASP（几何感知空间先验）的训练框架。现有方法通常依赖3D视觉问答（VQA）数据集进行微调，容易过拟合数据集特定偏差；或集成专用3D视觉编码器，但灵活性差且增加模型负担。GASP通过将轻量级对应头注入LLM的Transformer层，利用大规模视频场景中的真实几何先验（点对应和深度一致性）进行深度监督训练，从而直接向模型内部注入几何归纳偏置。训练时使用对比学习损失和深度一致性损失，推理时丢弃对应头，模型作为标准VLM运行。实验表明，GASP显著提升了VLM内部的对应匹配准确率（从低于5%提升至超过70%），并在下游空间推理基准上取得显著增益（All-Angles Bench提升18.2%，VSI-Bench提升29.0%），且无需使用任何3D VQA数据。该工作表明，从基本几何先验学习是提升VLM空间推理能力的有效且可泛化的途径。

Innovations:

• 提出GASP框架，将几何先验直接注入LLM的Transformer层，而非依赖3D VQA微调或外部编码器。
• 设计轻量级对应头，在所有中间层施加深度监督信号，训练后丢弃，不增加推理负担。
• 采用双重目标：对比学习损失（基于真实点对应）实现2D视角不变性，深度一致性损失解决3D歧义。
• 首次对VLM骨干网络进行内部对应匹配分析，揭示标准VLM对应准确率极低（<5%），而GASP提升至70%以上。
• 在多个下游空间推理基准上取得显著提升，且无需3D VQA数据，证明几何先验学习的泛化性。

Methodology: 论文采用以下技术路线：1）在VLM的LLM Transformer各层插入轻量级2层MLP对应头，通过SVD分解初始化权重以保持预训练表示。2）从大规模视频数据集DL3DV中获取真实点对应和深度图作为监督信号。3）训练时使用InfoNCE对比损失学习视角不变嵌入，同时使用深度一致性损失（匹配深度值）作为几何正则化。4）训练后丢弃对应头，模型以标准VLM形式进行推理。5）通过内部对应匹配分析（QK匹配）评估几何表示质量，并在多个空间推理基准上测试下游性能。

Key Results:

• 标准VLM（如Qwen2.5-VL-7B、LLaVA-NeXT-Video-7B）内部对应匹配准确率低于5%。
• GASP将峰值层对应准确率提升至70%以上，时间鲁棒性超过85%，而基线低于5%。
• 在All-Angles Bench上相机姿态估计提升18.2%，VSI-Bench上物体计数提升29.0%，BLINK上多视图推理提升15.0%。
• 仅需少量训练，对通用视频QA性能影响极小。

Tech Stack:

• InfoNCE对比损失
• SVD分解（用于初始化对应头）
• 2层MLP（对应头结构：d→2demb→demb，GELU激活）
• 深度一致性损失（基于真实深度图）
• QK匹配分析（视觉自注意力矩阵）
• DL3DV数据集（大规模视频场景）
• Qwen2.5-VL-7B、LLaVA-NeXT-Video-7B等VLM骨干

Strengths:

• 创新性地从几何先验而非VQA数据学习，避免数据集偏差，提升泛化性。
• 轻量级对应头设计，训练后丢弃，不增加推理成本。
• 提供内部对应匹配分析，直观验证几何表示改善。
• 在多个下游任务上取得显著提升，且无需额外3D输入。
• 方法简洁，易于集成到现有VLM中。

Limitations:

• 训练依赖大规模视频场景的真实几何标注（点对应和深度图），数据获取成本较高。
• 当前实验仅在7B规模模型上验证，更大规模模型效果未知。
• 深度一致性损失可能对深度图质量敏感，噪声数据可能影响训练。
• 未在更多样化的空间推理任务（如导航、操作）上评估。

Relevance To Keywords:

• 原生多模态大模型：GASP直接注入几何先验到LLM层，增强VLM的空间推理能力，属于多模态大模型改进。
• 表征学习：通过对比学习学习视角不变嵌入，提升内部几何表征质量。
• 世界模型：学习物体恒常性和几何一致性，有助于构建更鲁棒的世界模型。
• 后训练：GASP是一种后训练方法，但不同于传统VQA微调，而是基于几何先验的深度监督训练。

扩散模型 (Diffusion models) 能够生成高度逼真的图像，但往往难以实现精确的文本 - 图像对齐。尽管近期的一些后训练方法利用外部奖励或人类偏好信号来改善对齐，但其性能高度依赖于奖励质量，并未直接解决扩散过程本身内部的对齐问题。近期无奖励方法（如 SoftREPA）表明，通过对比学习优化软文本令牌可有效提升文本 - 图像表示对齐，优于标准的参数高效微调基线。然而，对比形式可能会过度惩罚负样本对，这表现为特征性失败案例，如过度计数和重复。为了解决这一问题，我们提出了一种轻量级的无奖励后训练方法，通过将对比对齐指导直接整合到扩散模型的得分匹配目标中来优化软令牌。通过在得分层面分配对齐方向，我们的方法缓解了这些局限性，并生成了更连贯且语义忠实的结果。实验表明，我们的方法与 SoftREPA 相当，同时显著改进了其失败案例，在 GenEval 基准上计数准确率提高了 35% 以上。我们的方法可无缝应用于现有的扩散骨干网络（SD1.5、SDXL 和 SD3），且与现有的基于强化学习 (RL) 的扩散后训练方法互补。项目页面：https://jaayeon.github.io/AGSM

Diffusion models generate highly realistic images but often struggle with precise text-image alignment. While recent post-training methods improve alignment using external rewards or human preference signals, their performance heavily depends on reward quality and does not directly address alignment within the diffusion process itself. Recent reward-free approaches such as SoftREPA demonstrate that optimizing soft text tokens via contrastive learning can effectively improve text-image representation alignment, outperforming standard parameter-efficient fine-tuning baselines. However, the contrastive formulation can excessively penalize negative pairs, which manifests as characteristic failure cases such as over-counting and repetition. To address this issue, we propose a lightweight, reward-free post-training method that refines soft tokens by integrating contrastive alignment guidance directly into the score-matching objective of diffusion models. By assigning alignment directions at the score level, our approach mitigates these limitations and yields more coherent and semantically faithful generations. Experiments show that our method matches SoftREPA while substantially improving its failure cases, achieving over 35% improvement in counting accuracy on the GenEval benchmark. Our method is seamlessly applicable to existing diffusion backbones (SD1.5, SDXL, and SD3), and is complementary to existing RL-based diffusion post-training methods. Project page: https://jaayeon.github.io/AGSM

评分理由: 论文核心在于扩散模型的文本 - 图像对齐优化，高度契合多模态（MultiModal）任务。方法涉及软词元（Tokenizer）的优化，基于扩散模型（隐含 Visual Encoder），但未涉及统一架构模型（Unify Models）、世界模型（World Models）、多模态大语言模型（MLLM）或基于模型的强化学习（model-based RL），且明确采用奖励自由策略而非 RL。作者列表中不包含指定的专家，故无额外加分。

Text-to-Image Alignment, Diffusion Models, Score Matching, Soft Tokens, Reward-free, Post-training, Generation Quality

Chinese Title: 对齐引导的分数匹配：用于扩散模型中文本到图像对齐

Summary: 本文提出了一种轻量级、无需外部奖励的后训练方法——对齐引导分数匹配（AGSM），旨在改善扩散模型在文本到图像生成中的语义一致性。现有方法如SoftREPA通过对比学习优化软文本令牌，但对比损失会过度惩罚负样本，导致对象重复、计数错误等问题。AGSM将文本-图像对齐视为偏好学习，采用Plackett-Luce模型定义对齐奖励，并显式地将正负对齐方向整合到扩散模型的分数匹配目标中。通过为正负语义区域分别训练软令牌（ψ+、ψ−），AGSM避免了对比学习中的无界发散，保持生成保真度。实验表明，AGSM在GenEval基准上计数准确率提升超过35%，且与现有扩散骨干（SD1.5、SDXL、SD3）及RL后训练方法兼容。

Innovations:

• 提出奖励自由的Plackett-Luce公式，利用扩散模型内在对数似然定义对齐奖励，无需外部奖励模型。
• 通过显式负引导（负软令牌）解决对比学习的不稳定性，防止负样本偏离流形，避免重复和过度计数。
• 将对齐引导直接整合到分数匹配目标中，实现正负样本的显式分数级引导，保持生成保真度。
• 方法轻量级、模型无关，仅优化少量软令牌，可无缝应用于现有扩散模型（SD1.5、SDXL、SD3）并兼容RL后训练方法。

Methodology: 首先，基于Plackett-Luce模型定义对齐奖励，利用扩散模型去噪误差作为隐式奖励。然后，将数据分为正负子集，通过倾斜目标分布（类似分类器自由引导）得到修正的目标分数。训练时，使用EMA更新的软令牌计算奖励梯度，并分别对正负对施加引导（+γ+和-γ-）。最终损失函数为预测噪声与修正目标噪声之间的均方误差，同时优化正负软令牌。对于流模型，损失函数形式类似。算法流程包括采样正负对、统一时间步和噪声、计算EMA预测、更新软令牌。

Key Results:

• 在GenEval基准上，AGSM在计数准确率上比SoftREPA提升超过35%。
• AGSM在文本-图像语义一致性上匹配SoftREPA，同时显著改善其失败案例（如对象重复、语义不连贯）。
• 方法适用于SD1.5、SDXL、SD3等多种扩散骨干，并可与现有RL后训练方法（如Diffusion-DPO）互补。
• 定性结果显示，AGSM生成的图像更准确地遵循文本描述（如“公园长椅上有泰迪熊”、“橙色消防栓带脸和领结”等）。

Tech Stack:

• 扩散模型（DDPM, SD1.5, SDXL, SD3）
• 分数匹配（Score Matching）
• Plackett-Luce模型
• Bradley-Terry模型
• 对比学习（SoftREPA）
• 分类器自由引导（CFG）
• 指数移动平均（EMA）
• 软令牌（Soft Tokens）
• 流模型（Flow Model）
• 蒙特卡洛估计

Strengths:

• 无需外部奖励或人类偏好数据，完全利用扩散模型内在信号，降低数据依赖。
• 显式负引导机制有效抑制对比学习的发散问题，提升生成稳定性和语义保真度。
• 轻量级后训练，仅优化少量软令牌，计算开销小，易于部署。
• 模型无关且兼容现有方法，具有广泛适用性和可扩展性。

Limitations:

• 软令牌的初始化可能影响训练效果，需要进一步探索初始化策略。
• 方法依赖于扩散模型自身的对数似然作为奖励，对于复杂语义可能仍存在偏差。
• 实验仅在特定基准（GenEval）上验证，泛化到更广泛场景（如长文本、多对象）需更多评估。
• 负引导的强度（γ-）需要调参，不同任务可能需不同设置。

Relevance To Keywords:

• 多模态大模型：论文聚焦文本到图像生成中的对齐问题，属于多模态理解与生成一体化范畴。
• 表征学习：通过优化软令牌改善文本与图像的表征对齐，利用分数匹配作为代理。
• 世界模型：扩散模型可视为生成世界模型，后训练提升其语义一致性。
• 强化学习：论文提出的偏好学习框架（Plackett-Luce）与RL后训练（如DPO）密切相关，且方法可互补。
• 后训练：论文核心是轻量级后训练方法，无需从头训练，直接优化预训练模型。

跨域多模态时间序列预测是一项具有挑战性的任务，要求模型整合精确的数值理解、跨域语义理解和有效的多模态融合。现有方法要么从零构建时间序列基础模型（TSFMs），要么利用预训练的大语言模型（LLMs）。然而，TSFMs 往往忽视语义理解，缺乏面向未来的语义推理能力，而 LLMs 在数值理解和准确的定量预测方面存在困难。为了克服这些局限性，我们提出 KairosAgent，一种用于多模态时间序列预测的新型智能体框架，包括基于 LLM 的推理器和基于 TSFM 的预测器。KairosAgent 通过动态调用分析工具来增强 LLM 的数值理解和语义推理能力，进而统一文本推理与数值预测。推理结果随后被融合至 TSFM 流程中，从而实现更准确和可靠的未来预测。为了进一步改进推理，我们构建了一个高质量轨迹的大规模语料库，并引入了一种基于预测的强化学习范式，该范式包含多轮精炼和回合级信用分配。实验表明，KairosAgent 实现了卓越的零样本预测性能，同时最大化了预训练 LLMs 和 TSFMs 的效用，为高效且可解释的时间序列智能体展示了有前景的方向。项目页面位于 https://foundation-model-research.github.io/KairosAgent .

Cross-domain multimodal time series forecasting is a challenging task, requiring models to integrate precise numerical comprehension, cross-domain semantic understanding, and effective multimodal fusion. Existing approaches either build Time Series Foundation Models (TSFMs) from scratch or leverage pretrained Large Language Models (LLMs). However, TSFMs often overlook semantic understanding and lack the ability to perform future-oriented semantic reasoning, and LLMs struggle with numerical comprehension and accurate quantitative forecasting. To overcome these limitations, we propose KairosAgent, a novel agentic framework for multimodal time series forecasting, including an LLM-based reasoner and a TSFM-based forecaster. KairosAgent unifies textual reasoning and numerical forecasting by dynamically invoking analytical tools to enhance the numerical understanding and semantic reasoning capabilities of LLMs. The reasoning results are subsequently fused into the TSFM pipeline, enabling more accurate and reliable future predictions. To further improve the reasoning, we curate a large-scale corpus of high-quality trajectories, alongside a reinforcement learning from forecasting paradigm with multi-turn refinement and turn-level credit assignment. Experiments demonstrate that KairosAgent achieves superior zero-shot forecasting performance while maximizing the utility of pretrained LLMs and TSFMs, presenting a promising direction for efficient and interpretable time series agents. The project page is at https://foundation-model-research.github.io/KairosAgent .

评分理由: 论文核心在于结合 LLM 推理与 TSFM 预测，实现了文本与数值预测的统一，因此'Unify Models'和'MultiModal'相关性高。虽然使用了强化学习进行多轮 refinement，但并非传统意义上的'model-based RL'或'World Models'，且未涉及视觉编码器或 Tokenizer 的创新，故相关度较低。作者列表中未包含指定的专家。

Multimodal Time Series Forecasting, LLM-based Reasoner, TSFM-based Forecaster, Agentic Framework, Semantic Reasoning, Reinforcement Learning, Numerical Comprehension

Chinese Title: KairosAgent：融合语义推理的智能体时间序列预测

Summary: 论文提出KairosAgent，一种面向跨领域多模态时间序列预测的智能体框架，旨在融合语义推理与数值预测。现有方法中，时间序列推理模型（TSRM）依赖LLM但存在数值幻觉，时间序列基础模型（TSFM）缺乏语义理解。KairosAgent由基于LLM的推理器和基于TSFM的预测器组成，通过动态工具调用增强数值理解，生成未来形态的语义描述，并将其融合到TSFM预测管道中。为提升推理能力，作者构建了包含4万条高质量推理轨迹的T-STAR语料库，并设计三阶段训练：SFT预热工具调用与形态推理、多模态融合训练、以及基于回合级信用分配的强化学习优化。实验表明，KairosAgent在零样本预测中优于现有TSFM和全监督基线，同时保持可解释性。

Innovations:

• 提出智能体框架KairosAgent，将LLM语义推理与TSFM数值预测解耦并深度融合，避免数值幻觉和黑箱问题。
• 设计动态工具调用机制，使LLM基于统计工具（趋势、周期、波动性等）进行数值理解，生成未来形态的语义描述而非具体数值。
• 构建T-STAR语料库，包含4万条经过严格筛选的高质量时间序列推理轨迹，为训练提供可靠基础。
• 引入三阶段训练流程：SFT预热、多模态融合训练、以及基于回合级信用分配的强化学习，提供细粒度中间步骤监督。
• 实现跨领域零样本预测性能超越现有TSFM和全监督基线，同时保持可解释性。

Methodology: KairosAgent采用两阶段推理-预测流水线。第一阶段：LLM推理器通过多轮工具调用（趋势、周期、波动性、状态变化等分析工具）获取统计特征，结合世界知识生成未来形态的语义描述r。第二阶段：文本编码器将r编码为语义先验，通过门控跨模态融合模块注入TSFM（基于Kairos的编码器-解码器架构）的预测管道，生成最终数值预测。训练分为三步：①对推理器进行SFT，学习工具调用和形态推理；②对预测器进行多模态融合训练，使TSFM能利用语义描述；③使用强化学习（回合级信用分配）优化推理器，超越简单模仿和稀疏结果奖励。

Key Results:

• KairosAgent在零样本时间序列预测任务上优于现有TSFM（如Kairos、TimesFM等）和全监督基线（如PatchTST、DLinear）。
• 形态推理质量显著提升，生成的语义描述更准确反映未来模式。
• 三阶段训练有效提升推理可靠性，回合级信用分配优于结果级奖励。
• 在多个跨领域数据集（如电力、交通、天气等）上验证了泛化能力。

Tech Stack:

• LLM（如GPT系列，论文未指定具体模型）
• TSFM：Kairos（轻量级零样本预测基础模型）
• 工具集：趋势分析、周期性检测、波动性度量、状态变化检测等统计工具
• 文本编码器（如Sentence-BERT或类似语义编码器）
• 门控跨模态融合机制（Gated Cross-modal Fusion）
• 监督微调（SFT）
• 强化学习（RL）与回合级信用分配（Turn-level Credit Assignment）
• T-STAR语料库构建与过滤方法

Strengths:

• 有效融合LLM的语义推理与TSFM的数值精度，解决模态割裂问题。
• 动态工具调用使LLM的数值理解更可靠，避免直接序列化导致的数值幻觉。
• 三阶段训练设计合理，从模仿到融合再到强化学习，逐步提升推理能力。
• 零样本预测性能强，且提供可解释的形态描述，增强模型透明度。
• 构建高质量推理轨迹语料库，为训练提供坚实基础。

Limitations:

• 依赖预训练LLM和TSFM，计算资源需求较高。
• 工具调用可能增加推理延迟，实时性受限。
• 形态描述的质量受限于LLM的世界知识和工具精度，复杂场景下可能不准确。
• 实验仅在有限数据集上验证，跨领域泛化性需进一步测试。
• 未明确LLM的具体型号及微调细节，可复现性可能受限。

Relevance To Keywords: 论文与关键词高度相关：①Unify Models：KairosAgent统一了LLM（推理模型）与TSFM（预测模型），实现多模态融合；②World Models：形态描述可视为对时间序列未来状态的部分世界模型表示；③Representation Learning：通过语义先验融合学习跨模态表征；④Model-Based RL：强化学习用于优化推理器，属于模型后训练；⑤原生多模态大模型：框架本质是LLM+TSFM的多模态协同；⑥理解与生成一体化：LLM负责理解（推理），TSFM负责生成（预测）；⑦表征学习：文本编码器与门控融合学习联合表征；⑧世界模型：形态推理隐含对未来动态的建模；⑨强化学习：回合级信用分配属于RL优化；⑩后训练：三阶段训练包含SFT和RL后训练。

视觉 - 语言模型（VLMs）每张图像处理数千个视觉 token 以及相对较少的文本 token，然而现有的压缩方法对这两种模态采用统一处理。我们发现这两种模态具有根本不同的性质：视觉 token 具有空间冗余性并主导预填充阶段，而文本 token 具有因果依赖性并在解码过程中累积。基于这种不对称性，我们提出并实证评估了 AsymVLM，该方法在预填充前利用具有样本自适应预算的学习重要性评分器对视觉 token 应用激进剪枝，并仅在文本 token 超过固定预算时对其应用基于时间阈值的驱逐策略。实验表明，AsymVLM 在最先进方法中实现了最高的 FLOPs 节省（高达 54%），同时在视觉信息具有空间局部化和查询特定性的文档与图表理解任务上，比现有方法高出 2%–3%，并在整体基准上保持了具有竞争力的准确率。在文本主导场景中，我们的驱逐策略通过适应 VLM 的短上下文特性，显著优于标准的 LLM 缓存压缩方法。

Vision-Language Models (VLMs) process thousands of visual tokens per image alongside comparatively few text tokens, yet existing compression methods treat both modalities uniformly. We observe that the two modalities have fundamentally different properties: vision tokens are spatially redundant and dominate prefill, while text tokens are causally dependent and accumulate during decoding. Based on this asymmetry, we propose and empirically evaluate AsymVLM, which applies aggressive pruning to vision tokens before prefill using a learned importance scorer with per-sample adaptive budgeting, and temporal threshold-based eviction to text tokens only when they exceed a fixed budget. Our experiments indicate that AsymVLM achieves the highest FLOPs savings (up to 54%) among state-of-the-art methods while outperforming existing approaches by 2--3% on document and chart understanding tasks where visual information is spatially localized and query-specific, and maintaining competitive accuracy on holistic benchmarks. In text-dominated scenarios, our eviction strategy substantially outperforms standard LLM cache compression methods by adapting to the short-context nature of VLM.

评分理由: 论文核心在于视觉 - 语言模型（VLM）的推理加速，通过非对称令牌剪枝实现。MLLM 和 MultiModal 高度相关，因 VLM 属于多模态大模型范畴；Unify Models 和 Visual Encoder 中度相关，因涉及多模态统一及视觉令牌处理；Tokenizer 中度相关，因涉及令牌操作但非编码架构设计；World Models 和 model-based RL 完全无关。作者列表中未出现指定专家（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang），故无额外加分。

Asymmetric Token Pruning, Vision-Language Models, Inference Efficiency, Visual Token Reduction, Text Token Eviction, Multimodal Inference, Model Compression

Chinese Title: AsymVLM: 非对称令牌剪枝用于高效视觉-语言模型推理

Summary: 本文提出AsymVLM，一种非对称令牌剪枝框架，用于高效视觉-语言模型（VLM）推理。作者观察到视觉令牌和文本令牌在结构、数量和可压缩性上存在根本差异：视觉令牌具有空间冗余且主导预填充阶段，而文本令牌具有因果依赖且在解码过程中累积。基于此非对称性，AsymVLM对视觉令牌采用学习的重要性评分器结合每样本自适应预算进行激进剪枝，在预填充前完成；对文本令牌则采用基于阈值的驱逐策略，仅在超过固定预算时进行。实验表明，AsymVLM在FLOPs节省上最高达54%，在文档和图表理解任务上比现有方法提升2-3%，同时在整体基准上保持竞争性准确率。在文本主导场景中，其驱逐策略通过适应VLM的短上下文特性，显著优于标准LLM缓存压缩方法。

Innovations:

• 系统分析了视觉与文本令牌在结构、数量和可压缩性上的非对称性，论证了模态感知压缩的必要性。
• 提出双策略框架AsymVLM：视觉令牌在预填充前进行查询感知剪枝，文本令牌在解码时进行预算约束驱逐。
• 引入学习型跨模态重要性评分器，通过最小化剪枝前后输出差异来优化令牌排序，比单纯语义相似度更准确。
• 提出每样本自适应预算机制，根据输入的重要性分布动态调整视觉令牌保留比例，克服固定剪枝比的缺陷。
• 在文本令牌驱逐中采用阈值策略，适应VLM短上下文特性，优于标准LLM缓存方法。

Methodology: 首先通过实证分析揭示视觉与文本令牌的非对称性。视觉令牌剪枝采用两阶段：1）学习型重要性评分器，基于跨模态相似度并优化输出保持；2）每样本自适应预算，根据重要性差距（75%与25%分位数之差）动态决定保留比例。文本令牌驱逐在解码阶段进行，当生成序列超过固定预算时，基于最后一层注意力分数驱逐低重要性令牌。整体框架在LLaVA、Phi-3-Vision等模型上评估，使用DocVQA、ChartQA等基准。

Key Results:

• AsymVLM实现最高54%的FLOPs节省，优于现有方法。
• 在文档和图表理解任务上，准确率比现有方法提升2-3%。
• 在整体基准（如VQAv2、GQA）上保持竞争性准确率。
• 文本驱逐策略在自由生成场景中显著优于StreamingLLM、H2O等标准LLM缓存方法。
• 自适应预算机制相比固定剪枝比在相同预算下获得一致增益。

Tech Stack:

• 视觉编码器：CLIP、SigLIP等
• 语言模型：LLaVA、Phi-3-Vision、Qwen-VL
• 剪枝方法：FastV、SparseVLM、FlashVLM、VisPruner
• KV缓存压缩：StreamingLLM、H2O、PyramidKV、DuoAttention
• 注意力机制：FlashAttention
• 重要性评分：学习型跨模态相似度、输出差异最小化
• 自适应预算：基于重要性差距的动态阈值

Strengths:

• 非对称设计精准匹配视觉与文本令牌的不同特性，实现高效压缩。
• 学习型评分器直接优化输出保持，比传统语义相似度更可靠。
• 自适应预算机制灵活适应不同样本的视觉信息分布。
• 在多种基准上验证了高FLOPs节省与准确率保持的平衡。
• 文本驱逐策略针对VLM短上下文优化，弥补了现有LLM方法的不足。

Limitations:

• 学习型评分器需要额外训练或微调，可能增加前期开销。
• 实验主要基于Phi-3-Vision等特定模型，泛化性需进一步验证。
• 自适应预算机制依赖于重要性差距的计算，可能对噪声敏感。
• 未讨论在长视频或多图像场景下的扩展性。
• 文本驱逐策略的阈值选择可能影响生成质量，需手动调参。

Relevance To Keywords: 论文聚焦于多模态大模型（VLM）的推理效率优化，与“原生多模态大模型”高度相关。其非对称令牌剪枝涉及表征学习（重要性评分）和模型压缩，但未直接涉及世界模型、强化学习或后训练。论文方法可视为后训练阶段的一种推理加速技术，但主要贡献在推理而非训练。整体相关性中等偏上。

放射学报告生成（RRG）通常被建模为单路径生成任务，其中多模态大语言模型（MLLM）生成一个解码报告作为最终输出。尽管最近的进展主要由扩展训练数据、模型容量和检索机制驱动，但在推理时提高报告质量的研究仍显不足。在这项工作中，我们发现固定的放射学 MLLM 往往能在候选池的其他样本中生成比默认解码所选报告更具临床质量的报告，这表明推理时的决策仍是一个被忽视的瓶颈。为了解决这一问题，我们提出临床共识选择（CCS），这是一种解码器无关的推理时选择框架，它采样多个候选报告，并从展开池中选择临床共识最高的那一个。CCS 统一了基于文本的效用函数与由图像 - 报告联合训练的多模态嵌入器计算的放射学适配效用函数，后者衡量候选报告之间超越表面文本相似性的一致性。在三个数据集和多个放射学 MLLM 上，CCS 一致地改进了推理时性能，优于单路径解码和通用的 Best-of-N 基线，尤其在临床指标上表现出显著提升。进一步分析表明，基于图像的效用函数构成了与文本共识不同的选择维度，且在推理时改进 RRG 方面仍存在巨大的提升空间。

Radiology report generation (RRG) is commonly formulated as a single-path generation task, where a multimodal large language model (MLLM) produces one decoded report as the final output. While recent progress has largely been driven by scaling training data, model capacity, and retrieval mechanisms, improving report quality at inference time remains underexplored. In this work, we observe that fixed radiology MLLMs often generate clinically stronger reports elsewhere in their candidate pool than the one selected by default decoding, suggesting that inference-time decision making remains an overlooked bottleneck. To address this, we propose Clinical Consensus Selection (CCS), a decoder-agnostic inference-time selection framework that samples multiple candidate reports and selects the one with the highest clinical consensus across the rollout pool. CCS unifies text-based utilities with a radiology-adapted utility computed by an image--report-trained multimodal embedder, which measures candidate agreement beyond surface-level textual similarity. Across three datasets and multiple radiology MLLMs, CCS consistently improves inference-time performance over single-path decoding and generic Best-of-N baselines, with particularly clear gains on clinical metrics. Further analysis shows that image-grounded utility forms a selection axis distinct from textual consensus and that substantial headroom remains for improving RRG at inference time.

评分理由: 论文核心在于放射学报告生成，明确使用多模态大语言模型（MLLM），因此 MLLM 和 MultiModal 相关性极高（9 分）。虽然摘要提到'unifies utilities'，但指效用统一而非模型架构统一，故 Unify Models 得分较低（3 分）。Tokenizer、World Models 和 model-based RL 在摘要中未提及或无关，得分较低（1-2 分）。Visual Encoder 隐含于图像嵌入器中，相关性中等（4 分）。作者列表中未包含指定的 Yang Shi 等专家，无加分。加权总分为 45.0 分，高于动态及格分 27.8 分。

Radiology Report Generation, MLLM, Inference-time Selection, Clinical Consensus, Multimodal Embedder, Candidate Pool, Text-based Utilities

Chinese Title: CCS：放射学报告生成的临床共识选择

Summary: 本文针对放射学报告生成（RRG）任务，提出了一种推理时选择框架——临床共识选择（CCS）。传统RRG通常采用单路径生成，即模型一次解码输出一个报告，但研究发现固定模型在候选池中往往存在临床质量更高的报告未被默认解码选中。CCS通过采样多个候选报告，并利用文本效用和基于图像-报告对训练的多模态嵌入器计算的放射学适应效用，衡量候选报告之间的临床共识，最终选择共识最高的报告。在三个数据集和多个放射学多模态大模型上的实验表明，CCS一致优于单路径解码和通用Best-of-N基线，尤其在临床指标上提升显著。分析还显示，图像驱动的效用与文本共识形成了不同的选择维度，表明推理时决策仍有改进空间。

Innovations:

• 重新审视RRG任务，从推理时视角发现候选池中常存在比默认解码输出更可靠的报告，揭示了推理时决策的瓶颈。
• 提出CCS，一种与解码器无关的推理时选择框架，通过采样多个候选报告并聚合成对临床共识来选取最终报告。
• 引入放射学适应的多模态嵌入器（Qwen3-VL-Embed）作为效用函数，衡量候选报告在图像-报告表示空间中的一致性，超越纯文本相似性。
• 在三个数据集和多个放射学MLLM上验证了CCS的通用性和有效性，尤其在临床指标上取得显著提升。
• 揭示了图像驱动的效用与文本共识构成不同的选择轴，为推理时优化提供了新方向。

Methodology: CCS框架包含四个阶段：①从放射学MLLM中通过随机解码采样N个候选报告构成滚动池；②计算候选对之间的成对效用分数（包括文本效用和图像-报告多模态嵌入效用）；③对每个候选报告，计算其与池中其他N-1个候选的平均效用作为共识分数；④选择共识分数最高的报告作为最终输出。文本效用使用ROUGE-L等指标，图像效用使用Qwen3-VL-Embed模型计算嵌入相似度。

Key Results:

• 在MIMIC-CXR、IU-Xray和CheXpert Plus三个数据集上，CCS一致优于单路径解码和Best-of-N基线。
• 在临床指标（如CheXpert、RadGraph等）上提升尤为明显，表明CCS能选出临床更可靠的报告。
• 图像驱动的效用与文本共识形成不同的选择轴，两者结合可进一步提升性能。
• 候选池中常存在比默认解码输出更好的报告，说明推理时选择有较大提升空间。

Tech Stack:

• 多模态大语言模型（MLLM）：如LLaVA-Med、LLaVA-Rad、MAIRA等
• 随机解码：温度采样（temperature τ）
• 文本效用指标：ROUGE-L、BLEU、METEOR等
• 多模态嵌入模型：Qwen3-VL-Embed
• 成对相似度计算：余弦相似度
• 共识聚合：平均成对效用

Strengths:

• 提出了一种无需修改模型参数或重新训练的推理时优化方法，实用性强。
• 框架与解码器无关，可适用于多种放射学MLLM。
• 引入图像-报告多模态嵌入作为效用函数，更贴合放射学临床需求。
• 在多个数据集和模型上进行了充分实验，结果一致且显著。
• 揭示了推理时决策瓶颈，为后续研究提供了新视角。

Limitations:

• 需要采样多个候选报告，增加了推理时的计算开销。
• 效用函数的选择对结果有影响，当前仅探索了文本和图像嵌入两种，可能还有更优的效用设计。
• 实验仅基于MIMIC-CXR训练集，其他数据集用于测试跨域泛化，但未在更多样化的数据集上验证。
• 未讨论候选池大小N和温度τ的最优选择，可能需针对不同模型调参。

Relevance To Keywords:

• Unify Models: 论文使用多模态大模型（MLLM）进行放射学报告生成，属于统一模型范畴。
• World Models: 论文未直接涉及世界模型，但推理时选择可视为对生成结果的世界知识一致性检验。
• Representation Learning: 论文利用多模态嵌入模型（Qwen3-VL-Embed）学习图像-报告联合表示，用于效用计算。
• Model-Based RL: 论文的CCS框架类似于基于模型的强化学习中的rollout选择，但无显式奖励模型。
• 原生多模态大模型: 论文使用的MLLM是原生多模态模型，CCS作为推理时增强方法。
• 多模态大模型的理解和生成一体化: 论文聚焦于生成任务，但效用计算涉及理解（嵌入相似度）。
• 表征学习: 多模态嵌入模型是表征学习的典型应用。
• 世界模型: 间接相关，通过共识选择隐含了对临床世界知识的建模。
• 强化学习: 论文未使用强化学习，但Best-of-N和GRPO等概念与强化学习中的策略优化相关。
• 后训练: CCS属于推理时优化，不涉及后训练，但可与后训练方法互补。

本文对应用于包含文本信息的图像的机器翻译系统进行了比较评估，该任务位于计算机视觉与自然语言处理的交叉领域。本研究比较了三种主要范式：将文本检测、识别和翻译分离的模块化流水线；能够联合处理图像和文本的多模态大语言模型（MLLMs）；以及直接生成翻译图像的端到端模型 Translatotron-V。模块化系统采用了最先进的 OCR（docTR），并结合了 Llama 和 EuroLLM 等多语言大语言模型，而所评估的 MLLMs 则包括 Gemini 2.5 的不同配置。实验在覆盖多种语言对的平行多语言数据集上进行，评估基于 BLEU、chrF 和 TER 指标。结果表明，模块化流水线优于端到端方法，而 MLLMs 实现了最佳整体性能，展现出卓越的灵活性和上下文理解能力。这些发现强调了多模态推理在图像到文本翻译中的有效性，并为未来研究在多语言环境中整合视觉理解与语言生成奠定了坚实基础。

This work presents a comparative evaluation of machine translation systems applied to images containing textual information, a task that lies at the intersection of computer vision and natural language processing. The study compares three main paradigms: modular pipelines that separate text detection, recognition, and translation; multi-modal large language models (MLLMs) capable of processing both image and text jointly; and an end-to-end model, Translatotron-V, which directly generates translated images. The modular systems employ state-of-the-art OCR (docTR) combined with multilingual LLMs such as Llama and EuroLLM, while the evaluated MLLMs include different configurations of Gemini 2.5. Experiments were conducted on parallel multilingual datasets covering multiple language pairs, with evaluation based on BLEU, chrF, and TER metrics. The results show that modular pipelines outperform the end-to-end approach, while MLLMs achieve the best overall performance, demonstrating superior flexibility and contextual understanding. These findings underscore the effectiveness of multi-modal reasoning for image-to-text translation and provide a solid foundation for future research on integrating visual understanding and language generation in multilingual settings.

评分理由: 论文核心在于比较图像翻译系统，MLLM 和 MultiModal 高度相关（涉及多模态处理与模型比较）；Unify Models 和 Visual Encoder 中度相关（涉及架构对比与视觉组件）；Tokenizer 弱相关（隐含于 LLM 中）；World Models 和 model-based RL 完全无关。作者列表中未包含指定专家。

Machine Translation, Image Translation, MLLMs, Modular Pipelines, End-to-End Model, Visual Understanding, Multilingual Settings

Chinese Title: 图像中文本的机器翻译系统比较评估

Summary: 本文对图像中文本的机器翻译系统进行了比较评估，该任务处于计算机视觉与自然语言处理的交叉领域。研究比较了三种主要范式：将文本检测、识别和翻译分离的模块化流水线；能够同时处理图像和文本的多模态大语言模型（MLLM）；以及端到端模型Translatotron-V，该模型直接生成翻译后的图像。模块化系统采用最先进的OCR（docTR）结合多语言LLM（如Llama和EuroLLM），而评估的MLLM包括Gemini 2.5的不同配置。实验在涵盖多个语言对的平行多语言数据集上进行，使用BLEU、chrF和TER指标评估。结果表明，模块化流水线优于端到端方法，而MLLM实现了最佳整体性能，展现出卓越的灵活性和上下文理解能力。这些发现强调了多模态推理在图像到文本翻译中的有效性，并为未来将视觉理解与语言生成相结合的研究提供了坚实基础。

Innovations:

• 提出了一种模块化流水线，允许使用不同模型顺序执行OCR和机器翻译，并系统比较了多种OCR和翻译模型组合。
• 将多模态大语言模型（Gemini 2.5系列）直接应用于图像文本翻译任务，无需显式OCR步骤。
• 与端到端模型Translatotron-V进行了对比，展示了模块化流水线和MLLM的优越性。
• 在多个语言对（德-英、法-英、罗-英）上进行了全面评估，使用了多种翻译质量指标。
• 揭示了MLLM在上下文理解和错误纠正方面的优势，为未来多模态翻译研究提供了方向。

Methodology: 研究采用以下技术路线：1）使用合成图像数据集（基于IWSLT14和IWSLT17平行语料生成），包含德-英、法-英、罗-英语言对。2）构建模块化流水线：OCR阶段比较EasyOCR和docTR，最终选用docTR（FAST检测器+CNN识别器）；翻译阶段使用M2M100-1.2B（传统NMT）以及Llama系列和EuroLLM系列（LLM），通过精心设计的提示引导翻译。3）评估多模态大语言模型Gemini 2.5（flash-lite、flash、pro），直接输入图像和文本提示。4）与端到端模型Translatotron-V（通过私人通信获得结果）进行比较。5）使用BLEU、chrF、TER指标评估翻译质量。

Key Results:

• 模块化流水线（docTR + LLM）在BLEU、chrF和TER指标上优于端到端模型Translatotron-V。
• 多模态大语言模型Gemini 2.5系列在所有语言对上取得了最佳整体性能，尤其是Gemini 2.5 pro。
• 在LLM中，EuroLLM-9B表现优于同规模Llama模型，表明针对欧洲语言的预训练有益。
• OCR阶段docTR优于EasyOCR，选择docTR作为标准OCR组件。
• MLLM能够利用上下文信息纠正OCR错误，展现出更强的灵活性和理解能力。

Tech Stack:

• OCR: EasyOCR (CRAFT + CRNN), docTR (FAST检测器 + VGG16-BN + RNN识别器)
• 传统NMT: M2M100-1.2B (Transformer编码器-解码器)
• LLM: Llama-3.2-1B-Instruct, Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct, EuroLLM-1.7B, EuroLLM-9B
• MLLM: Gemini 2.5 flash-lite, flash, pro (稀疏MoE架构)
• 端到端模型: Translatotron-V (图像到图像)
• 评估指标: BLEU, chrF, TER
• 数据集: 基于IWSLT14/17的合成图像，使用Python Pillow库生成
• 提示工程: 针对LLM和MLLM设计特定翻译指令

Strengths:

• 系统比较了三种主要范式（模块化、MLLM、端到端），覆盖了当前主流技术路线。
• 使用了多个语言对和多种评估指标，结果具有统计可靠性。
• 模块化流水线设计灵活，允许独立优化OCR和翻译组件。
• MLLM的评估展示了多模态模型在图像文本翻译中的潜力，为未来研究提供了基准。
• 论文清晰描述了提示策略，可复现性强。

Limitations:

• 数据集为合成图像，可能无法完全反映真实场景中的复杂背景、字体和光照变化。
• 端到端模型Translatotron-V的结果仅通过私人通信获得，且仅有两个语言对，缺乏公开验证。
• 未评估其他MLLM（如GPT-4V、Claude等），比较范围有限。
• 模块化流水线仍存在误差传播问题，OCR错误会影响后续翻译。
• 未进行人类评估，仅依赖自动指标，可能无法全面反映翻译质量。

Relevance To Keywords:

• 原生多模态大模型：论文评估的Gemini 2.5系列是原生多模态模型，直接处理图像和文本，与关键词高度相关。
• 多模态大模型的理解和生成一体化：MLLM同时进行视觉理解和文本生成，体现了理解与生成一体化。
• 表征学习：OCR和翻译模型涉及视觉特征提取和语言表征学习，模块化流水线中的CNN和RNN用于表征学习。
• 世界模型：虽然论文未直接涉及世界模型，但多模态翻译可视为对视觉世界的一种理解，间接相关。
• 后训练：LLM和MLLM的指令微调属于后训练范畴，论文中使用的指令模型是后训练的结果。
• 强化学习：论文未涉及强化学习，相关性较弱。

多模态文档包含表格、图表和布局等多样化元素，这可能会使检索任务变得复杂。尽管当前方法通常将密集视觉嵌入模型（dense visual embedding models）与监督重排器（supervised rerankers）相结合以实现高精度检索，但它们仍面临固有的局限性。首先，密集嵌入的粗粒度特性倾向于模糊显式语义，无法利用结构显著信息。其次，监督重排模型面临泛化瓶颈，因为其性能严重依赖于领域特定训练数据。此外，现有的基准往往缺乏多样化的评估维度和全面的相关性标注，从而限制了可靠的评估。为应对这些挑战，本文提出 DocRetriever，一个即插即用框架。该框架通过一种感知布局的稀疏嵌入技术增强视觉检索，能够在无需光学字符识别（OCR）开销的情况下实现有效的混合编码。此外，我们还引入了一种可泛化的重排器，该重排器利用推理增强演示（reasoning-augmented demonstrations）和优化采样，以提高少样本设置下的准确性。最后，我们构建了一个新的基准 MultiDocR，以支持更严格的评估。在不同基准上的实验验证了 DocRetriever 相对于最先进方法的优越性。

Multimodal documents contain diverse elements, such as tables, figures, and layouts, which can complicate retrieval tasks. While current approaches typically combine dense visual embedding models with supervised rerankers to achieve high-precision retrieval, they face inherent limitations. First, the coarse-grained nature of dense embeddings tends to obfuscate explicit semantics, failing to leverage structurally salient information. Second, supervised reranking models suffer from generalization bottlenecks, as their performance heavily relies on domain-specific training data. Furthermore, existing benchmarks often lack diverse assessment dimensions and comprehensive relevance annotations, limiting reliable evaluation. To address these challenges, we propose DocRetriever, a plug-and-play framework. It enhances visual retrieval via a layout-aware sparse embedding technique, enabling effective hybrid encoding without the overhead of optical character recognition (OCR). We also introduce a generalizable reranker that leverages reasoning-augmented demonstrations and optimized sampling to improve accuracy in few-shot settings. Finally, we construct a new benchmark, MultiDocR, to enable more rigorous evaluation. Experiments across diverse benchmarks validate DocRetriever's superiority over state-of-the-art methods.

评分理由: MultiModal is core (10) as the paper focuses on multimodal retrieval. Visual Encoder (7) is relevant for handling layout/figures via embeddings. MLLM (5) is partially relevant due to reasoning components. Unify Models (4) reflects the plug-and-play framework unification. Tokenizer, World Models, and model-based RL are largely irrelevant (1-2) to this retrieval-focused work.

Multimodal Document Retrieval, Layout-aware Sparse Embedding, Hybrid Encoding, Reasoning-augmented Reranker, Few-shot Learning, MultiDocR Benchmark, Plug-and-Play Framework

Chinese Title: DocRetriever：面向多模态文档检索的即插即用框架与综合基准

Summary: 多模态文档包含表格、图表和布局等多样元素，现有检索方法面临密集嵌入语义模糊、监督重排序泛化瓶颈以及基准评估维度不足等问题。本文提出DocRetriever即插即用框架，通过布局感知的稀疏嵌入技术实现混合编码，无需OCR即可利用VLM的logit分布提取词汇级语义；引入强化ICL重排序器，通过自主合成推理增强示例和双相似度采样提升少样本泛化能力；构建MultiDocR基准，涵盖10个领域、7种查询类型、五级相关性标注和查询改写，支持更全面的评估。实验表明DocRetriever在多个基准上超越现有方法。

Innovations:

• 提出布局感知的稀疏嵌入技术，从VLM语言模型头的logit分布中提取词汇级语义，实现无需OCR的密集-稀疏混合编码，提升检索精度约3% NDCG@10。
• 引入强化ICL框架，通过自主合成推理增强示例和交叉验证，结合双查询-文档相似度采样策略，提升重排序器在少样本场景下的泛化能力。
• 构建MultiDocR综合基准，包含10个文档领域、7种查询类型、五级相关性评分和查询改写，弥补现有基准标注不完整、评估维度单一的缺陷。
• 整体框架即插即用，可无缝集成到现有VLM检索系统中，无需额外训练或微调。

Methodology: 采用两阶段检索-重排序架构。第一阶段：使用VLM（如ColPali）对文档页面进行视觉编码，同时从LM头logit分布中提取稀疏嵌入（经频率重加权和top-256选择），与密集嵌入加权融合得到混合相似度，检索top-K候选。第二阶段：采用点式重排序，利用强化ICL策略：通过VLM自主生成推理增强的示例（包含查询、文档截图和推理步骤），经交叉验证筛选高质量示例；推理时根据双相似度（查询-文档）检索最相关示例，VLM基于示例和查询-文档对输出相关性分数。

Key Results:

• 布局感知稀疏嵌入在混合编码中带来约3%的NDCG@10提升。
• 强化ICL重排序器在多个基准上优于现有监督重排序方法，尤其在少样本和跨域场景下表现突出。
• MultiDocR基准提供了更细粒度的五级相关性评估，揭示了现有基准中因信息冗余导致的标注偏差。
• DocRetriever在MP-DocVQA、ViDoRe、MMDocIR等基准上达到SOTA性能。

Tech Stack:

• VLM（视觉语言模型，如Qwen2.5VL、ColPali）
• 稀疏嵌入：基于LM头logit的top-256选择与频率重加权
• 混合编码：密集嵌入（[CLS]或平均池化）与稀疏嵌入加权融合
• 强化ICL：自主示例合成、交叉验证、双相似度采样（BM25+密集相似度）
• 评估指标：NDCG@10、MRR、Recall等
• 基准：MultiDocR（10领域、7查询类型、五级相关性）

Strengths:

• 即插即用，无需OCR或额外训练，易于集成到现有系统。
• 布局感知稀疏嵌入有效捕获文档结构信息，提升检索精度。
• 强化ICL重排序器解决了监督数据稀缺问题，泛化能力强。
• MultiDocR基准设计全面，支持多维度评估，有助于推动领域发展。
• 实验验证充分，在多个公开基准上取得一致优势。

Limitations:

• 依赖VLM的logit分布质量，若VLM本身对布局理解不足可能影响稀疏嵌入效果。
• 强化ICL的示例合成和交叉验证可能引入额外计算开销。
• MultiDocR基准规模有限（2441个查询），可能不足以覆盖所有长尾场景。
• 框架未涉及端到端训练，可能无法充分利用任务特定数据。

Relevance To Keywords:

• 原生多模态大模型：DocRetriever直接利用VLM进行视觉编码和重排序，属于多模态大模型在检索任务中的应用。
• 表征学习：通过混合编码（密集+稀疏）学习更丰富的文档表征，布局感知稀疏嵌入是对表征学习的创新。
• 后训练：强化ICL策略可视为一种后训练方法，通过示例合成和交叉验证提升模型泛化能力。
• 世界模型/模型基强化学习：论文未直接涉及世界模型或模型基RL，但强化ICL中的“强化”指通过交叉验证增强示例质量，并非传统强化学习。
• 理解与生成一体化：VLM同时用于理解（编码）和生成（重排序中的推理增强），体现多模态大模型的理解与生成一体化能力。

时序动作定位（TAL）需要在未修剪视频中精确识别目标事件并定位其起止时间。近期视觉 - 语言模型改进了语义推理并支持语言条件输出，但其自回归解码器仍从左到右生成 token，这阻止了后续语义证据修正早期的时间戳预测。我们将掩码扩散视觉 - 语言模型（MDVLMs）适配到 TAL，使得语义 token 和边界 token 在具有双向注意力的迭代去噪过程中保持可编辑，从而允许时间边界和语义内容共同细化。然而，直接适配会产生两个 TAL 特有的不匹配：标准掩码扩散训练随机均匀地掩盖所有位置，但当有足够的语义上下文时，时间 token 更可靠；且 token 级交叉熵不反映时间 IoU。为了解决这些不匹配，我们引入一个计划训练目标，该目标使用边界感知掩码和步级加权重构来演练时间 token 的后期恢复，同时引入一个步级 IoU 奖励，在去噪过程中提供重叠感知监督。标准的序列级交叉熵项提供基础重构信号。在 ActivityNet-RTL、ActivityNet-1.3 和 THUMOS-14 上的实验表明，MDVLM-TAL 相较于自回归视觉 - 语言基线，在时间推理和边界定位方面均有改进，尤其是在更严格的时间 IoU 准则下取得了显著增益。

Temporal action localization (TAL) requires recognizing the target event and localizing its start and end times precisely in untrimmed videos. Recent vision-language formulations improve semantic reasoning and support language-conditioned outputs, but their autoregressive decoders still generate tokens from left to right, preventing later semantic evidence from revising earlier timestamp predictions. We adapt masked diffusion vision-language models (MDVLMs) to TAL so that semantic tokens and boundary tokens remain editable throughout iterative denoising with bidirectional attention, allowing temporal boundaries and semantic content to be refined jointly. Direct adaptation, however, creates two TAL-specific mismatches: standard masked diffusion training corrupts all positions uniformly at random, but the time tokens are more reliable when enough semantic context is available; and token-level cross-entropy does not reflect temporal IoU. To address these mismatches, we introduce a Planned Training Objective that uses boundary-aware masking and step-weighted reconstruction to rehearse the late recovery of time tokens, together with a Step-Level IoU Reward that provides overlap-aware supervision during denoising. A standard sequence-level cross-entropy term provides the base reconstruction signal. Experiments on ActivityNet-RTL, ActivityNet-1.3, and THUMOS-14 show that MDVLM-TAL improves both temporal reasoning and boundary localization over autoregressive vision-language baselines, with especially strong gains under stricter temporal IoU criteria.

评分理由: The paper applies Masked Diffusion Vision-Language Models to Temporal Action Localization, strongly aligning with MLLM (7.0) and MultiModal (8.0). It uses tokens and encoders but does not focus on tokenizer design or model-based RL (0.0). Unify Models is moderately relevant (5.0) for token unification. World Models has low relevance (2.0) due to the discriminative task. Total weighted score is 45.0. No specified expert authors are found.

Masked Diffusion, Vision-Language Models, Temporal Action Localization, Bidirectional Attention, Boundary Localization, Untrimmed Videos, Denoising Process

Chinese Title: 掩码扩散视觉语言模型用于时序动作定位

Summary: 本文提出MDVLM-TAL，将掩码扩散视觉语言模型（MDVLM）应用于时序动作定位（TAL）任务。传统的自回归视觉语言模型在生成时间边界时从左到右依次生成，导致早期预测无法利用后续语义信息进行修正。MDVLM通过双向注意力的迭代去噪过程，使得语义令牌和时间边界令牌在生成过程中始终保持可编辑状态，从而实现联合精炼。然而，直接应用标准掩码扩散训练存在两个不匹配问题：一是训练时均匀随机掩码无法模拟推理时时间令牌需在足够语义上下文后才稳定的行为；二是令牌级交叉熵损失无法反映时间IoU的数值差异。为此，论文提出计划训练目标（Planned Training Objective），包含边界感知掩码和步加权重建，使时间令牌在训练中更晚恢复；同时引入步级IoU奖励（Step-Level IoU Reward），在去噪过程中提供重叠感知监督。在ActivityNet-RTL、ActivityNet-1.3和THUMOS-14数据集上的实验表明，MDVLM-TAL在时间推理和边界定位上均优于自回归视觉语言基线，尤其在严格tIoU阈值下提升显著。

Innovations:

• 将时序动作定位建模为掩码扩散序列生成任务，利用双向注意力迭代去噪实现语义令牌和时间边界令牌的联合精炼。
• 提出计划训练目标，通过边界感知掩码策略和步加权重建损失，使时间令牌在训练过程中延迟恢复，匹配推理时的行为。
• 引入步级IoU奖励，在去噪中间步骤提供基于时间重叠的监督信号，弥补令牌级交叉熵损失无法反映数值距离的缺陷。
• 在多个标准数据集上超越自回归视觉语言基线和专用TAL检测器，尤其在严格tIoU阈值下取得最大增益。

Methodology: 论文采用视觉编码器（如Video-LLM中的视觉编码器）+ 多模态投影器 + 语言骨干（掩码扩散语言模型）的架构。首先将视频编码并压缩为视觉令牌，与指令文本令牌拼接形成多模态上下文。然后采用掩码扩散过程：从全掩码状态开始，通过双向注意力逐步去噪恢复令牌。训练时使用计划训练目标：边界感知掩码策略（对时间令牌设置更低的保留概率）和步加权重建损失（对低噪声步赋予更大权重）。同时引入步级IoU奖励，通过软边界期望计算当前步的预测IoU，并设置门控机制仅在两个边界令牌均被揭示时激活奖励。最终损失由序列级交叉熵、计划重建损失和IoU奖励加权组合。

Key Results:

• 在ActivityNet-RTL、ActivityNet-1.3和THUMOS-14数据集上，MDVLM-TAL在多个tIoU阈值下均优于自回归视觉语言基线（如LITA、VTG-LLM等）。
• 在严格tIoU阈值（如0.7）下，MDVLM-TAL相比基线提升最为显著，表明其边界定位精度更高。
• 消融实验验证了计划训练目标和步级IoU奖励各自的有效性，两者结合达到最佳性能。
• 与专用TAL检测器（如ActionFormer、TriDet）相比，MDVLM-TAL在语言条件设定下表现更优，同时保持了竞争性的闭集性能。

Tech Stack:

• 掩码扩散语言模型（Masked Diffusion Language Model）
• 时间令牌离散化（Time-token formulation，将时间轴分为N个bin）
• 边界感知掩码策略（Boundary-aware masking，γ > η > 0）
• 步加权重建损失（Step-weighted reconstruction loss）
• 软边界期望（Soft boundary expectation，通过softmax计算期望边界）
• 门控相对加权（Gated relative weighting，仅当两个边界令牌均被揭示时激活IoU奖励）
• 序列级交叉熵损失（Sequence-level cross-entropy）
• 视觉编码器 + 令牌压缩器（Token compressor）
• 多模态上下文拼接（BOS, Zv, SEP, Zq, SEP）

Strengths:

• 创新性地将掩码扩散模型引入时序动作定位，克服了自回归模型无法后期修正的固有缺陷。
• 针对TAL任务特性设计了专门的训练目标（计划训练和IoU奖励），有效弥合了通用掩码扩散与TAL需求之间的差距。
• 在多个数据集上取得显著提升，尤其在严格tIoU阈值下表现突出，证明了方法的有效性。
• 方法具有通用性，可扩展至其他需要时序精确定位的多模态生成任务。

Limitations:

• 时间令牌离散化粒度（N个bin）影响定位精度，过粗或过细均可能带来问题，论文未深入讨论最优粒度选择。
• 掩码扩散模型的推理速度可能慢于自回归模型，因为需要多步迭代去噪。
• 实验仅在三个数据集上进行，未在更多样化的场景（如开放词汇、零样本）中验证泛化能力。
• 步级IoU奖励的计算依赖于软边界期望，可能引入额外计算开销，且门控机制在边界令牌未揭示时无法提供监督。

Relevance To Keywords:

• 原生多模态大模型：论文使用视觉语言模型架构，将视频和文本联合建模，属于多模态大模型范畴。
• 多模态大模型的理解和生成一体化：MDVLM-TAL同时进行动作识别（理解）和边界生成（生成），实现理解与生成一体化。
• 表征学习：通过掩码扩散训练，模型学习视频和文本的联合表征，时间令牌和语义令牌在双向注意力中交互。
• 世界模型：时序动作定位涉及对视频中事件的时间动态建模，可视为世界模型在时间维度的应用。
• 强化学习：步级IoU奖励本质上是一种强化学习信号，在去噪过程中提供基于IoU的奖励，指导模型优化。
• 后训练：论文提出的计划训练目标和IoU奖励属于后训练阶段的优化策略，在预训练模型基础上进行任务特定微调。

大型语言模型（LLMs）已将自主智能体从深度搜索（检索简洁的事实性答案）提升至深度研究（将分散的证据综合为长篇报告）。然而，由于缺乏确定性真值的开放式综合，以及需要将文本论证与视觉证据交错，可验证的多模态深度研究仍然具有挑战性。我们提出 Ptah，一个用于交错式报告生成的多智能体编排框架。Ptah 通过规划、研究和写作三个阶段，协调从用户查询到渲染网页报告的完整生命周期；在此过程中，专用智能体构建视觉感知计划，收集基于主张的证据，在“视觉工作记忆”（Visual Working Memory）中维护源对齐图像，并通过声明式多模态工具使用撰写报告。验证智能体充当该框架的验收函数，在整个工作流中强制执行事实锚定、引用保真度和跨模态一致性。我们进一步引入 PtahEval，一种评估协议，通过图像级和展示级评估来增强现有的基准测试。在深度研究基准上的实验表明，与强基线相比，Ptah 能生成更可靠、更具视觉信息量且更可用的面向人类的多模态报告。

Large Language Models (LLMs) have advanced autonomous agents from deep search, which retrieves concise factual answers, to deep research, which synthesizes scattered evidence into long-form reports. However, verifiable multimodal deep research remains challenging due to open-ended synthesis without deterministic ground truth and the need to interleave textual arguments with visual evidence. We propose \textsc{Ptah}, a multi-agent harness for interleaved report generation. \textsc{Ptah} orchestrates the lifecycle from user query to rendered web report through planning, research, and writing stages, where specialized agents construct visual-aware plans, collect claim-grounded evidence, maintain source-aligned images in a \textit{Visual Working Memory}, and compose reports through declarative multimodal tool use. A verifier agent serves as the harness's acceptance function, enforcing factual grounding, citation fidelity, and cross-modal consistency throughout the workflow. We further introduce \textsc{Ptah}Eval, an evaluation protocol that augments existing benchmarks with image-level and presentation-level assessments. Experiments on deep research benchmarks show that \textsc{Ptah} produces more reliable, visually informative, and usable human-facing multimodal reports than strong baselines.

评分理由: 论文核心聚焦于多模态深度研究的多智能体系统，因此 MultiModal (10) 与 MLLM (7) 高度相关；Visual Encoder (4) 与 Unify Models (3) 涉及系统架构与视觉处理但非模型核心；World Models (3) 部分对应视觉工作记忆概念；Tokenizer (1) 与 model-based RL (1) 在摘要中未提及。作者列表中不包含指定专家，无额外加分。

Multimodal Deep Research, Multi-Agent Harness, Interleaved Report Generation, Visual Working Memory, Verifier Agent, Cross-modal Consistency, Deep Research

Chinese Title: 迈向可验证的多模态深度研究：用于交错报告生成的多智能体框架

Summary: 本文提出PTAH，一个用于可验证多模态深度研究的多智能体框架，旨在生成交错文本与图像的研究报告。PTAH通过规划、研究和写作三个阶段协调智能体、外部工具、中间状态和验证信号。规划阶段构建视觉感知的研究计划；研究阶段并行收集基于主张的证据，并将源对齐的图像维护在视觉工作记忆中；写作阶段通过声明式多模态工具组合最终报告。验证器作为框架的接受函数，在流程各阶段检查协议合规性、事实依据、引用忠实性、视觉相关性和跨模态一致性。此外，作者提出PTAHEval评估协议，从图像内容质量和多模态呈现质量两个维度评估报告。实验表明，PTAH生成的报告在可靠性、视觉信息丰富度和可用性上优于强基线。

Innovations:

• 提出PTAH多智能体框架，协调智能体、工具、研究状态和验证信号，实现可验证的多模态深度研究。
• 设计视觉感知工作流，将多模态深度研究组织为规划、研究和写作三个阶段，维护可检查的中间工件（计划、证据、引用、数值数据、源对齐图像）。
• 引入验证器钩子作为框架的接受函数，实现阶段式检查，包括协议合规性、事实依据、引用忠实性、视觉相关性和跨模态一致性。
• 提出PTAHEval评估协议，针对交错图像-文本研究报告，从图像内容质量和多模态呈现质量两个维度进行评价。

Methodology: PTAH采用多智能体架构，包含规划智能体、研究智能体、写作智能体和验证智能体。规划阶段：智能体通过迭代文本搜索初始化研究状态，生成包含高层概述、章节研究目标、预期证据类型和视觉规格的结构化计划，并由验证器检查。研究阶段：每个章节由独立的研究智能体进行并行调查，提取文本证据和图像，构建视觉工作记忆（经规则过滤和VLM选择），生成结构化研究包，再由验证器检查。写作阶段：写作智能体利用全局计划、已验证的研究包和视觉工作记忆，通过声明式多模态工具组合生成交错报告，并渲染为网页。验证器结合规则检查和基于LLM的评分，确保各阶段输出质量。

Key Results:

• PTAH生成的报告在事实可靠性、引用忠实性和跨模态一致性上优于强基线。
• PTAH能够生成视觉信息丰富、专业交错的报告，提升可读性和可用性。
• 在深度研究基准上的实验表明，PTAH在图像内容质量和多模态呈现质量方面均取得更好表现。

Tech Stack:

• 大型语言模型（LLM）
• 视觉语言模型（VLM）
• 检索增强生成（RAG）
• 文本搜索工具
• 视觉工作记忆（Visual Working Memory）
• 声明式多模态工具（Declarative Multimodal Tool Use）
• 规则过滤（Rule-based Filtering）
• VLM-based Selector
• LLM-based Rubric Verification

Strengths:

• 提出完整的可验证多模态深度研究框架，覆盖从查询到渲染的全流程。
• 通过阶段式验证器确保事实准确性和跨模态一致性，减少错误累积。
• 视觉工作记忆将图像作为核心研究状态而非事后装饰，提升视觉证据与文本论证的关联。
• 并行研究设计提高效率，同时保持每个章节证据的可追溯性。
• 提出专门的评估协议PTAHEval，弥补了交错图像-文本报告评估的空白。

Limitations:

• 依赖外部搜索工具和VLM，可能引入延迟和成本。
• 验证器基于规则和LLM，可能无法完全消除幻觉或错误。
• 评估协议PTAHEval可能未覆盖所有报告质量维度（如用户满意度）。
• 框架复杂度较高，部署和调优需要较多工程努力。
• 未明确讨论后训练或强化学习在框架中的应用。

Relevance To Keywords:

• 原生多模态大模型：论文聚焦于多模态报告生成，涉及文本与图像的联合理解与生成，与原生多模态大模型的目标一致。
• 多模态大模型的理解和生成一体化：PTAH通过智能体协调实现交错生成，但并非端到端模型，而是工具增强的框架。
• 表征学习：视觉工作记忆存储源对齐图像，可视为一种跨模态表征管理。
• 世界模型：深度研究需要建模复杂知识领域，PTAH的规划和研究阶段隐式构建了领域知识结构。
• 强化学习：论文未直接使用强化学习，但验证器可视为一种奖励信号，未来可结合后训练优化。
• 后训练：论文未涉及后训练技术，主要关注推理时的智能体协作与验证。

视觉 - 语言模型（VLMs）在空间推理基准上取得了优异的性能，但目前尚不明确这种表现是否反映了结构化的 3D 理解，亦或是依赖于自然图像中的统计捷径。我们提出了一种表示层分析框架，该框架构建最小对比样本对，用于测量空间轴如何在 VLM 嵌入中被组织及解耦。我们对多个模型家族的分析揭示了一致的垂直 - 距离纠缠现象：模型混淆了图像的垂直位置与距离，这反映了自然照片的透视偏差。这种偏差导致在透视一致示例与反启发式示例之间存在显著的性能差距，且在数据规模扩大时加剧，尽管整体基准性能有所提升。我们进一步表明，具有相似基准分数的模型可能表现出不同的内部表示，而这些差异能够预测其在不同空间推理基准上的性能与鲁棒性。为了将这种偏差与评估集偏差隔离开来，我们引入了 SpatialTunnel，这是一个合成基准，旨在通过移除自然图像中常见的共现相关性来揭示空间捷径偏差。实验证实了这种纠缠是模型内在的，且拥有分离良好的空间轴的模型表现出更强的鲁棒性，这表明结构良好的空间表示能够带来跨不同基准更可靠的空间推理。代码及基准可在项目页面获取：https://cheolhong0916.github.io/whyfarlooksup.github.io/。

Vision-language models (VLMs) achieve strong performance on spatial reasoning benchmarks, yet it remains unclear whether this reflects structured 3D understanding or reliance on statistical shortcuts in natural images. We introduce a representation-level analysis framework that constructs minimal contrastive pairs to measure how spatial axes are organized and disentangled within VLM embeddings. Our analysis across multiple model families reveals a consistent vertical-distance entanglement: models conflate vertical image position with distance, mirroring the perspective bias of natural photographs. This bias produces a significant accuracy gap between perspective-consistent and counter-heuristic examples, and intensifies under data scaling even as overall benchmark accuracy improves. We further show that models with similar benchmark scores can exhibit different internal representations, and that these differences predict accuracy and robustness across diverse spatial reasoning benchmarks. To isolate this bias from evaluation-set skew, we introduce SpatialTunnel, a synthetic benchmark designed to expose spatial shortcut biases by removing common correlations present in natural images. Experiments confirm that the entanglement is model-intrinsic, and that models with well-separated spatial axes exhibit greater robustness, suggesting that well-structured spatial representations lead to more reliable spatial reasoning across diverse benchmarks. Code and benchmark are available on the project page: https://cheolhong0916.github.io/whyfarlooksup.github.io/.

评分理由: The paper focuses on Vision-Language Models (MLLM, MultiModal) and analyzes spatial embeddings (Visual Encoder), scoring high on these. It does not involve Tokenizers, World Models, Model-Based RL, or Unify Models as core contributions, hence lower scores.

Vision-Language Models, Spatial Representation, Vertical-Distance Entanglement, Perspective Bias, SpatialTunnel, Embedding Analysis, Robustness

Chinese Title: 为何远处看起来在上方：探究视觉语言模型中的空间表征

Summary: 本文针对视觉语言模型（VLM）在空间推理任务中表现优异但可能依赖统计捷径而非真正3D理解的问题，提出了一种表征层面的分析框架。通过构建最小对比对，测量VLM嵌入中空间轴（水平、垂直、深度）的组织与解耦程度。实验发现多个模型家族存在一致的垂直-距离纠缠：模型将图像中的垂直位置与距离混淆，反映了自然照片的透视偏差。这种偏差导致透视一致样本与反启发式样本之间存在显著的准确率差距，且随着数据规模扩大而加剧。为隔离评估集偏差，作者引入合成基准SpatialTunnel，通过隧道几何解耦垂直位置与深度。结果表明纠缠是模型内在的，而具有良好分离空间轴的模型展现出更强的鲁棒性。该工作揭示了基准准确率可能高估VLM空间推理能力，并提供了诊断与缓解捷径偏差的方法。

Innovations:

• 提出表征层面的空间推理分析框架，通过对比对测量VLM嵌入中空间轴的几何组织与解耦程度。
• 发现并系统验证了垂直-距离纠缠现象：模型将图像垂直位置作为深度代理，导致系统性错误。
• 引入SpatialTunnel合成基准，通过隧道几何解耦垂直位置与深度，暴露标准基准中隐藏的捷径偏差。
• 证明具有相似基准得分的模型可能具有截然不同的内部空间表征，且表征结构可预测鲁棒性与泛化能力。

Methodology: 论文采用对比表征分析方法：首先从现有空间推理基准（EmbSpatial-Bench、CV-Bench-3D）中提取深度相关问题，根据垂直位置与真实深度的关系分为一致/反例/模糊三类。然后对多个VLM（Molmo、NVILA、Qwen2.5-VL等）进行线性探测或对比对分析，测量水平、垂直、深度三个空间轴在嵌入空间中的方向与分离程度。同时构建SpatialTunnel合成数据集，通过程序生成隧道场景，使垂直位置与深度无统计相关性。最后评估模型在一致/反例上的准确率差异，并比较不同模型家族及不同数据规模下的表征结构变化。

Key Results:

• 现有空间基准中一致样本占多数（EmbSpatial-Bench 80.9%，CV-Bench-3D 60.5%），反例仅约10%。
• 所有测试模型在反例上的准确率显著低于一致样本，证实垂直-距离纠缠的存在。
• 数据规模扩大（从80k到2M样本）虽提升整体基准准确率，但垂直-距离纠缠反而加剧。
• 具有良好分离空间轴的模型（如RoboRefer-2B-SFT）在SpatialTunnel上表现更鲁棒，且在其他基准上准确率更高。
• 水平轴在嵌入空间中保持稳定对立方向，而垂直与深度轴经常纠缠，表明模型依赖透视捷径。

Tech Stack:

• 线性探测（Linear Probing）
• 对比对分析（Contrastive Pair Analysis）
• SpatialTunnel合成数据集（程序化生成隧道几何场景）
• 监督微调（SFT）使用混合空间数据集（SAT、RoboSpatial、SPAR-7M、RefSpatial、PRISM）
• 模型家族：Molmo-7B-O-0924、NVILA-Lite-2B、Qwen2.5-VL-3B-Instruct、Qwen3-VL-235B-A22B-Instruct、RoboRefer-2B-SFT

Strengths:

• 从表征层面而非仅行为层面分析空间推理，提供了更深入的诊断视角。
• 系统揭示了垂直-距离纠缠这一普遍偏差，并量化其随数据规模的变化。
• 构建的SpatialTunnel基准有效隔离了自然图像中的统计相关性，便于公平评估。
• 实验覆盖多个模型家族和不同规模，结论具有广泛性。
• 发现表征结构与鲁棒性的关联，为改进VLM空间理解提供了方向。

Limitations:

• 分析主要基于对比对和线性探测，可能无法完全捕捉非线性表征结构。
• SpatialTunnel为合成场景，与真实世界图像存在域差异，泛化性需进一步验证。
• 仅针对深度与垂直位置的纠缠，未涉及其他空间捷径（如大小、遮挡等）。
• 数据混合策略中不同数据集权重固定，未探索最优组合。
• 未提供缓解纠缠的具体训练方法，仅诊断问题。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：论文研究的VLM属于多模态大模型，其空间表征分析对统一模型的理解能力评估有直接意义。
• World Models / 世界模型：空间推理是世界模型的核心能力之一，论文揭示的垂直-距离纠缠表明当前VLM缺乏对3D世界的结构化表征，与世界模型的目标相悖。
• Representation Learning / 表征学习：论文核心是分析空间表征的组织与解耦，属于表征学习范畴，为改进表征质量提供诊断工具。
• Model-Based RL / 强化学习：虽然论文未直接涉及RL，但空间表征的鲁棒性对基于模型的RL（如机器人导航）至关重要，论文发现的偏差可能导致RL策略在分布外场景失败。
• 后训练：论文通过监督微调（SFT）研究数据规模对表征的影响，属于后训练阶段的分析，发现后训练可能强化捷径而非真正理解。

生成式人工智能技术的发展已将合成图像的视觉真实性推向了前所未有的高度。尽管基于大型多模态模型（LMMs）的可解释检测方法已取得一定进展，但它们仍依赖于源自海量伪造数据的模仿学习。因此，它们缺乏真正的因果推理能力，且容易产生解释性幻觉。为了克服这一瓶颈，我们提出了 FakeVLM-R1，旨在赋予模型在执行合成检测任务时具备类人的批判性思维能力。该框架基于监督微调（SFT），整合了群体相对策略优化（GRPO）与批判性思维思维链（CoT）机制。在推理阶段，模型执行一种“双向辩证推理”过程：在提出伪造假设的同时，必须同时调用物理常识来构建真实性反证。此外，我们构建了 FakeClue++ 数据集，该数据集包含高质量样本，广泛引入了基于真实图像物理规律的标注，为模型提供了统一真实性锚点。实验证实，FakeVLM-R1 在多个基准测试中达到了所评估模型中的最先进（SOTA）性能。它不仅实现了高精度、逻辑可解释的检测，还解决了现有方法对真实图像的过度拒绝偏差，展现出对扰动的泛化性和鲁棒性。

The development of generative artificial intelligence technologies has propelled the visual realism of synthetic images to an unprecedented level. Although current interpretable detection methods based on Large Multimodal Models (LMMs) have made certain progress, they still rely on imitation learning derived from massive volumes of forged data. Consequently, they lack genuine causal reasoning capabilities and are prone to explanatory hallucinations. To overcome this bottleneck, we propose FakeVLM-R1, aiming to endow the model with human-like critical thinking capabilities when performing synthetic detection tasks. Building upon Supervised Fine-Tuning (SFT), this framework integrates Group Relative Policy Optimization (GRPO) with a Critical Thinking Chain-of-Thought (CoT) mechanism. During the inference phase, the model executes a "bidirectional dialectical reasoning" process: while proposing a forgery hypothesis, it must simultaneously invoke physical commonsense to construct an authenticity counter-proof. Furthermore, we constructed the FakeClue++ dataset with high-quality samples, which extensively introduces annotations guided by the physical laws of authentic images, providing a unified authenticity anchor for the model. Experiments confirm that FakeVLM-R1 achieves SOTA performance the evaluated models across multiple benchmarks. It not only achieves high-precision, logically interpretable detection but also resolves the over-rejection bias of existing methods against real images, demonstrating generalization and robustness against perturbations.

评分理由: 论文核心基于大多模态模型（MLLM）进行合成图像检测，因此 MLLM 和多模态相关性高。虽然涉及物理法则内化，与 World Models 概念有一定关联，但并非典型的世界模型架构。使用了 GRPO（强化学习优化），但属于策略优化而非模型式强化学习（model-based RL）。Tokenizer 和 Unify Models 在摘要中未提及，相关性低。Visual Encoder 作为 LMM 组件隐含存在，相关性中等。

Synthetic Image Detection, Large Multimodal Models, Chain-of-Thought, Group Relative Policy Optimization, Physical Laws, Critical Thinking, Forgery Detection

Chinese Title: FakeVLM-R1: 通过思维链内化物理定律的合成图像检测方法

Summary: 本文提出FakeVLM-R1框架，旨在将合成图像检测从感知匹配提升至逻辑推理层面。针对现有基于大多模态模型（LMM）的可解释检测方法依赖模仿学习、缺乏因果推理能力且易产生解释幻觉的问题，该框架在监督微调（SFT）基础上引入组相对策略优化（GRPO）与批判性思维链（CoT）机制。推理时模型执行“双向辩证推理”：在提出伪造假设的同时，必须调用物理常识构建真实性反证。此外，作者构建了FakeClue++数据集，高质量样本中广泛引入基于真实图像物理定律的标注，为模型提供统一的真实性锚点。实验表明，FakeVLM-R1在多个基准上达到SOTA性能，不仅实现了高精度、逻辑可解释的检测，还解决了现有方法对真实图像的过度拒绝偏差，展现出良好的泛化性和鲁棒性。

Innovations:

• 提出将GRPO强化学习与批判性思维链CoT结合的训练范式，使模型具备双向辩证推理能力，有效抑制解释幻觉和假阳性。
• 构建FakeClue++数据集，创新性地引入基于物理定律的真实图像标注，以高数据效率为模型提供统一的真实性锚点。
• 实现从感知级检测到法医级逻辑推理的范式跃迁，在未见域泛化、扰动鲁棒性和推理深度上取得突破。
• 通过“伪造假设+真实性反证”的辩证推理机制，强制模型进行逻辑自洽验证，避免结论先行的偏见。

Methodology: 采用两阶段训练：首先在FakeClue++数据集上进行监督微调（SFT），使模型学习伪造痕迹和物理定律知识；然后引入组相对策略优化（GRPO）强化学习，结合批判性思维链（CoT）训练模型的辩证推理能力。推理时模型先基于视觉线索提出伪造假设，同时调用物理常识构建真实性反证，通过逻辑自洽性验证得出最终判断。

Key Results:

• 在多个主流基准上取得SOTA性能，检测准确率显著优于现有LMM和可解释基线。
• 有效降低对真实图像的假阳性率，解决了现有方法的过度拒绝偏差。
• 在未见域泛化和扰动鲁棒性测试中表现优异，展现出强泛化能力。
• 生成的解释具有法医级逻辑深度，抑制了解释幻觉现象。

Tech Stack:

• Group Relative Policy Optimization (GRPO)
• Chain-of-Thought (CoT) reasoning
• Supervised Fine-Tuning (SFT)
• Large Multimodal Models (LMMs)
• FakeClue++ dataset (含物理定律标注的真实图像)
• 双向辩证推理机制

Strengths:

• 创新性地将强化学习与批判性思维链结合，赋予模型真正的因果推理能力。
• 数据集设计高效，通过物理定律标注而非穷举伪造痕迹，大幅降低构建成本并提升泛化性。
• 在检测精度、可解释性和鲁棒性上全面超越现有方法，解决了假阳性这一关键痛点。
• 方法论具有通用性，可推广至其他需要逻辑推理的视觉检测任务。

Limitations:

• 依赖高质量的物理定律标注，对于复杂场景（如艺术图像、抽象风格）的物理规律描述可能不够完备。
• GRPO训练的计算成本较高，可能限制在资源受限场景下的应用。
• 当前仅在合成图像检测任务上验证，尚未探索在其他伪造检测（如音频、视频）中的迁移能力。
• 批判性思维链的推理过程可能增加推理延迟，影响实时性要求高的应用。

Relevance To Keywords:

• Unify Models: 论文使用统一的大多模态模型进行检测、定位和解释，体现了模型统一的思想。
• World Models: 通过内化物理定律（如光照、透视）作为真实性锚点，使模型具备世界模型般的常识推理能力。
• Representation Learning: 利用SFT和GRPO学习伪造痕迹与物理规律的联合表征。
• Model-Based RL: GRPO属于强化学习后训练方法，结合CoT推理可视为一种基于模型的推理策略。
• 原生多模态大模型: 基于LMM（如LLaVA、Qwen-VL）进行微调和强化学习，属于多模态大模型的后训练。
• 多模态大模型的理解和生成一体化: 模型同时输出检测标签和自然语言解释，实现理解与生成融合。
• 表征学习: 通过物理定律标注引导模型学习更鲁棒、可解释的表征。
• 世界模型: 模型利用物理常识进行辩证推理，模拟了人类对真实世界的认知过程。
• 强化学习: 核心创新之一GRPO属于强化学习算法。
• 后训练: 在SFT基础上进行GRPO强化学习，属于后训练阶段。

大型视觉 - 语言模型（LVLMs）经常在输入图像中不存在的物体上产生幻觉，主要是因为随着解码过程的推进，视觉定位能力会逐渐减弱。现有的推理时缓解方法在整个生成过程中修改 logits 或隐藏状态，但它们存在三个关键局限性：缺乏明确的定位目标；即使在模型定位良好时也会进行干预；以及使用固定的校正强度，无法适应定位失败的严重程度。我们提出 BRACS（基于屏障调节的自适应闭式引导），这是一种无需训练的引导框架，通过基于屏障调节的自适应闭式引导机制来解决上述问题。BRACS 通过监控模型自身的注意力机制来衡量视觉定位，仅在定位退化时对隐藏状态施加校正。校正更新以闭式形式解析计算，无需训练辅助网络或对模型进行重新训练。在 LLaVA-1.5-7B 和 Qwen-VL-Chat 上的实验表明，BRACS 在幻觉基准上一贯优于先前方法，将 CHAIR$_s$ 降低 9.4 分，将 POPE F1 提高 2.7 分，同时在四个通用多模态基准上持平或优于先前性能。BRACS 也保持高效，其吞吐量达到贪婪解码吞吐量的 80%，且平均速度达到基线方法的 1.3 倍。

Large vision-language models (LVLMs) often hallucinate objects that are not present in the input image, largely because visual grounding weakens as decoding progresses. Existing inference-time mitigation methods modify logits or hidden states throughout generation, but they suffer from three key limitations: they lack an explicit grounding objective, intervene even when the model is already well-grounded, and use fixed correction strengths that do not adapt to the severity of grounding failure. We propose BRACS (Barrier-Regulated Adaptive Closed-form Steering), a training-free steering framework that addresses these issues through barrier-regulated adaptive closed-form steering. BRACS monitors the model's own attention to measure visual grounding and applies corrections to the hidden states only when grounding deteriorates. The corrective update is computed analytically in closed form, requiring no training of auxiliary networks or model retraining. Experiments on LLaVA-1.5-7B and Qwen-VL-Chat show that BRACS consistently outperforms prior methods on hallucination benchmarks, reducing CHAIR$_s$ by 9.4 points and improving POPE F1 by 2.7 points, while matching or improving performance on four general multimodal benchmarks. BRACS also remains efficient, operating at 80% of greedy decoding throughput and achieving 1.3 times higher speed on average than the baselines.

评分理由: 论文核心聚焦于视觉语言模型（MLLM, MultiModal）的幻觉缓解，通过推理时隐状态修正实现，与统一理解生成（Unify Models）有一定关联。未涉及分词器（Tokenizer）、世界模型（World Models）或基于模型的强化学习（model-based RL）。视觉编码器仅用于特征提取，非核心贡献。

Vision-Language Models, Hallucination Mitigation, BRACS, Visual Grounding, Inference-time Steering, Hidden States Correction, Training-free

Chinese Title: 通过屏障调控的自适应闭式引导缓解视觉语言模型中的幻觉

Summary: 大型视觉语言模型（LVLMs）在生成描述时经常产生图像中不存在的对象，即幻觉现象。现有推理时缓解方法存在三个关键局限：缺乏显式接地目标、始终进行引导、固定引导强度。本文提出BRACS（屏障调控的自适应闭式引导），一种无需训练的引导框架。BRACS通过监控模型自身的预softmax图像注意力来定义视觉接地屏障，仅在接地低于阈值时计算最小范数隐藏状态修正，修正以闭式解析形式获得，无需反向传播或辅助网络。在LLaVA-1.5-7B和Qwen-VL-Chat上，BRACS在CHAIRs上降低9.4点，POPE F1提升2.7点，同时保持贪婪解码吞吐量的80%，平均速度比基线高1.3倍。该方法在四个通用多模态基准上匹配或提升性能，有效缓解幻觉且保持高效。

Innovations:

• 识别出现有训练自由方法的三个关键局限：缺乏显式接地目标、始终进行引导、固定引导强度。
• 提出BRACS框架，利用预softmax图像注意力作为显式接地屏障，实现选择性干预。
• 推导出闭式最小范数隐藏状态修正，无需训练或反向传播，自适应调整修正强度。
• 在多个幻觉基准上取得显著提升，同时保持通用推理能力不下降。
• 保持高效推理速度，平均比基线快1.3倍，吞吐量达贪婪解码的80%。

Methodology: BRACS采用训练自由的推理时引导方法。首先，定义视觉接地屏障为预softmax图像注意力均值hl(xt)，该值线性依赖于隐藏状态xt。在每步解码中，若hl(xt)低于阈值τ，则计算梯度∇hl(xt)（闭式解析，无需反向传播），然后求解最小范数修正θ*使得hl(xt+θ*)≥τ，得到闭式解θ* = (τ - hl(xt))⁺ / (||∇hl||² + ε) * ∇hl。修正应用于隐藏状态xt后再进行Q/K/V投影，从而影响后续所有注意力操作。仅选择特定层（如第5层）进行引导，其余层不变。超参数τ和α通过验证集调整。

Key Results:

• 在CHAIRs基准上，BRACS比基线降低9.4个点（例如从40.2降至30.8）。
• 在POPE F1上提升2.7个点（例如从84.5升至87.2）。
• 在MMHal基准上，BRACS优于所有对比方法。
• 在四个通用多模态基准（如MMBench、MME等）上，BRACS匹配或提升性能。
• 推理速度：BRACS达到贪婪解码吞吐量的80%，平均速度比VCD、PAI等基线快1.3倍。

Tech Stack:

• 预softmax注意力（Pre-softmax attention）
• 闭式二次规划求解（Closed-form QP solution）
• 梯度解析计算（Analytic gradient without backpropagation）
• 隐藏状态引导（Hidden-state steering）
• KV缓存修正（KV cache consistency）
• LLaVA-1.5-7B和Qwen-VL-Chat模型

Strengths:

• 训练自由，无需额外训练或微调，计算开销低。
• 显式定义接地目标，基于模型自身注意力，具有可解释性。
• 选择性干预，仅在接地不足时修正，避免过度修正。
• 自适应修正强度，根据接地缺失程度动态调整。
• 闭式解精确高效，无需迭代优化。
• 在幻觉缓解和通用性能之间取得良好平衡。

Limitations:

• 需要手动调节阈值τ和强度α，可能对模型和任务敏感。
• 仅对特定层（如第5层）进行引导，其他层未干预，可能限制效果。
• 实验仅在两个模型上进行，泛化性需更多验证。
• 闭式解假设梯度非零，当梯度接近零时可能数值不稳定（已加ε）。
• 未与训练基方法（如RLHF）对比，仅与训练自由方法比较。

Relevance To Keywords:

• Unify Models: 论文未直接涉及模型统一，但视觉语言模型本身是多模态统一的一种形式。
• World Models: 间接相关：幻觉缓解有助于构建更一致的世界模型，但论文未明确讨论世界模型。
• Representation Learning: 相关：BRACS利用注意力表征作为接地信号，属于表征学习范畴。
• Model-Based RL: 不直接相关：论文未涉及强化学习或模型基RL。
• 原生多模态大模型: 直接相关：研究对象为LLaVA和Qwen-VL等原生多模态大模型。
• 多模态大模型的理解和生成一体化: 相关：论文关注生成中的幻觉，属于理解与生成一体化中的生成质量问题。
• 表征学习: 同上，利用注意力表征。
• 世界模型: 间接相关。
• 强化学习: 不相关。
• 后训练: 相关：BRACS属于推理时后训练方法（训练自由）。

数据驱动的方法彻底革新了 3D 视觉，使 Transformer（变换器）能够有效重建和生成静态 3D 对象。然而，生成模拟的 4D 动态——即在各种物理条件下静态对象的真实时间形变——仍然具有挑战性，且往往缺乏通用性，尽管其在构建全面的 3D 世界模型中至关重要。大多数现有方法假设一个预定义物理模型并使用 System Identification（系统识别）来估计参数，这使得这些方法仅限于特定类别和小规模数据集。我们提出，可以通过学习针对以对象为中心的物理系统的数据驱动运动学状态参数化来克服这些限制。具体来说，我们学习了一个表示对象所有可能状态的 Latent Space（潜在空间），以及一个将任何采样的潜在变量映射到对象合理形变形状的 Decoder（解码器）。我们将这种参数化称为神经对象运动学（NeuROK），并在一个精心构建的大规模 4D 数据集上学习了一个基于 Transformer 的 Encoder-Decoder（编码器 - 解码器）模型。这种形式化及所学模型显著简化了模拟动态的生成，因为从经典物理学的 Lagrangian Mechanics（拉格朗日力学）角度来看，我们只需在低维潜在空间内考虑动力学。我们在多样化的动态对象类型上展示了该神经模拟框架的有效性和通用性，显示出相对于先前工作的明显优势。项目页面：https://chen-geng.com/neurok

Data-driven approaches have revolutionized 3D vision, enabling transformers to effectively reconstruct and generate static 3D objects. However, generating simulative 4D dynamics -- realistic temporal deformations of static objects under various physical conditions -- remains challenging and often ad hoc, despite its importance in building comprehensive 3D world models. Most existing methods assume a predefined physical model and use system identification to estimate parameters, restricting these methods to specific categories and small-scale datasets. We propose that these restrictions can be overcome by learning a data-driven kinematic state parameterization for object-centric physical systems. Specifically, we learn both a latent space representing all possible states of the object and a decoder that maps any sampled latent to a plausibly deformed shape of the object. We refer to this parameterization as Neural Object Kinematics (NeuROK), and learn a transformer-based encoder-decoder model on a curated large-scale 4D dataset. This formulation and the learned model significantly simplify the generation of simulative dynamics since we only need to consider the dynamics within a low-dimensional latent space from the Lagrangian mechanics' perspective in classical physics. We demonstrate the effectiveness and generality of this neural simulation framework across diverse dynamic object types, showing clear advantages over prior works. Project page: https://chen-geng.com/neurok

评分理由: 论文明确提及构建'comprehensive 3D world models'，与 World Models 高度相关（8 分）；使用 transformer-based encoder-decoder 架构，隐含 Tokenizer 且包含 Visual Encoder（Tokenizer 2 分，Visual Encoder 5 分）；统一了多种动态对象的生成，符合 Unify Models 概念（5 分）；动力学建模与 model-based RL 基础相关（5 分）；未涉及语言模型（MLLM 0 分）；主要关注时空视觉数据，多模态关联较弱（3 分）。作者列表中不包含指定的专家专家。加权总分 42.0，高于及格分 27.8。

Generative 4D, Neural Object Kinematics, latent space, transformer-based, encoder-decoder, dynamic object types, world models

Chinese Title: NeuROK: 生成式4D神经物体运动学

Summary: 本文提出一种数据驱动的通用框架NeuROK，用于生成静态3D物体在物理条件（如力、动作、速度）下的4D动态（时间变形序列）。核心思想是学习一个低维潜在空间作为物体的运动学状态参数化，该空间由Transformer编码器-解码器从大规模4D形状数据中自动发现，无需任何物理标注或类别先验。解码器将潜在向量映射为合理的变形形状。在推理时，基于拉格朗日力学在潜在空间中推导动力学方程，通过求解ODE生成动态轨迹。该方法适用于弹性体、布料、连续体、多体物体等多种类型，实验表明其泛化性和有效性优于现有方法。

Innovations:

• 提出数据驱动的运动学状态参数化（NEUROK），自动从4D数据中学习低维潜在空间，替代传统高维粒子或网格参数化，避免类别特定的物理约束。
• 构建通用且可扩展的生成式4D模拟框架，无需任何物理先验或动作标注，仅需4D几何序列作为监督。
• 将拉格朗日力学引入潜在空间，通过能量函数和欧拉-拉格朗日方程直接推导动力学，简化了模拟过程。
• 首次实现无需启发式先验的物体中心物理系统数据驱动模拟，覆盖弹性、刚体、布料、多体等多种动态类型。

Methodology: 采用Transformer编码器-解码器架构：编码器将静态3D网格（顶点位置）映射为潜在分布（高斯分布参数），解码器将潜在向量解码为变形场（顶点偏移）。训练数据为大规模4D形状序列（时间步上的网格变形）。在推理阶段，给定物理条件（如初始速度、外力），在潜在空间中定义能量函数（如动能、势能），利用拉格朗日力学推导出潜在状态的常微分方程（ODE），通过数值积分生成动态轨迹。整个框架不依赖任何显式物理方程或类别假设。

Key Results:

• 在包含弹性体、布料、连续体、多体物体的多样化4D数据集上训练后，模型能生成符合物理直觉的动态序列。
• 与基于MPM、弹簧-质点等传统方法相比，NeuROK在泛化性上显著优于它们，能处理未见过的物体类型。
• 定量评估（如形状保真度、物理合理性指标）表明该方法在多种动态类型上均达到或超越现有基线。
• 消融实验验证了低维潜在空间的有效性以及拉格朗日力学驱动的必要性。

Tech Stack:

• Transformer编码器-解码器
• 潜在空间建模（高斯分布）
• 拉格朗日力学（欧拉-拉格朗日方程）
• 常微分方程（ODE）数值求解
• 网格表示（顶点位置）
• 大规模4D数据集（无物理标注）
• 系统辨识（对比基线）

Strengths:

• 通用性强：无需类别特定物理模型，适用于多种动态物体。
• 数据驱动：仅需4D几何序列，易于扩展到大规模数据集。
• 可解释性：基于拉格朗日力学的潜在动力学具有物理意义。
• 高效：低维潜在空间大幅降低计算复杂度。
• 无需动作标注：仅从几何变化中学习，适合真实世界应用。

Limitations:

• 依赖低维假设：对于高度复杂或非刚体运动，潜在维度可能不足以捕捉全部变形模式。
• 需要大规模4D数据：训练数据获取成本高，尤其是真实世界动态序列。
• 当前仅处理网格表示，对点云或隐式表示需额外适配。
• 物理条件（如外力）需以特定形式输入，可能限制交互式应用。

Relevance To Keywords:

• 统一模型：NeuROK试图统一多种动态类型的模拟，是构建通用世界模型的一步。
• 世界模型：通过生成4D动态，该框架可作为环境模拟器，用于强化学习和机器人规划。
• 表征学习：核心是学习物体的运动学潜在表征，该表征可迁移到下游任务。
• 模型基RL：生成的动态轨迹可用于训练策略或进行规划，符合模型基强化学习范式。
• 原生多模态大模型：虽然当前仅处理几何模态，但其Transformer架构和潜在空间思想可扩展至多模态（如视觉+物理）。

本文旨在解决从重建的真实世界场景中恢复完整且可模拟的物体几何形状的问题，从而实现与场景中嵌入物体的基于物理的交互。尽管现代多视图重建方法能够生成视觉准确的环境，但由于遮挡和观测受限，物体往往是不完整的，这使得它们不适合用于物理模拟。为了解决这一局限性，我们提出了 SAM3D-Phys 框架，该框架整合了场景重建与 SAM3D 的生成式 3D 先验，以恢复可进行物理模拟的物体。该方法首先基于多视图图像重建场景，以获取场景几何形状及物体的部分观测结果。随后，我们利用 SAM3D 从这些部分观测中推断出完整的物体几何形状。为确保恢复的物体与重建场景保持一致，我们通过两种互补策略恢复场景一致的物体状态：一种是基于物理约束的空间优化算法，迭代地将恢复的物体对齐到其原始位置；另一种是基于掩模引导的外观蒸馏模块，基于观测图像细化纹理保真度。通过恢复完整的物体几何形状并在场景中恢复其姿态与外观，SAM3D-Phys 生成了适合物理模拟的纯净的物体表征，从而能够在重建场景中实现对多个物体的同时且物理一致的交互式模拟。项目页面：https://chnxindong.github.io/sam3d-phys/

This work addresses the problem of recovering complete, simulatable object geometry from reconstructed real-world scenes, enabling physics-based interaction with objects embedded in the scene. While modern multi-view reconstruction methods can produce visually accurate environments, objects are often incomplete due to occlusions and limited observations, making them unsuitable for physics simulation. To address this limitation, we propose SAM3D-Phys, a framework that integrates scene reconstruction with generative 3D priors of SAM3D to recover physically simulatable objects. Our approach first reconstructs the scene from multi-view images to obtain scene geometry and partial observations of objects. We then leverage SAM3D to infer complete object geometry from these partial observations. To ensure that the recovered objects remain consistent with the reconstructed scene, we restore scene-consistent object states through two complementary strategies: a physics-constrained spatial optimization algorithm that iteratively aligns the recovered object to its original location, and a mask-guided appearance distillation module that refines texture fidelity based on the observed images. By recovering complete object geometry and restoring its pose and appearance within the scene, SAM3D-Phys produces clean object representations suitable for physics-based simulation, enabling simultaneous and physically consistent interactive simulation of multiple objects within a reconstructed scene. Project page: https://chnxindong.github.io/sam3d-phys/

评分理由: The paper integrates scene reconstruction with SAM3D generative priors (Unify Models, 6.0) to recover complete object geometry for physics simulation (World Models, 7.0). It utilizes visual inputs and encoders (Visual Encoder, 4.0) but does not involve language models (MLLM, 2.0) or tokenization (Tokenizer, 1.0). The focus is primarily visual/geometric rather than cross-modal (MultiModal, 3.0), though the physics model supports model-based RL (5.0). No expert authors from the specified list were found.

Multi-Object Interactive Simulation, Real World, Physics-based Interaction, SAM3D, Generative 3D Priors, Scene Reconstruction, Object Geometry Recovery

Chinese Title: SAM3D-Phys：面向真实世界中多物体交互式仿真

Summary: 本文针对从真实场景重建中恢复完整、可仿真的物体几何问题，提出SAM3D-Phys框架，该框架结合场景重建与SAM3D的生成式3D先验，以恢复物理可仿真的物体。方法首先从多视图图像重建场景几何和物体的部分观测，然后利用SAM3D从部分观测推断完整物体几何。为确保恢复物体与重建场景一致，通过两种互补策略恢复场景一致的物体状态：物理约束的空间优化算法迭代对齐物体到原始位置，以及掩码引导的外观蒸馏模块基于观测图像细化纹理。通过恢复完整物体几何并恢复其在场景中的姿态和外观，SAM3D-Phys生成适合物理仿真的干净物体表示，支持重建场景中多个物体的同时、物理一致的交互仿真。实验在自建和网络收集的真实多物体基准上验证了方法的有效性。

Innovations:

• 首次将生成式3D先验（SAM3D）与场景重建结合，解决多物体场景中物体几何不完整问题，实现物理仿真。
• 提出物理约束的空间优化算法，在保持物理合理性的前提下将生成物体对齐到原始场景位置。
• 提出掩码引导的外观蒸馏模块，利用观测图像细化生成物体的纹理，保持视觉一致性。
• 构建了真实世界多物体交互仿真基准，包含自采集和网络收集场景，用于评估方法性能。
• 整个框架无需训练，可在消费级硬件上高效运行，支持多物体同时交互仿真。

Methodology: 采用四阶段流水线：A) 场景重建：使用PGSR从多视图图像重建场景，移除物体并修复背景；B) 物体提取：分割目标物体，利用SAM3D从部分观测生成完整3D几何；C) 物体-场景对齐：通过掩码引导的外观蒸馏和物理约束的空间优化恢复物体姿态和外观；D) 多物体物理交互：将对齐后的物体插入场景，使用物质点法（MPM）求解器进行交互仿真。

Key Results:

• SAM3D-Phys能够从部分观测中恢复更完整的物体几何，支持稳定的多物体交互。
• 在真实世界多物体基准上，方法生成的可仿真物体与重建场景保持空间和视觉一致性。
• 物理约束的空间优化有效避免了生成物体与场景的穿透和位置偏移。
• 掩码引导的外观蒸馏显著提升了生成物体的纹理保真度。
• 与现有方法相比，SAM3D-Phys在物理仿真稳定性和视觉真实性上表现更优。

Tech Stack:

• 3D高斯泼溅（3DGS）
• 平面约束高斯泼溅（PGSR）
• SAM3D（生成式3D先验模型）
• 物质点法（MPM）
• B样条核函数
• 渲染-比较优化（render-and-compare）
• 掩码引导的外观蒸馏
• 物理约束的空间优化（迭代对齐算法）

Strengths:

• 无需训练，直接利用预训练生成模型和重建方法，实用性强。
• 有效解决真实场景中物体几何不完整问题，使物理仿真成为可能。
• 同时考虑空间对齐和外观一致性，生成物体与场景高度融合。
• 支持多物体同时交互仿真，适用于复杂真实场景。
• 构建了真实世界基准，评估方法在现实条件下的表现。

Limitations:

• 依赖SAM3D的生成质量，对于罕见或复杂形状物体可能生成不准确。
• 物理约束的空间优化可能无法处理极端遮挡或大范围运动。
• 当前方法主要针对刚性或弹性物体，对流体、布料等复杂材料支持有限。
• 场景重建精度影响后续物体提取和对齐效果，对重建方法有依赖。
• 未涉及物体物理参数（如刚度、密度）的自动估计，需手动设定。

Relevance To Keywords: 论文聚焦于从真实场景重建中恢复可仿真物体，涉及3D表示学习（3DGS、PGSR）、世界模型（通过物理仿真模拟交互）、模型基强化学习（仿真环境可用于RL训练）以及多模态大模型（SAM3D作为生成式先验）。但论文本身未直接研究统一模型或后训练，而是提供一种将重建场景转化为可交互仿真环境的工具，与关键词中的“世界模型”和“表征学习”高度相关，与“原生多模态大模型”和“后训练”相关性较弱。

遥感中的变化检测（CD）对于城市监测和灾害评估等应用至关重要，但传统方法在不同场景间的泛化能力方面存在困难。本文提出 OmniCD，这是一个通过多模态语义引导统一并增强遥感变化检测（CD）的基础框架。OmniCD 将图像和文本提示（如文本描述、语义地图和地理空间元数据）整合到统一架构中，支持从二值变化检测（CD）到零样本语义变化理解等多种任务。该框架整合了层次化场景检索模块和变化检测模块，并通过风格解耦机制加以强化，以提高跨域鲁棒性。此外，我们还引入了 RSITCD，这是一个包含 30 万+ 标注图像 - 文本对的大规模多模态数据集。大量实验表明，OmniCD 在各类基准测试中均实现了最先进的性能，展现了强大的适应性，并为遥感领域的通用变化检测（CD）系统奠定了坚实基础。

Change detection (CD) in remote sensing is vital for applications such as urban monitoring and disaster assessment, yet traditional methods struggle with generalization across diverse scenarios. We present OmniCD, a foundational framework that unifies and enhances remote sensing CD through multimodal semantic guidance. OmniCD incorporates image and text prompts -- such as textual descriptions, semantic maps, and geospatial metadata -- into a unified architecture, supporting tasks from binary CD to zero-shot semantic change understanding. The framework integrates a hierarchical scene retrieval module and a change detection module, reinforced by a style disentanglement mechanism for improved cross-domain robustness. We further introduce RSITCD, a large-scale multimodal dataset with 300K+ annotated image-text pairs. Extensive experiments show that OmniCD achieves state-of-the-art performance across benchmarks, demonstrating strong adaptability and setting a solid foundation for general-purpose CD systems in remote sensing.

评分理由: 论文核心为遥感变化检测，强调多模态语义引导（MultiModal 高相关）和统一架构（Unify Models 中度相关）。Visual Encoder 隐含用于图像处理，MLLM 因文本提示中度相关。Tokenizer、World Models 及 model-based RL 在摘要中未提及或无关。作者 Chenhao Sun 不在指定专家列表中。加权总分 42.0，高于动态及格分 27.8。

Remote Sensing, Change Detection, Multimodal Semantics, Unified Framework, Zero-shot, Image-Text Guidance, RSITCD Dataset

Chinese Title: OmniCD：多模态语义引导的遥感图像变化检测基础框架

Summary: 遥感图像变化检测在城市监测、灾害评估等领域至关重要，但传统方法难以泛化到多种场景。本文提出OmniCD，一个通过多模态语义引导统一并增强遥感变化检测的基础框架。OmniCD将图像和文本提示（如文本描述、语义地图、地理空间元数据）整合到统一架构中，支持从二元变化检测到零样本语义变化理解的任务。框架包含层次化场景检索模块和变化检测模块，并通过风格解耦机制增强跨域鲁棒性。同时，作者构建了大规模多模态数据集RSITCD，包含30万以上带注释的图像-文本对。大量实验表明，OmniCD在多个基准上达到最先进性能，展现出强适应性，为遥感通用变化检测系统奠定了坚实基础。

Innovations:

• 提出了开放类别变化检测（OCCD）任务，并构建了大规模多模态数据集RSITCD，覆盖多样场景和土地覆盖类型。
• 设计了OmniCD框架，采用检测器-引导器协同架构，支持基于图像或文本提示的端到端变化检测。
• 引入风格解耦模块，分离成像条件相关的风格特征，抑制伪变化，提升跨域泛化能力。
• 利用预训练视觉Transformer（ViT）和BERT作为特征提取器，结合Transformer引导器实现灵活的多模态语义引导。

Methodology: OmniCD由三个主要模块组成：特征提取模块（使用ViT-H/16作为图像编码器，BERT作为文本编码器）、Transformer引导器模块（基于SAM解码器改进，将提示信息与图像嵌入融合生成感兴趣区域注意力图）、以及基于金字塔场景解析的检测器模块。此外，引入风格解耦模块分离风格特征与内容特征，减少成像条件差异导致的伪变化。训练时输入双时相遥感图像和语义提示，输出变化检测结果。

Key Results:

• OmniCD在多个基准数据集上达到最先进性能，优于现有开放类别变化检测方法。
• RSITCD数据集显著提升了多种模型在开放类别变化检测任务上的表现。
• 风格解耦机制有效抑制了因传感器差异、光照、大气效应等引起的伪变化，增强了跨域鲁棒性。

Tech Stack:

• Vision Transformer (ViT-H/16) 预训练于MAE
• BERT-base 文本编码器
• Transformer解码器（参考SAM）
• 1×1和3×3卷积 + 层归一化
• 风格解耦模块（未详细说明具体方法）
• 金字塔场景解析（Pyramid Scene Parsing）
• 平均池化

Strengths:

• 提出统一的多模态语义引导框架，支持灵活提示，适应多种变化检测任务。
• 构建大规模多模态数据集RSITCD，填补了开放类别变化检测数据空白。
• 风格解耦机制有效提升跨域泛化能力，解决传统方法对成像条件敏感的痛点。
• 端到端架构，利用预训练模型，减少对标注数据的依赖。

Limitations:

• 论文未提供详细的风格解耦模块实现细节和数学公式。
• 实验部分在摘要中提及但正文未完整展示，具体性能指标和对比结果缺失。
• 框架复杂度较高，依赖大规模预训练模型，推理效率可能受限。
• 仅针对遥感图像变化检测，未讨论在其他视觉任务上的可迁移性。

Relevance To Keywords:

• Unify Models: OmniCD旨在统一多种变化检测任务，通过多模态语义引导实现通用框架。
• World Models: 论文未直接涉及世界模型，但通过多模态语义理解场景变化，可视为对遥感世界建模的尝试。
• Representation Learning: 使用ViT和BERT进行特征提取，风格解耦模块分离表征，属于表征学习范畴。
• Model-Based RL: 论文未涉及强化学习，相关性较弱。
• 原生多模态大模型: OmniCD借鉴了多模态大模型（如SAM、BLIP）的提示机制，但本身并非原生多模态大模型，而是针对遥感变化检测的专用框架。
• 多模态大模型的理解和生成一体化: 框架侧重于理解（变化检测），未涉及生成任务。
• 后训练: 论文使用预训练模型进行微调，属于后训练范式。

视觉 - 语言模型（VLMs）在多项任务中取得了令人印象深刻的性能，但先前研究指出，当将大型语言模型或多模态模型应用于寻找序列数据中的异常模式时，其表现并不令人满意。公共异常检测基准通常提供区间标注，但不提供自然语言理由，这使得微调 VLMs 以产生有据且可解释的决策变得困难。为了解决这一差距，我们构建了 VisAnomBench，这是一个从公共时间序列数据集精心构建的基准，并利用细粒度、任务特定的奖励从多个大型 VLMs 中筛选出的高质量异常解释进行了增强。通过在该基准上进行微调，我们开发了 VisAnomReasoner，这是一个用于时间序列异常检测的参数高效 VLM。在 VisAnomBench 上的实验结果表明，VisAnomReasoner 实现了更准确的异常定位，并一贯优于所有基线，在精确率和 F1 分数上分别至少提高了 21.23 和 23.87 个百分点。在 TSB-AD-U 基准上的额外实验展示了强大的跨基准泛化能力，VisAnomReasoner 的精确率和 F1 分数分别提高了 9.57 和 13.39 个百分点。

Recent advances in Vision-Language Models (VLMs) have achieved impressive performance across many tasks, yet prior studies report unsatisfactory performance when applying large language or multimodal models to finding abnormal patterns in sequential data. Public anomaly detection benchmarks typically provide interval annotations but not natural-language rationales, making it difficult to fine-tune VLMs to produce grounded, interpretable decisions. To address this gap, we construct VisAnomBench, a curated benchmark built from public time-series datasets and augmented with high-quality anomaly explanations selected from multiple large VLMs using fine-grained, task-specific rewards. Through fine-tuning on this benchmark, we develop VisAnomReasoner, a parameter-efficient VLM for time-series anomaly detection. Experimental results on VisAnomBench show that VisAnomReasoner achieves more accurate anomaly localization and consistently outperforms all baselines, with improvements of at least 21.23 and 23.87 percentage points in precision and F1, respectively. Additional experiments on the TSB-AD-U benchmark demonstrate strong cross-benchmark generalization, with VisAnomReasoner improving precision and F1 by 9.57 and 13.39 percentage points, respectively.

评分理由: 论文核心基于视觉语言模型（MLLM）进行时间序列异常检测，因此与 MLLM 和多模态（MultiModal）高度相关。虽然涉及视觉数据处理，但未重点研究视觉编码器架构创新或分词器设计，故相关度较低。论文未涉及世界模型或基于模型的强化学习，相关性极低。视觉语言模型本质上统一了视觉与语言信息，故 Unify Models 中等相关。

Time-Series Anomaly Detection, Vision-Language Models, Parameter-efficient, VisAnomBench, Natural-language Rationales, Fine-tuning, Interpretability

Chinese Title: 小巧但可信：面向时间序列异常检测的高效视觉-语言推理

Summary: 本文针对时间序列异常检测中缺乏可解释性标注的问题，构建了VisAnomBench基准数据集，该数据集从多个公开时间序列异常检测基准中选取数据，并利用多个大型视觉-语言模型（VLM）生成高质量异常解释，通过细粒度奖励函数筛选最佳解释。在此基础上，作者提出VisAnomReasoner，一个参数高效的VLM，通过微调实现时间序列异常定位与结构化解释生成。实验表明，VisAnomReasoner在VisAnomBench上相比最强基线在精确率和F1上分别提升至少21.23和23.87个百分点，并在跨基准泛化测试（TSB-AD-U）中同样取得显著提升。该工作将时间序列异常检测转化为基于图表的视觉-语言推理任务，同时实现区间定位与自然语言解释，推动了可解释异常检测的发展。

Innovations:

• 将时间序列异常检测形式化为基于图表的视觉-语言推理任务，联合要求区间定位与结构化解释生成，超越传统标量异常分数。
• 构建首个带解释标注的时间序列异常推理基准VisAnomBench，涵盖多个领域和异常类型，为VLM微调提供监督信号。
• 提出参数高效的VLM模型VisAnomReasoner，通过奖励引导的解释选择与微调，在极小模型规模下显著超越通用VLM和专用异常检测模型。
• 引入复合奖励函数（异常准确性、视觉基础性、坐标轴感知、清晰度）用于筛选高质量解释，提升训练数据质量。

Methodology: 论文采用四阶段构建VisAnomBench：1）将公开时间序列分割为可渲染的窗口；2）将每个窗口渲染为带坐标轴标签的图表图像；3）使用多个大型VLM生成结构化异常决策与推理链；4）利用复合奖励函数（异常准确性、视觉基础性、坐标轴感知、清晰度）筛选最佳候选作为监督目标。然后基于参数高效微调（如LoRA）训练VisAnomReasoner，使其能够从图表中直接预测异常区间并生成逐步解释。评估时与15个基线（包括通用VLM、专用LLM/VLM异常检测器、时间序列基础模型、经典检测器）对比，并在VisAnomBench和TSB-AD-U上进行跨基准泛化测试。

Key Results:

• VisAnomReasoner在VisAnomBench上精确率提升至少21.23个百分点，F1提升至少23.87个百分点。
• 在TSB-AD-U跨基准泛化测试中，精确率提升9.57个百分点，F1提升13.39个百分点。
• 消融实验表明推理监督同时提升异常定位与解释质量，VisAnomReasoner的解释在69.6%的情况下优于基模型。
• VisAnomBench包含2576条训练时间序列和740条测试时间序列，覆盖KPI、GutenTAG、UCR-EGI、UCR-TSAD四个基准。

Tech Stack:

• 视觉-语言模型（VLM）：GPT-4o、其他开源VLM用于生成候选解释
• 参数高效微调：LoRA（低秩适应）
• 奖励函数：复合奖励包括异常准确性（基于区间F1）、视觉基础性、坐标轴感知、清晰度
• 时间序列基准：KPI、GutenTAG、UCR-EGI、UCR-TSAD
• 评估指标：精确率、召回率、F1分数
• 图表渲染：将时间序列绘制为带坐标轴标签的图像

Strengths:

• 首次将时间序列异常检测与视觉-语言推理结合，提供可解释的异常定位。
• 构建了高质量带解释的基准数据集，填补了该领域监督数据缺失的空白。
• 模型参数高效，在极小规模下取得显著性能提升，适合实际部署。
• 跨基准泛化能力强，验证了方法的鲁棒性。
• 奖励引导的解释选择机制有效提升了训练数据质量。

Limitations:

• VisAnomBench主要基于合成或半合成数据，真实场景的异常解释可能更复杂。
• 模型依赖图表渲染质量，不同渲染风格可能影响性能。
• 仅支持区间级异常定位，未涉及点异常或流式检测。
• 解释生成质量受限于VLM的推理能力，可能仍存在幻觉或不够精确。
• 未与强化学习或世界模型等前沿方法结合，推理过程可能缺乏动态交互。

Relevance To Keywords:

• 原生多模态大模型：论文直接使用VLM进行时间序列图表理解，属于多模态大模型应用。
• 多模态大模型的理解和生成一体化：VisAnomReasoner同时进行异常定位（理解）和解释生成（生成），体现一体化。
• 表征学习：通过微调VLM学习时间序列图表的视觉表征与异常模式。
• 世界模型：时间序列异常检测可视为对系统动态的理解，但论文未明确构建世界模型。
• 强化学习：论文未使用强化学习，但奖励函数筛选解释可视为一种离线优化。
• 后训练：论文通过监督微调（后训练）适应特定任务，属于后训练范畴。
• Unify Models：论文统一了异常定位与解释生成，但未涉及模型统一框架。
• Model-Based RL：不直接相关。

尽管带可验证奖励的强化学习（RLVR）在确定性可验证的任务中有效，但许多视觉 - 语言任务仅部分可验证，需要多准则监督（例如感知细节、推理步骤和约束）。Rubrics（评分标准）为这种细粒度监督提供了自然接口，但其有效性取决于在线强化学习期间的执行准确性。我们提出带鲁棒评分标准奖励的强化学习（RLR^3），将 RLVR 从任务级别验证扩展至准则级别验证。RLR^3 通过两条执行路径路由实例特定的 Rubrics：一条是与确定性验证器配对的作为提取器的 LLM，另一条是用于不可验证准则的作为评判者的 LLM。为确保评分忠实性，RLR^3 引入了一种最小暴露策略，该策略向提取器隐藏真实标签，并向评判者隐藏图像。此外，RLR^3 采用层次聚合机制，优先处理关键准则而非附加准则，并在轨迹组（rollout groups）内缓解分数饱和问题。在 Qwen3-VL-30B-A3B 模型上跨越 15 个基准进行评估，RLR^3 始终优于 RLVR，相比基线模型提升了 4.7 分，并超过了官方的指令 - 思维（instruct-to-thinking）模型差距。控制审计证实，我们的确定性验证和最小暴露策略显著减少了可利用的假阳性。

While Reinforcement Learning with Verifiable Rewards (RLVR) is effective for deterministically checkable tasks, many vision-language tasks are partially verifiable, demanding multi-criteria supervision (e.g., perceptual details, reasoning steps, and constraints). Rubrics provide a natural interface for this fine-grained supervision, but their effectiveness depends on the execution accuracy during online RL. We propose Reinforcement Learning with Robust Rubric Rewards ($\text{RLR}^3$), extending RLVR from task-level verification to criterion-level verification. $\text{RLR}^3$ routes instance-specific rubrics through two execution paths: an LLM-as-an-extractor paired with a deterministic verifier, or an LLM-as-a-Judge for non-verifiable criteria. To ensure faithful scoring, $\text{RLR}^3$ introduce a minimal exposure strategy that masks ground truths from extractors and images from judges. Furthermore, $\text{RLR}^3$ employs hierarchical aggregation to prioritize essential criteria over additional criteria, and mitigates score saturation within rollout groups. Evaluated on Qwen3-VL-30B-A3B across 15 benchmarks, $\text{RLR}^3$ consistently outperforms RLVR, yielding a 4.7-point improvement over the base model and exceeding the official instruct-to-thinking model gap. Controlled audits confirm our deterministic verification and minimal exposure significantly reduce exploitable false positives.

评分理由: 论文核心在于强化学习中的奖励机制（Rubric Rewards），应用于多模态大模型（MLLM）的视觉语言任务，因此 MLLM 和多模态相关度高。虽然涉及强化学习，但重点在于奖励验证而非环境模型构建，故 model-based RL 为中等。未涉及模型统一、分词器或视觉编码器架构设计，世界模型也非重点，故相关度低。作者列表中未发现指定的专家作者。

Reinforcement Learning, Rubric Rewards, Vision-Language Tasks, LLM-as-a-Judge, Verifiable Rewards, Criterion-level Verification, Minimal Exposure Strategy

Chinese Title: 基于稳健评分标准的强化学习

Summary: 论文针对视觉-语言任务中部分可验证的问题，提出了一种基于稳健评分标准的强化学习框架（RLR3）。该框架将任务级验证扩展为标准级验证，通过实例特定的评分标准（rubric）对每个标准分别执行：可验证标准使用文本LLM提取器结合确定性验证器，模糊标准使用文本LLM评判器。为减少奖励被利用的风险，RLR3采用最小暴露策略，对提取器隐藏真实目标，对评判器隐藏图像。此外，通过层次聚合优先考虑关键标准，并在组内缓解分数饱和问题。在Qwen3-VL-30B-A3B模型上，RLR3在15个基准测试中一致优于RLVR，相比基础模型提升4.7分，超过官方指令到思考模型的差距。控制审计表明，确定性验证和最小暴露显著减少了可被利用的假阳性。

Innovations:

• 识别了视觉-语言任务中部分可验证的特性，并引入基于评分标准的强化学习范式。
• 提出RLR3框架，将可验证标准路由至提取+确定性验证路径，模糊标准路由至文本LLM评判路径，并采用最小暴露策略防止捷径。
• 通过分数重映射和层次聚合改进多标准奖励的信息性和可靠性，同时使用GenRM的RLVR训练提升奖励模型准确性。
• 在多个训练混合和基准测试上验证了RLR3相比RLVR的显著提升，并通过审计证明了确定性验证和最小暴露的有效性。

Methodology: 论文采用GRPO（组相对策略优化）进行在线策略优化，无KL惩罚。对于每个输入，采样一组响应，计算每个响应的最终标量奖励。RLR3的核心包括：1）评分标准设计：每个标准包含描述、类型（关键/附加）、权重、验证器标签和参考对象；2）标准执行：可验证标准由文本LLM提取器提取值后经确定性验证器打分，模糊标准由文本LLM评判器直接给出离散分数；3）奖励聚合：先对组内原始分数进行解耦归一化（基于阈值τ调整下界和上界），再通过层次聚合优先关键标准，并处理重复生成、语言不一致等违规。

Key Results:

• 在Qwen3-VL-30B-A3B上，RLR3在三个开源训练混合（ViRL、OpenMMR、DeepVision）上的宏平均分别从76.4提升至77.7、76.4至78.1、77.4至78.2。
• RLR3相比基础模型提升4.7分，超过官方指令到思考模型的差距。
• 奖励模型审计显示，确定性验证和最小暴露减少了失败响应上的假阳性，同时不损害评分准确性。
• RLVR训练的GenRM在保留的奖励模型测试集上达到95.0%的标准级准确率。

Tech Stack:

• Group Relative Policy Optimization (GRPO)
• LLM-as-an-Extractor (文本LLM提取器)
• LLM-as-a-Judge (文本LLM评判器)
• Deterministic Verifier (确定性验证器，支持文本、表达式、时间、列表、边界框、点等类型)
• Generative Reward Model (GenRM)
• Minimal Exposure Strategy (最小暴露策略)
• Hierarchical Aggregation (层次聚合)
• Score Remapping (分数重映射)
• Multi-teacher Aggregation Pipeline (多教师聚合管道)

Strengths:

• 将RLVR从任务级扩展到标准级，适用于部分可验证的视觉-语言任务，扩展了强化学习的应用范围。
• 通过最小暴露策略和确定性验证路径，有效防止奖励被利用，提高了奖励的鲁棒性。
• 层次聚合和分数重映射增强了多标准奖励的区分度和信息性。
• 在多个基准测试上取得一致提升，且通过审计验证了方法的有效性。

Limitations:

• 评分标准的生成依赖多教师聚合管道，可能引入额外计算开销和依赖高质量基础模型。
• 对于完全不可验证的任务（如开放式生成），模糊标准路径仍依赖LLM评判，可能存在主观偏差。
• 论文仅在单一模型（Qwen3-VL-30B-A3B）上验证，泛化性需进一步测试。
• 未详细讨论评分标准生成的质量控制及对最终性能的影响。

Relevance To Keywords:

• 强化学习：论文核心是使用GRPO进行策略优化，属于强化学习后训练方法。
• 后训练：RLR3作为后训练技术，提升多模态大模型在视觉-语言任务上的表现。
• 原生多模态大模型：实验基于Qwen3-VL，属于原生多模态大模型。
• 多模态大模型的理解和生成一体化：论文涉及视觉-语言理解任务，但未直接涉及生成一体化。
• 表征学习：论文未直接涉及表征学习。
• 世界模型：论文未涉及世界模型。
• 模型基于RL：论文使用强化学习优化模型，属于基于RL的模型训练。

理解原本无害的图像 - 文本对之间的交互如何产生危害，需要超越表面特征的意图感知跨模态推理。现有的视觉 - 语言模型（VLMs）擅长基于感知线索的字面推理，但往往无法推导出依赖于隐式、上下文相关推理的有害语义。为了评估 VLMs 在组合式危害检测与推理方面的能力，我们引入了多模态语用危害解释（MuPHI），这是一个包含图像 - 文本对的数据集，其中危害编码于细微的多模态线索中。MuPHI 涵盖多种危害类别，并包含标注的危害理由，用于评估 VLMs 的推理链。为了同时提升 VLMs 的检测与推理能力，我们提出了 MuPHIRM，这是一种推理增强训练框架，通过优化多视角奖励来学习联合语义。MuPHIRM 提升了 VLMs 的危害检测与推理质量，同时在分布外鲁棒性方面优于训练基线和推理时基线。我们的发现表明，面向推理的奖励优化为构建能够超越特定基准捷径进行泛化的多模态系统提供了一条有前景的方向。

Understanding how harm emerges from interaction between otherwise benign image-text pairs requires intent-aware cross-modal reasoning beyond surface-level features. Existing vision-language models (VLMs) excel at literal reasoning over perceptual cues but often fail to derive harmful semantics that rely on implicit, context-dependent reasoning. To evaluate VLMs on compositional harm detection and reasoning, we introduce Multimodal Pragmatic Harm Interpretation (MuPHI), a dataset containing image-text pairs where harm is encoded in subtle multimodal cues. MuPHI spans diverse harm categories and includes annotated harm rationales for assessing VLM reasoning chains. To improve both detection and reasoning in VLMs, we propose MuPHIRM, a reasoning-augmented training framework which learns joint semantics by optimizing multi-perspective rewards. MuPHIRM improves both harm detection and reasoning quality of VLMs while demonstrating superior out-of-distribution robustness compared to both trained and inference-time baselines. Our findings suggest that reasoning-oriented reward optimization offers a promising direction towards building multimodal systems that generalize beyond benchmark-specific shortcuts.

评分理由: 论文核心在于多模态大模型（VLMs）的隐性危害推理与奖励优化，因此 MultiModal 和 MLLM 高度相关；model-based RL 涉及奖励优化但非传统模型强化学习，相关性中等；Unify Models、Tokenizer、Visual Encoder、World Models 在文中未作为核心贡献或讨论点，相关性较低。作者列表中不包含指定的专家，无加分。

Multimodal Harm Reasoning, Reward Optimization, Vision-Language Models, MuPHI Dataset, Cross-modal Reasoning, Implicit Semantics, Out-of-distribution Robustness

Chinese Title: MuPHI：通过语义基础奖励优化学习隐式多模态有害推理

Summary: 本文针对现有视觉语言模型（VLM）在隐式多模态有害内容检测与推理上的不足，提出MuPHI数据集和MuPHIRM训练框架。MuPHI包含图像-文本对，其中有害意图通过跨模态组合语义隐式编码，并附带推理注释。MuPHIRM结合监督微调与基于GRPO的奖励优化，设计多视角奖励以鼓励模型对联合语义进行推理。实验表明，MuPHIRM在有害检测和推理质量上优于现有基线，并展现出更强的跨数据集泛化能力。研究揭示了面向推理的奖励优化是构建泛化多模态安全系统的有效方向。

Innovations:

• 构建MuPHI数据集，包含隐式多模态有害样本及推理注释，避免外部知识依赖，聚焦跨模态组合语义。
• 提出MuPHIRM训练框架，结合监督微调与GRPO奖励优化，设计语义基础的多视角奖励（视觉定位、文本内容、决策一致性、跨模态交互）。
• 在跨数据集和跨类别设置下验证了模型的鲁棒泛化能力，优于传统标签微调和推理时基线。
• 采用半自动流水线生成大规模推理注释，利用多个VLM生成候选理由并由总结模型聚合，可迁移至其他数据集。

Methodology: 首先从MPUP数据集筛选描述-标题对，使用FLUX.1-schnell生成图像并叠加文本，通过GPT-Image-11或Qwen2.5-VL-72B生成良性对照样本，经人工审核构建MuPHI数据集。推理注释采用半自动流水线：三个VLM（Gemma-3-27B-it、Qwen2.5-VL-32B、Pixtral-12B）独立生成理由，过滤后由Qwen2.5-VL-72B聚合为银标准理由。训练阶段使用MuPHIRM：先进行监督微调，再采用GRPO优化多视角奖励函数，奖励包括视觉定位、文本内容、决策一致性和跨模态交互得分。

Key Results:

• MuPHIRM在有害检测准确率和推理质量上均优于监督微调基线及推理时基线（如CoT、自一致性）。
• 跨数据集迁移实验中，MuPHIRM的宏F1下降幅度显著小于传统标签微调模型，表明更好的泛化能力。
• 在跨类别设置下，MuPHIRM对未见过的有害类别仍保持较高检测性能。
• 推理注释评估显示，MuPHIRM生成的推理在视觉定位、文本理解和跨模态交互维度上得分更高。

Tech Stack:

• FLUX.1-schnell（图像生成）
• LLaMA-3-8B-Instruct（源过滤）
• GPT-Image-11（良性文本生成）
• Qwen2.5-VL-72B-Instruct（良性文本生成、理由聚合）
• Gemma-3-27B-it、Qwen2.5-VL-32B-Instruct、Pixtral-12B（理由生成）
• GRPO（Group Relative Policy Optimization）
• Python PIL（图像文本叠加）

Strengths:

• 数据集设计巧妙，有害意图完全来自图像-文本组合，避免外部知识混淆，便于评估真实跨模态推理。
• 奖励函数设计语义基础，覆盖多个推理维度，有效引导模型学习隐式有害语义。
• 实验设置全面，包括跨数据集、跨类别和推理质量评估，验证了方法的泛化性和鲁棒性。
• 半自动推理注释流水线可扩展，降低人工成本。

Limitations:

• 数据集规模较小（623有害+971良性），可能限制模型学习复杂模式。
• 图像生成依赖T2I模型，部分样本质量仍存在瑕疵，可能引入噪声。
• 奖励函数设计依赖人工定义维度，可能未覆盖所有隐式有害推理类型。
• 仅评估了7B参数级别的VLM，更大模型的效果未知。

Relevance To Keywords:

• 原生多模态大模型：论文聚焦VLM在隐式有害推理上的能力提升，与多模态大模型后训练相关。
• 表征学习：通过奖励优化引导模型学习跨模态联合语义表征。
• 世界模型：隐式有害推理需要理解图像-文本组合的隐含意义，涉及世界知识。
• 强化学习：采用GRPO进行策略优化，属于强化学习在后训练中的应用。
• 后训练：MuPHIRM框架属于后训练阶段，结合监督微调和强化学习。

自然的人类对话是全双工且视听的：人们同时说话与倾听，同时持续地解读和生成非语言线索，例如点头、微笑和手势。为了支持成功的人机交互，智能体必须建模全双工视听对话；然而，现有的全双工基准仅评估语音。在这项工作中，我们提出了 VideoFDB，这是首个用于评估全双工视听到视听（AV2AV）对话智能体的基准。VideoFDB 的贡献包括：(i) 237 个双人对话片段，涵盖来自真实视频通话的 11 种非语言对话动态；(ii) 一种将感知行为与生成行为分离的分类法；(iii) 一种基于评分标准的语言模型作为裁判（LM-as-judge）评估框架，该框架拥有可解释的维度，用于评估相对于非语言对话动态的对话质量。在开源和闭源的视觉 - 语音智能体上，我们发现系统性的失败模式：字幕坍塌（captioning collapse）和视觉流忽视（visual-stream ignorance），并且我们表明当前系统利用视觉进行显式的视觉问答，却无法实现自然对话所需的流式联合视听对齐（streaming joint audiovisual grounding）。我们进一步评估了级联语音到化身（speech-to-avatar）系统，发现其架构从根本上阻碍了全双工非语言线索的产生。作为首个全双工 AV2AV 交互基准，VideoFDB 为系统评估奠定了基础，我们希望它能加速下一代多模态对话智能体的进步与发展。

Natural human conversation is full-duplex and audio-visual: people simultaneously speak and listen while continuously interpreting and producing nonverbal cues, such as nods, smiles, and gestures. To support successful human-agent interaction, agents must model full-duplex audiovisual conversation; however, existing full-duplex benchmarks evaluate only speech. In this work, we present VideoFDB, the first benchmark to evaluate full-duplex audio-visual-to-audio-visual (AV2AV) conversational agents. VideoFDB contributes (i) 237 dyadic clips spanning 11 nonverbal conversational dynamics from real-world video calls, (ii) a taxonomy separating perception from generation behaviors, and (iii) a rubric-based LM-as-judge evaluation framework with interpretable axes for assessing conversational quality with respect to nonverbal conversational dynamics. Across open- and closed-source vision-speech agents, we find systematic failure modes: captioning collapse and visual-stream ignorance, and we show that current systems exploit vision for explicit visual question answering but not for the streaming joint audiovisual grounding required in natural conversation. We further evaluate cascaded speech-to-avatar systems and find that their architecture fundamentally precludes the production of full-duplex nonverbal cues. As the first benchmark for full-duplex AV2AV interaction, VideoFDB establishes a foundation for systematic evaluation and, we hope, will accelerate the advancement and development of next-generation multimodal conversational agents.

评分理由: The paper focuses on evaluating full-duplex audio-visual conversational agents, making 'MultiModal' highly relevant. 'Visual Encoder' and 'MLLM' are moderately relevant as the evaluated agents involve vision and multimodal understanding. Other keywords like 'Unify Models', 'Tokenizer', 'World Models', and 'model-based RL' are not central to this evaluation benchmark. No expert authors from the specified list are found in the authorship.

Full-Duplex, Vision-Speech, Conversational Agents, Evaluation Benchmark, Nonverbal Cues, AV2AV, Multimodal Interaction

Chinese Title: VideoFDB：评估对话代理的全双工视听能力

Summary: 本文提出VideoFDB，首个评估全双工视听对话代理的基准。自然人类对话是全双工且视听并行的：人们同时说话和倾听，并持续产生和解读非语言线索（如点头、微笑、手势）。现有全双工基准仅评估语音，而VideoFDB填补了这一空白。基准包含237个来自真实视频通话的对话片段，涵盖11种非语言对话动态；提出了将感知与生成行为分离的分类法；并设计了基于评分规则的LM-as-judge评估框架，从可解释的维度评估对话质量。作者评估了多个开源和闭源视听代理，发现系统存在系统性失败模式：字幕化崩溃和视觉流忽视。当前系统仅在显式视觉问答时利用视觉，而在自然对话所需的流式联合视听接地中忽略视觉。级联语音到虚拟形象系统由于架构限制无法产生全双工非语言线索。VideoFDB为系统评估奠定基础，有望加速下一代多模态对话代理的发展。

Innovations:

• 首个评估全双工视听对话（AV2AV）的基准，涵盖11种非语言对话动态。
• 提出感知与生成行为分离的分类法，分别评估代理的感知能力和生成能力。
• 设计基于评分规则的LM-as-judge评估框架，提供可解释的评估维度（流畅性、对话流、语义接地、情感匹配、非语言线索适当性）。
• 系统评估了开源和闭源全双工视听代理，揭示了字幕化崩溃、视觉流忽视等失败模式。
• 分析了级联语音到虚拟形象系统的架构局限，指出其无法在用户说话期间插入非语言线索。

Methodology: 论文采用以下方法：1) 从真实视频通话中收集237个对话片段，人工标注11种非语言对话动态（如注视回避、适应行为、非语言打断、情感显示、笑声等）。2) 将评估分为感知和生成两个类别，每个类别包含多个评估轴（感知：流畅性、对话流、语义接地；生成：流畅性、情感匹配、非语言线索适当性）。3) 使用基于大语言模型的评分器（LM-as-judge）对代理响应进行评分，评分器根据预定义规则和示例进行判断。4) 评估多个现有系统：开源（如Qwen3-Omni、MoshiVis）和闭源（如Gemini Live、GPT Realtime），以及级联语音到虚拟形象系统。5) 进行对比实验（AV2A vs A2A）以分析视觉输入的使用情况。

Key Results:

• 当前全双工视听代理在感知非语言动态方面表现不佳，常忽略视觉线索而退化为字幕式回复。
• 视觉输入主要用于显式视觉问答，但在自然对话中未被用于流式视听接地。
• 级联语音到虚拟形象系统保持轮流纪律，但无法在用户说话期间插入非语言线索，延迟比人类真实反应慢2.8-3.5秒。
• 随着用户视频采样率增加，代理的语音质量下降。
• 开源和闭源系统均存在系统性失败模式，表明全双工视听对话能力仍有很大提升空间。

Tech Stack:

• 全双工语音模型（Moshi、dGSLM、OmniFlatten、SyncLLM、SALM、PersonaPlex）
• 多模态大语言模型（Gemini 2.5/3.1 Live、GPT Realtime、Qwen3-Omni、MoshiVis、Video-SALMONN）
• 级联语音到虚拟形象系统（音频驱动肖像动画、手势生成）
• LM-as-judge评估框架（基于大语言模型的评分器）
• 非语言对话动态分类法（基于人类沟通研究[11,15]）
• 人工标注的237个对话片段数据集

Strengths:

• 填补了全双工视听对话评估的空白，是首个此类基准。
• 基于真实视频通话数据，具有生态效度。
• 评估框架提供可解释的多维度评分，不仅关注语义正确性。
• 系统评估了多种现有系统，揭示了重要的失败模式。
• 分类法清晰区分感知和生成能力，便于针对性改进。

Limitations:

• 数据集规模较小（237个片段），可能不足以覆盖所有对话动态。
• 评估依赖LM-as-judge，可能引入大语言模型的偏见。
• 未提供端到端全双工视听生成系统（AV2AV）的评估，因为目前尚无公开可用的此类系统。
• 仅评估英语对话，未考虑多语言和文化差异。
• 评估轴的定义可能不够完备，需要进一步细化。

Relevance To Keywords:

• 原生多模态大模型：论文评估的Gemini Live、GPT Realtime、Qwen3-Omni等均为原生多模态大模型，直接处理音频和视频输入并输出语音。
• 多模态大模型的理解和生成一体化：基准评估了代理同时理解和生成视听信号的能力，涉及感知和生成两个维度。
• 表征学习：论文未直接涉及表征学习，但评估结果揭示了视觉表征在对话中的利用不足。
• 世界模型：论文未直接涉及世界模型，但全双工对话需要代理构建对交互情境的实时理解，与世界模型相关。
• 强化学习：论文未涉及强化学习，但后训练（如RLHF）可能用于改进代理的对话行为。
• 后训练：论文未讨论后训练方法，但评估结果可指导后训练策略。

近期的大型音频语言模型（LALMs）在理解音乐内容方面展现出了有前景的能力。然而，它们的响应是否基于音频的正确时间片段仍未被充分探索。这种局限性对于音乐理解尤为关键，因为关键信息通常以时间局部化的事件形式出现，例如乐器进入和节奏转换。为了解决这一差距，我们引入了 MusTBENCH，这是一个经音乐专家验证的基准，旨在通过五个基于时间的问答任务来评估 LALMs 中的时间定位能力。为了进一步改进现有模型的时间定位能力，我们提出了 MusT，这是一种新颖的四阶段时间优化方案，涵盖音乐编码器适配、大语言模型（LLM）适配、LLM 监督微调以及基于强化学习的优化。在 MusTBENCH 上的实验表明，现有的 LALMs 在精确的时间定位方面存在困难，而 MusT 相对于强基线带来了显著改进。这些结果确立了时间定位是当前 LALMs 中缺失的关键能力，并将 MusTBENCH 定位为未来基于时间定位的音乐理解研究中的一个具有挑战性的基准。

Recent Large Audio-Language Models (LALMs) have demonstrated promising abilities in understanding musical content. However, whether their responses are grounded in the correct temporal regions of the audio remains underexplored. This limitation is particularly critical for music understanding, where key information often occurs as temporally localized events, such as instrument entries and rhythmic transitions. To address this gap, we introduce MusTBENCH, a music-expert-validated benchmark designed to evaluate temporal grounding in LALMs through five temporally grounded question-answering tasks. To further improve temporal grounding in existing models, we propose MusT, a novel four-stage temporal optimization recipe spanning music encoder adaptation, LLM adaptation, LLM supervised fine-tuning, and RL-based optimization. Experiments on MusTBENCH show that existing LALMs struggle with precise temporal grounding, while MusT brings significant improvements over strong baselines. These results establish temporal grounding as a key missing capability in current LALMs and position MusTBENCH as a challenging benchmark for future research in temporally grounded music understanding.

评分理由: 论文核心为音乐大语言模型（LALMs）的时间对齐评估与优化，属于多模态大语言模型（MLLM）和多模态（MultiModal）领域，故相关度高。Visual Encoder 完全不相关，因论文处理音频数据。Tokenizer 和 Unify Models 未在摘要中作为核心创新点提及，相关性低。World Models 和 model-based RL 仅部分相关，因摘要提及 RL 优化但未明确涉及世界模型构建或模型强化学习的具体机制。

MusTBENCH, Temporal Grounding, Music LALMs, Benchmarking, RL-based Optimization, Music Encoder, LLM Adaptation

Chinese Title: MusTBENCH：音乐大语言模型时间定位的基准测试与推进

Summary: 本文指出当前大型音频-语言模型（LALMs）在音乐理解中缺乏时间定位能力，即无法将文本描述与音频中的具体时间点或区间关联。为此，作者构建了由音乐专家验证的基准测试MUSTBENCH，包含五个时间定位问答任务：时间源定位、局部过渡识别、过渡感知描述、全局时间排序和情绪轨迹推理。实验表明现有模型在这些任务上表现不佳，存在时间偏差和幻觉。为提升时间定位能力，作者提出MUST四阶段优化方案：音乐编码器适配、大语言模型适配（带时间戳音乐字幕）、监督式时间问答微调以及基于强化学习的优化。在MUSTBENCH上，MUST显著优于强基线模型。该工作揭示了时间定位是当前LALMs缺失的关键能力，并为未来研究提供了挑战性基准和实用训练方案。

Innovations:

• 首次识别并定义音乐大语言模型中的时间定位缺失能力，并构建专家验证的基准MUSTBENCH。
• 提出五个时间定位问答任务（TSG、LTR、TAD、GTO、MTR），全面评估模型对音乐事件的时间感知。
• 设计四阶段时间优化方案MUST，涵盖编码器适配、LLM适配、监督微调和强化学习优化。
• 通过实验证明现有LALMs在时间定位上系统性失败，而MUST带来显著提升。

Methodology: 首先构建时间戳音乐字幕数据集：使用结构音乐分割模型获得片段边界，训练MERT-based情绪变化预测器，提取多种音乐特征生成片段级静态字幕和边界级动态字幕，并通过交叉验证和重写确保质量。然后基于该数据集生成五种QA任务：TSG利用MIDI对齐的乐器轨道和源分离后的声乐轨道标注起止时间；LTR、TAD、GTO利用时间戳字幕构造选择题、开放描述和排序题；MTR利用情绪变化预测器标注情绪极值区间。所有QA对经音乐专家验证。最后提出MUST四阶段训练：1) 音乐编码器适配（对比学习）；2) LLM适配（时间戳音乐字幕预训练）；3) 监督式时间问答微调；4) 基于强化学习（RL）的优化。

Key Results:

• 现有LALMs在MUSTBENCH上表现有限，尤其在TSG任务中系统性地失败，预测常坍缩到60s或120s等粗糙时间锚点，甚至生成超出音频时长的无效时间戳。
• MUST四阶段优化方案在五个任务上均显著超越强基线模型（如Qwen3 Omni、Music Flamingo等），归一化性能提升明显。
• 时间定位是当前LALMs缺失的关键能力，MUSTBENCH可作为未来研究的挑战性基准。

Tech Stack:

• 结构音乐分割模型（Hao et al., 2025）
• MERT（Li et al., 2024）用于情绪变化预测
• 源分离模型（Rouard et al., 2023）
• 对比学习（音乐编码器适配）
• 监督微调（SFT）
• 强化学习（RL）优化
• MTG-Jamendo数据集（Bogdanov et al., 2019）
• Slakh2100数据集（Manilow et al., 2019）

Strengths:

• 问题定义清晰，聚焦于音乐理解中未被充分研究的时间定位能力。
• 基准构建严谨，经音乐专家验证，任务设计覆盖多种时间推理维度。
• 提出的MUST训练方案具有实用性和可迁移性，能显著提升现有模型。
• 实验分析深入，揭示了模型时间偏差和幻觉的具体表现。

Limitations:

• 基准规模有限（1264个QA对），可能不足以覆盖所有音乐场景。
• 训练数据依赖自动标注和专家验证，成本较高，且可能存在标注噪声。
• MUST方案仅在特定模型上验证，泛化性需进一步测试。
• 未探讨模型在更细粒度时间定位（如毫秒级）上的表现。

Relevance To Keywords:

• 原生多模态大模型：论文研究音乐LLM的时间定位，属于多模态大模型在音频领域的应用。
• 表征学习：MUST中音乐编码器适配使用对比学习，属于表征学习范畴。
• 强化学习：MUST第四阶段采用RL优化，直接提升时间定位能力。
• 后训练：MUST四阶段方案包括适配、微调和RL优化，属于后训练技术。
• 世界模型：论文未直接涉及世界模型，但时间定位可视为模型对音频世界状态的理解。

受益于视觉语言模型（VLMs，如 CLIP）的泛化能力，许多零样本/少样本异常检测（AD）方法已在各类数据集上取得了卓越的性能。然而，这些方法需要在大型辅助数据集上进行大量训练以适应异常检测任务，且其推理主要依赖于基于视觉 - 文本嵌入相似度的异常分数，缺乏推理能力去检测那些需要深入上下文理解的复杂异常。为了解决这一局限性，我们提出了一种名为 AnomalyAgent 的新型无需训练的智能体框架，该框架利用多模态大语言模型（MLLMs）先进的推理与泛化能力来进行异常检测。其核心组件包括：1) 一个全面的以异常为中心的工具集，能够在零样本设置中实现自适应的、基于 MLLMs 驱动的智能体异常推理；2) 一个定制的记忆模块，利用少样本上下文参考示例来支撑异常推理。我们将评估范围从广泛基准中简单异常（如表面缺陷（裂纹、凹痕）及清晰病变）的检测，扩展至更多样化的异常类型，例如物流和制造场景中的逻辑/上下文异常。广泛的实验结果表明，与无需训练的基于 VLM 的异常检测方法及通用智能体方法相比，我们的 AnomalyAgent 实现了显著更优的性能，凸显了其在零样本及少样本异常检测设置中卓越的泛化能力。代码实现可在此地址获取。

Benefiting from generalizability of vision-language models (VLMs) such as CLIP, many zero-/few-shot anomaly detection (AD) approaches have achieved impressive detection performance across various datasets. Nevertheless, they require substantial training on large auxiliary datasets to adapt VLMs to anomaly detection, and their inference largely relies on visual-text embedding similarity-based anomaly scores, lacking reasoning abilities to detect complex anomalies that require in-depth contextual understanding. To address this limitation, we propose \textbf{AnomalyAgent}, a novel training-free, agentic framework that leverages the advanced reasoning and generalization capabilities of multimodal large language models (MLLMs) for anomaly detection. The key ingredients include \textbf{1)} a comprehensive anomaly-centric toolset that enables adaptive MLLM-driven, agentic anomaly reasoning in zero-shot settings, and \textbf{2)} a customized memory module that grounds anomaly reasoning with few-shot, in-context reference examples. We extend evaluation beyond the detection of simple anomalies (e.g., surface defects like cracks and dents and clear lesions) in widely used benchmarks to more diverse types of anomalies such as logical/contextual anomalies in logistics and manufacturing settings. Extensive experiment results demonstrate that our AnomalyAgent achieves substantially better performance compared to training-free VLM-based AD and generic agentic methods, highlighting its superior generalization capability in both zero-shot and few-shot anomaly detection settings. The code implementation can be find at this address.

评分理由: The paper centers on MLLM and MultiModal technologies for anomaly detection, yielding high scores. It does not address Tokenizers, Visual Encoders, World Models, or Model-based RL directly, resulting in low scores. Unify Models is moderately relevant as MLLMs unify vision and language. No expert authors from the specified list were found. The weighted total score is 40.5, exceeding the dynamic passing score of 27.8.

AnomalyAgent, Training-Free, Agentic Models, Zero-/Few-Shot, Anomaly Detection, MLLM, Reasoning, Memory Module

Chinese Title: AnomalyAgent: 无需训练的自主体模型用于零样本/少样本异常检测

Summary: 本文提出AnomalyAgent，一种完全无需训练的自主体框架，利用多模态大语言模型（MLLM）的推理和泛化能力进行异常检测。针对现有基于视觉-语言模型（VLM）的方法依赖辅助数据集训练且缺乏推理能力的问题，AnomalyAgent通过异常中心工具集（包括通用视觉工具和模板工具）实现假设驱动探索、反事实验证和反思推理，并在少样本场景下引入基于自校准的记忆模块，将参考样本转化为上下文记忆。实验在工业检测、医学影像和物流等多个场景中验证，AnomalyAgent在零样本和少样本设置下均显著优于无需训练的VLM方法和通用自主体方法，展现了强大的泛化能力。

Innovations:

• 提出完全无需训练的自主体框架，将异常检测从基于相似性评分转向工具与记忆增强的异常推理，实现无阈值决策。
• 设计异常中心工具集，包含通用视觉工具（去噪、去模糊、超分辨率等）和模板工具（通用模板分析、类别特定反事实模板分析），支持自适应证据收集与验证。
• 引入基于自校准的记忆模块，将少样本正常参考样本转化为可操作的上下文记忆，实现推理过程中的自校准。
• 构建涵盖工业、医学、物流等多类型异常的综合评估基准，验证方法在复杂异常（如逻辑/上下文异常）上的有效性。

Methodology: AnomalyAgent采用规划-推理-反思的自主管道。输入图像和类别名称后，首先通过模板工具生成通用模板分析和类别特定反事实模板分析。规划器根据分析结果选择并调用合适的视觉工具增强异常相关证据。增强后的图像、原始图像和模板分析送入推理器进行判断。若未满足终止条件，反思器将当前信息与推理器思考结果结合，进入下一轮循环。少样本场景下，记忆模块通过自校准将参考样本转化为记忆，指导推理过程。整体无需任何训练或参数更新。

Key Results: 在多个基准数据集上，AnomalyAgent在零样本和少样本异常检测中均取得优于无需训练的VLM方法（如WinCLIP）和通用自主体方法的性能。尤其在逻辑/上下文异常（如物流场景中的物体排列异常）上表现突出，证明了其推理能力。实验表明，工具集和记忆模块对性能提升至关重要。

Tech Stack:

• 多模态大语言模型（MLLM）
• CLIP（视觉-语言模型）
• 图像处理工具：去噪、去模糊、超分辨率、缩放、亮度调整
• 模板工具：通用模板分析、类别特定反事实模板分析
• 自校准记忆机制
• 规划-推理-反思管道

Strengths:

• 完全无需训练，避免了辅助数据集依赖和参数微调，泛化性强。
• 引入推理能力，能处理需要上下文理解的复杂异常（如逻辑异常）。
• 工具集和记忆模块设计针对异常检测任务，具有高度定制性。
• 在多个领域和异常类型上验证了有效性，基准全面。

Limitations:

• 依赖MLLM的推理能力，可能受限于模型本身的质量和计算开销。
• 工具调用和反思循环可能增加推理时间，实时性有待优化。
• 少样本记忆模块需要少量正常样本，在完全无样本场景下仅依赖零样本能力。
• 未与需要训练的最先进方法（如AnomalyCLIP）进行对比，仅比较了无需训练的方法。

Relevance To Keywords:

• Unify Models: 论文使用多模态大语言模型统一视觉和语言推理，但未涉及世界模型或表征学习。
• World Models: 不直接相关。
• Representation Learning: 不直接相关，论文不学习表征而是利用预训练模型。
• Model-Based RL: 不相关。
• 原生多模态大模型: 论文基于MLLM，属于原生多模态大模型的应用。
• 多模态大模型的理解和生成一体化: 论文主要利用MLLM的理解和推理能力，未涉及生成。
• 表征学习: 不直接相关。
• 世界模型: 不相关。
• 强化学习: 不相关。
• 后训练: 论文强调无需训练，与后训练无关。

尽管近期取得了进展，基于大语言模型（LLM）的 Web 代理仍然面临探索受限、关键步骤遗漏以及对任务约束敏感的问题。先前工作表明，许多此类失败源于规划方面的不足，然而替代性的自然语言计划表示的影响尚未得到探究。为解决这一问题，我们引入了 PlanAhead，这是一种静态规划器 - 执行器框架，用于评估计划表示对代理性能的影响。我们首先将 WebArena 任务自动划分为 3 个难度级别，从而实现无需人工标注的一致性难度分级。随后，我们在被归类为困难的任务上，系统性地评估了 4 种不同的计划表示：顺序子目标、叙述式、伪代码和检查清单；评估涵盖了不同家族的多模态大语言模型驱动的代理（OpenAI、Alibaba 和 Google）。为应对随机变异性，我们引入了两种新的评估指标：达成率（AR）和已解决任务一致性（STC）。结果表明，计划制定方式以及生成计划的底层大语言模型，均显著影响 Web 代理的鲁棒性和任务成功率。

Despite recent advances, LLM-based web agents still struggle with limited exploration, omission of critical steps, and sensitivity to task constraints. Prior work suggests that many of these failures stem from weaknesses in planning, yet the impact of alternative natural language plan representation remains unexplored. To address this, we introduce PlanAhead, a static planner-executor framework that evaluates the impact of plan representation in agent performance. We first automatically categorize WebArena tasks into 3 difficulty levels, enabling consistent difficulty grading without human annotation. Then we systematically evaluate 4 different plan representations on the tasks categorized as hard: sequential subgoals, narrative, pseudocode, and checklist; across different families of multimodal LLM powered agents (OpenAI, Alibaba, and Google). To account for stochastic variability, we introduce two novel evaluation metrics: Achievement Rate (AR) and Solved-Task Consistency (STC). Our results show that both, the plan formulation and the underlying LLM generating the plan, significantly influence web-agent robustness and task success.

评分理由: 论文核心在于计划表示（Planning Representations）对 LLM 网络代理性能的影响。与 MLLM 和 MultiModal 高度相关（代理基于多模态大模型），与 model-based RL 中度相关（涉及计划生成）。与 Unify Models、Tokenizer、Visual Encoder、World Models 无直接关联。未发现指定专家作者，无加分。加权总分 39.0，高于动态及格分 27.8。

Planning Representations, LLM Web Agents, PlanAhead, Multimodal LLM, Plan Formulation, Task Success, Empirical Study

Chinese Title: 计划方式重要吗？LLM网络代理计划表示的实证研究

Summary: 本文针对基于大语言模型（LLM）的网络代理在探索不足、关键步骤遗漏及对任务约束敏感等问题，提出PLANAHEAD框架，系统评估不同计划表示对代理性能的影响。研究首先将WebArena任务自动划分为三个难度等级（Easy、Medium、Hard），无需人工标注；随后在Hard任务上比较四种计划表示：顺序子目标、叙述、伪代码和检查表，并使用多种多模态LLM（GPT-4.1-mini、Qwen-2.5-VL-72B、Gemini 2.5 Flash）作为规划器和执行器。为捕捉随机性，引入两个新指标：Achievement Rate（AR）和Solved-Task Consistency（STC）。结果表明，计划表示形式和底层LLM均显著影响代理的鲁棒性和任务成功率，不同LLM对特定表示有不同偏好。

Innovations:

• 提出自动任务难度分级管道，无需人工标注即可将WebArena任务分为Easy、Medium、Hard三级。
• 引入三种新的自然语言计划表示：叙述、伪代码和需求检查表，并与标准顺序子目标进行比较。
• 提出两个新评估指标：Achievement Rate（AR）衡量任务在多轮运行中是否至少成功一次，Solved-Task Consistency（STC）衡量已达成任务的跨运行一致性。
• 系统性地跨多个LLM家族（OpenAI、Alibaba、Google）评估计划表示的影响，并分析规划器-执行器组合效果。

Methodology: 采用静态规划器-执行器框架（PLANAHEAD）：规划器LLM根据任务目标和初始浏览器截图生成一次静态计划，执行器LLM结合当前浏览器状态和计划逐步预测低层动作。任务难度分级使用BrowserGym的GenericAgent，以5个不同LLM骨干、每模型5次独立试验（温度0.4）进行，根据成功率划分难度。在158个Hard任务上，对4种计划表示（顺序子目标、检查表、伪代码、叙述）进行实验，使用3种多模态LLM作为规划器和执行器，共9种组合，每任务运行5次，温度规划器0.6、执行器0。动态规划基线为GenericAgent的UsePlan能力。

Key Results:

• 不同LLM对计划表示有显著偏好：GPT-4.1-mini在叙述表示下表现最佳（AR=10.7, STC=47），Gemini 2.5 Flash在伪代码表示下表现最佳（AR=8.2, STC=43），Qwen-2.5-VL-72B在检查表表示下表现最佳（AR=5.1, STC=75）。
• 计划表示和底层LLM均显著影响网络代理的鲁棒性和任务成功率。
• 静态规划与动态规划相比，在某些配置下表现更好，但整体差异不大。
• 新指标AR和STC能更细致地反映多轮运行下的任务可达性和一致性。

Tech Stack:

• LLM: GPT-4.1-mini, Qwen-2.5-VL-72B, Gemini 2.5 Flash
• 基准环境: WebArena (通过BrowserGym)
• 评估指标: Success Rate (SR), Achievement Rate (AR), Solved-Task Consistency (STC)
• 规划表示: 顺序子目标、检查表、伪代码、叙述
• 框架: PLANAHEAD (静态规划器-执行器)
• 动态规划基线: GenericAgent UsePlan
• 温度参数: 规划器0.6, 执行器0, 难度分级0.4

Strengths:

• 系统性地实证研究了计划表示对LLM网络代理的影响，填补了该领域空白。
• 提出自动难度分级方法，提高了实验的可重复性和客观性。
• 引入AR和STC两个新指标，更全面地评估多轮随机运行下的性能。
• 跨多个LLM家族和多种规划器-执行器组合进行实验，结论具有广泛性。
• 代码和数据集公开，便于复现和后续研究。

Limitations:

• 仅使用静态规划，未探索动态规划（如反应式或主动式规划）对表示的影响。
• 实验仅聚焦于Hard任务，未在Easy和Medium任务上全面比较表示效果。
• 仅使用WebArena单一基准，结论在其他环境（如WorkArena、真实网站）上的泛化性未知。
• 规划器与执行器使用相同或不同LLM，但未深入分析模型间协同效应。
• 每任务仅运行5次，可能不足以完全捕捉随机性。

Relevance To Keywords:

• 原生多模态大模型：论文使用多模态LLM（GPT-4.1-mini、Qwen-2.5-VL-72B、Gemini 2.5 Flash）作为规划器和执行器，直接相关。
• 表征学习：论文研究不同计划表示（叙述、伪代码、检查表等）对代理性能的影响，属于任务表征学习范畴。
• 世界模型：论文中的规划器生成计划可视为对任务世界的抽象建模，但未显式构建世界模型。
• 强化学习：论文引入AR和STC指标，与强化学习中多回合评估思想一致，但未使用RL训练。
• 后训练：论文未涉及后训练技术，主要关注推理时规划表示。

我们在 PiSAR（Persona, intent, Screen, Action, Rationale）的一个 661 行预留切片上，对三个监督微调模型与前沿零样本基线进行了基准测试。PiSAR 是一个包含 12,929 个元组的语料库，其基于屏幕的行为论证源自公共应用商店评论、Pew American Trends Panel 人口统计数据以及 OPeRA 购物者轨迹。无论是前沿模型还是微调模型，均在同一 661 行切片上使用相同的评分流程进行评估。研究发现如下：首先，前沿零样本基线（Claude Opus 4.7 和 GPT-5.5）的 sem_sim 得分分别为 0.459 和 0.482；而微调后的 Qwen3-VL-8B-Instruct 达到 0.783，并在 79% 的样本行中达到 sem_sim >= 0.7，相比之下前沿基线仅为 1-2%，在同一测试集上绝对差距达 0.30。其次，使用相同的训练数据和训练方案，Gemma-4-26B-A4B-IT 的得分仅为 0.441，处于与前沿零样本基线相同的水平，而非微调后的 Qwen 模型。我们将此解读为训练方案与模型架构的错配：推理微调的高参数模型难以被替代，可能需要更多数据或更强的微调方法。

We benchmark three supervised fine-tuned models against frontier zero-shot baselines on a 661-row held-out slice of PiSAR (Persona, intent, Screen, Action, Rationale), a 12,929-tuple corpus of screen-anchored behavioural rationales curated from public app-store reviews, Pew American Trends Panel demographics, and the OPeRA shopper traces. Every model, frontier or fine-tuned, is evaluated on the same 661-row slice with the same scoring pipeline. Two findings. First, frontier zero-shot baselines (Claude Opus 4.7 and GPT-5.5) reach sem_sim 0.459 and 0.482 respectively; a fine-tuned Qwen3-VL-8B-Instruct reaches 0.783 and clears sem_sim >= 0.7 on 79% of rows, against 1-2% for either frontier baseline, a gap of 0.30 absolute on the same test set. Second, the same training data and recipe on Gemma-4-26B-A4B-IT scores only 0.441, in the same band as the frontier zero-shot baselines rather than the fine-tuned Qwen. We read this as a recipe-vs-model mismatch: the reasoning-tuned high-parameter model resists displacement and would likely need either more data or a stronger fine-tuning method.

评分理由: The paper focuses on benchmarking supervised fine-tuning (SFT) for screen-conditioned action prediction using multimodal models (Qwen3-VL). It is highly relevant to MLLM and MultiModal (scores 8) as it utilizes vision-language models and screen inputs. It has low relevance to Unify Models (2), Tokenizer (1), and World Models (1) as these are not the focus. It has moderate relevance to model-based RL (3) due to the action prediction task, though the method is SFT rather than RL. The weighted total score is 39.0, exceeding the dynamic passing score of 27.8. No expert authors from the specified list were found.

Supervised Fine-Tuning, Screen-Conditioned Action Prediction, PiSAR Benchmark, Qwen3-VL, Model Architecture Sensitivity, Zero-shot Baselines, Behavioral Rationales

Chinese Title: 架构敏感的监督微调用于屏幕条件动作预测：PiSAR基准

Summary: 本文提出了PiSAR基准，一个包含12,929条屏幕锚定行为理由的语料库，每条记录包含（人物、意图、屏幕、动作、理由）。作者在661行保留测试集上，对三个监督微调模型（Qwen3-VL-8B-Instruct、Gemma-4-26B-A4B-IT）与两个前沿零样本基线（Claude Opus 4.7、GPT-5.5）进行了对比评估。主要发现：第一，零样本基线语义相似度（sem_sim）分别为0.459和0.482，而微调后的Qwen3-VL-8B-Instruct达到0.783，在79%的行上超过0.7阈值，差距达0.30绝对点。第二，相同训练数据和配方应用于Gemma-4-26B-A4B-IT仅得0.441，与零样本基线相当，表明微调效果对基础模型架构高度敏感：推理调优的高参数模型抵抗位移，可能需要更多数据或更强的微调方法。论文还分析了SFT与零样本的差距、模型后训练先验的影响，并指出该差距并非普遍成立，而是依赖于基础模型的选择。

Innovations:

• 构建了PiSAR语料库，包含12,929条屏幕锚定行为理由，采用“真实2/3”规则确保数据真实性。
• 系统比较了监督微调与前沿零样本模型在屏幕条件动作预测任务上的性能，发现微调可带来0.30绝对点的语义相似度提升。
• 揭示了微调效果对基础模型架构的敏感性：相同训练数据在Qwen上大幅提升，在Gemma上几乎无效，归因于推理调优模型的后训练先验抵抗位移。
• 提出了基于LoRA的低成本微调方案（8B模型，次秒级延迟），并公开了可复现的方法论。
• 通过阈值通过率（sem≥0.3/0.5/0.7）和词元Jaccard等指标，提供了多维度的评估框架。

Methodology: 论文采用以下技术路线：首先从OPeRA购物者轨迹、应用商店评论和Pew美国趋势面板数据中构建PiSAR语料库，每条记录包含base64编码的屏幕截图、结构化人物、意图、动作和理由。然后使用Fireworks托管SFT平台对Qwen3-VL-8B-Instruct和Gemma-4-26B-A4B-IT进行LoRA微调（秩16，学习率2e-4，3个epoch），训练数据分为OPeRA-only（4,014行）和combined（13,796行，OPeRA上采样2倍）。评估时，在661行保留测试集上计算三个指标：词元Jaccard、长度比和语义相似度（使用OpenAI text-embedding-3-small嵌入的余弦相似度）。零样本基线直接使用Claude Opus 4.7和GPT-5.5的API，不进行提示工程。所有模型在相同输入行上评分，确保公平比较。

Key Results:

• 微调后的Qwen3-VL-8B-Instruct（combined训练）在PiSAR测试集上达到sem_sim 0.783，远高于零样本基线GPT-5.5的0.482和Claude Opus 4.7的0.459，差距0.30绝对点。
• 相同微调配方应用于Gemma-4-26B-A4B-IT仅得0.441，与零样本基线相当，表明微调效果对基础模型架构高度敏感。
• OPeRA-only训练的Qwen达到0.519，低于combined训练的0.783，说明数据量增加带来提升。
• 在阈值通过率方面，微调Qwen在sem≥0.7上达到79%，而零样本基线仅1-2%。
• 微调Qwen的延迟为次秒级，而零样本基线延迟更高（未具体量化）。

Tech Stack:

• LoRA（低秩适配）微调
• QLoRA（4位量化）
• Fireworks托管SFT平台
• OpenAI text-embedding-3-small嵌入模型（1536维）
• 词元Jaccard相似度
• 余弦相似度（语义相似度）
• Claude Opus 4.7 API
• GPT-5.5 API
• Qwen3-VL-8B-Instruct模型
• Gemma-4-26B-A4B-IT（MoE）模型
• Base64-JPEG图像编码
• Pew美国趋势面板数据
• OPeRA购物者轨迹数据集

Strengths:

• 构建了高质量、多来源的屏幕锚定行为理由语料库，确保数据真实性。
• 进行了严格的对比实验，所有模型在相同测试集上使用相同评分管道，结果可靠。
• 揭示了微调效果对基础模型架构的敏感性，为后续研究提供了重要启示。
• 方法可复现，使用了公开数据和托管平台，降低了复现门槛。
• 评估指标全面，包括语义相似度、词元重叠和长度比，并提供了阈值通过率。

Limitations:

• PiSAR语料库未公开，仅描述了构建方法，读者需自行从相同公开源构建等效语料。
• 仅测试了两个基础模型（Qwen和Gemma），结论的泛化性有限。
• 未探索更强大的微调方法（如全参数微调、RLHF）或更多数据量对Gemma的影响。
• 零样本基线未进行提示工程优化，可能低估了其潜力。
• 训练数据中OPeRA上采样2倍，但未验证上采样本身是否因果导致提升，存在混淆。
• 仅评估了单轮动作预测，未涉及多轮交互或更复杂的任务。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：论文使用Qwen3-VL-8B-Instruct和Gemma-4-26B-A4B-IT，均为多模态大模型，但未涉及理解与生成一体化。
• World Models / 世界模型：论文关注屏幕条件动作预测，可视为构建用户行为世界模型的一部分，但未明确建模环境动态。
• Representation Learning / 表征学习：通过微调学习屏幕-行为表征，语义相似度评估隐含了表征质量。
• Model-Based RL / 模型基于强化学习：论文未涉及强化学习，但微调可视为行为预测模型，与基于模型的RL中的预测组件相关。
• 后训练：论文核心是监督微调（SFT），属于后训练范畴，并讨论了后训练先验对微调效果的影响。
• 强化学习：论文未使用RL，但提及RLHF和指令调优会降低分布保真度，与RL相关。

在真实环境中运行的机器人，其在意外挑战下推理、适应并创造性地解决问题的能力至关重要。然而，当前的机器人基准测试主要侧重于技能级执行，对这类认知推理能力的洞察较为有限。我们提出了 RoboWits，这是一个双臂机器人基准测试，旨在系统评估认知推理、创造性工具使用以及对意外条件的鲁棒性。为了实现高质量、以推理为中心的意外场景的可扩展构建，我们提出了一种自动化任务生成流水线，该流水线被设计为一个多智能体协作框架，包含用于种子任务生成与验证、指标生成、场景生成和任务变异的智能体。利用该流水线，我们构建了 30 个多样化的种子任务以及 208 个具有变异和分级难度的任务，涵盖几何、材料和基于装配的推理。我们对流行的机器人策略、预训练 VLA（视觉 - 语言动作模型）以及 oracle-state 规划器进行了基准测试。我们的结果表明存在显著的性能差距：尽管预训练 VLA 在单任务微调后在种子任务上取得初步成功，但它们在变异任务上难以执行，这表明它们在需要推理、策略适应以及对欺骗性或受限环境鲁棒性的操作任务中存在脆弱性。项目页面位于 https://umass-embodied-agi.github.io/RoboWits.

The ability to reason, adapt, and creatively solve problems under unexpected challenges is essential for robots operating in real-world environments. However, current robotic benchmarks primarily emphasize skill-level execution and provide limited insight into such cognitive reasoning capabilities. We introduce RoboWits, a bi-manual robotic benchmark designed to systematically evaluate cognitive reasoning, creative tool use, and robustness to unexpected conditions. To enable scalable construction of high-quality reasoning-centric unexpected scenarios, we propose an automated task generation pipeline formulated as a multi-agent cooperative framework, comprising agents for seed task generation and verification, metric generation, scene generation, and task mutation. Using the pipeline, we curated 30 diverse seed tasks and 208 tasks with mutations and graded difficulty across geometry, material, and assembly-based reasoning. We benchmark popular robot policies, pre-trained VLAs, and oracle-state planners. Our results reveal a significant performance gap: while pre-trained VLAs exhibit preliminary success on seed tasks after single-task fine-tuning, they struggle to perform on mutated tasks, implying their brittleness in manipulation tasks requiring reasoning, strategy adaptation, and robustness to deceptive or constrained environments. Project page is available at https://umass-embodied-agi.github.io/RoboWits.

评分理由: The paper introduces RoboWits, a robotic benchmark for creative problem solving and reasoning. It heavily relies on evaluating Vision-Language Agents (VLAs), which are closely related to MLLM and MultiModal technologies, hence high scores for these keywords. Visual encoders are components of VLAs but not the focus. Keywords like Tokenizer, Unify Models, World Models, and model-based RL are not central to the paper's methodology or findings, resulting in lower scores. The weighted total is 37.5, exceeding the dynamic passing score of 27.8.

Robotic Benchmark, Creative Problem Solving, Vision-Language Models, Unexpected Challenges, Cognitive Reasoning, Multi-agent Task Generation, Robustness Evaluation

Chinese Title: RoboWits：机器人创造性问题解决中的意外挑战

Summary: 本文提出RoboWits，一个双臂机器人基准，旨在系统评估机器人在意外挑战下的认知推理、创造性工具使用和鲁棒性。为规模化构建高质量推理任务，作者设计了一个多智能体协作的自动任务生成流水线，包含种子任务生成、变异、度量生成、验证和场景生成等智能体。通过该流水线，生成了30个种子任务和208个变异任务，涵盖几何、材料和装配推理，并划分了难度等级。作者评估了多种机器人策略，包括预训练视觉-语言-动作模型（VLA）、模仿学习基线和基于视觉-语言模型（VLM）的规划器。结果表明，预训练VLA在种子任务上经单任务微调后表现初步成功，但在变异任务上表现脆弱，暴露出其在需要推理、策略适应和欺骗性/受限环境鲁棒性方面的不足。RoboWits为量化低级操作技能与高级认知适应之间的差距提供了严格框架。

Innovations:

• 提出RoboWits基准，专门评估机器人在双臂操作中的认知推理、创造性工具使用和意外挑战鲁棒性。
• 设计多智能体协作的自动任务生成流水线，实现大规模、多样化的推理任务构建。
• 系统评估现有机器人策略，揭示预训练VLA在推理和策略适应方面的局限性。
• 任务涵盖几何、材料和装配推理，并引入难度分级，支持细粒度评估。
• 提供自动化的评估指标生成和场景实例化，减少人工设计成本。

Methodology: 本文采用多智能体协作框架自动生成任务。流水线包括：种子任务生成智能体（提出认知挑战任务规格）、任务变异智能体（通过小场景变化阻塞原解决方案）、任务度量智能体（生成可执行评估标准）、任务验证智能体（确保可行性、可模拟性和推理必要性）、场景生成智能体（构建物理一致环境）。所有智能体基于基础模型（如LLM）驱动。任务在Genesis等物理模拟器中实例化，并收集50个人类遥操作演示用于基准测试。评估方法包括单任务微调和多任务学习，对比模仿学习、预训练VLA和VLM规划器。

Key Results:

• 预训练VLA在低数据（50个演示）下优于从头训练的模型，但在复杂材料交互和装配推理任务上表现困难。
• 基于VLM的模块化规划器在种子任务上取得合理性能，但无法有效泛化到变异任务。
• 所有现有方法在需要策略适应和欺骗性场景的任务上表现脆弱，性能随难度增加显著下降。
• RoboWits基准包含208个任务，覆盖几何、材料和装配推理，难度从1到5分级。

Tech Stack:

• 物理模拟器：Genesis、SAPIEN、MuJoCo、IsaacGym
• 预训练VLA模型（如RT-2、Octo等）
• VLM模型（如GPT-4V）
• 多智能体LLM协作框架（基于GPT-4等）
• 模仿学习（行为克隆、扩散策略等）
• 任务度量生成（程序化检查物理状态）
• 场景生成（参数化3D模型和物理材料）

Strengths:

• 首次系统评估机器人创造性问题解决能力，填补现有基准空白。
• 自动任务生成流水线可扩展，降低人工设计成本，保证任务多样性和推理难度。
• 任务设计紧密结合物理推理（几何、材料、装配），贴近真实世界挑战。
• 提供细粒度难度分级和连续进度评分，支持更精确的性能诊断。
• 评估覆盖多种主流方法，揭示当前VLA模型的推理短板，为后续研究指明方向。

Limitations:

• 所有任务在模拟器中执行，未在真实机器人上验证，存在sim-to-real gap。
• 任务生成依赖LLM，可能引入偏见或生成不合理任务，验证智能体虽可过滤但仍有局限。
• 仅支持双臂平行夹爪机器人，未涵盖其他末端执行器或移动操作。
• 人类演示仅收集了10个种子任务，变异任务缺乏演示，限制了模仿学习方法。
• 未深入分析模型失败的具体原因（如感知错误、规划错误或执行错误）。

Relevance To Keywords:

• 多模态大模型：论文评估的VLA/VLM属于多模态大模型，基准测试其推理和适应能力。
• 世界模型：任务要求理解物理约束（几何、材料、装配），与世界模型中的物理推理密切相关。
• 表征学习：任务中对象属性（形状、材质）的表征对推理至关重要，但论文未直接研究表征学习方法。
• 模型强化学习：论文未涉及强化学习训练，但基准可用于评估强化学习策略的泛化能力。
• 后训练：论文中单任务微调属于后训练范畴，但未探索更复杂的后训练范式。
• 总体相关性中等：论文主要贡献在基准和评估，而非提出新模型或训练方法，但为相关领域提供了测试平台。

主流的微调预训练多模态模型的策略往往会降低分布外（OOD）鲁棒性，这种现象被称为灾难性遗忘。本文构建了一个多模态对比微调的理论框架，为每种策略导出了闭式解及几何分解。该框架表明，自蒸馏在保留预训练模型知识方面比其他正则化方法更有效。我们的分析揭示了一个被严重忽视的局限性：广泛用于鲁棒微调的标准指数移动平均（EMA）教师模型面临坍塌问题。为了解决这一问题，我们证明了加权移动平均（WMA）教师模型在有限时间范围内维持持续的正则化力，并在任务子空间中实现无偏收敛，同时保持正交知识。这些见解催生了 TRACER（轨迹鲁棒锚定用于对比编码器正则化），该方法将对比学习与 WMA 引导的多视角蒸馏相结合。在 CLIP 微调上的广泛实验表明，该方法在三种骨干网络架构上均实现了分布外（OOD）准确率和校准性能的提升，全面的消融实验证实了 TRACER 既具有理论依据，又对超参数选择具有鲁棒性。代码可在 [https://github.com/HesamAsad/TRACER](https://github.com/HesamAsad/TRACER) 获取。

Mainstream strategies for finetuning pretrained multimodal models often degrade out-of-distribution (OOD) robustness, a phenomenon known as catastrophic forgetting. In this paper, we develop a theoretical framework for multimodal contrastive finetuning, yielding closed-form solutions and a geometric decomposition for each strategy. This framework shows that self-distillation is more effective than other regularization approaches to retain the knowledge of the pretrained model. Our analysis reveals a largely overlooked limitation: standard Exponential Moving Average (EMA) teachers, widely used in robust finetuning, suffer from collapse. To solve this, we prove that a Weighted Moving Average (WMA) teacher maintains a persistent regularizing force over finite horizons and yields bias-free convergence in the task subspace while preserving orthogonal knowledge. These insights motivate **TRACER** (**T**rajectory-**R**obust **A**nchoring for **C**ontrastive **E**ncoder **R**egularization), which combines contrastive learning with WMA-guided multi-perspective distillation. Extensive experiments on CLIP finetuning demonstrate consistent OOD accuracy and calibration gains across three backbone architectures, and comprehensive ablations confirm that TRACER is both principled and robust to hyperparameter choices. Code is available at [https://github.com/HesamAsad/TRACER](https://github.com/HesamAsad/TRACER).

评分理由: 论文核心为多模态模型微调正则化，MultiModal 高度相关。MLLM 和 Visual Encoder 有一定关联（涉及模型组件），Unify Models 有一定关联（理论框架统一策略）。Tokenizer、World Models、model-based RL 无关。作者无匹配专家。加权总分 37.5，高于及格分 27.8。

Multimodal Finetuning, Catastrophic Forgetting, Contrastive Learning, Weighted Moving Average, Out-of-Distribution Robustness, Regularization, CLIP, Multi-perspective Distillation

Chinese Title: TRACER: 持久正则化用于鲁棒多模态微调

Summary: 本文针对多模态预训练模型微调中出现的灾难性遗忘问题，提出了一个理论框架，将线性化对比损失重新表述为矩阵最小二乘问题，并给出了不同微调策略的闭式解和几何分解。分析表明自蒸馏比其它正则化方法更有效地保留预训练知识，同时发现标准指数移动平均（EMA）教师存在正则化信号崩溃的缺陷。为此，论文证明了加权移动平均（WMA）教师能在有限时间窗口内保持持久正则化力，并在任务子空间内实现无偏收敛。基于这些理论，提出了TRACER方法，结合对比学习与WMA引导的多视角蒸馏。在CLIP微调实验上，TRACER在多种骨干架构上一致提升了分布外（OOD）准确率和校准性能，消融实验验证了方法的稳健性和各设计元素的有效性。

Innovations:

• 引入对比目标矩阵，将线性化对比损失转化为矩阵最小二乘问题，从而获得不同微调策略的闭式解。
• 推导出几何分解，将微调过程分离为任务子空间混合与正交知识保持，解释了遗忘发生的机制。
• 揭示了标准EMA教师在学习后期正则化信号崩溃的局限性，并证明WMA教师能提供持久正则化力。
• 提出TRACER方法，结合对比学习与WMA引导的多视角蒸馏，实现了鲁棒的多模态微调。

Methodology: 论文采用理论分析与实验验证相结合的方法。首先通过线性化假设将多模态对比学习（MMCL）损失简化为矩阵最小二乘形式，利用Moore-Penrose伪逆推导出直接微调、L2正则化、静态自蒸馏等策略的闭式解。然后分析EMA和WMA教师的动态特性，证明WMA的持久正则化性质。基于理论设计TRACER算法，在CLIP模型上使用对比损失和WMA教师的自蒸馏损失联合训练，并在ImageNet及其分布偏移数据集上评估OOD鲁棒性。

Key Results:

• 理论框架揭示了不同微调策略的几何行为：直接微调丢弃任务子空间内的预训练知识，L2正则化在子空间内混合新旧知识，自蒸馏则保留正交方向的知识。
• EMA教师随着训练收敛，其与学生的差距趋于零，导致正则化信号消失；而WMA教师通过加权整个轨迹保持有限时间窗口内的正则化力。
• TRACER在多个CLIP骨干（如ViT-B/32、ViT-B/16、ViT-L/14）上，相比基线方法（如LP-FT、FLYP、WiSE-FT、CaRot）显著提升了OOD准确率（如ImageNet-V2、-R、-A、-Sketch）并改善了校准。
• 消融实验表明，WMA教师优于EMA教师，且TRACER对超参数（如正则化强度、教师更新频率、核形状）具有鲁棒性。

Tech Stack:

• 对比学习（InfoNCE损失）
• 自蒸馏（self-distillation）
• 指数移动平均（EMA）
• 加权移动平均（WMA）
• CLIP模型（ViT系列骨干）
• 矩阵最小二乘优化
• Moore-Penrose伪逆
• 正交投影算子
• 线性化分析（linearized analysis）

Strengths:

• 提供了扎实的理论分析，将对比微调问题转化为可求解的闭式形式，揭示了遗忘的几何本质。
• 识别并解决了EMA教师的关键缺陷，提出WMA教师这一新颖且有效的替代方案。
• TRACER方法在多个架构和数据集上取得一致改进，消融实验全面，验证了方法的稳健性。
• 代码开源，便于复现和进一步研究。

Limitations:

• 理论分析基于线性化假设（线性编码器），可能无法完全捕捉深度非线性网络的真实行为。
• 实验仅针对CLIP模型和图像-文本多模态任务，未验证在其他多模态模型（如Video-Text、Audio-Text）或纯视觉模型上的泛化性。
• WMA教师需要存储整个训练轨迹的权重，可能增加内存开销，尽管论文未详细讨论计算成本。
• 未与最新的后训练方法（如Model Stock、WiSE-FT的变体）进行全面比较，部分基线较旧。

Relevance To Keywords:

• 表征学习：论文研究多模态表征的微调与正则化，直接涉及表征学习。
• 多模态大模型的理解和生成一体化：CLIP是理解型多模态模型，论文关注其微调鲁棒性，与理解相关，但未涉及生成。
• 世界模型：论文未涉及世界模型或环境交互。
• 强化学习：论文未使用强化学习。
• 后训练：微调属于后训练范畴，论文提出的TRACER是一种后训练正则化方法。
• Unify Models：论文未讨论统一模型架构。
• Model-Based RL：不相关。
• 原生多模态大模型：CLIP是原生多模态模型，论文在其基础上微调，有一定相关性。

现有的多模态知识编辑（MKE）方法已提升了在多模态大语言模型（MLLMs）中纠正过时或不准确知识的能力。然而，它们存在一个关键局限性：尽管能有效修改目标事实对，却无法将编辑泛化至逻辑相关的查询，且往往会对无关但存在视觉或语义关联的信息造成意外改变。我们识别并形式化了导致这一问题的两个潜在故障模式：因果错位（Causal Misalignment），它将编辑局限于特定样本；以及特征纠缠（Feature Entanglement），它会导致对耦合但无关信息的意外改变。为了解决这些问题，我们提出了一种局部化与解耦知识编辑（LDKE）新框架，该框架通过定位事实特定的模型层并将目标相关输入与无关输入解耦，从而实现精确且泛化的编辑。该方法引入了一种快速定位模块，用于高效识别并更新关键层，同时配备了一个解耦分类器，能够适当路由输入以保留无关知识。在各种基准和 MLLMs 上的广泛实验表明，LDKE 在将编辑传播至相关上下文的同时保持高局部性方面表现卓越。

Existing methods in Multimodal Knowledge Editing (MKE) have advanced the ability to correct outdated or inaccurate knowledge in Multimodal Large Language Models (MLLMs). However, they exhibit a critical limitation: while effectively modifying target factual pairs, they fail to generalize edits to logically related queries and often cause unintended alterations to unrelated but visually or semantically linked information. We identify and formalize two underlying failure modes causing this issue: Causal Misalignment, which confines edits to the specific sample, and Feature Entanglement, which causes unintended alterations to coupled but irrelevant information. To address these issues, we propose Localized and Disentangled Knowledge Editing (LDKE), a new framework that achieves precise and generalized editing by localizing fact-specific model layers and disentangling target-relevant inputs from irrelevant ones. Our approach introduces a Fast Localization module to identify and update critical layers efficiently, along with a Disentanglement Classifier that routes inputs appropriately to preserve unrelated knowledge. Extensive experiments across various benchmarks and MLLMs demonstrate that LDKE achieves superior performance in propagating edits to related contexts while maintaining high locality.

评分理由: 论文标题和摘要明确指出研究对象为多模态大语言模型（MLLM），因此"MLLM"和"MultiModal"高度相关，评分为 9 分。其余关键词如"World Models"、"model-based RL"、"Tokenizer"、"Visual Encoder"及"Unify Models"未在论文核心方法（LDKE 框架）或问题定义中作为重点提及，相关性较低，评分为 1-2 分。作者列表与指定专家（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang）无重叠，不加分。加权总分 37.5 分，高于动态及格分 27.8 分。

Knowledge Editing, Multimodal Large Language Models, Localized and Disentangled, Causal Misalignment, Feature Entanglement, Fast Localization, Disentanglement Classifier

Chinese Title: 面向多模态大语言模型的局部化与解耦知识编辑

Summary: 本文针对多模态大语言模型（MLLMs）知识编辑中存在的泛化-局部化挑战，系统识别了两个关键瓶颈：因果错位（编辑仅修正特定样本，无法推广到逻辑相关查询）和特征纠缠（编辑意外影响视觉或语义上耦合的无关知识）。为此，提出局部化与解耦知识编辑（LDKE）框架，包含快速定位模块（通过单次前向传播动态识别事实关键层）和解耦分类器（利用余弦相似度路由，将无关查询导向原始权重）。实验表明，LDKE在多个基准和MLLM上显著优于现有方法，实现了编辑的泛化与局部化平衡。

Innovations:

• 首次系统识别并形式化了多模态知识编辑中的因果错位和特征纠缠两个根本问题。
• 提出快速定位模块，通过单次前向传播估计每个FFN层对目标答案的贡献，实现实例级动态层选择，避免高成本因果追踪。
• 设计解耦分类器，基于隐藏表示的解耦和余弦相似度进行动态路由，有效隔离编辑权重对无关知识的影响。
• 将层特定权重编辑器（基于MEND架构）与定位和路由机制结合，形成完整的LDKE框架，在泛化性和局部性上取得显著提升。

Methodology: 论文采用以下技术路线：1）快速定位：在单次前向传播中提取最后提示token的隐藏表示，计算每个FFN层前后目标概率的对数概率差作为贡献分数，从后半层中选取Top-k层作为编辑目标。2）层特定权重编辑器：基于MEND超网络架构，利用低秩投影和层特定缩放/偏移生成权重更新，仅修改核心上/下投影矩阵（对门控MLP跳过门控投影）。3）解耦路由：在最早编辑层之前提取隐藏表示，通过轻量残差投影得到路由表示，分别送入嵌入头（L2归一化）和分类头（BCE损失），计算与编辑锚点的余弦相似度作为路由门控。训练阶段使用编辑实例的自动回归损失和BCE损失联合优化。

Key Results:

• LDKE在多个基准（如MSCKE、VisEdit等）上，编辑的泛化性（逻辑相关查询）和局部性（无关知识保持）均优于现有方法。
• 快速定位模块相比传统因果追踪显著降低计算开销，同时保持定位准确性。
• 解耦分类器有效防止编辑权重影响特征邻近但无关的知识，路由准确率高。
• 在Gemma-3、InternVL-3.5等先进MLLM上验证了框架的通用性。

Tech Stack:

• Transformer架构（MLLM）
• 前馈网络（FFN）层贡献估计（对数概率差）
• MEND超网络（低秩分解、层特定缩放/偏移）
• 余弦相似度路由
• BCE损失（二分类）
• L2归一化
• 自动回归损失（语言建模）
• Top-k选择算法

Strengths:

• 问题定义清晰，系统分析了现有方法的根本缺陷（因果错位、特征纠缠）。
• 方法高效实用：快速定位只需单次前向传播，避免了因果追踪的高成本。
• 解耦分类器设计巧妙，利用表示级相似度实现动态路由，兼顾泛化与局部性。
• 实验充分，在多个基准和多种MLLM上验证，结果具有说服力。
• 对门控MLP架构的处理细致，保证了方法的兼容性。

Limitations:

• 快速定位依赖最后token的隐藏表示，可能不适用于所有多模态任务（如需要多token输出的场景）。
• 解耦分类器需要额外训练，且路由阈值可能依赖经验设定。
• 方法主要针对单次编辑，对连续编辑（终身学习）的扩展性未充分讨论。
• 实验基准可能未覆盖所有多模态知识编辑场景（如视频、音频模态）。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究多模态大语言模型的知识编辑，与原生多模态大模型紧密相关。
• 多模态大模型的理解和生成一体化：知识编辑涉及模型对视觉-文本事实的理解和生成修正，与理解生成一体化相关。
• 表征学习：论文提出的解耦分类器基于隐藏表示的解耦和余弦相似度，涉及表征学习中的解耦表示。
• 世界模型：知识编辑可视为更新模型对世界事实的认知，与世界模型中的知识更新有间接联系。
• 后训练：知识编辑是后训练的一种高效形式，论文方法属于后训练技术。
• 强化学习：论文未直接涉及强化学习，但知识编辑中的路由机制可类比于策略选择，相关性较弱。
• Model-Based RL：论文未涉及基于模型的强化学习，相关性较低。
• Unify Models：论文未涉及模型统一，相关性较低。

自回归图像和视频生成器在训练时采用教师强制的历史序列，但在推理阶段必须从其自身生成的前缀中进行采样，这使得它们容易受到暴露偏差和前缀漂移的影响。现有的补救措施要么修改训练过程，要么主要应用于采样时指导，主要针对外部语义条件（如类别标签或文本提示），而非检验下一步预测是否为生成的前缀本身提供强大的后验支持。我们提出视觉前缀指导（Visual Prefix Guidance, VPG），这是一种用于自回归图像和视频生成的无需训练的推理时指导方法。VPG 通过对比模型在生成前缀下的输出与在损坏前缀下的输出，然后将 logits 外推至能增强生成前缀后验支持的候选项，从而改进下一步预测。在基于 VAR 的类别条件图像生成、基于 Infinity 的文本到图像生成以及基于 InfinityStar 的文本到视频生成中，VPG 在不重新训练基模型的情况下提高了生成质量，使 VAR 上的 FID 平均降低了 0.36，并在图像和视频生成的基准测试中提升了性能。

Autoregressive image and video generators are trained with teacher-forced histories but must sample from their own generated prefixes at inference time, making them vulnerable to exposure bias and prefix drift. Existing remedies either modify training or apply sampling-time guidance aimed primarily at external semantic conditions, such as class labels or text prompts, rather than testing whether a next-step prediction provides strong posterior support for the generated prefix itself. We propose Visual Prefix Guidance (VPG), a training-free inference-time guidance method for autoregressive image and video generation. VPG improves next-step prediction by contrasting the model's output under the generated prefix with its output under a corrupted prefix, then extrapolating logits toward candidates that strengthen the posterior support of the generated prefix. Across class-conditional image generation with VAR, text-to-image generation with Infinity, and text-to-video generation with InfinityStar, VPG improves generation quality without retraining the base model, reducing FID on VAR by 0.36 on average and improving benchmark performance on both image and video generation.

评分理由: 论文提出视觉前缀引导（VPG）方法用于自回归图像和视频生成。MultiModal 评分高（8.0）因涉及文本到图像/视频生成；MLLM 评分中（5.0）因基模型属多模态生成架构；World Models 评分中（4.0）因生成模型与广义世界模型相关，但未涉及动力学或 RL；Unify Models 评分低（3.0）因方法通用但未统一模型架构；Visual Encoder 评分低（3.0）因非核心贡献；Tokenizer 和 model-based RL 评分最低（1.0）因未涉及分词器设计及强化学习。未发现指定专家。

Visual Prefix Guidance, Autoregressive Image Generation, Autoregressive Video Generation, Inference-time Guidance, Exposure Bias, Text-to-Image, Text-to-Video, Posterior Support

Chinese Title: 视觉前缀引导：用于自回归图像和视频生成的视觉前缀引导

Summary: 论文提出了一种名为视觉前缀引导（VPG）的推理时引导方法，用于自回归图像和视频生成。自回归模型在训练时使用教师强制（ground-truth前缀），但在推理时依赖自身生成的前缀，导致暴露偏差和前缀漂移。现有方法主要针对外部条件（如类别标签或文本提示）进行引导，而忽略了生成前缀本身的后验支持。VPG通过对比模型在生成前缀和损坏前缀下的输出，外推logits以增强生成前缀的后验支持，从而改善下一步预测。该方法无需重新训练，可直接应用于VAR、Infinity和InfinityStar等模型。实验表明，VPG在类条件图像生成（VAR）上平均降低FID 0.36，在文本到图像和文本到视频生成上均提升了基准分数。

Innovations:

• 首次提出通过增强生成前缀的后验支持来直接缓解暴露偏差的推理时引导目标。
• 提出视觉前缀引导（VPG），一种无需训练、即插即用的采样规则，通过对比生成前缀与损坏前缀实现。
• 设计了同尺度全嵌入替换的损坏前缀构造方法，无需辅助头或重新训练。
• 证明了VPG与CFG互补，可组合使用以同时引导外部条件和生成前缀。
• 在多个自回归视觉生成模型（VAR、Infinity、InfinityStar）上验证了VPG的通用性和有效性。

Methodology: VPG基于自回归视觉模型的下一尺度预测框架。在每个预测步骤，模型输出条件logits ℓk(c, r<k)。VPG构建一个损坏前缀 r̃<k（通过同尺度随机替换部分token位置的全嵌入），得到损坏分支logits ℓk(c, r̃<k)。然后通过外推公式 ℓVPG = ℓk(c, r<k) + λ(ℓk(c, r<k) - ℓk(c, r̃<k)) 来增强生成前缀的后验支持。该方法可视为对前缀轴的log-ratio引导，与CFG对条件轴的引导正交。实验中使用VAR、Infinity和InfinityStar作为基模型，在类条件、文本到图像和文本到视频任务上评估。

Key Results:

• 在VAR模型上，VPG平均降低FID 0.36，其中VAR-d16降低0.63。
• 在文本到图像生成（Infinity）上，VPG提升了GenEval Overall和DPG-Bench Overall分数。
• 在文本到视频生成（InfinityStar）上，VPG将VBench Overall分数提升0.49，所有子分数均有提升。
• VPG与CFG组合使用可进一步改善生成质量。
• VPG无需重新训练，仅需推理时额外一次前向传播（损坏分支）。

Tech Stack:

• 自回归视觉模型（VAR、Infinity、InfinityStar）
• 多尺度残差token化（VQ-VAE、BSQ）
• 分类器自由引导（CFG）
• log-ratio引导（外推公式）
• 同尺度全嵌入替换（损坏前缀构造）
• FID、GenEval、DPG-Bench、VBench评估指标

Strengths:

• 方法简单有效，无需训练或修改模型，即插即用。
• 从新角度（前缀后验支持）解决暴露偏差，与现有CFG互补。
• 在多个模型和任务上一致提升性能，泛化性强。
• 损坏前缀构造设计合理，保持尺度条件统计特性。
• 推理开销可控（仅多一次前向传播）。

Limitations:

• 需要额外一次前向传播计算损坏分支，增加推理时间。
• 损坏前缀的替换比例λ是超参数，需针对不同模型调优。
• 目前仅在自回归视觉模型上验证，未在扩散模型或语言模型上测试。
• 对极端暴露偏差场景（如长视频生成）的效果尚未充分探索。
• 理论分析较浅，缺乏对后验支持增强的严格数学证明。

Relevance To Keywords:

• Unify Models: VPG是一种推理时引导方法，可统一应用于多种自回归视觉生成模型（VAR、Infinity、InfinityStar），促进模型统一。
• World Models: 自回归视觉生成可视为学习视觉世界模型，VPG通过增强前缀后验支持改善世界模型的自回归预测。
• Representation Learning: VPG不直接涉及表征学习，但通过改善生成质量间接提升视觉表征的利用。
• Model-Based RL: 自回归生成可类比于基于模型的规划，VPG的引导类似于在策略中引入置信度修正，与RL中的后验优化有潜在联系。
• 原生多模态大模型: VPG适用于文本到图像/视频生成，是多模态大模型推理优化的技术。
• 多模态大模型的理解和生成一体化: VPG专注于生成阶段，但通过改善前缀支持可提升生成与理解的一致性。
• 表征学习: 同上。
• 世界模型: 同上。
• 强化学习: VPG的引导可视为一种隐式的价值函数（后验支持），与RL中的引导策略有相似性。
• 后训练: VPG是推理时方法，无需后训练，但可与后训练技术结合。

联合音视频生成旨在合成时间同步且语义一致的视听内容。然而，现有的开源方法主要依赖于具有后验对齐的双塔设计，或在共享空间中混合文本上下文、音频与视频的完全统一三模态设计。前者削弱了细粒度的音视频协同演化，而后者则将语义条件与底层同步耦合。为了解决这些局限性，我们提出了 NAVA（Native Audio-Visual Alignment），一种用于联合音视频生成的原生音视频对齐框架。NAVA 基于上下文条件的原生音视频对齐：它首先在专用交互空间中建立音视频对应关系，随后利用外部上下文来调节联合去噪过程。具体而言，NAVA 采用 Align-then-Fuse MMDiT 架构实现，该架构从模态感知的音视频对齐过渡到模态共享的联合去噪。此外，我们引入 Timbre-in-Context Conditioning，将参考音色提示与相应的语音段关联起来，以实现可控的语音音色。在 Verse-Bench 和 Seed-TTS 上的实验，以及一项用户研究表明，NAVA 仅使用 63 亿参数即可实现卓越的视频质量、精确的音视频同步、具有竞争力的音频质量以及更强的参考音色可控性。

Joint audio-video generation aims to synthesize temporally synchronized and semantically coherent visual-acoustic content. However, existing open-source methods mainly rely on either dual-tower designs with posterior alignment or fully unified tri-modal designs that mix textual context, audio and video in one shared space. The former weakens fine-grained audio-video co-evolution, while the latter couples semantic conditioning with low-level synchronization. To address these limitations, we propose NAVA, a Native Audio-Visual Alignment framework for joint audio-video generation. NAVA is built upon context-conditioned native audio-visual alignment: it first establishes audio-video correspondence in a dedicated interaction space, and then uses external context to condition the joint denoising process. Specifically, NAVA is instantiated with an Align-then-Fuse MMDiT architecture, which transitions from modality-aware audio-video alignment to modality-shared joint denoising. Furthermore, we introduce Timbre-in-Context Conditioning to associate reference timbre cues with corresponding speech spans to achieve controllable speech timbre. Experiments on Verse-Bench and Seed-TTS, together with a user study, demonstrate that NAVA achieves superior video quality, precise audio-visual synchronization, competitive audio quality, and stronger reference-timbre controllability using only 6.3B parameters.

评分理由: The paper focuses on Native Audio-Visual Alignment for generation, making MultiModal highly relevant (9.0). It discusses unification strategies (Unify Models, 5.0) and implies visual processing (Visual Encoder, 5.0). Tokenizer, World Models, MLLM, and model-based RL are not core contributions (low scores). No expert authors from the target list were found.

Native Audio-Visual Alignment, Joint Audio-Video Generation, MMDiT Architecture, Context-Conditioned Denoising, Timbre-in-Context Conditioning, Audio-Visual Synchronization, Multi-Modal Generation

Chinese Title: 原生音视频对齐生成框架

Summary: 本文提出NAVA（原生音视频对齐）框架，用于联合音频-视频生成。现有开源方法多采用双塔架构（后期对齐）或全统一三模态架构（将上下文、音频、视频混合在同一空间），前者削弱了细粒度音视频协同演化，后者将语义条件与低级同步耦合。NAVA通过解耦上下文条件与音视频同步，先在一个专用交互空间中建立音视频对应关系，再通过外部上下文条件引导联合去噪过程。具体实现采用Align-then-Fuse MMDiT架构，包含分层对齐层（模态感知投影、联合自注意力）和统一融合层（共享参数）。此外，引入上下文音色条件机制，将参考音色线索绑定到对应语音片段，实现可控多说话人生成。在Verse-Bench和Seed-TTS上的实验及用户研究表明，NAVA仅用6.3B参数即实现了优越的视频质量、精确的音视频同步、有竞争力的音频质量和更强的参考音色可控性。

Innovations:

• 提出原生音视频对齐（NAVA）框架，将联合生成形式化为上下文条件化的原生音视频对齐，实现事件级对应建模，兼容预训练视频生成骨干。
• 设计Align-then-Fuse MMDiT架构：先通过模态感知的分层对齐层建立音视频对应，再通过共享的统一融合层进行紧凑协同去噪。
• 引入上下文音色条件机制（Timbre-in-Context Conditioning），将参考音色作为上下文令牌绑定到对应语音片段，无需额外说话人控制分支即可实现灵活的多说话人音色控制。
• 采用渐进式多任务训练策略，分阶段训练音频、视频及音视频联合任务，并利用结构化丢弃（随机跨模态注意力掩码）实现条件因子化引导。

Methodology: NAVA采用Align-then-Fuse MMDiT架构。首先，视频和音频分别通过各自VAE编码为潜在令牌，文本上下文和参考音色编码为条件令牌。早期分层对齐层使用模态解耦投影将音频和视频令牌映射到共享交互空间，通过联合自注意力和FFN进行跨模态交互，并采用速率感知旋转位置嵌入解决令牌率不匹配。后期统一融合层使用模态共享投影和共享Transformer块进行协同去噪。上下文通过交叉注意力注入，保持专用同步空间。训练采用渐进多任务策略：先以3:1比例训练音频和音视频数据初始化音频路径；再以1:2比例训练高质量音频和完整音视频数据提升保真度；最后在精选高质量音视频数据上微调。支持条件因子化引导，通过随机跨模态注意力掩码构造部分无条件路径。

Key Results:

• 在Verse-Bench和Seed-TTS基准上，NAVA在视频质量、音视频同步、音频质量方面显著优于双塔和全统一基线方法。
• 用户研究证实NAVA具有更强的参考音色可控性，支持多说话人对话生成。
• 仅使用6.3B参数即达到优越性能，表明解耦设计的高效性。
• 消融实验验证了Align-then-Fuse架构和上下文音色条件机制的有效性。

Tech Stack:

• MMDiT（多模态扩散Transformer）
• VAE（变分自编码器）用于音视频潜在编码
• 旋转位置嵌入（RoPE）及速率感知缩放
• 交叉注意力与自注意力机制
• 渐进式多任务训练策略
• 随机跨模态注意力掩码（结构化丢弃）
• 上下文音色编码器（提取音色令牌）

Strengths:

• 解耦音视频同步与上下文条件，避免全统一架构中的耦合问题，同时优于双塔后期对齐。
• Align-then-Fuse设计兼顾模态特异性与协同生成，稳定高效。
• 上下文音色条件机制简洁有效，无需修改骨干网络即可实现多说话人控制。
• 渐进式训练策略充分利用预训练视频骨干，降低训练成本。
• 仅6.3B参数即达到SOTA，参数效率高。

Limitations:

• 论文未详细讨论模型在复杂场景（如大量物体、快速运动）下的同步鲁棒性。
• 上下文音色条件依赖于文本中显式标注的说话人边界，对自动语音识别或对话分割的依赖未深入探讨。
• 实验主要基于特定基准（Verse-Bench, Seed-TTS），泛化性需更多验证。
• 未与商业系统（如Seedance, Kling）进行直接对比，仅与开源方法比较。

Relevance To Keywords:

• Unify Models: NAVA属于联合音视频生成模型，统一了音频和视频的生成过程，但未涉及理解与生成一体化。
• World Models: 音视频联合生成可视为对世界模型的一种模拟（如事件对应、物理声学关系），但论文未明确从世界模型角度阐述。
• Representation Learning: 通过Align-then-Fuse架构学习音视频的联合表征，属于表征学习范畴。
• Model-Based RL: 论文未涉及强化学习或基于模型的RL。
• 原生多模态大模型: NAVA是原生多模态（音视频）生成模型，但未包含文本理解能力，属于生成侧的原生多模态。
• 多模态大模型的理解和生成一体化: 论文仅关注生成，未涉及理解任务。
• 后训练: 渐进式多任务训练可视为后训练策略，但未使用强化学习或人类反馈。

本文致力于解决生成物理准确且视觉保真的 4D 人体 - 物体交互（HOI）任务。给定一个表示为 3D 高斯点（3DGS）的静态 3D 人体和目标物体，我们的目标是合成动态场景，其中人体根据给定的输入文本，通过拳击或踢击等动作主动与物体进行交互。为此，我们提出了一种名为 PhyGenHOI 的新颖框架，该框架将生成式人体运动与显式的物理物体模拟相结合。我们将人体建模为由运动扩散模型（MDM）驱动的语义代理，将物体建模为由物质点法（MPM）模拟的物理代理，并利用 3D 高斯作为统一的、可微分的表示。我们通过三个耦合机制来监督它们的交互：（1）窗口吸引力损失（Windowed Attraction Loss），用于在时间上同步生成运动以拦截物体；（2）接触驱动的重模拟（Contact-Driven Re-simulation）步骤，用于在冲击时触发物理一致的动量传递；以及（3）掩码视频 -SDS 目标（Masked Video-SDS），用于注入基于视频的先验以增强接触保真度。实验表明，PhyGenHOI 能够在多样化动作、人体和物体上生成物理一致的 4D HOI，且优于基线方法。项目页面及视频：https://omerbenishu.github.io/PhyGenHOI/

We address the task of generating physically accurate and visually faithful 4D Human-Object Interaction (HOI). Given a static 3D human and target object represented as 3D Gaussian Splats (3DGS), our goal is to synthesize dynamic scenes where the human actively engages with the object through actions, such as punching or kicking, in accordance with a given input text. To this end, we introduce PhyGenHOI, a novel framework that couples generative human motion with an explicit physical object simulation. We model the human as a semantic agent driven by a Motion Diffusion Model (MDM) and the object as a physical agent simulated via the Material Point Method (MPM), utilizing 3D Gaussians as a unified, differentiable representation. We supervise their interaction through three coupled mechanisms: (1) A Windowed Attraction Loss that temporally synchronizes generative motion to intercept the object; (2) A Contact-Driven Re-simulation step that triggers physically consistent momentum transfer upon impact; and (3) A Masked Video-SDS objective that injects video-based priors to enhance contact fidelity. Experiments show PhyGenHOI generates physically consistent 4D HOI across diverse actions, humans, and objects, outperforming baselines. Project page and videos: https://omerbenishu.github.io/PhyGenHOI/

评分理由: The paper focuses on 4D Human-Object Interaction generation using a combination of Motion Diffusion Models and Material Point Method simulation. It demonstrates strong multi-modality (text, 3D, video) and unifies generative and physical models (Unify Models). However, it does not focus on tokenizers, visual encoders as core components, MLLM architectures, or reinforcement learning, resulting in lower scores for those keywords. None of the specified expert authors are listed on the paper.

4D Generation, Human-Object Interaction, Motion Diffusion Model, Material Point Method, 3D Gaussian Splatting, Physically-Aware, Dynamic Scenes

Chinese Title: PhyGenHOI: 物理感知的动态人-物交互4D生成

Summary: 本文针对动态人-物交互（HOI）的4D生成任务，提出PhyGenHOI框架。给定静态3D人体和目标物体（均表示为3D高斯泼溅），目标是生成符合文本描述的动态场景，其中人体主动与物体交互（如踢、打、推）。方法将人体建模为语义智能体，由运动扩散模型（MDM）驱动；将物体建模为物理智能体，通过物质点法（MPM）模拟。通过三种机制协调交互：窗口吸引损失实现时空同步，接触驱动重模拟实现动量传递，掩码视频SDS增强接触保真度。实验表明，该方法在物理一致性、视觉保真度上优于现有生成式和动画基线。

Innovations:

• 提出将生成式人体运动与显式物理模拟耦合的统一框架，利用3D高斯泼溅作为共同表示。
• 设计窗口吸引损失（Windowed Attraction Loss），通过分析运动速度曲线自动确定接触关节和接触帧，引导人体朝向物体。
• 引入接触检测与MPM重模拟，在碰撞时实现物理一致的动量传递和材料变形。
• 提出时域掩码视频SDS（Temporally-Masked Video-SDS），仅在接触帧附近注入视频先验，增强交互保真度而不破坏物理运动。
• 将人体运动扩散模型（MDM）与物质点法（MPM）结合，实现语义与物理的协同优化。

Methodology: 采用3D高斯泼溅（3DGS）作为统一表示：人体绑定SMPL参数模型，通过线性混合蒙皮变形；物体映射为MPM粒子。人体运动通过人类运动分数蒸馏（HMSD）从预训练MDM优化，物体轨迹由前向MPM模拟生成。协调机制包括：①窗口吸引损失（高斯加权）引导接触关节在接触帧附近接近物体；②接触检测后触发MPM重模拟，更新物体轨迹；③渲染4D场景后应用视频SDS损失，掩码仅作用于接触帧附近。整体优化联合HMSD、吸引损失和视频SDS。

Key Results:

• PhyGenHOI能够生成物理一致且视觉逼真的4D人-物交互场景，如踢球、推柜子、拳击等。
• 相比纯生成方法（4DFY）和动画方法（AnimateAnyMesh），消除了鬼影和穿透伪影，产生动态物体响应。
• 在文本对齐、物理合理性、接触质量和视觉保真度上均优于基线。
• 通过消融实验验证了窗口吸引损失、接触重模拟和视频SDS各自的有效性。

Tech Stack:

• 3D Gaussian Splatting (3DGS)
• SMPL parametric body model
• Motion Diffusion Model (MDM)
• Material Point Method (MPM)
• Score Distillation Sampling (SDS)
• Human Motion Score Distillation (HMSD)
• Linear Blend Skinning (LBS)
• Video-SDS (Video Score Distillation Sampling)
• Windowed Attraction Loss (高斯加权)
• Contact Detection and Re-simulation

Strengths:

• 首次将生成式人体运动与显式物理模拟（MPM）结合，实现因果一致的交互。
• 自动确定接触关节和接触帧，无需人工标注。
• 利用3DGS实现高效渲染和可微分优化，支持新颖视角。
• 视频SDS掩码策略在增强接触细节的同时保持物理运动稳定性。
• 在多种动作、人体和物体上验证，泛化性强。

Limitations:

• 仅针对离散动量传递的动作（踢、打、推），未覆盖连续接触（如抓取、拥抱）。
• 依赖预训练的MDM和视频扩散模型，可能受限于训练数据分布。
• MPM模拟计算开销较大，可能影响实时性。
• 物体初始轨迹由前向模拟生成，未考虑人体运动对物体的预影响。

Relevance To Keywords:

• Unify Models: 论文统一了生成式运动模型（MDM）与物理模拟模型（MPM），属于模型统一。
• World Models: MPM模拟可视为对物体物理世界的建模，结合生成式人体运动，构成部分世界模型。
• Representation Learning: 使用3D高斯泼溅作为统一表示，支持可微分优化和渲染。
• Model-Based RL: 论文未直接涉及强化学习，但物理模拟和优化过程可类比模型预测控制。
• 原生多模态大模型: 论文使用文本驱动生成，但未涉及原生多模态大模型架构。
• 多模态大模型的理解和生成一体化: 论文结合文本理解（动作描述）与4D场景生成，但未使用统一多模态模型。
• 表征学习: 3DGS和SMPL参数化属于表征学习范畴。
• 世界模型: MPM模拟物体动力学，可视为局部世界模型。
• 强化学习: 未使用强化学习。
• 后训练: 论文使用预训练MDM和视频扩散模型，通过蒸馏进行后训练优化。

组织病理学编码器与转录组和基因组数据的多模态对齐已被证明能显著提高下游诊断任务的性能。血液细胞学具有独特性，因为视觉单细胞评估通常与细胞遗传学和分子遗传学配对用于血液癌症诊断。在本研究中，我们提出了一种框架，用于将单个白细胞图像与染色体畸变（Karyotype）和来自靶向基因面板的 Somatic Mutations 进行对齐。我们的训练策略采用两阶段方法：(i) 在超过 1500 名患者的队列上，使用 iBOT 头对 Transformer Aggregator 进行自监督、仅视觉预训练；(ii) 在急性髓系白血病（Acute Myeloid Leukemia）患者上通过 Supervised Contrastive Loss 进行基因对齐。我们的基因对齐患者编码器改进了血液诊断任务，优于切片级组织病理学 Foundation Models。此外，该模型提供了针对疾病和遗传变异的现成检索能力。将遗传数据纳入患者编码器提高了患者表征的质量，提供了一个与临床诊断工作流程对齐的框架，并为未来的多模态血液学专用 AI 铺平了道路。代码和模型权重可在 https://github.com/marrlab/GenBloom 获取。

Multimodal alignment of histopathology encoders with transcriptomic and genomic data has been shown to significantly improve performance in downstream diagnostic tasks. Hematological cytology is unique in that visual single-cell evaluation is often paired with cytogenetics and molecular genetics for blood cancer diagnosis. In this study, we present a framework to align single white blood cell images with chromosomal aberrations (karyotype) and somatic mutations from targeted gene panels. Our training strategy follows a two-stage approach: (i) self-supervised, vision-only pretraining of a transformer aggregator using an iBOT head on a cohort of over 1500 patients, and (ii) genetic alignment via supervised contrastive loss on acute myeloid leukemia patients. Our genetically aligned patient encoder improves hematological diagnostic tasks, outperforming slide-level histopathology foundation models. Additionally, the model provides off-the-shelf retrieval capabilities for diseases and genetic alterations. Incorporating genetic data into patient encoders increases the quality of patient representations, providing a framework that aligns with clinical diagnostic workflows and paves the way for future multimodal hematology-specific AI. The code and model weights are available at https://github.com/marrlab/GenBloom.

评分理由: 论文核心在于多模态（图像与基因数据）表征学习，因此 MultiModal 和 Visual Encoder 得分较高；Unify Models 涉及不同模态表征的对齐，有一定关联；Tokenizer 未作为技术重点提及；World Models、MLLM 和 model-based RL 与论文的诊断任务及非强化学习性质无关，故得分为 0。

Hematological Diagnosis, Multimodal Alignment, Patient Representations, Visual Encoder, Genetic Data, Contrastive Loss, Transformer Aggregator, Chromosomal Aberrations

Chinese Title: 遗传对齐的患者表征提升血液学诊断

Summary: 本文提出GenBloom框架，首次在血液学诊断中实现单白细胞图像与遗传数据（染色体畸变和体细胞突变）的多模态对齐。研究采用两阶段训练策略：首先在超过1500名患者的单细胞图像上进行自监督视觉预训练（使用iBOT头），然后在急性髓系白血病（AML）患者上通过监督对比学习进行遗传对齐。GenBloom使用冻结的DinoBloom编码器提取细胞特征，并通过小型视觉Transformer聚合器生成患者级表征。实验表明，GenBloom在AML亚型分类、跨模态检索等任务上优于GigaPath、PRISM、TITAN等现有病理学基础模型，且具备即用型的疾病和遗传变异检索能力。该框架与临床诊断流程高度契合，为未来多模态血液学AI奠定了基础。

Innovations:

• 首次在血液学领域实现单细胞图像与遗传数据（核型、体细胞突变）的多模态对齐
• 提出两阶段训练范式：大规模自监督视觉预训练 + 监督对比遗传对齐
• 使用iBOT头在患者级细胞嵌入上进行自监督学习，无需原始图像
• 通过交叉模态对比学习和解码器重建，保持模态特异性信息并防止表征坍塌
• 提供即用型的跨模态检索能力（图像↔核型、图像↔突变），辅助临床诊断

Methodology: 采用两阶段训练：第一阶段，使用DinoBloom-B（冻结）提取单细胞嵌入，通过DINOv2/iBOT自监督方法在患者级细胞集合上训练视觉Transformer聚合器（GenBloom），使用多裁剪子采样和掩码嵌入预测。第二阶段，对AML患者进行遗传对齐：将核型（经CytoGPS编码为1104维二进制向量）和突变（25维二进制向量）通过MLP投影到128维共享空间，使用交叉模态监督对比损失对齐图像、核型和突变表征，并添加轻量级解码器以二进制交叉熵损失重建原始遗传特征。下游评估使用k-NN、逻辑回归和检索指标（mAP、MRR、F1）。

Key Results:

• GenBloom在AML-Hehr、APL-AML、AMH三个数据集上的平均性能优于GigaPath、PRISM、TITAN及DinoBloom均值池化基线
• 在AML-Hehr测试集上，GenBloom-G的跨模态检索（图像↔核型、图像↔突变）的Top-5准确率和MRR显著高于随机基线（p<0.001）
• 在cAItomorph队列上，GenBloom-G在多个基因（如NPM1、FLT3-ITD、CEBPA等）的跨模态检索F1分数优于随机基线
• UMAP可视化显示遗传对齐后的患者表征按遗传亚型形成聚类

Tech Stack:

• DinoBloom-B（血液学图像编码器）
• Vision Transformer（ViT，6层，12头，嵌入维度768）
• DINOv2/iBOT自监督预训练（多裁剪、掩码嵌入预测）
• 监督对比学习（SupCon损失）
• CytoGPS（核型文本转二进制向量）
• 逻辑回归（lbfgs求解器，C=1）
• k-NN（k=5）
• 余弦相似度检索
• 二元交叉熵损失（BCE）
• 指数移动平均（EMA）教师模型

Strengths:

• 首次将遗传信息融入血液学图像表征学习，与临床诊断流程高度一致
• 单细胞分辨率，能够捕捉形态与遗传的细粒度关联
• 两阶段训练有效利用大规模无标签数据和有限配对数据
• 跨模态检索能力可直接辅助医生进行病例查找和鉴别诊断
• 在多个公开数据集上全面优于现有病理学基础模型

Limitations:

• 遗传对齐仅针对AML患者，泛化到其他血液疾病需验证
• 配对数据规模较小（189例AML），可能限制对齐质量
• 核型编码采用CytoGPS的二进制表示，可能丢失部分结构信息
• 模型仅使用外周血涂片，未纳入骨髓涂片等其他模态
• 计算资源消耗较大（单H100 GPU训练100 epoch）

Relevance To Keywords:

• 表征学习：GenBloom通过自监督和对比学习学习患者级多模态表征
• 多模态大模型：框架对齐图像与遗传数据，属于多模态表征学习
• 世界模型：遗传信息作为潜在因果变量，增强模型对疾病机制的理解
• 强化学习/后训练：论文未直接涉及，但遗传对齐可视为一种后训练策略

视觉 - 语言模型（VLMs）在高层图像 - 文本对齐方面取得了显著进展，但其感知细微视觉差异的能力仍然有限。我们在渲染的网页界面中研究这一问题，其中局部视觉变化既是细粒度感知的诊断测试，也是 GUI 代理和设计工具的实际需求。我们引入了 **DiffSpot**，这是一个用于网页界面开放式找不同任务的代码驱动基准测试。DiffSpot 通过修改自包含 HTML 中目标元素的单个 CSS 属性、重新渲染页面并记录更改的属性、元素及修改幅度，来构建受控图像对。一个定位门（grounding gate）仅保留那些渲染像素差异局限于目标元素的图像对。该基准测试包含 4,400 对图像，其中包括 3,900 对有差异对，这些对平衡分布在 13 种 CSS 属性操作符和三个难度层级上，外加 500 对无差异对用于幻觉控制。在零样本评估 13 种前沿 VLMs 时，我们发现即使是最优模型也只能识别出 40.7% 的真实变化，且所有模型在困难层级上的召回率均低于 23%。DiffSpot 进一步表明，难度高度依赖于属性：在 CSS 操作符之间，像素变化幅度或 CLIP 距离均无法可靠地预测召回率。

Vision-language models (VLMs) have made strong progress on high-level image-text alignment, yet their ability to perceive subtle visual differences remains limited. We study this problem in rendered web interfaces, where localized visual changes are both a diagnostic test of fine-grained perception and a practical requirement for GUI agents and design tools. We introduce \textbf{DiffSpot}, a code-driven benchmark for open-ended spot-the-difference on web interfaces. DiffSpot constructs controlled image pairs by mutating a single CSS property of a target element in self-contained HTML, re-rendering the page, and recording the changed property, element, and mutation magnitude. A grounding gate retains only pairs whose rendered pixel difference is confined to the target element. The benchmark contains 4{,}400 pairs, including 3{,}900 has-diff pairs balanced across 13 CSS-property operators and three difficulty tiers, plus 500 no-diff pairs for hallucination control. Evaluating 13 frontier VLMs zero-shot, we find that even the best model identifies only $40.7\%$ of true changes, with Hard-tier Recall below $23\%$ for every model. DiffSpot further shows that difficulty is strongly property-dependent: across CSS operators, neither pixel magnitude nor CLIP distance reliably predicts Recall.

评分理由: The paper introduces DiffSpot, a benchmark for evaluating Vision-Language Models (MLLMs) on fine-grained visual difference detection in web interfaces. It is highly relevant to MLLM and MultiModal keywords as the core subject is assessing multimodal model performance. Visual Encoder is moderately relevant because VLMs utilize encoders, though the paper focuses on task performance rather than encoder design. Unify Models, Tokenizer, World Models, and model-based RL are not discussed or relevant to this specific benchmark study.

DiffSpot, VLMs, Fine-grained perception, Web interfaces, Benchmark, CSS mutations, Visual differences

Chinese Title: DiffSpot：视觉语言模型能否识别网页界面中的细粒度视觉差异？

Summary: 论文研究视觉语言模型（VLM）在细粒度视觉感知上的能力，聚焦于网页界面中的“找不同”任务。现有VLM在高层次图文对齐上表现良好，但在识别微小视觉变化上仍脆弱。作者提出DiffSpot基准，通过代码驱动方式生成受控图像对：对自包含HTML中目标元素的单个CSS属性进行突变，重新渲染页面，并记录变化属性、元素和幅度。引入接地门（grounding gate）确保渲染后的像素差异仅限于目标元素。基准包含4400对图像（3900有差异对，平衡13个CSS属性操作符和三个难度级别；500无差异对用于幻觉控制）。评估13个前沿VLM零样本，最佳模型仅识别40.7%的真实变化，Hard级别召回率低于23%。难度强烈依赖于属性类型，像素幅度和CLIP距离不能可靠预测召回率。结果表明细粒度视觉差异检测远未解决，且模型对CSS属性级别的感知存在系统性失败。

Innovations:

• 首个针对网页界面开放式“找不同”的基准DiffSpot，填补了现有VLM细粒度感知评估的空白。
• 代码驱动的视觉差异生成流水线，通过程序化CSS属性突变和接地门验证，避免了人工标注偏差。
• 属性级别的诊断发现：VLM性能与CSS属性类型强相关，而非像素幅度或CLIP距离，揭示了模型感知的局限性。
• 引入无差异对（500对）用于幻觉控制，能够评估模型的敏感度与约束权衡。
• 平衡的难度分层设计（Easy/Medium/Hard），支持对细粒度感知能力的精细诊断。

Methodology: 采用五阶段流水线构建基准：1）源语料库整理：从2M域名爬取页面，渲染后使用LLM再生为自包含HTML，经CLIP相似度过滤；2）程序化突变：定义13个CSS属性操作符（如字体、颜色、布局等），每个操作符通过Tailwind类切换或内联样式覆盖实现突变，并划分三个难度级别（参数幅度不同）；3）接地门验证：通过目标元素渲染后的边界框检查有效性（框内像素变化非零）、局部性（框外无变化）和选择器解析；4）精炼与过滤：使用LLM生成自然语言答案，并去除残留质量问题；5）分层抽样：每操作符-难度抽取100对（共3900有差异对），另加500无差异对。评估时，13个VLM零样本，使用Recall和Precision指标。

Key Results:

• 最佳模型（Claude 4.5 Sonnet）整体Recall仅40.7%，Hard级别Recall低于23%。
• 性能在CSS操作符间差异远大于源域间差异，表明“什么变了”比“在哪里变”更重要。
• 像素变化幅度和CLIP图像距离不能可靠预测Recall，模型难以感知和命名CSS级视觉属性。
• 无差异对测试显示模型存在敏感度-约束权衡，部分模型在无变化时产生幻觉。
• 所有模型在Hard难度下Recall均低于23%，细粒度差异检测远未解决。

Tech Stack:

• Playwright（headless Chromium浏览器驱动）
• Tailwind CSS（用于类切换突变）
• LLM：gpt-oss-120b（用于HTML再生和自然语言描述生成）
• CLIP模型（用于原始与再生渲染的相似度过滤）
• Chrome User Experience Report和Majestic Top-1M（域名来源）
• 像素差异计算（边界框内/外）
• Recall和Precision统计指标

Strengths:

• 代码驱动生成避免了人工标注偏差，确保差异的原子性和局部性。
• 平衡覆盖13个CSS属性和三个难度级别，支持细粒度诊断。
• 接地门机制严格保证代码到像素的对应，提高数据质量。
• 包含无差异对控制幻觉，评估更全面。
• 评估多个前沿VLM，揭示重要失败模式，对后续研究有指导意义。

Limitations:

• 仅针对网页界面，泛化到自然图像或其他领域未知。
• 仅考虑单个CSS属性突变，复合变化或布局重排等更复杂情况未覆盖。
• 难度分层基于参数幅度，但感知难度可能受上下文影响，不完全等价。
• 零样本评估，未探索微调或提示工程对性能的提升。
• 数据集规模相对较小（4400对），可能影响统计稳定性。
• 渲染引擎差异（如不同浏览器）可能影响结果可重复性。

Relevance To Keywords:

• 原生多模态大模型：论文评估了多个原生多模态大模型（如GPT-4o、Claude、Gemini等），直接相关。
• 多模态大模型的理解和生成一体化：论文聚焦于VLM的视觉理解能力（细粒度差异检测），未涉及生成一体化，但理解是基础。
• 表征学习：VLM的表征学习能力在细粒度感知上表现不足，论文揭示了表征的局限性，与表征学习相关。
• 世界模型：不直接相关，但细粒度感知是世界模型构建的基础之一。
• 强化学习：不直接相关。
• 后训练：论文评估零样本性能，未涉及后训练，但结果暗示后训练可能改善细粒度感知，间接相关。

基础模型 (Foundation models) 越来越多地使用先前模型迭代生成的合成数据进行训练，而不仅仅是使用真实数据。这种自消耗 (self-consuming) 训练范式可能导致模型崩溃 (model collapse)、发散 (divergence) 或偏差放大 (bias amplification)。最近的研究 (Ferbach et al., 2024) 表明，将人工策展 (human curation) 纳入循环可以将自消耗模型引导至与人类对齐的行为 (human-aligned behavior)，但这些分析仅关注一个仅消耗自身输出的单一孤立模型 (single, isolated model)。然而，在实践中，模型通常交互并在其他模型产生的输入 - 输出对 (input-output pairs) 上训练。本文研究了多模型环境 (multi-model regime) 下的自消耗训练。我们首先形式化了一个交互自消耗模型的框架，并刻画了所得动力系统 (dynamical system) 何时收敛至稳定点 (stable point)。然后，我们考察一个模型的人工策展如何影响其自身的对齐 (alignment) (自我影响 (self-influence))，以及这种效应如何传播到其他模型 (交叉影响 (cross-influence))。与孤立设置 (isolated settings) 中人工策展总是增强模型对齐不同，我们表明跨模型交互 (cross-model interactions) 可以减弱甚至逆转这一效应，最终退化长期对齐 (long-term alignment)。

Foundation models are increasingly trained on synthetic data generated by prior model iterations rather than exclusively on real data. This self-consuming training paradigm can lead to model collapse, divergence, or bias amplification. Recent work (Ferbach et al., 2024) shows that incorporating human curation into the loop can steer a self-consuming model toward human-aligned behavior, but these analyses focus on a single, isolated model that solely consumes its own outputs. In practice, however, models often interact and train on input-output pairs produced by other models. This paper studies self-consuming training in the multi-model regime. We first formalize a framework for interacting self-consuming models and characterize when the resulting dynamical system converges to a stable point. We then examine how human curation of one model affects its own alignment (self-influence) and how such effects propagate to other models (cross-influence). Unlike isolated settings where human curation always enhances model alignment, we show that cross-model interactions can dampen or even invert this effect, ultimately degrading long-term alignment.

评分理由: 论文核心研究多模型自我消耗循环中的偏好对齐问题，与'Unify Models'（多模型交互系统）和'World Models'（自我消耗动态稳定性）高度相关。内容未涉及具体视觉编码器、分词器或强化学习算法细节，故相关度为 0。'MLLM'和'MultiModal'因属于大模型通用背景给予中等评分。

Self-consuming training, Multi-model regime, Human curation, Preference alignment, Cross-influence, Foundation models, Model collapse

Chinese Title: 人类策展何时以及如何适得其反：多模型自消耗循环下的偏好对齐

Summary: 本文研究多模型自消耗训练循环中人类策展对模型对齐的影响。基础模型越来越多地使用合成数据训练，可能导致模型崩溃或偏差放大。现有工作仅关注单模型场景，而实际中模型间存在交互。作者形式化了多模型自消耗系统的框架，分析了系统收敛到稳定点的条件。通过局部敏感性分析，量化了人类策展对自身模型（自影响）和其他模型（交叉影响）长期对齐的影响。关键发现：与单模型不同，在多模型交互下，增加人类策展并不总是改善对齐，反而可能因交叉影响而减弱甚至反转效果，导致长期对齐退化。实验验证了理论结果。

Innovations:

• 形式化了交互式多模型自消耗系统的通用框架，涵盖同步和异步更新，无需简化分布假设。
• 严格分析了多模型系统收敛到稳定点的条件，揭示了真实数据比例对稳定性的作用。
• 首次量化了人类策展在自消耗循环中的自影响和交叉影响，识别出策展可能适得其反的条件。
• 通过真实实验验证了人类策展效果的非单调性，与理论预测一致。

Methodology: 论文采用理论分析与实验验证相结合的方法。首先建立多模型自消耗系统的数学形式化，定义训练数据来源（真实数据、自生成合成数据、跨模型生成数据、人类策展数据）及混合权重。假设损失函数强凸且光滑，数据空间有界，模型和奖励函数Lipschitz连续，推导系统收敛条件。通过局部敏感性分析（对混合权重求导）分解自影响和交叉影响。实验部分使用真实模型（如LLM和扩散模型）验证理论。

Key Results:

• 多模型自消耗系统在强凸、光滑等条件下存在稳定点并收敛。
• 人类策展对自身模型对齐的影响（自影响）为正，但通过跨模型交互产生的交叉影响可能为负，且幅度可能超过自影响。
• 当交叉影响足够强时，增加人类策展反而降低长期对齐，即策展适得其反。
• 真实数据比例越高，系统越稳定，但人类策展的非单调效应依然存在。
• 实验表明，在图像-文本多模态交互中，提高一个模型的策展比例可能导致另一个模型的对齐下降。

Tech Stack:

• 数学方法：强凸性、光滑性、Lipschitz连续性、不动点定理、局部敏感性分析（导数）、Bradley-Terry偏好模型
• 算法：同步/异步迭代更新、梯度下降（隐含）、混合数据采样
• 工具：概率分布建模、期望风险最小化

Strengths:

• 填补了多模型自消耗循环中人类策展影响的理论空白，具有现实意义。
• 框架通用，可涵盖多种跨模型交互（生成-生成、生成-判别、跨模态）。
• 理论结果清晰，分解自影响和交叉影响，可解释性强。
• 实验验证了理论预测，增强了可信度。

Limitations:

• 理论分析依赖于强凸性和光滑性等假设，实际模型可能不完全满足。
• 仅考虑两个模型交互，未扩展到更多模型或复杂网络。
• 未考虑人类策展的噪声或对抗性情况（论文提及但未深入）。
• 实验部分可能仅针对特定模态和任务，泛化性需进一步验证。

Relevance To Keywords:

• Unify Models: 论文研究多模型交互，与统一模型思想相关。
• World Models: 自消耗循环涉及模型生成数据作为训练数据，与世界模型中的自监督学习相关。
• Representation Learning: 模型对齐涉及表征学习，但论文更侧重偏好对齐。
• Model-Based RL: 论文使用迭代训练和奖励函数，与基于模型的强化学习有方法论联系。
• 原生多模态大模型: 论文实验涉及图像-文本多模态交互，与多模态大模型相关。
• 多模态大模型的理解和生成一体化: 论文框架涵盖生成和判别模型交互，与一体化相关。
• 表征学习: 间接相关，模型参数更新隐含表征学习。
• 世界模型: 自消耗循环可视为世界模型中的自我改进。
• 强化学习: 使用Bradley-Terry模型和奖励函数，与RLHF相关。
• 后训练: 人类策展属于后训练阶段的对齐技术。

移动 GUI 智能体擅长即时反应控制，但在需要记忆的长周期现实任务中却经常失败。这种失败源于有限的上下文窗口与占用大量 token 的截图之间的根本冲突。为了节省有限的上下文，智能体必须逐步丢弃早期的视觉历史，从而永久丢失关键的瞬态信息。此外，现有的以动作为中心的数据集未能教导智能体何时或何事需要显式记忆，而扩充静态现实世界数据不仅成本过高，还缺乏交互式验证。为了解决这一问题，我们提出了 STAMP 框架，该框架通过可控虚拟环境训练移动智能体的显式记忆能力，其中确定性记忆变量被程序化地注入合成任务中，以控制必须记忆的内容、编码时机以及后续检索时机，从而大规模生成可验证的监督数据，并通过环境驱动的奖励反馈实现在线强化学习。在我们新引入的 Memory-World 基准测试上评估，所得的 Stamp-GUI 智能体在 GUI 专用模型中实现了最先进的性能，并在 Memory-World 基准测试上设定了新高，展现出卓越的记忆准确性和任务鲁棒性，同时保持了强大的通用移动导航能力。

Mobile GUI agents excel at immediate reactive control but frequently fail in realistic, long-horizon tasks that require memory. This failure stems from a fundamental conflict between limited context windows and token-heavy screenshots. To save the limited context, agents must progressively discard older visual history, permanently losing crucial transient information. Furthermore, existing action-centric datasets fail to teach agents what or when to explicitly memorize, and augmenting static real-world data is prohibitively expensive and lacks interactive verification. To resolve this, we present STAMP, a framework that trains explicit memory in mobile agents through controllable virtual environments, where deterministic memory variables are programmatically injected into synthesized tasks to control what must be memorized, when it should be encoded, and when it must later be retrieved, thereby producing verifiable supervised data at scale and enabling online reinforcement learning through environment-driven reward feedback. Evaluated on our newly introduced Memory-World benchmark, the resulting Stamp-GUI agent achieves state-of-the-art performance among GUI-specialized models and sets a new high watermark on our Memory-World benchmark, demonstrating exceptional memory accuracy and task resilience while maintaining strong general mobile navigation capabilities.

评分理由: 论文核心在于移动 GUI 代理的显式记忆训练框架（STAMP）及可控虚拟环境，与关键词匹配度分析如下：MultiModal 和 MLLM 相关性中等（GUI 代理 inherently 多模态且通常基于 MLLM 架构）；Visual Encoder、Tokenizer 和 model-based RL 相关性较低（仅作为技术组件或问题背景提及，非核心贡献）；Unify Models 和 World Models 相关性最低（论文未涉及模型统一或世界模型架构，仅基准测试名称含 World）。未发现指定专家作者（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang）。加权总分为 34.5，高于动态及格分 27.8。

Mobile GUI Agents, Explicit Memory, Controllable Virtual Environments, Memory-World Benchmark, Context Window Limitation, Reinforcement Learning, Long-horizon Tasks

Chinese Title: STAMP：在可控且可扩展的虚拟环境中训练移动GUI代理的显式记忆

Summary: 本文针对移动GUI代理在长程任务中因上下文窗口有限而丢失关键视觉信息的问题，提出STAMP框架。该框架利用可控虚拟环境自动合成记忆密集型任务，通过程序化注入确定性记忆变量（何时记忆、何时检索）生成可验证的监督数据，并支持在线强化学习。训练得到的Stamp-GUI代理在Memory-World基准上达到最优性能，显著提升记忆准确性和任务鲁棒性，同时保持强泛化导航能力。方法包括虚拟环境数据构建、步骤级平衡监督微调以及基于环境奖励的在线强化学习。

Innovations:

• 提出STAMP框架，利用可控虚拟环境自动生成可验证的显式记忆训练数据，解决真实数据标注昂贵且缺乏交互验证的问题。
• 设计程序化记忆注入机制，精确控制记忆内容、编码时机和检索时机，实现自动化的步骤级记忆监督。
• 引入在线强化学习，通过环境驱动的任务奖励和记忆完整性奖励，优化代理的记忆编码行为。
• 构建Memory-World基准和记忆适配的现有基准，专门评估移动代理的记忆能力。
• 训练出Stamp-GUI代理，在记忆密集型任务上达到SOTA，同时保持通用导航能力。

Methodology: 论文采用三阶段方法：第一阶段，基于种子配置自动合成虚拟环境，程序化注入记忆依赖，收集成功轨迹；第二阶段，对轨迹进行后处理，提取步骤级记忆监督，并合成推理目标，通过动作/记忆批评器过滤噪声；第三阶段，进行步骤平衡的监督微调（对记忆步骤加权），然后在虚拟环境中进行在线强化学习，奖励包括任务完成奖励、格式奖励和轨迹级记忆完整性奖励。

Key Results:

• Stamp-GUI在Memory-World基准上达到SOTA，任务成功准确率（T-Acc）和记忆准确率（M-Acc）均显著优于现有GUI专用模型。
• 在AndroidWorld-M和MemGUI-Bench的L1/L2/L3难度协议下，Stamp-GUI均表现最佳，尤其在记忆密集型任务中优势明显。
• 消融实验表明，在线强化学习进一步提升了记忆准确性和任务成功率，步骤平衡监督微调有效缓解了记忆步骤稀疏问题。
• 与仅使用文本压缩或对话历史的基线相比，Stamp-GUI避免了关键信息丢失导致的灾难性失败。

Tech Stack:

• 虚拟环境合成：基于种子配置（风格、布局密度、语义内容）自动生成移动界面。
• 程序化记忆注入：确定性变量控制记忆内容、出现步骤和检索步骤。
• 步骤级平衡监督微调：对记忆步骤使用权重w_bal_t = n（n为记忆步骤数），优化交叉熵损失。
• 在线强化学习：使用任务奖励R_task（成功/失败）、格式奖励R_format（动作格式正确性）、记忆奖励R_mem（轨迹级记忆完整性评分）。
• 记忆完整性评分：由评判模型评估预测记忆轨迹与参考记忆轨迹的匹配程度，分为完全、部分、不足三级。
• 动作/记忆批评器：用于过滤噪声标签。
• 评估基准：Memory-World（自建）、AndroidWorld-M、MemGUI-Bench。

Strengths:

• 创新性地利用可控虚拟环境解决记忆训练数据稀缺问题，实现自动化、可验证的数据生成。
• 将记忆作为显式输出融入动作预测循环，从根本上解决视觉信息丢失问题。
• 结合监督微调和在线强化学习，既利用离线数据又通过环境交互优化记忆策略。
• 提供专门的记忆评估基准，便于后续研究。
• 实验设计严谨，多难度协议有效分离记忆能力与通用导航能力。

Limitations:

• 虚拟环境与真实移动界面存在域差异，可能影响迁移效果。
• 记忆完整性评分依赖评判模型，可能存在主观偏差。
• 当前框架主要针对单步记忆（信息出现后立即记忆），对需要跨多步累积或推理的记忆场景未充分探索。
• 训练成本较高，需要大规模虚拟环境交互和在线强化学习。
• 未讨论记忆容量限制或记忆冲突（如多个相似信息）的处理。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但Stamp-GUI作为端到端多模态代理，可视为统一感知与记忆的尝试。
• World Models: 论文使用可控虚拟环境作为世界模型，通过环境合成和交互提供训练信号，与世界模型思想高度相关。
• Representation Learning: 论文通过记忆预测任务迫使模型学习关键信息的表征，但未深入探讨表征学习机制。
• Model-Based RL: 论文的在线强化学习基于虚拟环境（可视为模型），但未显式构建环境模型，更接近model-free RL。
• 原生多模态大模型: Stamp-GUI基于多模态大模型（如GUI-Owl系列），训练显式记忆能力，属于原生多模态大模型的应用。
• 多模态大模型的理解和生成一体化: 论文中模型同时输出推理内容、动作和记忆，体现理解与生成一体化。
• 表征学习: 记忆内容可视为对视觉信息的压缩表征，但论文未专门研究表征学习。
• 强化学习: 在线强化学习是核心训练方法之一。
• 后训练: 论文的监督微调和强化学习属于后训练阶段。

近期的大视图合成模型（LVSMs）主张采用编码器 - 解码器架构，将场景重建与渲染过程分离至独立的网络中。我们重新审视了这一设计。通过受控实验，我们表明一种仅解码器架构（将场景隐式表示为 KV-cache）在渲染复杂度保持一致的情况下，优于编码器 - 解码器变体，且参数量更少。进一步分析表明，在颜色输入重建网络与仅相机渲染网络之间共享权重，能更好地对齐二者在相同视角下的特征，从而促进图像合成。基于此发现，我们的模型（命名为 DVSM）进一步融合了基础模型先验与分阶段块大小策略，以优化效率与质量的权衡。我们的结果在多个基准上确立了新视图合成的最先进技术，在某些情况下，甚至在密集输入视图下优于每场景优化的 3DGS。

Recent Large View Synthesis Models (LVSMs) advocate an encoder-decoder architecture that separates reconstruction and rendering into distinct networks. We re-examine this design. Through controlled experiments, we show that a decoder-only architecture, which represents scenes implicitly as a KV-cache, outperforms encoder-decoder variants while using fewer parameters at identical rendering complexity. Further analysis shows that sharing weights between the color-input reconstruction network and the camera-only rendering network better aligns their features at the same viewpoint, facilitating image synthesis. Building on this finding, our model, dubbed DVSM, further incorporates foundation model priors and stage-wise patch sizing for an improved efficiency-quality tradeoff. Our results establish a new state of the art for novel-view synthesis across multiple benchmarks, in some cases even outperforming per-scene-optimized 3DGS under dense input views.

评分理由: 论文提出仅解码器架构统一重建与渲染过程，与 Unify Models 高度相关（8 分）；摒弃传统编码器，故 Visual Encoder 相关性低（1 分）；隐式 KV-cache 场景表示类同世界模型（5 分）；架构类似大模型且用基础模型先验，与 MLLM 风格相似（6 分）；但任务纯视觉无多模态交互（MultiModal: 2 分），无 Tokenizer 明确提及（1 分），且与强化学习无关（0 分）。作者列表未包含指定专家，无额外加分。

Decoder-only, View Synthesis, KV-cache, Foundation Models, Implicit Representation, Novel View Synthesis, Unified Architecture

Chinese Title: DVSM：正确实现的仅解码器视图合成模型

Summary: 本文提出DVSM（Decoder-only View Synthesis Model），一种仅解码器架构的新视图合成模型。针对现有大视图合成模型（LVSM）采用编码器-解码器分离重建与渲染的设计，作者通过控制实验证明，仅解码器架构（将场景隐式表示为KV缓存）在相同渲染复杂度下使用更少参数却取得更优性能。核心创新在于强制重建阶段（构建KV缓存）与渲染阶段（查询缓存）之间完全共享权重，这一设计使得特征对齐更好，类似于经典可微渲染方法（如NeRF、3DGS）中重建与渲染共享同一网络的思想。在此基础上，DVSM进一步引入预训练基础模型先验和分阶段补丁大小策略，提升效率-质量权衡。在多个基准数据集上，DVSM达到新SOTA，甚至在密集输入视图下超越每场景优化的3DGS。论文从架构设计、特征空间分析、类比经典方法等多角度论证了仅解码器架构的优越性。

Innovations:

• 提出完全权重共享的仅解码器架构，将场景隐式编码为KV缓存，在相同渲染复杂度下参数减半且质量更优。
• 通过控制实验和特征空间分析，揭示重建与渲染阶段权重共享的必要性，并类比经典可微渲染方法提供理论依据。
• 引入预训练基础模型（如DINOv2）先验，提升模型泛化能力。
• 提出分阶段补丁大小策略，在不同阶段使用不同补丁大小，优化计算与质量权衡。

Methodology: 采用Transformer解码器架构，输入处理阶段将图像和相机参数分别编码为上下文token和查询token。重建阶段，所有上下文token通过解码器，缓存所有交叉注意力层的键值对（KV-cache）作为隐式场景表示。渲染阶段，查询token通过同一解码器，利用缓存的KV进行交叉注意力检索。权重完全共享，包括输入嵌入层。训练时最小化光度损失和感知损失。进一步集成预训练基础模型（如DINOv2）作为特征提取器，并在不同阶段使用不同补丁大小（如重建阶段使用较小补丁，渲染阶段使用较大补丁）以平衡效率与质量。

Key Results:

• 在多个新视图合成基准（如DTU、Mip-NeRF 360、Blender等）上达到SOTA，部分指标超越每场景优化的3DGS。
• 与编码器-解码器变体相比，DVSM在相同渲染复杂度下参数减少约50%，且PSNR、SSIM等指标更高。
• 权重共享设计显著优于权重解耦设计，特征空间分析显示共享权重使重建与渲染阶段的交叉注意力特征更一致。
• 引入基础模型先验和分阶段补丁大小带来正交的性能提升，进一步改善效率-质量权衡。

Tech Stack:

• Transformer解码器（ViT架构）
• KV-cache（键值缓存）
• Plücker坐标编码相机射线
• 线性补丁嵌入（patch embedding）
• QK-normalization（查询-键归一化）
• 残差连接与层归一化
• 光度损失（L1/L2）与感知损失（LPIPS）
• 预训练基础模型（如DINOv2）
• 分阶段补丁大小策略

Strengths:

• 架构简洁高效，仅解码器设计避免了编码器-解码器的冗余参数。
• 权重共享设计具有理论依据，与经典可微渲染方法一脉相承，可解释性强。
• 通过控制实验和特征可视化提供了充分的实证支持。
• 集成基础模型先验和分阶段补丁策略，进一步提升了实用性和性能。
• 在多个基准上取得SOTA，甚至超越每场景优化方法，展示了泛化能力。

Limitations:

• 仅适用于校准相机输入的场景，未处理未知相机几何设置。
• 作为回归模型，无法生成未观测区域的纹理（需要生成模型补充）。
• 分阶段补丁大小策略可能增加工程实现复杂度。
• 实验主要基于合成数据和有限真实场景，大规模真实场景泛化性有待验证。
• 未与最新生成式视图合成模型（如基于扩散的模型）进行直接比较。

Relevance To Keywords:

• Unify Models: 论文提出的仅解码器架构统一了重建与渲染过程，体现了模型一体化思想，与“Unify Models”相关。
• World Models: 新视图合成是构建世界模型的关键能力之一，DVSM通过隐式场景表示（KV-cache）学习世界状态，与世界模型概念相关。
• Representation Learning: 论文将场景隐式表示为KV-cache，属于隐式表征学习，且通过权重共享促进特征对齐，与表征学习高度相关。
• Model-Based RL: 虽然论文未直接涉及强化学习，但其场景表示和渲染能力可用于基于模型的强化学习中的环境建模，有一定间接关联。
• 原生多模态大模型: 论文使用Transformer处理图像和相机参数，属于多模态输入，但未涉及文本等其他模态，相关性中等。
• 多模态大模型的理解和生成一体化: 论文的模型同时进行场景理解（重建）和图像生成（渲染），体现理解与生成一体化，相关。
• 表征学习: 同上，隐式表征学习是核心。
• 世界模型: 同上。
• 强化学习: 相关性较弱，但可视为世界模型组件。
• 后训练: 论文未涉及后训练策略，相关性低。

将开放词汇语义信息融入动态 3D 场景表示对于实现长期具身场景理解至关重要。然而，现有方法常因跨视图线索不完整而导致实例关联脆弱，且其处理对象级拓扑变化的能力有限，限制了长期机器人任务的执行。此外，当前的 3D 场景理解方法要么依赖缺乏显式空间推理的简单特征匹配，要么假设存在离线的真实 3D 几何。为应对这些挑战，我们提出 DGSG-Mind，这是一个混合实例感知的 3D Gaussian (3D 高斯) 动态场景图系统，配备具身推理代理。该系统将概率体素网格与显式 3D Gaussian 相结合，以实现稳健的跨模态实例融合及增量语义映射。系统通过基于高斯的视觉重定位以及受几何 - 语义一致性引导的局部掩码细化来处理动态变化。基于实例高斯图，DGSG-Mind 进一步构建层次化场景图，并开发了 3D Gaussian Mind (3D 高斯心智)，该模块整合了结构关系、空间 - 语义信息以及视觉标注的 RoI (感兴趣区域) 高斯渲染，以支持多模态推理。广泛实验表明，DGSG-Mind 在基于自重建地图的方法中实现了最佳的零样本 3D 视觉 - 语言定位 (3DVG) 性能，同时在 3D 开放词汇语义分割和场景重建方面也表现出卓越的性能。我们进一步将 DGSG-Mind 部署于真实机器人上，以展示其目标导向推理能力及动态更新能力。DGSG-Mind 的项目页面见：https://icr-lab.github.io/DGSG-Mind

Integrating open-vocabulary semantic information into dynamic 3D scene representations is essential for long-term embodied scene understanding. However, existing methods often suffer from fragile instance association due to incomplete cross-view cues, while their limited ability to handle object-level topological changes restricts long-term robotic task execution. Moreover, current 3D scene understanding methods either rely on simple feature matching without explicit spatial reasoning or assume offline ground-truth 3D geometry. To address these challenges, we present DGSG-Mind, a hybrid instance-aware 3D Gaussian dynamic scene graph system with an embodied reasoning agent. Our system couples a probabilistic voxel grid with explicit 3D Gaussians to enable robust cross-modal instance fusion and incremental semantic mapping. It handles dynamic changes through Gaussian-based visual relocalization and localized masked refinement guided by geometric-semantic consistency. Built on the instance Gaussian map, DGSG-Mind further constructs a hierarchical scene graph and develops the 3D Gaussian Mind, which integrates structural relations, spatial-semantic information, and visually annotated RoI Gaussian renderings for multimodal reasoning. Extensive experiments show that DGSG-Mind achieves the best zero-shot 3DVG performance among methods operating on self-reconstructed maps, while also delivering strong performance in 3D open-vocabulary semantic segmentation and scene reconstruction. We further deploy DGSG-Mind on real-world robots to demonstrate its target-oriented reasoning and dynamic update capabilities. The project page of DGSG-Mind is available at https://icr-lab.github.io/DGSG-Mind

评分理由: The paper focuses on 3D Gaussian scene graphs for embodied AI, showing moderate relevance to MultiModal (visual-semantic integration) and World Models (scene graph as internal representation), and low relevance to Tokenizer, MLLM, and model-based RL. Unify Models relates to the hybrid voxel-Gaussian architecture. No expert authors from the provided list were found. The weighted score (34.5) exceeds the dynamic passing threshold (27.8).

Dynamic 3D Gaussian, Scene Graph, Embodied Reasoning, Open-vocabulary, 3D Visual Grounding, Incremental Semantic Mapping, Robotic Task Execution

Chinese Title: DGSG-Mind：面向长期场景理解与定位的动态3D高斯场景图

Summary: 本文提出DGSG-Mind，一种混合实例感知的3D高斯动态场景图系统，旨在解决长期具身场景理解中的实例关联脆弱、动态拓扑变化处理能力不足以及缺乏显式空间推理等问题。系统将概率体素网格与显式3D高斯耦合，实现鲁棒的跨模态实例融合和增量语义建图；通过基于高斯的视觉重定位和几何-语义一致性引导的局部掩码细化，处理动态变化而不重新优化静态背景。在实例高斯图基础上构建层次化场景图，并开发3D高斯思维模块，融合结构关系、空间语义信息和RoI高斯渲染视觉线索进行多模态推理。实验表明，DGSG-Mind在自重建地图上的零样本3D视觉定位任务中达到最佳性能，同时在3D开放词汇语义分割和场景重建方面表现强劲，并在真实机器人上验证了目标导向推理和动态更新能力。

Innovations:

• 提出混合实例感知3DGS表示：将显式3D高斯与概率体素网格耦合，利用跨模态相似性和多术语高斯优化实现高质量重建和准确实例融合。
• 引入几何-语义动态更新：采用联合几何-语义一致性约束的局部掩码细化策略，在不重新优化静态背景的前提下提高动态场景更新精度。
• 开发3D高斯思维模块：构建层次化场景图，结合场景结构、节点级空间语义信息和带注释的RoI高斯渲染，支持复杂3D场景中的结构化理解和目标推理。
• 实现零样本3D视觉定位：直接在自重建的高斯地图上通过渲染的RoI视图和结构化场景图上下文进行视觉-空间推理，无需离线预扫描几何。

Methodology: 系统采用混合表示：概率体素网格作为几何支架，显式3D高斯用于渲染。输入RGB-D流后，通过YOLO-World和SAM提取2D实例掩码和CLIP语义特征，利用几何相似度、渲染掩码IoU和语义相似度进行跨模态实例关联与融合。建图过程中，体素网格引导高斯初始化，并联合光度、深度、尺度和法线正则化优化高斯场。动态场景中，先通过高斯渲染进行视觉重定位，再基于几何-语义一致性检测变化区域，执行局部掩码细化更新新增或移除物体，同时固定静态背景。最后，从高斯地图抽象出层次化场景图，3D高斯思维模块利用LLM/MLLM进行多模态推理，实现零样本3D视觉定位。

Key Results:

• 在零样本3D视觉定位任务上，DGSG-Mind在自重建地图上达到最佳性能，优于SeeGround、ConceptGraphs等方法。
• 在3D开放词汇语义分割和场景重建任务中表现强劲，重建质量高且语义准确。
• 在真实机器人平台上成功部署，展示了目标导向推理和动态更新能力，能够处理物体出现/消失等拓扑变化。

Tech Stack:

• 3D Gaussian Splatting (3DGS) 用于实时密集建图和渲染
• 概率体素网格 (Probabilistic Voxel Grid) 用于几何支架和实例关联
• YOLO-World 用于开放词汇目标检测
• Segment Anything Model (SAM) 用于生成高质量2D实例掩码
• CLIP 用于提取语义特征
• SBERT 等基础模型用于语义嵌入
• 多术语优化：光度、深度、尺度、法线正则化
• 几何-语义一致性检测
• 层次化场景图构建
• LLM/MLLM (如GPT-4V) 用于多模态推理和零样本3D视觉定位

Strengths:

• 混合表示结合了体素的几何稳定性和高斯的渲染质量，实现鲁棒的实例融合和高质量重建。
• 动态更新策略仅局部优化变化区域，避免全局重优化，效率高且保持静态背景一致性。
• 3D高斯思维模块充分利用渲染视觉线索和结构化场景图，实现零样本推理，无需离线预扫描。
• 在多个基准上取得领先性能，并在真实机器人上验证实用性。

Limitations:

• 依赖RGB-D输入和准确的相机位姿，在纯视觉或位姿噪声大的场景下可能性能下降。
• 实例关联阈值和权重需要手动设定，可能影响泛化性。
• 动态更新依赖于几何-语义一致性检测，对于外观变化大但几何不变的情况可能误判。
• 系统复杂度较高，实时性可能受限于多模块串行处理。

Relevance To Keywords: 论文与“原生多模态大模型”和“多模态大模型的理解和生成一体化”有一定相关性，因为其3D高斯思维模块利用多模态大模型进行视觉-语言推理，实现了场景理解与定位的一体化。与“世界模型”和“表征学习”相关：系统构建的3D高斯场景图可视为一种结构化世界模型，通过混合表示学习场景的几何、语义和实例表征。与“模型-Based RL”和“后训练”关联较弱，但系统支持长期动态场景更新，可为具身智能中的规划和控制提供场景先验。总体而言，论文聚焦于3D场景理解与动态建图，与多模态大模型和世界模型方向有交叉，但并非核心研究。

视觉 - 语言模型（VLMs）如 CLIP 展现出强大的零样本泛化能力，但在跨域场景中，当目标域训练数据稀缺时（跨域少样本学习，CDFSL），其性能显著下降。本文专注于基于 CLIP 的跨域少样本学习（CDFSL）任务中的目标域少样本微调。主流的微调范式统一地将所有图像块标记与对应的文本嵌入对齐。然而，我们发现一个反直觉的现象：主动将某些低相似度的图像标记（称为“尾部标记”）与文本嵌入拉开距离，一致地提升了目标域性能。我们深入研究了这一现象并提供了一种新颖的解释：在显著的域偏移和稀缺训练数据下，模型很难从视觉输入中提取语义信息；因此，普遍的对齐观点仅对已经包含足够语义信息的标记有效；对于尾部标记，强制对齐会导致对稀缺训练的过度拟合，而解除对齐则更为有效。受此启发，我们提出了一种针对 CLIP 的新颖微调策略：自适应尾部 - 头部对齐（ATHA），它将传统的统一对齐范式转变为自适应对齐范式，兼具对齐的加强与减弱。在四个具有挑战性的跨域少样本学习（CDFSL）基准上的广泛实验验证了我们最先进的性能。我们的代码可在 https://github.com/shuaiyi308/ATHA 获取。

Vision-Language Models (VLMs) such as CLIP demonstrate strong zero-shot generalization, but their performance significantly degrades in cross-domain scenarios with scarce target-domain training data (Cross-Domain Few-Shot Learning, CDFSL). In this paper, we focus on the target-domain few-shot finetuning in the CLIP-based CDFSL task. Prevailing finetuning paradigms uniformly align all image patch tokens with their corresponding textual embeddings. However, we find a counterintuitive phenomenon: actively pushing away certain low-similarity image tokens, termed "tail tokens", from their textual embeddings consistently improves target-domain performance. We delve into this phenomenon and provide a novel interpretation: under great domain shifts and scarce training data, the model can hardly extract semantic information from visual inputs; therefore, the common belief of alignment is valid only for tokens already containing sufficient semantic information; for tail tokens, forcing the alignment would lead to excessive overfitting to the scarce training, while breaking the alignment is more useful. Motivated by this, we propose Adaptive Tail-Head Alignment (ATHA), a novel fine-tuning strategy for CLIP that transforms the conventional uniform alignment paradigm to an adaptive alignment paradigm, with both alignment strengthening and weakening. Extensive experiments on four challenging CDFSL benchmarks validate our state-of-the-art performance. Our code is available at https://github.com/shuaiyi308/ATHA.

评分理由: 论文聚焦于 CLIP 在跨域少样本学习中的微调策略，涉及视觉编码器中的图像 patch token 处理及视觉 - 文本对齐，因此 Visual Encoder 和 MultiModal 相关性较高；CLIP 作为多模态基础模型与 MLLM 有一定关联；Unify Models、Tokenizer、World Models 及 model-based RL 与论文核心内容（少样本学习对齐策略）无关。作者列表中未包含指定的专家，故无额外加分。

CLIP, Cross-Domain Few-Shot Learning, Adaptive Tail-Head Alignment, Image Patch Tokens, Alignment Strategy, Vision-Language Models, Domain Adaptation

Chinese Title: 通过打破尾部对齐改进CLIP在源无关跨域小样本学习中的适应

Summary: 本文针对视觉语言模型CLIP在跨域小样本学习（CDFSL）中性能下降的问题，提出了一种新的微调策略。研究发现，在目标域微调时，主动推离与文本嵌入相似度低的“尾部令牌”反而能持续提升性能，这与传统的统一对齐范式相悖。作者通过分析认为，在域偏移大且训练数据稀缺的情况下，模型难以从视觉输入中提取语义信息，强制对齐尾部令牌会导致过拟合，而打破对齐则更有效。基于此，提出了自适应尾-头对齐（ATHA）方法，在ViT的每一层动态识别令牌并根据语义相关性进行非对称调制：头部令牌通过可学习的文本嵌入加法拉近，尾部令牌通过减法推远。在四个CDFSL基准上的实验表明，该方法达到了最先进性能。

Innovations:

• 发现并分析了反直觉现象：主动推离低相似度图像令牌（尾部令牌）能提升跨域小样本学习性能，挑战了传统统一对齐范式。
• 提出新解释：在域偏移大且数据稀缺时，对齐仅对含有足够语义信息的头部令牌有效，对尾部令牌打破对齐更有用。
• 提出自适应尾-头对齐（ATHA）方法，通过可学习的缩放参数动态控制文本嵌入的加/减操作，实现令牌级和层级自适应对齐调制。
• 在多个跨域小样本学习基准上取得最先进性能，验证了方法的有效性。

Methodology: 论文采用源无关跨域小样本学习（SF-CDFSL）设定，基于CLIP模型进行目标域微调。首先通过分析令牌与文本嵌入的相似度分布，识别头部令牌（高相似度）和尾部令牌（低相似度）。然后提出ATHA方法：在Vision Transformer的每一层前向传播中，动态计算每个令牌与各类文本嵌入的相似度，对头部令牌执行可学习权重的文本嵌入加法（拉近），对尾部令牌执行可学习权重的文本嵌入减法（推远）。训练使用交叉熵损失，并在多个基准数据集（如CDFSL benchmark）上进行评估。

Key Results:

• 主动推离尾部令牌在四个跨域小样本学习基准上一致提升性能，超越标准微调。
• 预训练模型在源域呈现理想的层次化相似度分布（头部令牌高相似、尾部令牌低相似），但在目标域分布变得平坦且缺乏区分性。
• 强制对齐尾部令牌会加剧过拟合，降低源域与目标域相似性；而加强头部令牌对齐可减少过拟合。
• ATHA方法在多个数据集上达到最先进性能，验证了自适应对齐策略的有效性。

Tech Stack:

• CLIP（视觉语言模型）
• Vision Transformer（ViT）
• 余弦相似度
• 交叉熵损失
• 可学习缩放参数（用于控制文本嵌入加/减）
• 源无关跨域小样本学习（SF-CDFSL）设定
• N-way K-shot episodic训练范式

Strengths:

• 发现了反直觉现象并提供了深入分析，对跨域小样本学习中的对齐策略有重要理论贡献。
• 提出的ATHA方法简单有效，无需额外数据或复杂模块，易于实现。
• 在多个具有挑战性的基准上验证了泛化能力，结果可靠。
• 代码开源，便于复现和后续研究。

Limitations:

• 方法依赖于预训练CLIP模型，可能不适用于其他视觉语言模型。
• 对尾部令牌的定义（基于相似度排序）可能受超参数影响，需要调优。
• 实验仅在图像分类任务上验证，未涉及其他跨域任务（如分割、检测）。
• 未深入探讨不同层自适应策略的差异，可能还有优化空间。

Relevance To Keywords:

• Unify Models: 论文聚焦CLIP模型微调，属于统一视觉语言模型的研究。
• World Models: 不直接相关，但跨域适应涉及对世界知识的迁移。
• Representation Learning: 核心是改进视觉表征的对齐方式，属于表征学习范畴。
• Model-Based RL: 不直接相关。
• 原生多模态大模型: CLIP是原生多模态模型，论文研究其适应策略。
• 多模态大模型的理解和生成一体化: 论文仅涉及理解（分类），不涉及生成。
• 表征学习: 同上，改进令牌级表征。
• 强化学习: 不相关。
• 后训练: 论文提出的微调策略属于后训练阶段。

点云分割是 3D 场景理解中的基础任务。其进展受限于密集 3D 标注所需的高昂成本和时间，导致标注样本难以获取。除了标注稀缺之外，不同的感知模态也面临固有的局限性。2D 图像提供丰富的纹理和外观线索，但它们缺乏明确的深度和几何结构。相比之下，3D 点云捕捉准确的几何结构，但它们是稀疏的且不包含纹理信息。因此，依赖单一模态限制了所学表示的丰富性并削弱了泛化能力。尽管近期结合 3D 点云与 2D 图像的多模态方法在分类和检索等任务中表现出强大性能，但它们通常依赖大规模标注数据集，且尚未被充分利用于数据高效的密集预测。针对上述局限性，我们提出了一种新颖的跨模态知识蒸馏框架 xModel-KD，用于 3D 点云分割。该方法通过跨模态对齐学习统一的逐点表示，利用 2D 纹理和 3D 几何的互补优势。具体而言，我们设计了一个跨模态融合编码器，使用对比目标进行训练，该目标强制对应 2D 和 3D 表示在多个视图之间保持特征一致性。通过将强大的预训练骨干网络与针对性的融合策略相结合，所提出的框架有效地将外观线索从图像转移到几何感知点特征。实验结果表明，跨模态融合相对于仅 LiDAR 基线在 mIoU 上实现了 2% 的绝对提升，证明了利用互补多模态信息对于可扩展且标注高效的 3D 场景理解的好处。

Point cloud segmentation is a fundamental task in 3D scene understanding. Its progress is constrained by the high cost and time required for dense 3D annotations, making labeled samples difficult to obtain. Beyond annotation scarcity, different sensing modalities face inherent limitations. 2D images provide rich texture and appearance cues, yet they lack explicit depth and geometric structure. In contrast, 3D point clouds capture accurate spatial geometry but are sparse and contain no texture information. As a result, relying on a single modality restricts the richness of learned representations and weakens generalization. Although recent multi-modal methods that combine 3D point clouds with 2D images have demonstrated strong performance in tasks such as classification and retrieval, they typically depend on large-scale labeled datasets and have not been fully exploited for data-efficient dense prediction. To address these limitations, we propose a novel cross-modal knowledge distillation framework, xModel-KD, for 3D point cloud segmentation. Our method exploits the complementary strengths of 2D texture and 3D geometry by learning unified per-point representations through cross-modal alignment. Specifically, we design a cross-modal fusion encoder trained with a contrastive objective that enforces feature consistency between corresponding 2D and 3D representations across multiple views. By integrating powerful pre-trained backbones with a targeted fusion strategy, the proposed framework effectively transfers appearance cues from images to geometry-aware point features. Experimental results show that cross-modal fusion achieves a 2% absolute improvement in mIoU over a LiDAR-only baseline, demonstrating the benefit of leveraging complementary multi-modal information for scalable and annotation-efficient 3D scene understanding.

评分理由: 相关性评分基于论文内容与关键词的匹配度：1. MultiModal (10 分)：论文核心是结合 2D 图像与 3D 点云，属于典型的多模态学习任务；2. Visual Encoder (7 分)：使用预训练骨干网络提取图像特征，涉及视觉编码器，但未作为核心创新点深入探讨；3. Unify Models (5 分)：文中提到‘统一逐点表示’，与统一概念相关，但并非背景中指的统一模型范式（如大模型统一架构）；4. Tokenizer, World Models, MLLM, model-based RL (0 分)：论文专注于 3D 感知与知识蒸馏，与 tokenizer、世界模型、大语言模型及强化学习无直接关联。专家检查：作者列表中未包含指定专家，无额外加分。加权总分 33.0，高于动态及格分 27.8。

Cross-modal Knowledge Distillation, 3D Scene Perception, Point Cloud Segmentation, LiDAR, Multi-modal Fusion, Representation Learning, Annotation-efficient

Chinese Title: xModel-KD：基于激光雷达的3D场景感知跨模态知识蒸馏

Summary: 本文提出xModel-KD，一种训练阶段的跨模态知识蒸馏框架，用于3D点云语义分割。针对2D图像缺乏深度信息、3D点云缺乏纹理信息且标注成本高的问题，该方法利用冻结的2D视觉基础模型作为教师，通过多尺度对比蒸馏将2D语义知识（纹理、边界、高层语义）迁移到3D骨干网络中。具体地，设计跨模态融合编码器，将2D和3D特征投影到共享嵌入空间，通过对比学习对齐对应点-像素对，并采用多尺度对齐（中间层传递结构信息，深层传递语义信息）。训练后移除2D分支和跨模态组件，仅保留增强的3D网络，实现零推理开销。实验表明，在nuScenes等数据集上，该方法相比纯LiDAR基线在mIoU上提升2%，有效缓解了视场不匹配问题，并实现了高效、可扩展的3D场景理解。

Innovations:

• 提出训练阶段仅需的跨模态知识蒸馏框架，将冻结2D教师的语义知识迁移到3D网络，推理时无需图像或融合模块，零额外开销。
• 设计多尺度对比蒸馏策略，对齐2D和3D的中间层（结构/边界）和深层（语义）特征，实现层次化知识迁移。
• 通过共享参数和对比学习，使3D网络对相机视场外的点也能继承2D先验，缓解视场不匹配问题。
• 轻量级流水线，训练后仅保留3D骨干，兼顾性能与部署效率。

Methodology: 采用教师-学生蒸馏范式：冻结的2D视觉基础模型（如DINO）作为教师，3D稀疏卷积网络作为学生。首先，分别用2D和3D编码器提取多尺度特征；然后，通过轻量投影头将两者映射到128维共享嵌入空间；接着，利用LiDAR到图像的投影建立点-像素对应关系，在多个尺度上应用对比损失（InfoNCE）拉近正对、推远负对；最后，通过逆投影恢复原始特征维度，供解码器进行语义分割。训练完成后，丢弃2D分支和投影头，仅用3D网络推理。

Key Results:

• 在nuScenes数据集上，xModel-KD相比纯LiDAR基线（如MinkowskiNet）在mIoU上绝对提升2%。
• 有效处理了约23.2%的LiDAR点位于相机视场外的问题，通过共享参数使这些点也受益于2D先验。
• 推理阶段无额外延迟或内存消耗，保持与纯3D模型相同的效率。
• 多尺度对比蒸馏优于单层蒸馏，中间层对齐贡献边界精度，深层对齐贡献语义精度。

Tech Stack:

• 3D骨干：稀疏卷积网络（如MinkowskiEngine或Cylinder3D）
• 2D教师：冻结的视觉基础模型（如DINO、CLIP）
• 对比学习：InfoNCE损失函数
• 多尺度特征提取：层级编码器-解码器结构
• 投影头：轻量MLP（映射到128维）
• 点-像素投影：基于LiDAR相机标定矩阵的投影变换
• 数据集：nuScenes、Waymo（实验提及）

Strengths:

• 创新性地将知识蒸馏与对比学习结合，实现无推理开销的跨模态迁移。
• 多尺度对齐策略有效传递了不同抽象层次的2D先验，提升分割精度。
• 对相机视场外点的处理机制增强了模型的鲁棒性和泛化能力。
• 方法轻量，易于集成到现有3D分割框架中，实用性强。
• 实验设计清晰，消融研究验证了各组件贡献。

Limitations:

• 依赖高质量的2D视觉基础模型，教师模型的选择可能影响蒸馏效果。
• 对比学习需要精确的点-像素对应，对传感器标定精度要求高。
• 仅针对语义分割任务，未验证在其他3D任务（如检测、实例分割）上的有效性。
• 提升幅度（2% mIoU）相对有限，可能受限于教师模型与3D任务之间的模态差异。
• 未在更多样化的数据集（如室内场景）上进行充分验证。

Relevance To Keywords:

• Unify Models: 论文通过跨模态蒸馏统一2D和3D表示，但未涉及生成与理解一体化。
• World Models: 不直接相关，但3D场景感知是世界模型的基础组件。
• Representation Learning: 核心相关，通过对比学习对齐跨模态表征。
• Model-Based RL: 不直接相关。
• 原生多模态大模型: 论文使用冻结的2D大模型作为教师，但未训练原生多模态模型。
• 多模态大模型的理解和生成一体化: 仅涉及理解（分割），无生成。
• 表征学习: 强相关，跨模态对齐和蒸馏本质是表征学习。
• 世界模型: 弱相关，3D感知可服务于世界模型构建。
• 强化学习: 不相关。
• 后训练: 弱相关，蒸馏可视为后训练阶段的知识迁移。

自动驾驶系统通常在有限的地理区域内训练和评估，这限制了它们在部署到新城市时的可扩展性。然而，外观、道路拓扑和交通模式等方面的显著领域偏移往往会导致跨城市部署时性能严重下降。基于领域适应、数据增强或合成数据生成的现有方法通常依赖于标注目标数据、城市特定标注或任务特定设计，这限制了它们在全面评估中的可扩展性和有效性。本文介绍了 CityTransfer-Bench，这是一个用于评估感知、分割和规划跨城市泛化能力的地理上不重叠的基准，并提出 CityGen，一种基于扩散的生成框架，该框架通过基于高清地图 (HD-map) 条件的合成实现零标签城市适应，并由城市级视觉提示引导。大量实验表明，CityGen 在多个任务上一致地提高了跨城市鲁棒性，为可泛化的自动驾驶建立了可扩展且标签高效的基石。

Autonomous driving systems are commonly trained and evaluated within limited geographic regions, which hinders their scalability when deployed in new cities. However, significant domain shifts in appearance, road topology, and traffic patterns often cause severe performance degradation under cross-city deployment. Existing approaches based on domain adaptation, data augmentation, or synthetic data generation typically rely on labeled target data, city-specific annotations, or task-specific designs, limiting their scalability and effectiveness for holistic evaluation. In this paper, we introduce CityTransfer-Bench, a geographically disjoint benchmark for evaluating cross-city generalization across perception, segmentation, and planning, and propose CityGen, a diffusion-based generative framework that performs zero-label city adaptation via HD-map-conditioned synthesis guided by city-level visual prompts. Extensive experiments demonstrate that CityGen consistently improves cross-city robustness across multiple tasks, establishing a scalable and label-efficient foundation for generalizable autonomous driving.

评分理由: The paper focuses on autonomous driving using diffusion models for cross-city generalization. It shows strong relevance to 'MultiModal' (combining HD-maps and visual prompts) and moderate relevance to 'World Models' (generating city environments). However, it lacks direct connection to 'MLLM', 'Tokenizer', or 'model-based RL' as core methodologies, resulting in lower scores for these keywords.

Autonomous Driving, Cross-City Generalization, Diffusion Models, HD-map-conditioned Synthesis, Zero-label Adaptation, City-level Visual Prompts, Domain Shift, Perception and Planning

Chinese Title: CityGen：结构引导的城市风格合成用于跨城市自动驾驶

Summary: 本文针对自动驾驶系统在跨城市部署时因外观、道路拓扑和交通模式等域偏移导致的性能下降问题，提出了CityTransfer-Bench基准和CityGen生成框架。CityTransfer-Bench是基于nuScenes数据集的地理分离基准，用于评估感知、分割和规划任务的跨城市泛化能力。CityGen是一种基于扩散模型的零标签城市适应框架，通过HD地图条件合成和城市级视觉提示引导，生成目标城市风格的图像，同时保持语义一致性。实验表明，CityGen生成的数据能显著提升下游任务在未见城市上的鲁棒性，为可扩展的跨域自动驾驶提供了基础。

Innovations:

• 首次提出专门用于评估自动驾驶跨城市泛化能力的基准CityTransfer-Bench，覆盖感知、分割和规划三个关键任务。
• 提出CityGen框架，利用扩散模型实现零标签城市适应，通过HD地图结构控制和城市风格条件合成，无需目标域标注。
• 设计结构引导的多视图HD地图投影方法，将车道几何和3D边界框投影到图像平面，作为几何不变的结构控制信号。
• 构建无标签的城市风格库，通过视觉-语言模型提取风格描述，实现可控且多样化的目标城市外观合成。
• 在多个任务上验证了生成数据对跨城市鲁棒性的提升，建立了可扩展的跨域自动驾驶研究基础。

Methodology: 论文采用扩散模型（DiT）作为生成主干，结合结构控制分支和风格条件注入。首先，从HD地图中提取车道线和3D边界框等几何元素，投影到多视图图像平面并栅格化为多通道掩码，作为结构控制信号。然后，通过轻量级结构编码器在每个去噪块中注入结构特征，保持几何一致性。同时，从无标签目标城市视频中采样帧，使用InternVL视觉-语言模型提取风格描述，构建城市风格库。在生成时，随机采样风格描述作为条件，与结构控制共同引导去噪过程，实现目标城市风格的多视图合成。此外，采用多视图注意力机制增强跨视图几何一致性。

Key Results:

• CityGen生成的数据在感知、分割和规划任务上均显著提升了跨城市泛化性能。
• 在CityTransfer-Bench基准上，使用CityGen数据训练的模型在目标城市（波士顿）上的检测、分割和规划指标均优于基线方法。
• 零标签城市适应策略有效避免了目标域标注成本，同时保持了语义一致性。
• 结构控制确保了生成图像中车道拓扑和物体位置的准确性，使得现有标注可直接复用。

Tech Stack:

• 扩散模型（Diffusion Transformer, DiT）
• 结构控制分支（ControlNet-like结构注入）
• 多视图HD地图投影与栅格化
• 视觉-语言模型（InternVL）用于风格编码
• 多视图注意力机制
• 特征级加法注入（feature-wise addition）
• 去噪过程条件采样（DDPM/DDIM）

Strengths:

• 提出了首个跨城市自动驾驶多任务基准，填补了该领域评估体系的空白。
• CityGen实现了零标签城市适应，大幅降低了数据标注成本，具有高可扩展性。
• 结构控制与风格条件解耦的设计使得生成图像既保持几何精确性又具备目标城市外观，语义一致性高。
• 实验覆盖感知、分割、规划三个关键任务，验证了方法的通用性和有效性。

Limitations:

• 依赖HD地图的可用性，对于缺乏高精地图的城市可能无法直接应用。
• 风格库的构建需要目标城市视频数据，虽然无需标注但仍需数据采集。
• 生成质量可能受限于扩散模型的计算成本和实时性要求，实际部署时需考虑效率。
• 仅基于nuScenes数据集验证，其他城市或场景的泛化性有待进一步测试。

Relevance To Keywords:

• 世界模型：CityGen通过扩散模型生成城市风格图像，可视为一种世界模型，模拟不同城市的外观和布局，用于提升自动驾驶系统的泛化能力。
• 表征学习：论文使用视觉-语言模型提取城市风格表征，并通过结构控制学习几何不变表征，体现了表征学习在域适应中的应用。
• 多模态大模型的理解和生成一体化：CityGen结合了视觉-语言模型（InternVL）进行风格理解，以及扩散模型进行图像生成，实现了理解与生成的一体化。
• 后训练：CityGen生成的数据可用于下游模型的后训练（微调），提升跨城市性能，属于后训练策略。
• 强化学习：论文的规划任务评估涉及决策制定，生成数据可辅助强化学习中的环境模拟，但论文本身未直接使用强化学习。
• 模型基于强化学习：论文未涉及强化学习算法，但生成数据可服务于基于强化学习的规划模型训练。

我们提出了 MMTM，这是一个用于长视频主题发现的模块化流程，通过确定性相似门控融合整合了语音识别、音频与视觉嵌入以及 BERTopic 聚类。在德语（Tagesschau）和英语（NBC）广播新闻上进行跨语言评估，联合三模态建模显著提升了主题质量：噪声从 0.27 降至 0.06，转换率从 0.70 降至 0.21，归一化熵从 0.84 升至 0.92，表明主题更具连贯性和时间稳定性。聚类有效性（Calinski-Harabasz 指数）在嵌入空间上提升了 5 到 12 倍。词汇连贯性（NPMI）在德语语料上从 0.77 升至 0.86，但具有语料库依赖性，并未迁移到较短的 NBC 广播中。我们发布了该流程代码以及一个人工验证的 54 小时多模态视频主题语料库，包含双标注者视觉评估和大语言模型（LLM）辅助标注。

We introduce MMTM, a modular pipeline for topic discovery in long-form video that integrates speech recognition, audio and visual embeddings, and BERTopic clustering through a deterministic similarity-gated fusion. Evaluated cross-lingually on German (Tagesschau) and English (NBC) broadcast news, joint tri-modal modeling substantially improves topic quality: noise drops from 0.27 to 0.06, transition rate from 0.70 to 0.21, and normalized entropy rises from 0.84 to 0.92, indicating more coherent and temporally stable topics. Cluster validity (Calinski-Harabasz) improves by 5-12X across embedding spaces. Lexical coherence (NPMI) rises from 0.77 to 0.86 on German but is corpus-dependent and does not transfer to the shorter NBC broadcasts. We release the pipeline code and a human-validated 54-hour multimodal video topic corpus with dual-annotator visual evaluation and LLM-assisted labeling.

评分理由: The paper proposes a tri-modal topic modeling pipeline for long-form video, integrating speech, audio, and visual embeddings. It scores high on MultiModal (9) due to explicit tri-modal integration, moderate on Visual Encoder (5) and Unify Models (3) regarding modality fusion, low on Tokenizer (2) and MLLM (3) as they are not core contributions, and zero on World Models and model-based RL (0) as the paper involves no RL or world modeling. Total weighted score is 33.0, exceeding the passing threshold. None of the specified expert authors (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) are present in the author list.

Tri-Modal Topic Modeling, Long-Form Video, Similarity-Gated Fusion, Audio-Visual Embeddings, BERTopic Clustering, Topic Discovery, Speech Recognition

Chinese Title: MMTM：基于相似度门控融合的长视频三模态主题建模

Summary: 本文提出MMTM，一种模块化流水线，用于长视频中的主题发现。该方法集成语音识别（Whisper）、音频嵌入（CLAP）和视觉嵌入（OpenCLIP），通过确定性相似度门控融合将三模态特征结合，并使用BERTopic进行聚类。在德语（Tagesschau）和英语（NBC）新闻广播上进行跨语言评估，结果表明三模态联合建模显著提升了主题质量：噪声从0.27降至0.06，转换率从0.70降至0.21，归一化熵从0.84升至0.92，聚类有效性指标（Calinski-Harabasz）提升5-12倍。词汇连贯性（NPMI）在德语语料上从0.77升至0.86，但在较短的英语广播上未转移。作者还发布了流水线代码和一个经人工验证的54小时多模态视频主题数据集，包含双标注者视觉评估和LLM辅助标注。

Innovations:

• 提出模块化、开源的多模态视频主题建模流水线，集成ASR、CLAP和OpenCLIP嵌入，通过相似度门控融合实现三模态联合表示。
• 引入确定性相似度门控融合机制，根据模态间一致性动态加权，无需训练或微调。
• 构建并发布约54小时的多模态视频主题数据集，包含双标注者人工验证和LLM辅助主题标签。
• 在跨语言（德语和英语）新闻视频上系统评估，证明三模态融合在主题结构质量和词汇连贯性上的显著提升。
• 支持可配置的多模态融合权重和基于种子词的弱监督主题建模，增强灵活性和可扩展性。

Methodology: MMTM采用模块化流水线：首先使用Whisper对视频音频进行转录并生成时间戳文本段；对每个文本段，使用CLAP提取音频嵌入，使用OpenCLIP（ViT-B-32）对经多样性感知排序的代表性帧进行平均池化得到视觉嵌入；将文本、音频、视觉嵌入L2归一化并截断至最小维度，计算三对点积相似度，通过缩放因子加权后与逐元素乘积拼接得到融合嵌入；最后使用BERTopic对融合嵌入进行聚类，并可选地通过reduce_topics()自动合并相似主题。音频嵌入还独立用于UMAP+HDBSCAN聚类生成说话人风格元数据，不参与主题发现。

Key Results: