离散视觉标记 (Discrete visual tokens) 应为自动驾驶中基于标记的世界建模 (token-based world modeling) 和规划提供紧凑表示。然而，大多数标记器 (tokenizer) 源自图像生成，主要优化于像素重建，这可能在易于生成与对驾驶决策有用解码之间留下差距。我们提出了一种表示引导且几何增强的标记器，该标记器在联合监督下学习离散标记 (tokens)。该标记器通过特征解码将其离散瓶颈与冻结的 DINO 特征空间对齐，同时通过带有感知损失和对抗损失的 RGB 重建保留外观。为了注入几何状态相关线索，我们在训练期间添加相邻帧深度和相对位姿监督，并使用多码本量化稳定联合目标。我们使用轻量级规划读出和 GPT 风格的下一个标记 (token) 世界模型 (world model) 评估相同的所学标记。在 NAVSIM 上的实验表明，重建保真度和表示一致性有所提高，在固定解码器下具有竞争力的规划性能，以及在匹配设置下更好的生成质量。

Discrete visual tokens should provide a compact representation for both token-based world modeling and planning in autonomous driving. However, most tokenizers are inherited from image generation and are optimized mainly for pixel reconstruction, which may leave a gap between what is easy to generate and what is useful to decode for driving decisions. We present a representation-guided and geometry-enhanced tokenizer that learns discrete tokens under joint supervision. The tokenizer aligns its discrete bottleneck with a frozen DINO feature space through feature decoding, while preserving appearance via RGB reconstruction with perceptual and adversarial losses. To inject geometric state-related cues, we add adjacent-frame depth and relative-pose supervision during training and stabilize joint objectives with multi-codebook quantization. We evaluate the same learned tokens with a lightweight planning readout and a GPT-style next-token world model. Experiments on NAVSIM show improved reconstruction fidelity and representation consistency, competitive planning performance under a fixed decoder, and better generative quality under matched settings.

评分理由: 论文标题强调'Unified'，与 Unify Models 高度契合；核心创新为离散 Tokenizer，故该词得满分；利用 DINO 特征对齐涉及 Visual Encoder；明确构建 World Models 并使用 GPT-style 架构，故 World Models 得满分；GPT-style 架构与 MLLM 技术栈相似，故 MLLM 相关；融合视觉与几何信息属于 MultiModal；世界模型结合规划任务符合 Model-Based RL 范式。作者列表中未包含指定的 Yang Shi 等专家。

Unified Driving Tokens, Discrete Tokenizer, World Models, Representation Learning, Geometry-Guided, Autonomous Driving, Planning

Chinese Title: 统一驾驶令牌：面向驾驶世界模型与规划的表示与几何引导的离散分词器

Summary: 本文提出一种面向自动驾驶的统一离散令牌学习框架，旨在使离散令牌同时服务于基于令牌的世界模型生成和规划决策。现有分词器多继承自图像生成，主要优化像素重建，导致令牌在规划任务中信息不足。作者设计了一个表示引导与几何增强的离散分词器：编码器融合冻结的DINO特征和RGB细节分支，解码器联合重建RGB和DINO特征以保留语义，并引入相邻帧深度和相对位姿监督以注入几何线索；采用多码本量化稳定联合训练。在NAVSIM数据集上，该分词器在重建保真度、表示一致性、规划性能和生成质量上均优于基线方法。

Innovations:

• 提出统一离散令牌学习框架，将令牌视为同时服务于世界模型生成和规划决策的共享接口。
• 设计语义表示引导的离散VQ分词器，通过冻结表示编码、显式细节通路和联合RGB/语义特征重建，对齐强预训练表示并保持外观保真度。
• 引入时间深度和自运动监督使令牌具有几何感知能力，结合多码本量化实现外观、语义和几何的平衡联合训练。
• 通过轻量规划解码器和自回归下一令牌Transformer世界模型验证了所学离散接口的规划收益和生成质量提升。

Methodology: 基于VQ-VAE架构，编码器使用冻结DINO特征和RGB细节分支的拼接，经Transformer编码后通过多码本量化得到离散令牌；解码器重建RGB和DINO特征，并额外解码相邻帧的深度和相对位姿以施加几何监督。训练目标包括像素重建损失、感知损失、语义对齐损失、对抗损失和量化正则项。下游评估：轻量规划解码器从冻结令牌预测轨迹；自回归Transformer世界模型以令牌序列进行下一令牌预测并评估生成质量。

Key Results:

• 在NAVSIM数据集上，所提分词器在RGB重建和DINO特征重建上优于基线（如VQGAN）。
• 使用相同冻结令牌的轻量规划器在规划指标（如碰撞率、位移误差）上取得竞争性结果。
• 在匹配设置下，基于所提令牌的自回归世界模型生成质量（FID等）优于基线。
• 多码本量化有效缓解了联合监督下的码本崩溃和利用率低问题。

Tech Stack:

• VQ-VAE（向量量化变分自编码器）
• DINO（自监督视觉Transformer特征）
• Transformer编码器（Pre-norm, RoPE位置编码）
• LPIPS感知损失
• GAN对抗训练（判别器）
• 指数移动平均（EMA）码本更新
• 死码重新初始化与正交正则化
• 多码本量化（Multi-codebook quantization）
• 自回归下一令牌预测（GPT风格）

Strengths:

• 将规划消费性作为令牌学习的一等目标，而非事后评估，填补了现有分词器与驾驶决策之间的鸿沟。
• 联合语义、外观和几何监督，使令牌携带丰富信息，同时通过多码本量化稳定训练。
• 实验设计全面，同时评估重建、规划性能和生成质量，验证了统一接口的有效性。
• 方法具有通用性，可推广至其他需要离散表示的下游任务。

Limitations:

• 依赖冻结的DINO特征，可能限制了令牌对驾驶特定语义（如交通规则、动态物体）的适应能力。
• 几何监督仅使用相邻帧深度和相对位姿，未显式建模长时序运动或场景流。
• 实验仅在NAVSIM数据集上进行，泛化性需在更多真实驾驶场景中验证。
• 轻量规划解码器结构简单，可能无法充分挖掘令牌中的规划信息。

Relevance To Keywords:

• Unify Models: 论文提出统一离散令牌作为世界模型和规划共享接口，符合模型统一思想。
• World Models: 令牌用于训练自回归世界模型，直接关联世界模型构建。
• Representation Learning: 通过语义对齐和几何监督学习紧凑离散表示，属于表征学习。
• Model-Based RL: 规划解码器基于世界模型生成的令牌进行决策，可视为基于模型的强化学习组件。
• 原生多模态大模型: 离散令牌可视为多模态（视觉+几何）的离散化表示，与多模态大模型输入形式兼容。
• 多模态大模型的理解和生成一体化: 令牌同时用于重建（生成）和规划（理解），体现理解与生成一体化。
• 后训练: 分词器预训练后，下游规划器和世界模型可视为后训练阶段。

WALL-WM 是一种世界动作模型（World Action Model, WAM），它将视频动作学习从以块为中心的优化转向基于事件的视觉 - 语言 - 动作（Vision-Language-Action, VLA）预训练，将语义一致的动作事件作为学习的基本单元。现有的 WAM 通常从多模态或视频基础模型初始化，然后直接在当前观测和指令的条件下优化固定长度的动作块。虽然这种以块为中心的方式很方便，但它造成了根本性的粒度不匹配。语言描述语义目标和事件，视觉通过连续的场景动态演化，动作则在控制级别的时间尺度上运行；将这三者强制纳入相同的固定长度预测窗口，使得 VLA 训练变成了短期相关性拟合。WALL-WM 通过围绕语义事件组织监督信号和数据来解决这一不匹配。具体而言，它将基于事件的 VLA 预训练与一个基于事件级字幕和聚类平衡采样的数据生态系统相结合，从而实现对多样化行为、场景和任务结构的可扩展学习。基于同一个事件预训练的骨干网络，WALL-WM 支持两种互补的推理模式。事件模式采用下一个事件描述，并支持可变长度的执行块；而统一模式则采用带有阶梯解码（Staircase Decoding）的视觉语言模型（VLM），在保持梯度连续的 VLA 路径的同时，对常规固定长度块推理进行条件化。结合基于 Muon 优化器的大规模预训练基础设施，WALL-WM 为通用世界动作模型（WAMs）提供了一套实用的扩展方案。实验表明，WALL-WM 在语言、场景和任务上具有广泛的泛化能力，在大规模现实世界泛化评估中达到了最先进的性能。

WALL-WM is a World Action Model that shifts video-action learning from chunk-centric optimization to event-grounded Vision-Language-Action pretraining, using semantically coherent action events as the atomic unit of learning. Existing WAMs commonly initialize from multimodal or video foundation models and then optimize fixed-length action chunks conditioned directly on the current observation and instruction. Although convenient, this chunk-centric formulation creates a fundamental granularity mismatch. Language describes semantic goals and events, vision evolves through continuous scene dynamics, and actions operate at control-level timescales; forcing all three into the same fixed-length prediction window turns VLA training into short-horizon correlation fitting. WALL-WM addresses this mismatch by organizing both supervision and data around semantic events. Specifically, it pairs event-grounded VLA pretraining with a data ecosystem built from event-level captions and cluster-balanced sampling, enabling scalable learning over diverse behaviors, scenes, and task structures. From the same event-pretrained backbone, WALL-WM supports two complementary inference modes. The event mode consumes next-event descriptions and enables variable-length execution chunks, while the unified mode uses a VLM with Staircase Decoding to condition conventional fixed-length chunk inference while preserving a gradient-continuous VLA path. Together with Muon-optimizer-based large-scale pretraining infrastructure, WALL-WM provides a practical scale-up recipe for general-purpose WAMs. Experiments show that WALL-WM generalizes broadly across language, scenes, and tasks, achieving state-of-the-art performance in large-scale real-world generalization evaluation.

评分理由: 论文核心提出 WALL-WM（世界动作模型），属于 World Models 范畴，高度相关；整合视觉、语言与动作，属于 MultiModal 和 Unify Models 范畴，相关性高；涉及 VLM，与 MLLM 相关；涉及动作建模，与 model-based RL 相关；未明确提及 Tokenizer，Visual Encoder 仅为隐含组件。加权总分 69.0，高于及格分 27.8。作者列表中未包含指定专家。

World Action Model, Event-grounded, Vision-Language-Action, Pretraining, Generalization, Multi-modal, Inference modes

Chinese Title: WALL-WM: 在事件边界处雕琢世界动作建模

Summary: WALL-WM是一种世界动作模型（WAM），旨在解决现有固定长度动作块与语言、视觉、动作在语义和时间尺度上的不匹配问题。现有WAM通常从多模态或视频基础模型初始化，然后优化固定长度的动作块，但语言描述语义目标，视觉呈现连续场景动态，动作则运行在控制级时间尺度，三者粒度不匹配导致模型仅学习短视相关性，削弱了组合性和长程泛化。WALL-WM将语义连贯的动作事件（如抓取、放置）作为原子学习单元，进行事件级视觉-语言-动作（VLA）预训练，保留视频先验。它构建了事件级数据生态系统（事件描述、聚类平衡采样），并使用Muon优化器进行大规模预训练。推理时支持两种互补模式：事件模式（由VLM或人类提出下一事件描述，模型执行变长动作段）和统一模式（使用VLM阶梯解码生成事件潜在表示，指导固定长度块预测）。实验表明，WALL-WM在语言、场景和任务上具有广泛泛化能力，在大型真实世界泛化评估中达到最先进水平。

Innovations:

• 提出事件级VLA预训练范式，以语义连贯的动作事件替代固定长度动作块作为原子学习单元，解决模态粒度不匹配问题。
• 设计两种互补推理模式（事件模式和统一模式），从同一事件预训练骨干支持变长执行和固定长度块预测。
• 引入阶梯解码（Staircase Decoding）机制，使VLM生成事件结构化潜在推理，引导固定长度块预测同时保持梯度连续的VLA路径。
• 构建事件级数据生态系统，包括事件级描述生成和聚类平衡采样，支持多样化行为、场景和任务结构的可扩展学习。
• 采用Muon优化器进行大规模预训练，提供实用的WAM规模化扩展基础设施。

Methodology: WALL-WM的方法论围绕事件级VLA预训练展开。首先定义动作-语义事件：一个时间上连贯的可执行行为段（如抓取、放置），该段在语言中可命名、在视频中可观察、在动作中可实现。预训练阶段，将事件描述、事件视频和事件动作配对，训练一个视频-动作去噪器，使其继承视频基础模型的先验（从描述到视频的归纳偏置）同时具备可控性和因果性。推理阶段有两种模式：事件模式中，VLM或人类提出下一事件描述，模型执行对应变长视频-动作段；统一模式中，VLM使用阶梯解码生成事件潜在表示，该表示作为条件指导固定长度块预测，从而保留传统部署兼容性。数据方面，通过事件级描述生成和聚类平衡采样构建大规模事件数据集。训练使用Muon优化器，支持大规模并行预训练。

Key Results: WALL-WM在大型真实世界泛化评估中达到最先进水平，在操作任务性能和视频生成指标上均表现出明显优势。实验证明其能够泛化到推理、灵巧操作和多种机器人任务，并支持物理上合理的视频预测。具体结果包括：在多个基准任务上超越现有VLA和WAM方法，展示出对语言指令、场景和任务结构的强泛化能力。

Tech Stack:

• 视觉语言模型（VLM）
• 视频基础模型（Video Foundation Models）
• 扩散/流匹配（Diffusion/Flow Matching）
• 动作去噪器（Action Denoiser）
• 阶梯解码（Staircase Decoding）
• Muon优化器（Muon Optimizer）
• 聚类平衡采样（Cluster-Balanced Sampling）
• 事件级描述生成（Event-Level Captioning）
• 固定长度块预测（Fixed-Length Chunk Prediction）
• 变长执行（Variable-Length Execution）

Strengths:

• 从根本上解决了语言、视觉、动作模态之间的粒度不匹配问题，使VLA训练更符合语义结构。
• 通过事件级预训练有效保留视频基础模型的先验，避免短视相关性覆盖有用结构。
• 提供灵活的推理模式，既支持变长事件执行（更自然），又兼容传统固定长度块部署。
• 构建了完整的数据生态系统和规模化训练基础设施，支持多样化场景的可扩展学习。
• 在真实世界泛化评估中达到SOTA，验证了方法的有效性和实用性。

Limitations:

• 事件定义依赖于语义分割，可能在某些边界模糊或连续动作中不够精确，需要高质量标注或自动分割方法。
• 事件级数据构建需要额外的人工或自动标注成本，可能限制在缺乏事件标注的场景中的应用。
• 推理时VLM的阶梯解码可能引入额外延迟，对实时控制要求高的任务可能不友好。
• 论文未详细讨论失败案例或模型在极端情况下的表现，如未见过的接触模式或动态环境。
• 对接触敏感任务（如精密装配）可能仍需更精细的触觉或力反馈信号，当前模型仅将触觉作为可选模态。

Relevance To Keywords: 论文与关键词高度相关。世界模型（World Models）：WALL-WM是一种世界动作模型（WAM），明确耦合未来观测建模与动作预测。表征学习（Representation Learning）：通过事件级对齐学习语言、视觉、动作的几何保持表征。模型基强化学习（Model-Based RL）：WAM可用于规划和控制，支持基于预测的决策。原生多模态大模型：模型从视频基础模型继承多模态先验，并实现理解与生成一体化（VLM+视频生成+动作预测）。多模态大模型的理解和生成一体化：事件模式中VLM理解任务并生成事件描述，模型生成视频和动作。后训练：事件级预训练是对视频基础模型的后训练，保留先验并赋予可控性。强化学习：虽未直接使用RL，但WAM可作为RL的世界模型组件。

当前具身视觉 - 语言规划的基准往往偏向于语言下一个词元预测，而非基于物理的下一个状态推理。这奖励了那些模仿统计语言先验而非追踪因果依赖的模型，将物理规划简化为浅层序列建模。我们认为，可靠的物理自主性需要从基于语言的词元预测转向基于物理的因果推理。为此，我们引入了 Causal-Plan-Bench，这是一个通过多阶段验证精心策划的高保真诊断套件，旨在从四个因果维度评估具身规划。我们还构建了 Causal-Plan-1M，这是一个百万级语料库，包含通过四阶段标注管道在第一人称视角视频上生成的显式推理轨迹。广泛的评估显示，领先模型仍难以展现真实的物理能动性，其中 Gemini 3 Pro 在我们的基准上仅达到 38.18。相比之下，我们的训练方案使基于 Qwen3-VL-8B 构建的 Causal Planner 能够内化物理逻辑，从而实现更精确的下一个状态估计。该模型展现出强大的领域内性能和跨基准泛化能力，并揭示了一个 Causal Scaling Law：将因果训练数据扩展至一百万实例可获得 36.3% 的相对增益，得分从 33.22 提升至 45.28。总体而言，我们的工作为实现将智能体从表面化的词元预测器转变为基于物理的因果推理者迈出了具体的一步。

Current benchmarks for embodied vision-language planning often favor linguistic next-token prediction over physically grounded next-state reasoning. This rewards models that mimic statistical language priors rather than track causal dependencies, reducing physical planning to shallow sequence modeling. We argue that reliable physical autonomy requires a shift from linguistically grounded token prediction toward physically grounded causal reasoning. To this end, we introduce Causal-Plan-Bench, a high-fidelity diagnostic suite curated through multi-stage verification to evaluate embodied planning across four causal dimensions. We also construct Causal-Plan-1M, a million-scale corpus of explicit reasoning traces produced by a four-stage annotation pipeline over egocentric videos. Extensive evaluation shows that leading models still struggle to demonstrate genuine physical agency, with Gemini 3 Pro reaching only 38.18 on our benchmark. In contrast, our training recipe enables Causal Planner, built on Qwen3-VL-8B, to internalize physical logic for more accurate next-state estimation. The model achieves strong in-domain performance and cross-benchmark generalization, and reveals a Causal Scaling Law: scaling causal training data to one million instances yields a 36.3% relative gain, from 33.22 to 45.28. Overall, our work provides a concrete step toward turning agents from superficial token predictors into physically grounded causal reasoners.

评分理由: The paper focuses on MLLM and MultiModal embodied planning, utilizing next-state estimation which aligns with World Models and model-based RL concepts (high scores). Tokenizer is referenced in the title regarding token prediction, while Visual Encoder is a component of the base model Qwen3-VL. Unify Models is tangentially related to paradigm shifts but not the core focus. No target experts (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) are found in the author list.

Causal Reasoning, Embodied Planning, Token Prediction, Next-state Estimation, Vision-Language, Physical Agency, Causal Planner

Chinese Title: 令牌预测器不是规划器：构建物理基础的因果推理器

Summary: 本文指出当前具身视觉-语言规划基准无意中偏向于语言层面的下一个令牌预测，而非物理层面的下一个状态推理，导致模型依赖统计语言先验而非真正的因果依赖。为此，作者提出了Causal-Plan-Bench，一个通过多阶段验证构建的高保真诊断套件，从可执行性、组合性、效果和鲁棒性四个因果维度评估具身规划。同时，开发了四阶段标注管道，从原始自我中心视频中提取结构化表示，构建了百万级密集推理轨迹数据集Causal-Plan-1M。实验表明，即使先进模型如Gemini 3 Pro也仅得38.18分，而基于Qwen3-VL-8B的Causal Planner通过渐进式SFT和RL训练，将基线从33.22提升至45.28，并揭示了因果缩放定律：训练数据扩展至一百万实例带来36.3%的相对增益。该工作首次将智能体从表面令牌预测器转变为物理基础的因果推理器，弥合了语言建模与世界建模之间的鸿沟。

Innovations:

• 提出Causal-Plan-Bench，一个包含1200个实例、12个任务类别的高保真诊断套件，从可执行性、组合性、效果和鲁棒性四个因果维度系统评估具身规划。
• 构建Causal-Plan-1M，一个百万级高保真监督语料库，通过四阶段自动标注管道从自我中心视频中提取结构化因果推理轨迹。
• 发现并验证了因果缩放定律：物理基础的规划能力随因果监督数据量呈可预测的缩放关系。
• 通过渐进式SFT和RL训练，使基于Qwen3-VL-8B的Causal Planner在基准上取得显著提升（+12.05%），并展现出强大的零样本跨基准泛化能力。
• 首次将具身规划从语言驱动的令牌预测范式转向物理基础的因果推理范式，为自主物理智能体奠定基础。

Methodology: 论文采用四阶段自动标注管道从原始自我中心视频中提取结构化因果表示：阶段1（全局蓝图）识别整体目标并生成因果蓝图；阶段2（时间定位）将抽象步骤对齐到具体视频区间；阶段3（因果丰富）将步骤细化为状态中心因果轨迹，包括关键帧和因果结构；阶段4（原子分解）将因果轨迹分解为细粒度原子动作（如伸手、抓取、收回）。使用GPT-5.4作为唯一自动标注器，执行迭代自审计循环验证因果依赖。训练方面，基于Qwen3-VL-8B采用渐进式监督微调（SFT）和强化学习（RL）策略，使模型内化物理逻辑。

Key Results:

• Causal-Plan-Bench上，最先进模型Gemini 3 Pro仅得38.18分，表明现有模型缺乏真正的物理因果推理能力。
• Causal Planner（基于Qwen3-VL-8B）通过训练将基线从33.22提升至45.28，相对增益36.3%。
• Causal Planner在四个因果维度（可执行性、组合性、效果、鲁棒性）上均超越所有前沿模型。
• Causal Planner展现出优异的零样本跨基准泛化能力。
• 验证了因果缩放定律：训练数据量从少量增加到一百万实例时，性能持续提升。

Tech Stack:

• GPT-5.4（作为自动标注器）
• Qwen3-VL-8B（基础模型）
• 监督微调（SFT）
• 强化学习（RL）
• 四阶段标注管道（全局蓝图、时间定位、因果丰富、原子分解）
• 关键帧提取与因果结构映射
• 因果缩放定律分析

Strengths:

• 提出了全新的因果推理评估基准，填补了现有基准忽视物理因果依赖的空白。
• 构建了大规模、高质量、结构化的因果推理训练数据集，具有明确的物理基础。
• 通过渐进式训练策略实现了显著性能提升，并验证了数据缩放定律。
• 工作具有系统性，从问题定义、数据构建、模型训练到评估验证形成完整闭环。
• 揭示了当前多模态大模型在物理推理上的根本缺陷，推动了从语言建模到世界建模的范式转变。

Limitations:

• 数据构建依赖GPT-5.4作为自动标注器，可能引入模型自身的偏差或错误，尽管有人工验证。
• 训练数据仅来自自我中心视频，可能无法覆盖所有具身场景（如机器人操作、自动驾驶等）。
• 评估基准Causal-Plan-Bench包含1200个实例，规模相对较小，可能不足以全面衡量模型能力。
• 论文未探讨模型在真实物理环境中的部署表现，仅停留在离线评估。
• 因果缩放定律的验证仅基于单一模型架构（Qwen3-VL-8B），泛化性有待进一步验证。

Relevance To Keywords:

• Unify Models: 论文提出的Causal Planner统一了语言模型与物理世界模型，将令牌预测与因果推理结合。
• World Models: 论文强调从语言建模转向世界建模，通过因果推理构建物理世界的内部模型。
• Representation Learning: 四阶段管道从视频中提取结构化因果表示，涉及表征学习。
• Model-Based RL: 训练中使用了强化学习（RL），且因果推理可视为基于模型的方法。
• 原生多模态大模型: 基础模型Qwen3-VL-8B是原生多模态大模型，论文在其基础上进行后训练。
• 多模态大模型的理解和生成一体化: 论文同时涉及理解（因果推理）和生成（规划动作序列）。
• 表征学习: 结构化因果表示是表征学习的具体应用。
• 世界模型: 因果推理本质上是构建世界模型。
• 强化学习: 使用RL进行后训练。
• 后训练: 论文采用SFT和RL作为后训练策略。

视频世界模型在机器人操作中的应用日益广泛，然而现有的基准评测大多仅在有效、可行且安全的指令下对其进行评估。我们引入了 RoboTrustBench，这是一个用于在四种场景下评估视频世界模型可信性的基准：正常、约束敏感、反事实和对抗。该基准基于真实世界 DROID 片段构建，包含 1,207 个经专家验证的指令 - 图像对，以及一个包含 13 个细粒度标准的六维评估方案。通过人类和多模态大模型 (MLLM) 对七个代表性视频世界模型进行评估，我们发现当前模型通常能生成视觉上连贯的视频，但在约束推理、反事实锚定、物理交互以及不安全指令抑制方面存在困难。这些结果表明，视觉质量和表层指令遵循不足以支撑可信的机器人视频世界建模。

Video world models are increasingly used in robotic manipulation, yet existing benchmarks mostly evaluate them under valid, feasible, and safe instructions. We introduce RoboTrustBench, a benchmark for evaluating the trustworthiness of video world models under four scenarios: Normal, Constraint-Sensitive, Counterfactual, and Adversarial. Built from real-world DROID episodes, RoboTrustBench contains 1,207 expert-validated instruction-image pairs and a six-dimensional evaluation protocol with 13 fine-grained criteria. Evaluating seven representative video world models with human and MLLM assessment, we find that current models often generate visually coherent videos, but struggle with constraint reasoning, counterfactual grounding, physical interaction, and unsafe-instruction suppression. These results show that visual quality and surface-level instruction following are insufficient for trustworthy robotic video world modeling.

评分理由: 论文核心聚焦视频世界模型（World Models）的可信度评测，故该词得满分（10）。MLLM 用于评估，相关性高（7）。MultiModal 与 Visual Encoder 隐含于视频模型中，相关性中等（5-7）。Unify Models 涉及模型本质但非本文重点（评测现有模型），相关性中等（5）。Tokenizer 未提及，相关性低（2）。model-based RL 为背景应用领域（机器人操作），相关性中等（6）。作者列表不含指定专家。

Video World Models, Robotic Manipulation, Trustworthiness, Benchmarking, Constraint Reasoning, MLLM Assessment, Adversarial Evaluation, Physical Interaction

Chinese Title: RoboTrustBench：机器人操作中视频世界模型可信度基准测试

Summary: 本文提出RoboTrustBench，一个用于评估机器人操作中视频世界模型可信度的基准。现有基准大多假设输入指令有效、可行且安全，但实际部署中指令可能模糊、与场景矛盾、物理不可行或包含危险内容。RoboTrustBench基于真实机器人操作数据集DROID构建，包含1207个专家验证的指令-图像对，覆盖正常、约束敏感、反事实和对抗四种场景。论文设计了六维评估协议（共13个细粒度标准），包括场景实体对齐、时空一致性、交互合理性、任务执行质量、视觉质量和安全风险识别。评估了七个代表性视频世界模型（含人类和MLLM评估），发现当前模型虽能生成视觉连贯视频，但在约束推理、反事实接地、物理交互和危险指令抑制方面表现不佳，表明视觉质量和表面指令遵循不足以实现可信的机器人视频世界建模。

Innovations:

• 首次系统性地评估视频世界模型在正常、约束敏感、反事实和对抗四种场景下的可信度，填补了现有基准仅考虑可行安全指令的空白。
• 构建了包含1207个专家验证指令-图像对的数据集，覆盖多样化场景、物体和操作任务，并设计了六维13细粒度评估协议。
• 揭示了当前视频世界模型在约束推理、反事实接地、物理交互和危险指令抑制方面的显著不足，为可信机器人视频建模提供了重要方向。

Methodology: 从DROID数据集中分层采样真实机器人操作片段，提取初始图像和原始指令。通过人工筛选和修改构建四种场景样本：正常场景保留原始可行指令；约束敏感场景引入遮挡、轨迹约束、歧义等；反事实场景制造指令与场景不一致（如物体缺失、属性矛盾）；对抗场景编写不安全或破坏性指令。采用人类评估作为主要参考，并辅以基于多模态大语言模型（MLLM）的自动评估。评估维度包括场景实体对齐、时空一致性、交互合理性、任务执行质量、视觉质量和安全风险识别，共13个细粒度标准。

Key Results:

• 当前视频世界模型在正常场景下能保持可见场景结构和视觉连贯性，但在约束、矛盾和对抗条件下可信度显著下降。
• 模型难以处理轨迹约束、遮挡目标和物理可行的交互；在反事实指令下会幻觉缺失物体、改变属性或修改场景。
• 在对抗指令下，强指令遵循模型可能直接生成不安全的机器人行为。
• 视觉连贯性和表面指令遵循不足以衡量机器人视频世界模型的可信度。

Tech Stack:

• DROID数据集（真实机器人操作数据）
• 多模态大语言模型（MLLM）用于自动评估
• 人类评估作为参考标准
• 六维评估协议（13个细粒度标准）
• 四种场景设计（正常、约束敏感、反事实、对抗）

Strengths:

• 针对机器人操作中视频世界模型的可信度评估，具有重要的实际意义。
• 数据集规模较大（1207对），且经过专家验证，质量高。
• 评估维度全面，不仅关注视觉质量，还关注场景接地、交互合理性、安全风险等。
• 揭示了现有模型的系统性缺陷，为后续研究提供了明确方向。

Limitations:

• 数据集仅基于DROID，可能无法完全覆盖其他机器人平台或场景。
• 自动评估依赖MLLM，其评估准确性可能受限于MLLM自身能力。
• 未提供具体的模型改进方法或训练策略。
• 对抗场景仅包含环境破坏和人身攻击两类，可能不够全面。

Relevance To Keywords:

• 世界模型：论文直接评估视频世界模型的可信度，与关键词高度相关。
• 多模态大模型：使用MLLM进行自动评估，且评估对象包含多模态视频生成模型。
• 表征学习：视频世界模型涉及视觉表征学习，但论文未深入探讨表征学习机制。
• 强化学习：视频世界模型可用于策略学习和评估，与强化学习间接相关。
• 后训练：论文未涉及后训练方法，但评估结果可指导后训练改进。

基于学习到的潜在世界模型进行规划是从原始像素进行控制的一种有前景的途径，但仅凭强大的世界模型是不够的。我们通过实验证明了这一点：即使拥有完美世界模型（通过将学习到的前向预测器替换为真实环境动力学的理想化轨迹模拟来实现），有限预算的基于采样规划器在某些任务上仍然失败，这表明瓶颈可能在于搜索而非世界模型的准确性。受此差距的启发，我们提出了 IMWM（Intuition Model + World Model），该模型将世界模型与一个从演示中训练出来的直觉模型相结合，以识别有前景的动作。这两个模型通过三个轻量级组件进行协作：(i) Retrieval Initialization（检索初始化），它从检索到的演示中初始化规划器的动作提议；(ii) Hybrid Cost（混合成本），它将直觉分数与世界模型轨迹模拟成本相结合；以及 (iii) Reliability Gate（可靠性门），它调整规划器在每个设置中对直觉的信任程度。在四个基于像素的目标到达任务（Two-Room、Reacher、Push-T 和 OGBench-Cube）上，IMWM 的平均成功率均高于仅使用世界模型的规划器，其中在 Two-Room（99.2%，+11.5 个百分点）和 OGBench-Cube（94.7%，+28.5 个百分点）上获得了最大的提升。

Planning with a learned latent world model is a promising route to control from raw pixels, but a strong world model alone is not enough. We show this experimentally: even with a perfect world model (operationalized by replacing the learned forward predictor with an idealized rollout of the true environment dynamics), a finite-budget sample-based planner still fails on some tasks, indicating that the bottleneck can lie in search rather than in world-model accuracy. Motivated by this gap, we propose IMWM (Intuition Model + World Model), which pairs the world model with an intuition model trained from demonstrations to recognize promising actions. The two models collaborate through three lightweight components: (i) Retrieval Initialization, which initializes the planner's action proposal from a retrieved demonstration; (ii) Hybrid Cost, which combines the intuition score with the world-model rollout cost; and (iii) a Reliability Gate, which adjusts how much the planner trusts intuition in each setting. Across four pixel-based goal-reaching tasks (Two-Room, Reacher, Push-T, and OGBench-Cube), IMWM has higher mean success than the world-model-only planner on all four, with the largest gains on Two-Room (99.2%, +11.5 percentage points) and OGBench-Cube (94.7%, +28.5 percentage points).

评分理由: The paper centers on Model-Based RL and World Models (10/10), proposing a unified framework combining Intuition and World models (8/10). Visual Encoder is needed for pixel input (7/10). Tokenizer and MultiModal are peripheral as the work targets RL planning, not LLM tokenization or Vision-Language multimodality (3/10). MLLM is irrelevant (0/10). No listed experts are authors.

Intuition Model, World Model, Latent Planning, Model-Based RL, Raw Pixels, Goal-Reaching, Demonstration

Chinese Title: IMWM：直觉模型补充世界模型用于潜在规划

Summary: 该论文指出，在基于潜在世界模型的规划中，即使拥有完美的世界模型（用真实环境动力学替换学习的前向预测器），有限预算的采样规划器仍可能失败，瓶颈在于搜索而非模型精度。为此，作者提出IMWM方法，将世界模型与一个从演示中训练的直觉模型配对，通过三个轻量组件协作：检索初始化（从演示中检索动作块初始化CEM提议）、混合代价（结合直觉分数与世界模型展开代价）、可靠性门控（根据场景调整对直觉的信任程度）。在四个像素级目标到达任务（Two-Room、Reacher、Push-T、OGBench-Cube）上，IMWM在所有任务上均取得高于纯世界模型规划器的平均成功率，最大提升在Two-Room（+11.5个百分点）和OGBench-Cube（+28.5个百分点）。论文还通过理论证明和实验诊断揭示了有限查询下搜索瓶颈的独立性。

Innovations:

• 诊断了有限CEM潜在世界模型规划中的搜索瓶颈，通过理想化世界模型（真实动力学）实验证明即使完美预测仍因搜索失败。
• 提出IMWM方法，将直觉模型（基于对比学习的动作兼容性评分）与世界模型结合，通过检索初始化、混合代价和可靠性门控三个组件提升规划效率。
• 理论证明有限CEM查询下规划成功概率受提议体积界限制，独立于预测器训练方式（定理A.1）。
• 在四个像素级任务上实现一致提升，且门控机制仅需三种预设配方，无需每任务调参。

Methodology: 首先通过替换学习的前向预测器为真实环境动力学（oracle dynamics）进行诊断实验，证明搜索瓶颈。然后设计直觉模型：使用逆侧编码器ϕI和双线性评分器Dψinv，在演示窗口上通过InfoNCE目标训练，输出(start, goal, action)三元组的对比分数。将直觉模型与冻结的世界模型结合，通过三个组件：检索初始化（余弦相似度检索演示动作块作为CEM均值）、混合代价（直觉分数与终端潜在MSE代价加权）、可靠性门控（根据场景选择三种预设配方之一）。在四个任务上使用固定CEM预算和冻结模型进行评估，每个任务12个种子×4任务共48个实验点。

Key Results:

• Oracle dynamics（完美世界模型）在Two-Room上成功率85.5%（低于纯世界模型87.7%），在OGBench-Cube上76.8%（仍低于IMWM的94.7%），且失败中98.9%和91.4%的CEM种群无目标到达候选。
• IMWM在四个任务上平均成功率均高于纯世界模型：Two-Room 99.2%（+11.5pp）、OGBench-Cube 94.7%（+28.5pp）、Push-T 92.7%（+2.8pp）、Reacher 83.8%（+0.7pp）。
• 门控机制在Reacher上选择纯世界模型回退（近持平），在其他任务上选择混合模式。
• 理论证明有限CEM查询下规划成功概率受提议体积界限制（定理A.1）。

Tech Stack:

• Cross-Entropy Method (CEM) 采样优化器
• InfoNCE 对比学习目标（van den Oord et al., 2018）
• 双线性评分器（bilinear scorer）
• 余弦相似度检索
• 潜在世界模型（latent world model）
• 终端潜在MSE代价（terminal latent-MSE cost）
• 可靠性门控（三种预设配方）

Strengths:

• 清晰诊断了潜在世界模型规划中的搜索瓶颈，并通过实验和理论双重验证。
• 提出的IMWM方法简单有效，仅需少量额外组件即可显著提升成功率。
• 在多个像素级任务上取得一致提升，且门控机制避免了过拟合。
• 方法具有通用性，不依赖特定世界模型架构。

Limitations:

• 直觉模型需要预先收集的演示数据，可能限制在无演示场景的应用。
• 可靠性门控仅三种预设配方，可能无法适应更复杂的环境变化。
• 实验仅在四个任务上进行，泛化性需进一步验证。
• Push-T任务因模拟器物理混淆被排除在oracle dynamics实验外，说明方法对某些环境细节敏感。

Relevance To Keywords:

• 世界模型（World Models）：论文核心是改进基于潜在世界模型的规划，诊断了世界模型精度之外的搜索瓶颈。
• 表征学习（Representation Learning）：直觉模型使用对比学习学习动作表征，世界模型使用潜在编码。
• 强化学习（Model-Based RL）：论文属于基于模型的强化学习范畴，通过直觉模型引导搜索。
• 后训练（Post-training）：直觉模型在演示数据上训练后冻结，与预训练的世界模型结合。
• 原生多模态大模型/多模态大模型的理解和生成一体化：论文未直接涉及多模态大模型，但潜在世界模型可处理像素输入，与多模态表征有间接关联。

基于指令的图像编辑（instruction-based image editing）近期取得了重大突破，引起了广泛关注，因为模型现在能够处理现实世界的编辑需求，具备日常用户所需的实用性。然而，主要为单轮编辑（single-turn edits）训练的编辑模型往往在多轮编辑（multi-turn editing）中失效——这是一种自然的交互场景，用户基于模型之前的输出迭代地精炼图像。这种失败源于“全有或全无”的要求（all-or-nothing requirement），即单个轮次的失败会损害整个序列，以及误差传播（error propagation），其中暴露偏差（exposure bias）导致编辑错误累积。为了解决这些挑战，我们引入了 MT-EditFlow，这是一种流匹配（flow-matching）强化学习框架，旨在优化序列图像编辑的奖励信号。MT-EditFlow 将多轮视角与多奖励公式相结合，提供了一种统一结构，适用于 GRPO 和基于 NFT 的强化学习方法。我们通过调查轮级聚合的有效评分策略、视觉语言模型（VLM）推理模式以权衡奖励偏差与方差，以及优势融合水平以防止奖励黑客（reward hacking），系统地分析和优化了奖励信号。我们的发现表明，在整个编辑轨迹上广播聚合的优势（advantage）有效地弥合了局部规划与全局多轮任务成功之间的差距。广泛的实验表明，MT-EditFlow 在各种基础模型上显著提升了性能。值得注意的是，它在第 3 轮整体性能上将 FLUX.1-Kontext-dev 提升了 6.85 分，超越了 Qwen-Image-Edit 等最先进的开源模型。通过保持高边际成功率并减少暴露偏差，MT-EditFlow 为视觉内容创作中更可靠且自然的人机协作奠定了基础。

Recent breakthroughs in instruction-based image editing have captured significant attention, as models are now capable of handling real-world editing demands with the practicality required by everyday users. However, editing models trained primarily for single-turn edits often break down in multi-turn editing--the natural interactive setting where a user iteratively refines an image based on the model's own previous outputs. This failure stems from the all-or-nothing requirement, where a single failed turn compromises the entire sequence, and error propagation, where exposure bias leads to compounding editing errors. To address these challenges, we introduce MT-EditFlow, a flow-matching reinforcement learning framework designed to optimize reward signals for sequential image editing. MT-EditFlow integrates a multi-turn perspective with a multi-reward formulation to provide a unified structure applicable to both GRPO and NFT-based reinforcement learning methods. We systematically analyze and optimize the reward signal by investigating effective scoring strategies for turn-level aggregation, VLM reasoning modes to trade off reward bias and variance, and advantage fusion levels to prevent reward hacking. Our findings reveal that broadcasting the aggregated advantage across the entire editing trajectory effectively bridges the gap between local planning and global multi-turn task success. Extensive experiments demonstrate that MT-EditFlow significantly improves performance across diverse base models. Notably, it boosts FLUX.1-Kontext-dev by 6.85 points in turn-3 overall performance, surpassing state-of-the-art open-source models such as Qwen-Image-Edit. By maintaining high marginal success rates and reducing exposure bias, MT-EditFlow provides a foundation for more reliable and natural human-AI collaboration in visual content creation.

评分理由: 论文提出 MT-EditFlow 框架，统一了 GRPO 和 NFT 强化学习方法（Unify Models: 7），基于视觉语言模型进行多轮图像编辑（MLLM: 8, MultiModal: 8），利用流匹配进行奖励优化（model-based RL: 6），但未涉及分词器设计（Tokenizer: 2）、视觉编码器架构（Visual Encoder: 5）或通用世界模型（World Models: 3）。作者列表中无指定专家，无额外加分。加权总分 58.5，高于及格分 27.8。

Multi-Turn Image Editing, Reinforcement Learning, Flow Matching, Reward Optimization, VLM Reasoning, Sequential Editing, Error Propagation

Chinese Title: MT-EditFlow：基于流匹配的多轮图像编辑强化学习

Summary: 本文针对多轮图像编辑中存在的“全有或全无”要求和误差传播问题，提出了MT-EditFlow框架，将强化学习与流匹配模型相结合，优化多轮序列编辑的奖励信号。该框架整合了多轮视角与多奖励结构，统一适用于GRPO和NFT两种强化学习方法。通过系统分析评分策略、VLM推理模式以及优势融合层级，发现将聚合优势广播至整个编辑轨迹能有效弥合局部规划与全局任务成功之间的差距。实验表明，MT-EditFlow显著提升了多种基础模型的多轮编辑性能，例如使FLUX.1-Kontext-dev在第三轮整体性能上提升6.85分，超越当前开源最优模型Qwen-Image-Edit，同时保持了高边际成功率并降低了曝光偏差。

Innovations:

• 首次将强化学习框架应用于多轮图像编辑，针对序列编辑的时序依赖和误差累积进行优化。
• 提出多奖励结构（指令遵循与内容一致性）与多轮视角的统一奖励信号设计，适用于GRPO和NFT两种RL方法。
• 系统研究了评分策略、VLM推理模式（思考与非思考模式）以及优势融合层级对奖励信号的影响，并发现广播优势可有效防止奖励黑客行为。
• 构建了约2.5K高质量多轮提示链数据集，并基于EdiVal-Agent流程生成。
• 在多个基础模型上实现显著性能提升，超越当前开源SOTA模型。

Methodology: 论文采用流匹配（Flow Matching）作为生成模型基础，结合强化学习进行后训练。具体技术路线包括：1）使用GPT-4o生成多轮编辑提示链；2）采用零样本VLM（Qwen3-VL-8B）评估指令遵循（IF），结合EdiVal-CC评估内容一致性（CC）；3）将多轮奖励聚合为单一优势值，并广播至整个轨迹；4）分别扩展Flow-GRPO和DiffusionNFT两种RL算法至多轮设置；5）通过对比实验分析不同评分策略、VLM推理模式和优势融合层级的效果。

Key Results:

• MT-EditFlow使FLUX.1-Kontext-dev在第三轮整体性能提升6.85分，超越Qwen-Image-Edit。
• FLUX.2-klein-base提升2.90分，推动开源模型边界。
• 多轮编辑中边际成功率保持高位，曝光偏差显著降低。
• 广播优势策略优于局部优势分配，有效防止奖励黑客。
• VLM思考模式可降低奖励偏差但增加方差，需权衡使用。

Tech Stack:

• 流匹配（Flow Matching）
• Rectified Flow
• GRPO（Group Relative Policy Optimization）
• DiffusionNFT（Diffusion Negative-aware FineTuning）
• VLM：Qwen3-VL-8B
• EdiVal-CC（内容一致性评估）
• GPT-4o（用于生成多轮提示链）
• ODE/SDE求解器
• Euler-Maruyama离散化

Strengths:

• 首次系统解决多轮图像编辑中的强化学习奖励设计问题，具有开创性。
• 统一了GRPO和NFT两种RL方法，框架通用性强。
• 实验充分，在多个基础模型上验证了有效性，并超越SOTA。
• 对奖励信号设计进行了深入分析，提供了实用指导。
• 构建了高质量多轮编辑数据集，促进后续研究。

Limitations:

• 依赖闭源VLM（Qwen3-VL-8B）作为奖励模型，可能存在偏见和成本问题。
• 多轮提示链由GPT-4o生成，可能不完全覆盖真实用户交互模式。
• 仅针对流匹配模型，未验证在其他生成框架（如扩散模型）上的适用性。
• 训练数据规模约2.5K，可能不足以泛化到所有编辑场景。
• 未讨论计算效率与训练时间等实际部署问题。

Relevance To Keywords:

• Unify Models: 论文聚焦于多轮图像编辑，属于多模态生成与理解统一的研究方向。
• World Models: 流匹配可视为一种连续时间世界模型，论文利用其进行编辑生成。
• Representation Learning: 通过强化学习优化编辑模型，间接学习更好的图像表示。
• Model-Based RL: 论文采用基于模型的强化学习（流匹配作为生成模型），并扩展至多轮序列。
• 原生多模态大模型: 论文使用VLM作为评估器，但编辑模型本身是流匹配模型，非原生多模态大模型。
• 多模态大模型的理解和生成一体化: 论文涉及图像编辑（生成）和VLM评估（理解），但未实现一体化模型。
• 表征学习: 强化学习优化可视为对潜在表征的调整。
• 世界模型: 流匹配可视为连续时间世界模型。
• 强化学习: 核心方法，使用GRPO和DiffusionNFT。
• 后训练: 论文属于后训练阶段，对预训练流匹配模型进行RL微调。

MOSS-Audio 是一个统一的音频 - 语言模型，用于语音、环境声音和音乐理解，支持音频描述、时间感知问答、时间戳转录和音频锚定推理。MOSS-Audio 将一个专用音频编码器与一个模态适配器和一个大型语言模型（LLM）耦合：编码器产生 12.5 Hz 的时域表示，适配器将它们投影到解码器空间，解码器生成自回归文本输出。该系统的核心在于两项设计选择：DeepStack 跨层特征注入，使解码器接触到来自多个编码器深度的声学信息，以及时间标记，通过在音频标记流中插入时间戳标记提供显式的时间线索。在数据层面，我们设计了一个事件保持的音频标注管道，在语义一致的事件边界处分割原始音频，对语音、音乐和通用音频应用分支特定标注，并将结果合并为统一描述用于预训练。中间分支特定描述进一步被保留，以支持构建任务导向的 SFT（监督微调）数据。该模型在大规模音频 - 语言数据上进行预训练，纳入时间感知目标以支持时间锚定，然后经历多阶段后训练以增强指令遵循和音频锚定推理。我们发布了 4B 和 8B 变体，包括 Instruct 和 Thinking 两种配置。MOSS-Audio 在通用音频理解、语音描述、ASR（自动语音识别）和时间戳 ASR 上实现了强大性能，将其定位为未来语音智能体的有前景的理解基础。

MOSS-Audio is a unified audio-language model for speech, environmental sound, and music understanding, supporting audio captioning, time-aware question answering, timestamped transcription, and audio-grounded reasoning. MOSS-Audio couples a dedicated audio encoder with a modality adapter and a large language model: the encoder produces 12.5 Hz temporal representations, the adapter projects them into the decoder space, and the decoder generates autoregressive text outputs. Two design choices are central to the system: \textbf{DeepStack cross-layer feature injection}, which exposes the decoder to acoustic information from multiple encoder depths, and \textbf{time markers}, which provide explicit temporal cues by inserting timestamp markers into the audio-token stream. At the data level, we design an event-preserving audio annotation pipeline that segments raw audio at coherent event boundaries, applies branch-specific annotation to speech, music, and general audio, and merges the results into unified captions for pretraining. The intermediate branch-specific captions are further retained to support the construction of task-oriented SFT data. The model is pretrained on large-scale audio-language data, with time-aware objectives incorporated to support temporal grounding, and then undergoes multi-stage post-training to enhance instruction following and audio-grounded reasoning. We release 4B and 8B variants in both Instruct and Thinking configurations. MOSS-Audio achieves strong performance across general audio understanding, speech captioning, ASR, and timestamped ASR, positioning it as a promising understanding foundation for future voice agents.

评分理由: 论文核心为统一音频语言模型，故 Unify Models、MultiModal、MLLM 得分较高；提及 audio-token stream，Tokenizer 中度相关；使用音频编码器而非视觉编码器，Visual Encoder 得分低；未涉及强化学习或世界模型动态学习，model-based RL 和 World Models 得分低。作者列表未包含指定专家，故无额外加分。加权总分 55.5，高于动态及格分 27.8。

Unified audio-language model, Audio encoder, Modality adapter, DeepStack cross-layer feature injection, Time markers, Audio-grounded reasoning, Multi-stage post-training

Chinese Title: MOSS-Audio技术报告

Summary: MOSS-Audio是一个统一的音频-语言模型，能够处理语音、环境声音和音乐，支持音频字幕、时间感知问答、时间戳转录和音频基础推理。模型采用编码器-适配器-解码器架构：音频编码器从零训练，输出12.5Hz的时序表示；两个GatedMLP适配器将音频特征映射到语言模型空间；语言模型进行自回归文本生成。核心创新包括DeepStack跨层特征注入（将编码器中间层特征注入解码器早期层，保留多粒度声学信息）和显式时间标记（每2秒插入时间标记，支持时间基础任务）。数据管道采用事件保留分割和分支特定注释（语音、音乐、通用音频），合并为统一字幕用于预训练。模型发布4B和8B两种参数规模，每个规模有Instruct（直接指令执行）和Thinking（推理优化）两种配置。实验表明，MOSS-Audio在通用音频理解、语音字幕、ASR和时间戳ASR上达到强性能，为未来语音代理提供了感知和推理基础。

Innovations:

• 提出DeepStack跨层特征注入，将音频编码器多个中间层的特征注入语言模型解码器，保留低层声学细节（如韵律、瞬态事件）和高层语义信息，避免单层表示瓶颈。
• 引入显式时间标记，在音频特征序列中插入固定间隔的秒数标记，使模型能够直接学习时间戳转录和时间感知问答，无需外部后处理。
• 构建事件保留音频标注管道：基于事件边界分割音频，分支特定注释（语音、音乐、通用音频），再合并为统一字幕，支持大规模异构数据预训练。
• 发布Instruct和Thinking两种配置的4B和8B模型，分别优化直接指令执行和推理密集型音频理解，满足不同任务需求。

Methodology: 采用编码器-适配器-解码器架构。音频编码器：处理128通道log-mel频谱，经3层stride-2 Conv2D实现8倍下采样至12.5Hz，后接32层Transformer（隐藏维度1280），使用滑动窗口注意力（窗口100帧，约8秒）以线性复杂度处理长音频。两个GatedMLP适配器：主适配器将编码器最终层输出映射到语言模型空间；合并适配器从编码器中间层提取特征，聚合后注入解码器早期层。时间标记：每25个音频特征（对应2秒）插入一个数字标记（如"2","4"），与音频特征一起输入语言模型。训练流程：预训练阶段联合ASR、音频字幕、时间戳ASR和文本建模；后训练阶段分步进行指令跟随和音频基础推理。数据管道：原始音频经事件边界分割（避免固定窗口切割），通过音频标签路由到语音、音乐、通用音频分支，分别进行ASR、字幕生成等标注，最后合并为统一字幕格式。

Key Results:

• 在通用音频理解、语音字幕、ASR和时间戳ASR任务上达到强性能，与同类模型相比具有竞争力。
• Thinking变体在推理密集型音频理解基准上表现更优，Instruct变体在直接任务执行（转录、字幕）上更稳定。
• 4B和8B模型均发布，覆盖不同计算资源需求。
• DeepStack跨层注入相比仅使用最终层表示，在多个音频任务上带来一致提升。
• 时间标记机制使模型能够准确输出时间戳转录和时间感知问答，无需额外定位模块。

Tech Stack:

• 音频编码器：Conv2D（stride-2）、Transformer（32层，hidden=1280）、滑动窗口注意力（窗口100帧）
• 适配器：GatedMLP（门控多层感知机）
• 语言模型：基于LLM的decoder-only架构（具体未指定，可能为LLaMA或类似）
• 时间标记：固定间隔（每25帧）插入数字标记，嵌入后与音频特征拼接
• 数据管道：事件边界分割（基于音频事件检测）、分支注释（ASR模型、音频字幕模型等）
• 训练：多任务预训练（ASR、字幕、时间戳ASR、文本建模）+ 多阶段后训练（指令微调、推理微调）
• 推理：自回归文本生成，支持KV-cache加速

Strengths:

• 统一模型覆盖语音、音乐、环境声音等多种音频类型和任务，无需专用模块。
• DeepStack跨层注入有效保留多粒度声学信息，提升对韵律、瞬态事件等细节的感知。
• 显式时间标记使时间基础任务（如时间戳ASR、时间感知QA）成为端到端生成，简化系统设计。
• 数据管道通过事件保留分割和分支注释，高效利用大规模异构音频数据。
• 发布Instruct和Thinking两种配置，兼顾直接执行和推理能力，适应不同应用场景。
• 编码器从零训练，针对通用音频理解优化，而非仅针对ASR。

Limitations:

• 时间标记固定为2秒间隔，对于需要亚秒级精度的时间定位可能不够精细。
• 编码器从零训练需要数百万小时数据和大量计算资源，训练成本高。
• 模型仅输出文本，不支持音频生成（如语音合成），不是完整的音频多模态模型。
• 滑动窗口注意力限制局部上下文为8秒，对于超长音频（如数小时）的全局依赖可能不足。
• 论文未提供与最新大模型（如GPT-4o、Gemini）在音频理解上的直接对比，性能评估可能不够全面。
• Thinking变体的推理能力提升机制未详细说明（如是否使用CoT或强化学习）。

Relevance To Keywords:

• Unify Models: 高度相关，MOSS-Audio是统一的音频语言模型，整合多种音频理解和生成任务。
• World Models: 中等相关，音频理解可视为世界模型的一部分（感知环境声音），但论文未明确构建世界模型或进行预测。
• Representation Learning: 高度相关，音频编码器从零训练学习多层级声学表征，DeepStack进一步利用中间层表征。
• Model-Based RL: 不相关，论文未涉及强化学习或基于模型的控制。
• 原生多模态大模型: 中等相关，模型是音频+语言的多模态，但音频编码器是专门训练的，并非原生多模态（如统一tokenizer）。
• 多模态大模型的理解和生成一体化: 部分相关，模型支持理解（转录、字幕、QA）和生成（文本输出），但生成限于文本，不包含音频生成。
• 表征学习: 高度相关，同Representation Learning。
• 世界模型: 中等相关，同World Models。
• 强化学习: 不相关，论文未使用强化学习。
• 后训练: 高度相关，论文采用多阶段后训练（指令微调、推理微调）提升模型能力。

近期，多模态大语言模型（MLLMs）在视觉 - 语言任务中取得了显著进展，然而，由于大量视觉令牌 (token) 所带来的二次计算复杂度，造成了显著的内存和延迟瓶颈。虽然视觉令牌缩减（VTR）策略已被探索以减轻这一负担，但现有方法忽略了原始序列与缩减序列之间的位置和注意力一致性，从而导致表示失真。为此，我们提出了一种名为 RESTORE 的新型 VTR 框架，该框架在保持效率的同时，修正了位置和注意力失真。具体而言，我们提出了一种简单而有效的校准方法，通过基于相对距离增强注意力权重来恢复丢失的视觉注意力。我们还引入了独特的锚点选择机制用于令牌合并，以在特征平均过程中减轻信息损失。在多个基准上的实验结果表明，我们的方法一致地提升了各种缩减方法的准确性，实现了最先进性能（SOTA），同时保持了计算效率。

Recent advancements in Multimodal Large Language Models (MLLMs) have achieved remarkable success in vision-language tasks, yet the quadratic computational complexity arising from the vast number of visual tokens incurs significant memory and latency bottlenecks. While visual token reduction (VTR) strategies have been explored to mitigate this burden, existing methods overlook the positional and attentional consistency between the full and reduced sequences, resulting in a distorted representation. To this end, we propose RESTORE, a novel VTR framework that rectifies the positional and attentional distortions while maintaining efficiency. Specifically, we present a simple yet effective calibration method that restores lost visual attention by augmenting attention weights based on relative distances. We also introduce a distinctive anchor selection for token merging to mitigate information loss during feature averaging. Experimental results on multiple benchmarks demonstrate that our method consistently improves the accuracy of various reduction methods, achieving state-of-the-art performance while maintaining computational efficiency.

评分理由: 论文核心在于多模态大模型（MLLM）的视觉 token 缩减与推理效率优化。与 MLLM 和多模态高度相关（10 分），因直接处理视觉编码器输出的 token 故视觉编码器相关度高（8 分）。涉及 token 管理但未深入 tokenizer 架构，tokenizer 相关性中等（5 分）。虽多模态模型可视为统一模型，但本文侧重效率而非统一架构，故 Unify Models 相关性较低（4 分）。与世界模型及强化学习完全无关（0 分）。

Visual Token Reduction, Multimodal LLM, Inference Efficiency, Attention Distortions, Token Merging, Visual Attention, Positional Consistency

Chinese Title: 通过纠正失真改进视觉令牌缩减以实现高效多模态大语言模型推理

Summary: 本文提出RESTORE框架，旨在解决多模态大语言模型（MLLM）中视觉令牌缩减（VTR）导致的注意力与位置失真问题。现有VTR方法在缩减令牌时，由于位置索引重分配或保留原始索引，破坏了注意力权重的分布，导致视觉信息丢失。RESTORE通过保留原始位置索引并引入基于相对距离的注意力校准方法，恢复丢失的视觉注意力；同时提出一种新颖的锚点选择策略，在令牌合并时兼顾代表性与区分性，减少特征平均过程中的信息损失。实验表明，该方法在多个MLLM基准上显著提升了不同VTR方法的准确率，同时保持了计算效率。

Innovations:

• 首次系统分析了VTR方法中位置分配对注意力权重的影响，揭示了注意力失真问题。
• 提出基于相对距离的注意力校准方法，在保留原始位置索引的同时恢复视觉令牌的总注意力权重。
• 设计了一种兼顾代表性与区分性的锚点选择策略，用于令牌合并，减少特征平均时的信息损失。
• 在多个基准上验证了RESTORE能够一致提升多种现有VTR方法的性能，达到最先进水平。

Methodology: 采用标准MLLM架构（如LLaVA），视觉编码器提取特征后经投影器映射为视觉令牌序列。VTR方法在送入LLM前缩减令牌。RESTORE保留原始位置索引，通过分析RoPE中相对距离对注意力权重的影响，设计校准函数（基于相对距离的指数衰减或线性缩放）来补偿因令牌减少导致的注意力衰减。在令牌合并阶段，提出锚点选择：计算每个令牌与其邻域内其他令牌的相似度，选择代表性强且与其他候选锚点区分度高的令牌作为锚点，然后合并相似令牌。实验在多个视觉问答和推理基准上进行，对比多种VTR基线。

Key Results:

• RESTORE在多个MLLM基准（如VQAv2、GQA、MMBench等）上，对FastV、VisionZip等VTR方法均带来准确率提升，最高提升约2-3个百分点。
• 注意力校准有效恢复了视觉令牌的注意力权重比例，减少了模型对文本的过度依赖。
• 锚点选择策略在令牌合并中减少了信息损失，尤其在细粒度视觉任务上表现更优。
• 计算开销增加极小，保持了VTR带来的效率优势。

Tech Stack:

• Rotary Position Embedding (RoPE)
• Softmax归一化
• 多头自注意力机制
• 基于相对距离的注意力校准函数
• 余弦相似度或内积用于令牌相似性度量
• LLaVA-1.5作为基础MLLM架构
• CLIP视觉编码器

Strengths:

• 深入分析了VTR中位置分配对注意力机制的负面影响，填补了现有研究的空白。
• 提出的校准方法简单有效，无需额外训练，可即插即用于多种VTR方法。
• 锚点选择策略兼顾代表性与区分性，优于均匀采样或高注意力采样。
• 实验全面，在多个基准上验证了泛化性和鲁棒性。

Limitations:

• 注意力校准依赖于相对距离的预设函数，可能在不同模型或任务中需要调整超参数。
• 锚点选择增加了少量计算开销，在极端低令牌预算下可能影响效率。
• 主要针对图像输入，未验证在视频或多帧输入上的效果。
• 未探讨与后训练或强化学习等方法的结合潜力。

Relevance To Keywords:

• Unify Models: 论文聚焦于多模态大模型中的视觉令牌缩减，属于模型效率优化，与统一模型相关。
• World Models: 间接相关，视觉令牌缩减影响模型对视觉世界的理解，但未直接涉及世界模型构建。
• Representation Learning: 锚点选择涉及特征表示的质量，注意力校准维护了注意力表示的一致性，与表征学习相关。
• Model-Based RL: 不直接相关，论文未涉及强化学习或基于模型的规划。
• 原生多模态大模型: 直接相关，论文针对原生MLLM的推理效率问题。
• 多模态大模型的理解和生成一体化: 相关，VTR影响理解与生成的质量。
• 表征学习: 如上所述，锚点选择与注意力校准涉及表征优化。
• 世界模型: 弱相关。
• 强化学习: 不相关。
• 后训练: 弱相关，论文方法无需后训练，但可应用于后训练后的模型。

视觉语言模型（VLM）已成为连续环境中的视觉语言导航（VLN-CE）的常见基础。然而，大多数基于 VLM 的方法将导航视为低级别的动作预测，这种接口具有模糊性，受限于短视程运动基元，且由于重复查询 VLM 而效率低下。我们提出 Goal2Pixel，这是一种纯像素基底的范式，将 VLN-CE 重新表述为可导航像素定位。与预测动作不同，Goal2Pixel 使用图像平面作为 VLM 推理与机器人运动之间的统一空间接口：模型向智能体预测一个可见的可导航像素，该像素被反投影为 3D 航点以用于前向导航。对于非前向动作，我们在图像平面上附加辅助指令区域，其中左侧、右侧和底部区域分别被解释为左转、右转和停止。为了实现长视程导航，我们提出了一种可见性感知关键帧记忆，用于紧凑且信息丰富的历史表示。为了使预训练的 VLMs 适应可导航像素定位，我们引入了语义嵌入和坐标感知辅助损失。Goal2Pixel 实现了具有竞争力的最先进的性能，同时所需的 VLM 推理调用次数少于先前方法。在 R2R-CE Val-Unseen 上，它实现了 54.1% SR 和 52.5% SPL，每回合仅需 7.75 次 VLM 调用，比直接动作预测所需的 46.62 次少 6 倍（后者在 32.9% SR 下）。在 RxR-CE 上也呈现出相同的趋势。项目页面：https://baobao0926.github.io/Goal2Pixel/.

Vision-language models (VLMs) have become a common foundation for vision-and-language navigation in continuous environments (VLN-CE). Yet most VLM-based methods cast navigation as low-level action prediction, an interface that is ambiguous, tied to short-horizon motion primitives, and inefficient due to repeated VLM querying. We propose Goal2Pixel, a pure pixel-based paradigm that reformulates VLN-CE as navigable pixel grounding. Rather than predicting actions, Goal2Pixel uses the image plane as a unified spatial interface between VLM reasoning and robot motion: the model predicts a visible navigable pixel to the agent, which is back-projected into a 3D waypoint for forward navigation. For non-forward actions, we append auxiliary directive regions to the image plane, where the left/right/bottom regions are interpreted as turning left, turning right, and stopping, respectively. To enable long-horizon navigation, we propose a visibility-aware keyframe memory for compact and informative history representation. To adapt pretrained VLMs to navigable pixel grounding, we introduce semantic embeddings and coordinate-aware auxiliary losses. Goal2Pixel achieves competitive state-of-the-art performance while requiring fewer VLM inference calls than prior methods. On R2R-CE Val-Unseen it achieves 54.1% SR and 52.5% SPL with just 7.75 VLM calls per episode, 6x fewer than the 46.62 required by direct action prediction at 32.9% SR. The same trend holds on RxR-CE.Project Page: https://baobao0926.github.io/Goal2Pixel/.

评分理由: The paper utilizes VLMs for Vision-Language Navigation, scoring high on MLLM and MultiModal. It moderately scores on Unify Models due to the unified spatial interface proposal. Visual Encoder is implicit. World Models, Tokenizer, and model-based RL are less relevant as the focus is on pixel grounding and memory rather than generative models, tokenization, or explicit model-based planning. No target experts were found in the author list.

Vision-Language Navigation, Pixel Grounding, VLM, Unified Interface, Keyframe Memory, Long-horizon Navigation, Visual-Language Models

Chinese Title: Goal2Pixel：将目标锚定到像素以实现视觉-语言导航

Summary: 本文提出Goal2Pixel，一种纯像素范式的视觉-语言导航方法，将连续环境中的导航（VLN-CE）重新定义为可导航像素的锚定问题。传统VLM方法将导航视为低层动作预测，存在动作监督模糊、短视决策和高推理成本等问题。Goal2Pixel将图像平面作为VLM推理与机器人运动之间的统一空间接口：模型预测一个可见的可导航像素，通过相机几何反投影为3D航点，由轻量级局部规划器执行。对于非前进动作（左转、右转、停止），在图像平面左右下侧附加辅助指令区域。为支持长程导航，提出可见性感知的关键帧记忆（ViKeyMem），仅当可见航点集显著变化时添加帧，并叠加历史轨迹。为适配预训练VLM，引入语义嵌入和坐标感知辅助损失。在R2R-CE和RxR-CE上，Goal2Pixel达到竞争性SOTA性能，同时将VLM调用次数减少约6倍（R2R-CE上SR 54.1%，SPL 52.5%，每集仅7.75次调用）。

Innovations:

• 提出纯像素接口Goal2Pixel，将VLN-CE从动作预测转变为图像空间的目标锚定，统一了前进和非前进决策。
• 设计可见性感知关键帧记忆ViKeyMem，仅保留信息量大的历史帧，覆盖所有有意义视角变化，无需额外模型。
• 引入语义嵌入和坐标感知辅助损失，使预训练VLM有效适应可导航像素锚定任务。
• 在R2R-CE上实现54.1% SR和52.5% SPL，VLM调用次数减少约6倍，同时保持竞争性性能。

Methodology: 论文采用三阶段执行流水线：1) VLM预测图像平面上的目标像素；2) 将像素通过相机几何反投影为3D航点；3) 轻量级局部规划器将航点转换为低层动作。数据收集阶段从R2R-CE和RxR-CE训练集导出2.64M样本，每个样本包含指令、当前图像、历史图像（由ViKeyMem构建）和真实像素。真实像素定义为沿轨迹最远可见未来航点的投影，不可见时使用辅助指令区域。ViKeyMem根据候选帧与最近关键帧的可见性重叠、后续航点可见性等条件选择关键帧，并叠加轨迹点。训练时使用语义嵌入区分RGB区域、辅助指令区域和轨迹覆盖标记，并添加坐标感知辅助损失（数值和角度项）。

Key Results:

• 在R2R-CE Val-Unseen上，SR 54.1%，SPL 52.5%，每集平均VLM调用7.75次。
• 相比直接动作预测方法（SR 32.9%，调用46.62次），SR提升21.2个百分点，调用减少约6倍。
• 在RxR-CE上，SR 48.1%，SPL 44.7%。
• 消融实验表明纯像素范式优于动作基线和混合动作-像素基线。
• 在真实轮式机器人上部署成功，验证了仿真到现实的迁移能力。

Tech Stack:

• 预训练视觉-语言模型（VLM）
• 相机几何反投影（pinhole camera model）
• 可见性检查（投影-反投影一致性，阈值0.6m）
• 语义嵌入（learnable embeddings for special tokens）
• 坐标感知辅助损失（数值回归损失 + 角度损失）
• 轻量级局部规划器（将3D航点转换为低层动作）
• ViKeyMem关键帧选择算法（基于可见性条件）
• MP3D仿真环境（Matterport3D）

Strengths:

• 创新性地将导航输出统一为像素预测，避免了动作空间歧义和短视问题。
• 显著降低VLM推理调用次数，提升效率，同时保持高成功率。
• ViKeyMem历史表示紧凑且信息丰富，无需额外架构，可通用。
• 在仿真和真实机器人上均验证了有效性，具有实际应用潜力。
• 消融实验充分，对比了多种输出范式，证明了纯像素范式的优势。

Limitations:

• 依赖深度信息进行反投影，在深度不准确或缺失的场景下可能受限。
• 辅助指令区域的设计依赖于固定图像边界，可能不适用于全景或变焦相机。
• 仅评估了MP3D环境，泛化到其他大规模场景（如Habitat-Matterport 3D）有待验证。
• 未与使用外部训练数据（如预训练导航模型）的方法进行对比，公平性需注意。
• 局部规划器可能无法处理复杂动态障碍物，真实世界部署需进一步鲁棒性测试。

Relevance To Keywords:

• Unify Models：Goal2Pixel将VLM推理与像素级导航统一，体现了模型统一的思想。
• World Models：论文未显式构建世界模型，但ViKeyMem历史表示和可见性检查隐含了空间世界建模。
• Representation Learning：语义嵌入和坐标感知损失属于表征学习范畴，用于适配预训练VLM。
• Model-Based RL：论文使用局部规划器将像素预测转化为动作，可视为基于模型的控制，但未涉及强化学习训练。
• 原生多模态大模型：直接使用预训练VLM作为核心，属于多模态大模型在具体任务上的应用。
• 多模态大模型的理解和生成一体化：VLM同时理解指令和图像，并生成像素坐标（可视为一种生成）。
• 表征学习：语义嵌入和坐标感知损失是表征学习的具体技术。
• 世界模型：ViKeyMem通过可见性条件选择关键帧，隐含了环境空间结构的表征。
• 强化学习：论文未使用强化学习，而是监督学习训练。
• 后训练：论文在预训练VLM基础上进行微调（后训练），以适应导航任务。

我们引入了图像重建游戏（Image Reconstruction Game），这是一个完全自动化的基准测试，其中视觉 - 语言模型在多轮交互中向图像生成器发出纠正指令，使累积的共同基础直接体现在生成的图像中。在七个图像类别上对两个描述者模型与两个生成器模型进行交叉测试，我们发现描述者是重建质量的主导因素，而生成器决定了迭代细化是有益还是有害。数学和几何图像构成了最大的挑战。描述者的 token 预算强烈影响收敛性：较短的预算产生更稀疏的首次生成图像，留有更大的可见改进空间；而较长的预算提高了绝对质量，但留下的修正余地较小。更强的描述者使用更丰富的修正词汇，涵盖空间、数值和结构类别，而较弱的描述者则集中在表面属性，倾向于在几轮交互后停止。人工验证显示，最佳自动评估器与人类偏好仅达到微弱至一般的一致性，且自动评分需要人工校准才能可靠使用。

We introduce the Image Reconstruction Game, a fully automated benchmark in which a vision-language model issues corrective instructions to an image generator across multiple turns, making accumulated common ground directly observable as a rendered image. Benchmarking two Describer models crossed with two Generator models across seven image categories, we find that the describer is the dominant factor in reconstruction quality, while the generator determines whether iterative refinement helps or hurts. Mathematical and geometric images pose the greatest challenge. The describer's token budget strongly affects convergence: shorter budgets yield sparser first renderings with more room for visible improvement, while longer budgets raise absolute quality but leave less to fix. Stronger describers use a richer correction vocabulary spanning spatial, numeric, and structural categories, while weaker describers concentrate on surface properties and tend to stop after a few turns. Human validation shows that the best automated judge reaches only slight-to-fair agreement with human preferences, and automated scores require human recalibration to be used reliably.

评分理由: MultiModal (10) 和 MLLM (8) 高度相关，因论文核心为视觉语言模型的对话交互。Visual Encoder (6) 隐含于 VLM 中但未深入。Unify Models (5) 体现在任务统一而非架构统一。Tokenizer (3) 仅涉及预算提及。World Models (3) 和 model-based RL (1) 与论文对话基准主题关联较弱，后者几乎无关。

Image Reconstruction Game, Iterative Multimodal Dialogue, Vision-Language Model, Image Generator, Common Ground, Corrective Instructions, Reconstruction Quality

Chinese Title: 图像重建游戏：通过迭代多模态对话构建共同基础

Summary: 本文提出图像重建游戏（Image Reconstruction Game），一个全自动化的基准测试，其中视觉语言模型（VLM）作为描述者，向图像生成模型发出多轮纠正指令，使累积的共同基础直接通过渲染图像可见。研究将两个描述者模型与两个生成器模型交叉组合，在七个图像类别上进行测试。结果表明，描述者是重建质量的主导因素，而生成器决定迭代改进是否有益。数学和几何图像最具挑战性。描述者的令牌预算强烈影响收敛：较短的预算产生更稀疏的初始渲染，有更多改进空间；较长的预算提高绝对质量但改进余地小。更强的描述者使用更丰富的纠正词汇（空间、数值、结构），而较弱的描述者集中于表面属性且倾向于几轮后停止。人类验证显示，最佳自动评判与人类偏好仅达到轻微至中等一致性，自动分数需要人类重新校准才能可靠使用。

Innovations:

• 提出全自动化的图像重建游戏基准，无需人类参与，可重复评估多模态模型的迭代对话能力。
• 将共同基础构建过程直接可视化为每轮生成的图像，使累积进展可观测。
• 系统性地分离描述者与生成器的影响，通过交叉组合实验揭示各自对重建质量的作用。
• 引入人类相似性评分研究，验证自动指标（如CLIP、DINO、LLM评判）与人类感知的一致性，发现需要重新校准。
• 对描述者纠正词汇进行定性分析，揭示强/弱描述者在空间、数值、结构等类别上的差异。

Methodology: 采用双玩家对话游戏框架（clem框架），描述者（VLM）观察目标图像和当前渲染，发出自然语言纠正指令；生成器（图像生成模型）根据累积对话历史生成新图像。游戏最多10轮，描述者每轮有200令牌预算。使用两个描述者模型（如GPT-4V、LLaVA）和两个生成器模型（如Stable Diffusion、DALL-E）交叉组合。评估使用自动相似性指标（SSIM、LPIPS、DINO、CLIP）和人类评分。在七个图像类别（自然、物体、场景、函数、几何、图表、抽象）上测试。

Key Results:

• 描述者是重建质量的主导因素，生成器决定迭代改进是否有效。
• 数学和几何图像类别最难重建，描述者难以感知和表达细粒度差异。
• 短令牌预算（200）导致初始渲染稀疏，但后续改进空间大；长预算提高初始质量但改进幅度小。
• 强描述者使用更丰富的纠正词汇（空间、数值、结构），弱描述者集中于颜色、纹理等表面属性。
• 自动指标与人类评分一致性有限：最佳LLM评判（如GPT-4V作为评判）仅达到轻微至中等一致性（Cohen's kappa约0.2-0.4），需要人类重新校准。
• 迭代改进在多数组合中有效，但部分生成器（如某些版本）在后期反而降低质量。

Tech Stack:

• clem框架（游戏化模型评估框架）
• 视觉语言模型（VLM）：GPT-4V、LLaVA等
• 图像生成模型：Stable Diffusion、DALL-E等
• 自动相似性指标：SSIM、LPIPS、DINO、CLIP
• 人类评分：Likert量表、Cohen's kappa一致性分析
• 令牌预算控制（200 tokens/turn）
• 多轮对话协议（<DESCRIPTION>标签、DONE信号）

Strengths:

• 任务设计新颖，将共同基础构建与图像生成结合，直接可视化对话进展。
• 全自动化，可重复，便于大规模基准测试。
• 系统性地分离描述者和生成器的影响，提供因果分析。
• 包含人类验证，揭示自动指标的局限性，具有实践指导意义。
• 覆盖多种图像类别，测试了模型在不同难度下的表现。

Limitations:

• 仅测试了两个描述者和两个生成器，样本有限，可能不具广泛代表性。
• 令牌预算固定为200，未探索不同预算的影响（除简短分析外）。
• 人类评分仅针对子集，且一致性较低，说明自动评判仍需改进。
• 未深入分析描述者内部机制（如注意力、推理过程）。
• 游戏仅限10轮，可能不足以让复杂图像完全收敛。

Relevance To Keywords:

• 原生多模态大模型：论文中的描述者（VLM）即为原生多模态模型，测试其感知和语言生成能力。
• 多模态大模型的理解和生成一体化：游戏同时测试理解（比较图像差异）和生成（发出纠正指令），体现一体化。
• 表征学习：描述者需要学习目标与渲染之间的差异表征，生成器需要将语言表征映射到图像。
• 世界模型：生成器可视为一种世界模型，根据语言指令模拟图像变化。
• 强化学习：游戏可视为多轮决策过程，描述者通过纠正指令最大化最终相似度，类似强化学习中的策略优化。
• 后训练：论文评估的是预训练模型的能力，但游戏本身可作为后训练（如RLHF）的评估环境。

我们解决生成高保真、长形式配乐的挑战，确保这些配乐在场景转换之间保持连贯性。现有的 AI 音乐系统主要面向短小、孤立的片段设计，缺乏确保叙事连贯性的机制。我们提出 JenBridge，一个模块化且可解释的框架，用于自适应长形式视频配乐，既能确保高保真音频生成，又能保证转换的自然性。核心架构是一个基于 Transformer 的生成模型，采用流匹配（flow-matching）目标进行训练，遵循两阶段范式：首先在大规模文本 - 音频语料库上进行预训练，以建立稳健的音乐先验；随后适应视频领域，利用双文本 - 视觉条件化实现精确的跨模态对齐。至关重要的是，为了在不同场景变化中实现长形式连贯性，JenBridge 引入了一种新颖的自适应转换机制。该系统配备了多功能的转换风格工具包，包含一种生成式转换方法，并独特地采用了一个大语言模型（LLM）智能体，该智能体充当导演，智能地为每个叙事转换选择最合适的过渡方式。为了严格评估该任务，我们提出了 LVS 基准，这是一个新的基准，包含一个精心构建的数据集以及关注整体性和转换感知评估的新型评估指标。在提出的基准上进行的广泛实验表明，JenBridge 在客观和主观指标上均显著优于现有方法，尤其是在转换自然度和整体叙事连贯性方面。JenBridge 代表了迈向完全自动化、专业级视频配乐的重要一步。

We address the challenge of generating high-fidelity, long-form soundtracks that remain coherent across scene transitions. Existing AI music systems are mainly designed for short, isolated clips and lack mechanisms to ensure narrative continuity. We present JenBridge, a modular and interpretable framework for adaptive long-form video soundtracking that ensures both high-fidelity audio generation and transition naturalness. The core architecture is a Transformer-based generative model trained with a flow-matching objective, following a two-stage paradigm: pretraining on large-scale text-audio corpora to establish robust musical priors, then adapting to the video domain with dual text-visual conditioning for precise cross-modal alignment. Crucially, to achieve long-form coherence across diverse scene changes, JenBridge incorporates a novel adaptive transition mechanism. This system features a versatile toolkit of transition styles, including a generative transition method, and uniquely employs a Large Language Model (LLM) Agent that acts as a director to select the most appropriate transition for each narrative shift intelligently. To rigorously assess this task, we propose the LVS Benchmark, a new benchmark that includes a curated dataset and novel evaluation metrics focusing on holistic and transition-aware assessment. Extensive experiments on the proposed benchmark demonstrate that JenBridge significantly outperforms existing methods in both objective and subjective metrics, particularly in terms of transition naturalness and overall narrative coherence. JenBridge represents a significant step towards fully automated, professional-quality video soundtracking.

评分理由: The paper focuses on multimodal audio generation conditioned on video and text, making 'MultiModal' (9) and 'Visual Encoder' (8) highly relevant. It employs an LLM agent for narrative continuity, moderately aligning with 'World Models' (5) and 'MLLM' (6). The framework unifies generation and transition logic ('Unify Models', 5), but lacks explicit focus on tokenizer design ('Tokenizer', 3) or reinforcement learning ('model-based RL', 0).

Long-Form Video Soundtracking, Adaptive Transition Mechanism, Text-Visual Conditioning, Flow-Matching Objective, LLM Agent, Narrative Coherence, Transformer-based Generative Model

Chinese Title: JenBridge: 跨场景转换的自适应长视频配乐生成

Summary: 本文针对长视频配乐生成中跨场景转换的连贯性问题，提出JenBridge框架。现有AI音乐系统主要针对短片段设计，缺乏叙事连贯性机制。JenBridge采用模块化可解释架构，核心是基于Transformer的生成模型，使用流匹配目标训练，采用两阶段范式：先在文本-音频大规模语料上预训练建立音乐先验，再通过双文本-视觉条件适应视频域。关键创新是自适应过渡机制，包含多种过渡风格工具包（包括生成式过渡方法），并利用LLM Agent作为导演智能选择最适合的过渡。为评估该任务，提出LVS Benchmark，包含 curated 数据集和新颖评估指标。实验表明JenBridge在客观和主观指标上显著优于现有方法，尤其在过渡自然性和整体叙事连贯性方面。

Innovations:

• 提出JenBridge端到端框架，实现长视频配乐生成，确保跨场景转换的连贯性和高保真度，模块化架构具有可解释性和可控性。
• 提出自适应过渡机制，结合多种过渡风格工具包（包括基于ControlNet的生成式过渡）和LLM Agent作为导演进行上下文感知的创意选择。
• 提出LVS Benchmark，首个专门针对长视频配乐的基准，包含丰富标注和整体评估协议，强调过渡质量评估。
• 采用两阶段渐进训练：先预训练文本到音乐基础模型，再通过双条件（文本+视觉）适应视频域，并引入VMPT模块将视频字幕转换为结构化音乐提示。

Methodology: JenBridge框架分为三阶段：1）语义视频分割（使用PySceneDetect将长视频切分为语义连贯片段）；2）逐片段音乐生成，采用两阶段训练：先训练基于MMDiT和流匹配的文本到音乐模型，再引入SigLIP视觉编码器进行双条件融合，并通过VMPT（基于Qwen3-8B的LLM）将视频字幕转换为音乐提示；3）自适应过渡，LLM Agent从过渡工具包（包括ControlNet生成式过渡）中选择最合适的过渡风格，连接各片段音频。训练使用条件流匹配目标。

Key Results:

• JenBridge在LVS Benchmark上显著优于现有方法，在客观和主观指标上均取得最佳性能。
• 在过渡自然性和整体叙事连贯性方面表现突出，解决了现有方法无法处理场景转换的问题。
• 通过两阶段训练和双条件融合，实现了高保真音频生成与精确的跨模态对齐。
• LLM Agent能够智能选择过渡风格，提升了长视频配乐的适应性和创造性。

Tech Stack:

• Transformer (MMDiT - Multimodal Diffusion Transformer)
• Flow Matching (流匹配目标)
• Neural Audio Codec (EnCodec, 48kHz stereo)
• T5-large / T5-base (文本编码器)
• SigLIP (视觉编码器)
• Qwen3-8B (VMPT模块)
• ControlNet (生成式过渡)
• PySceneDetect (视频分割)
• LLM Agent (大语言模型代理)

Strengths:

• 首次系统解决长视频配乐中的场景转换连贯性问题，具有实际应用价值。
• 模块化可解释架构，便于用户控制和干预生成过程。
• 自适应过渡机制结合LLM Agent，实现了智能化的创意决策。
• 提出了专门的基准和评估协议，填补了该领域评估空白。
• 两阶段训练策略有效利用大规模文本-音频数据，降低视频-音乐配对数据需求。

Limitations:

• 依赖视频分割的准确性，若分割不当可能影响后续生成。
• LLM Agent的决策质量受限于其训练数据和推理能力，可能在某些复杂叙事场景下不够精准。
• 生成式过渡（ControlNet）可能引入额外计算开销，影响实时性。
• 实验仅在电影预告片等特定类型视频上验证，泛化性有待进一步检验。
• 未详细讨论不同过渡风格的具体实现细节和参数控制。

Relevance To Keywords:

• 原生多模态大模型：JenBridge使用MMDiT处理文本和视觉模态，属于多模态生成模型。
• 多模态大模型的理解和生成一体化：框架同时具备视频理解（分割、视觉编码）和音乐生成能力，实现理解与生成融合。
• 表征学习：通过神经音频编解码器、文本编码器、视觉编码器学习多模态表征。
• 世界模型：虽然不直接构建世界模型，但通过LLM Agent模拟导演决策，隐含对叙事世界的理解。
• 强化学习：论文未明确使用强化学习，但LLM Agent的决策可视为一种策略选择，未来可结合强化学习优化。
• 后训练：两阶段训练中的第二阶段（视频域适应）属于后训练范畴。

世界模型使智能体能够预测其动作对环境的影响。本文提出多刚体高斯世界模型（MRO-GWM），这是一种新颖的模型，用于学习 3D 空间中刚体的动作条件动力学。通过采用物体中心高斯来表示场景，我们能够表示任意物体形状及多物体场景。我们开发了一种新颖的时空变换器架构，该架构根据物体高斯的历史序列和未来动作预测未来的刚体运动。物体在规范坐标系中由其高斯表示，这使得可以将物体运动描述为刚体变换。我们的模型在多视角重建数据上进行训练，这要求模型能够处理因遮挡导致的物体部分观测。我们在由典型家用物体构成的合成数据集上分析了该方法的预测性能，这些数据集涉及多物体动力学及与机器人末端执行器的交互。我们还评估了该模型在模拟环境中用于非抓取操纵的模型预测控制中的表现。

World models enable intelligent agents to predict the consequences of their actions on the environment. In this paper, we propose Multi Rigid Object Gaussian World Model (MRO-GWM), a novel model that learns action-conditional dynamics of rigid objects in 3D. By representing the scene by object-centric Gaussians, we can represent arbitrary object shapes and multi-object scenes. We develop a novel spatio-temporal transformer architecture that predicts future rigid body motion from a history of object Gaussians and future actions. Objects are represented by their Gaussians in a canonical frame, which allows for describing object motion as rigid body transformation. Our model is trained on reconstructions from multiple viewpoints, which requires the model to handle partial observations of objects due to occlusions. We analyze prediction performance of our approach on synthetic datasets composed of typical household objects with multi-object dynamics and interactions by a robot end effector. We also evaluate our model in model-predictive control for non-prehensile manipulation in simulation.

评分理由: 论文核心聚焦于世界模型（World Models）及动作条件预测，与模型式强化学习（model-based RL）中的模型预测控制高度相关。涉及多视角视觉处理（Visual Encoder, MultiModal），但未使用离散 Tokenizer 或大语言模型（MLLM），统一模型（Unify Models）仅体现为表示与动力学的结合。

World Models, Gaussian Splatting, Object-Centric, Action-Conditional, Model-Predictive Control, Rigid Objects, Spatio-temporal Transformer

Chinese Title: 面向刚性物体的动作条件与物体中心高斯溅射世界模型学习

Summary: 本文提出了一种名为MRO-GWM的多刚性物体高斯世界模型，用于学习三维场景中刚性物体的动作条件动力学。该模型采用物体中心的高斯溅射表示场景，能够处理任意形状的物体和多物体场景。作者设计了一种新颖的时空变换器架构，从历史物体高斯和未来动作中预测未来的刚体运动。物体通过其规范坐标系中的高斯表示，运动描述为刚体变换。模型在合成数据集上训练，包含典型家庭物品的多物体动力学及机器人末端执行器交互，并处理由于遮挡导致的局部观测问题。实验评估了预测性能，并在仿真中通过模型预测控制实现了非抓取操作任务。主要贡献包括：使用物体中心高斯溅射作为场景表示，通过每物体刚体变换编码历史姿态观测；提出结合时间与空间注意力块的新型变换器架构；将世界模型集成到模型预测控制中用于非抓取操作。

Innovations:

• 提出使用物体中心高斯溅射作为场景表示，并通过每物体的刚体变换编码历史姿态观测序列。
• 设计了一种新颖的时空变换器架构，包含时间注意力、空间注意力以及新提出的时空注意力层，能够同时处理物体形状和物体间接触。
• 将世界模型成功集成到模型预测控制中，在仿真中实现了多物体场景下的非抓取操作任务。
• 支持两种输入模式：直接使用2D高斯属性或使用锚点（anchor）的压缩潜在特征，并实现了跨场景共享MLP以保持一致性。

Methodology: 论文采用物体中心高斯溅射（ObjectGS）作为场景表示，每个高斯与一个物体关联，通过刚体变换编码历史姿态。构建时空变换器模型，输入为历史物体和末端执行器的高斯序列以及未来末端执行器姿态，输出未来物体姿态。变换器包含空间网格池化、空间注意力块、时间注意力块以及新提出的时空注意力层。训练时使用多视角重建数据，模型需处理遮挡导致的局部观测。在仿真环境中使用合成数据集进行训练和评估，并通过模型预测控制进行非抓取操作任务测试。

Key Results:

• 在合成数据集上，模型能够准确预测多物体场景中刚性物体的未来姿态，包括处理遮挡和物体间相互作用。
• 与多种基线模型和消融实验相比，所提出的时空变换器架构在预测性能上表现更优。
• 在模型预测控制中，模型成功解决了两个非抓取操作任务（如推动物体），并在多物体场景中展示了有效性。
• 模型能够泛化到未见过的物体形状，表明其具有较好的泛化能力。

Tech Stack:

• 物体中心高斯溅射（ObjectGS）
• ScaffoldGS（基于锚点的场景表示）
• 2D高斯溅射（2D Gaussian Splatting）
• 时空变换器（Spatio-Temporal Transformer）
• 空间注意力（Spatial Attention）
• 时间注意力（Temporal Attention）
• 时空注意力层（Spatio-Temporal Attention Layer）
• 模型预测控制（Model-Predictive Control, MPC）
• MLP（多层感知机）
• SE(3)刚体变换

Strengths:

• 采用物体中心高斯表示，能够灵活处理任意形状的刚体物体和多物体场景。
• 提出的时空变换器架构有效融合了时间序列信息和空间结构信息，能够捕捉物体间接触和遮挡影响。
• 支持两种输入模式（直接高斯或锚点特征），适应不同精度和效率需求。
• 在模型预测控制中成功应用，展示了世界模型在机器人操作中的实用性。
• 在合成数据集上表现出良好的泛化能力，能够处理未见过的物体。

Limitations:

• 目前依赖仿真环境中的地面真值姿态和分割掩码，尚未集成到真实世界的物体分割和姿态估计流程中。
• 仅处理刚性物体，无法处理可变形物体或流体。
• 模型训练需要多视角重建数据，可能在实际应用中获取成本较高。
• 预测性能可能受限于高斯表示的分辨率和场景复杂度。
• 未在真实机器人平台上进行实验验证。

Relevance To Keywords:

• 世界模型：论文核心是学习动作条件的世界模型，用于预测环境动态。
• 表征学习：采用物体中心高斯溅射作为场景表征，并通过变换器学习潜在动力学。
• 基于模型的强化学习：模型被用于模型预测控制，属于基于模型的方法。
• 后训练：论文未明确涉及后训练，但世界模型可作为预训练组件用于下游任务。
• 多模态大模型：论文未涉及多模态大模型，但高斯溅射本身可结合视觉输入。
• 原生多模态大模型：不直接相关。
• 多模态大模型的理解和生成一体化：不直接相关。

扩散模型在视频生成领域已展现出显著的成功。然而，此类模型是否真正意识到视觉观察背后的 3D 结构，而不仅仅是简单地重现合理的 2D 投影，仍然是一个开放性问题。在这项工作中，我们通过人体运动控制（human motion control）来探究这一问题，该任务需要对 3D 人体几何、运动、相机视角（camera viewpoint）和场景上下文进行精确建模。与依赖渲染的 2D 运动引导视频（rendered 2D motion guidance videos）的先前的方法不同，我们提出一个无渲染（render-free）框架，该框架直接在压缩的 3D 人体网格标记（compressed 3D human mesh tokens）上对视频生成进行条件化。这种表示法保留了完整的 3D 几何信息，同时启用了统一的基于标记（token-based）的生成管道，该管道在基于 DiT 的架构中联合处理视频标记（video tokens）与运动标记（motion tokens）。这种设计架构要求模型在视频生成过程中联合推理外观（appearance）、3D 结构以及相机视角。实验结果表明，该方法在人体运动控制基准上展现出强劲的性能，同时减少了由依赖视角的 2D 引导（view-dependent 2D guidance）以及编辑过程中轨迹 - 姿态不匹配（trajectory-pose mismatches）所诱导的伪影。这些发现表明，当配备网格标记化（mesh tokenization）时，视频扩散模型能够更好地捕捉复杂的 3D 人体结构及其与周围环境的交互。

Diffusion models have shown remarkable success in video generation. However, whether such models are truly aware of the 3D structure underlying visual observations, rather than simply reproducing plausible 2D projections, remains an open question. In this work, we investigate this question through human motion control, a task that requires precise modelling of 3D human geometry, motion, camera viewpoint, and scene context. Unlike prior methods that rely on rendered 2D motion guidance videos, we propose a render-free framework that conditions video generation directly on compressed 3D human mesh tokens. This representation preserves full 3D geometric information while enabling a unified token-based generation pipeline that processes video tokens jointly with motion tokens in a DiT-based architecture. This design requires the model to reason jointly about appearance, 3D structure, and camera viewpoint during video generation. Experimental results demonstrate strong performance on human motion control benchmarks, while reducing artifacts induced by view-dependent 2D guidance and trajectory-pose mismatches during editing. These findings suggest that video diffusion models, when equipped with mesh tokenization, can better capture complex 3D human structures and their interactions with the surrounding environment.

评分理由: 论文核心贡献为 Mesh Tokenization 与统一 token 管道，故 Tokenizer 与 Unify Models 评分较高。视频与 3D 几何结合属 MultiModal 范畴。未涉及 MLLM 或 World Models 核心定义。任务虽为控制但方法为生成非 RL，故 model-based RL 评分低。作者列表中未发现指定专家，无额外加分。

3D-Aware Video Diffusion Models, Mesh Tokenization, Human Motion Control, Render-Free Framework, 3D Human Mesh Tokens, DiT-based Architecture, Unified Token-based Generation

Chinese Title: 迈向3D感知的视频扩散模型：基于网格令牌化的无渲染人体运动控制

Summary: 本文探讨视频扩散模型是否真正具备3D结构感知能力，以人体运动控制为测试任务。现有方法依赖渲染的2D引导信号（如姿态图、骨架视频），存在视角依赖和信息丢失问题。作者提出一种无渲染框架，直接使用压缩的3D人体网格令牌作为条件生成视频。首先利用SMPL参数化人体模型表示运动，分解为轨迹和身体姿态序列；然后通过VQ-VAE将网格压缩为紧凑的离散令牌，与轨迹嵌入结合形成运动令牌；最后在DiT架构中通过交叉注意力将运动令牌注入视频生成过程。实验表明，该方法在人体运动控制基准上表现优异，在视角变化和运动编辑场景下鲁棒性更强，减少了因2D引导和轨迹-姿态不匹配导致的伪影。结论认为，视频扩散模型在配备网格令牌化后能更好地捕捉复杂3D人体结构及其与环境交互。

Innovations:

• 首次提出无渲染框架，直接以3D人体网格令牌作为视频生成条件，避免渲染带来的信息损失和视角依赖偏差。
• 引入网格令牌化管道，将人体运动分解为轨迹和身体姿态，并通过VQ-VAE将3D网格压缩为紧凑离散令牌，实现几何保真且解耦的运动表示。
• 在DiT架构中统一处理视频令牌和运动令牌，通过交叉注意力注入，迫使模型联合推理外观、3D结构和相机视角。
• 提供更灵活的运动编辑接口，支持轨迹与姿态的组合控制，减少编辑场景下的脚部漂浮、穿透等伪影。

Methodology: 论文采用以下技术路线：1) 使用SMPL参数化人体模型表示3D人体网格序列，并分解为全局轨迹和身体姿态；2) 对每个网格进行规范化（平移至原点、去除全局朝向），输入全卷积网格自编码器提取低维潜在向量，再通过VQ-VAE量化得到离散令牌；3) 将参考图像通过图像编码器得到视觉令牌，与噪声令牌拼接；4) 运动令牌和文本令牌通过交叉注意力注入DiT骨干网络；5) 训练时使用扩散损失优化，推理时从噪声逐步去噪生成视频。

Key Results:

• 在人体运动控制基准上取得强性能，生成视频质量优于基于渲染的方法。
• 在视角变化场景下，生成视频保持一致性，减少因2D引导导致的视角依赖伪影。
• 在运动编辑（如改变轨迹或姿态）时，有效避免脚部漂浮、穿透和运动不一致等结构伪影。
• 消融实验验证了网格令牌化表示相比2D/2.5D表示的优势，以及分解轨迹与姿态的有效性。

Tech Stack:

• SMPL参数化人体模型
• VQ-VAE（向量量化变分自编码器）
• 全卷积网格自编码器
• DiT（Diffusion Transformer）架构
• 交叉注意力机制
• 扩散模型（DDPM/DDIM）

Strengths:

• 创新性地提出无渲染的3D网格令牌化方法，从根本上解决了2D引导的信息损失问题。
• 将运动分解为轨迹和姿态，提供更灵活、鲁棒的编辑接口。
• 在DiT架构中统一多模态令牌，设计简洁且可扩展。
• 实验设计充分，验证了模型在3D感知、视角变化和编辑场景下的优势。

Limitations:

• 依赖SMPL模型，无法处理非人体或复杂物体运动。
• 网格令牌化需要预训练VQ-VAE，可能引入量化误差。
• 当前仅关注人体运动控制，未扩展到更通用的3D场景理解。
• 计算开销可能较大，尤其是网格编码和量化过程。

Relevance To Keywords:

• Unify Models: 论文提出统一令牌化框架处理视频、运动、文本，符合多模态统一建模趋势。
• World Models: 通过3D网格令牌化使模型学习3D结构，有助于构建具备物理世界理解的世界模型。
• Representation Learning: 核心贡献在于学习3D人体网格的紧凑离散表示，属于表征学习范畴。
• Model-Based RL: 论文未涉及强化学习，但3D感知能力可潜在用于基于模型的RL中的状态表示。
• 原生多模态大模型: 方法基于DiT架构，融合图像、视频、运动、文本多模态，与原生多模态大模型方向一致。
• 多模态大模型的理解和生成一体化: 论文同时涉及视频生成和运动理解，但侧重生成，理解能力通过条件控制间接体现。
• 后训练: 论文未讨论后训练策略，主要关注模型架构和训练方法。

多模态大语言模型（MLLMs）在空间多项选择题上表现仍不稳定，其失败通常归因于视觉信息注意力不足。在这项工作中，我们识别出一种互补的失败模式，即空间词汇偏差：在答案选项中加入空间关系词会吸引模型的决策，使得新加入的选项更有可能被选中。基于九个开源权重的 MLLMs，我们发现这一现象普遍存在。特别是，模型能够正确回答二元空间问题，但一旦将第三个错误的空间选项加入答案集，模型却一致地选择该错误选项。我们将此类二元稳定但三元脆弱的案例隔离为诊断示例，并利用机制可解释性工具，揭示出很大一部分失败实际上起源于语言侧而非视觉侧：视觉注意力分析和残差流探针显示，在这些失败案例中，正确的空间关系在内部仍可用；而无关选项控制、激活修补和稀疏组件干预则将偏差追踪至特定的 LLM 侧通道和神经元。基于这一发现，我们表明，在微小的单对象对合成数据上执行轻量级仅 LLM 的 DPO（直接偏好优化）更新可缓解该偏差，在合成数据上将四路鲁棒准确率提升高达 100 分，并在更广泛的评估数据集 WhatsUp、SpatialMQA-Direct 和 VSR 上分别提升 68.0、32.6 和 20.1 分。

Multimodal large language models (MLLMs) remain unreliable on spatial multiple-choice questions, and their failures are often attributed to poorly attended visual information. In this work, we identify a complementary failure mode, spatial lexical bias: adding a spatial relation word to the answer options can attract the model's decision and make the newly added option likely to be selected. Using nine open-weight MLLMs, we show that this phenomenon is widely observed. In particular, models can answer a binary spatial question correctly, yet consistently select an incorrect third spatial option once it is added to the answer set. We isolate such binary-stable but ternary-fragile cases as diagnostic examples and leverage mechanistic interpretability tools, revealing that a substantial part of the failure instead originates on the language side rather than the visual side: visual attention analyses and residual-stream probes show the correct spatial relation remains internally available on these failures, while irrelevant-option controls, activation patching, and sparse component interventions trace the bias to specific LLM-side channels and neurons. Based on this finding, we show that a lightweight LLM-only DPO update on tiny single-object-pair synthetic data mitigates the bias, lifting four-way robust accuracy by up to 100 points on synthetic data, and by 68.0, 32.6, and 20.1 points on broader evaluation datasets WhatsUp, SpatialMQA-Direct, and VSR.

评分理由: 论文核心聚焦于多模态大语言模型（MLLM）的空间推理偏差诊断，因此 MLLM 和 MultiModal 得满分（10.0）。视觉编码器虽被用于注意力分析但非核心贡献，得 6.0 分。Unify Models 涉及多模态统一但未侧重架构统一，得 5.0 分。Tokenizer、World Models、model-based RL 在文中未涉及，得低分（1.0-2.0）。作者列表中无指定专家（Wang Yang 不等于 Yang Shi）。

Spatial Lexical Bias, Multimodal Large Language Model, Spatial Reasoning, Mechanistic Interpretability, LLM-side Bias, DPO Update, Robust Accuracy

Chinese Title: 多模态大语言模型空间推理中空间词汇偏差的机制诊断

Summary: 本文发现多模态大语言模型（MLLMs）在空间多项选择题中存在一种新的失败模式——空间词汇偏差：当在答案选项中添加一个空间关系词时，模型会倾向于选择该新选项，即使它在二元选择中能正确回答。作者通过构建“二元稳定但三元脆弱”（BSTF）案例作为诊断工具，利用注意力分析和残差流探针证明正确的视觉关系在模型内部仍然可恢复，失败并非源于视觉信息丢失，而是语言侧的词汇语义干扰。进一步使用激活修补、稀疏组件干预等可解释性方法定位到LLM侧特定层和神经元。最后，仅对语言解码器进行轻量级DPO微调（使用单对象对合成数据），即可显著缓解该偏差，在合成数据上四路鲁棒准确率提升最高达100个百分点，并在WhatsUp、SpatialMQA-Direct、VSR等公开数据集上分别提升68.0、32.6、20.1个百分点。

Innovations:

• 首次识别并系统定义“二元稳定但三元脆弱”（BSTF）案例，揭示MLLMs在空间推理中因添加空间选项而系统性失败的模式。
• 通过注意力分析和残差流探针证明失败时正确视觉关系仍可恢复，将失败归因于语言侧的“空间词汇偏差”而非视觉信息丢失。
• 使用激活修补和稀疏组件干预等因果可解释性工具，定位到LLM侧特定残差流通道和MLP神经元是偏差的关键载体。
• 提出仅更新语言解码器的轻量级DPO后训练方法，使用极简合成数据即可有效缓解偏差，并泛化到多个公开基准。

Methodology: 1. 构建受控合成数据集（Sphere-Cube Raw, Sphere-Dog Raw, Sphere-Dog Outdoor），每个包含四种空间关系（左、右、前、后），并生成二元、三元、四路选项集，对每个选项集进行所有顺序排列以消除位置偏差。2. 定义BSTF案例：二元鲁棒准确率100%，添加一个空间选项后三元准确率下降≥80个百分点，筛选出55个案例。3. 视觉可恢复性分析：使用注意力图可视化视觉关注区域，并在最后一层残差流上训练线性探针预测正确空间关系。4. 语言侧机制分析：通过无关选项控制实验（对比空间干扰词与无关词如“小提琴”）、激活修补（交换二元正确与三元错误提示的残差流状态）、稀疏组件干预（识别并抑制特定残差流通道和MLP神经元）。5. 修复方法：使用单对象对合成数据构建偏好数据集，对LLM解码器进行LoRA-DPO微调，冻结视觉编码器和投影器。

Key Results:

• 在9个开源MLLM上广泛观察到空间词汇偏差，其中7个模型存在BSTF案例（共55个）。
• 注意力图显示二元正确与三元错误提示关注相似的视觉区域；线性探针在最后一层残差流上几乎完美恢复正确空间关系（即使模型选择了错误选项）。
• 无关选项（如“小提琴”）仅导致适度退化，而特定空间选项（如“后面”）导致系统性崩溃，表明偏差源于空间词汇的语义结构。
• 激活修补实验表明，在中间到后期层交换残差流状态可以挽救或破坏预测；稀疏干预识别出特定残差流通道和MLP神经元，抑制它们可部分恢复正确预测。
• LLM-only LoRA-DPO微调在合成数据上四路鲁棒准确率提升最高100个百分点，在WhatsUp、SpatialMQA-Direct、VSR上分别提升68.0、32.6、20.1个百分点。

Tech Stack:

• 多模态大语言模型：LLaVA-1.5-7B, LLaVA-v1.6-Vicuna-7B, LLaVA-v1.6-Mistral-7B, InternVL2-1B, InternVL2.5-1B, Qwen2-VL-2B, Qwen3-VL-8B等
• 合成数据集渲染：使用3D渲染工具生成受控场景
• 评估指标：样本级鲁棒准确率（所有选项顺序均正确）
• 可解释性工具：注意力图可视化、线性探针（残差流）、激活修补（activation patching）、稀疏组件干预（sparse component intervention）
• 后训练方法：Direct Preference Optimization (DPO) + LoRA（低秩适配）
• 编程框架：PyTorch, HuggingFace Transformers

Strengths:

• 发现了一个新颖且重要的失败模式（空间词汇偏差），挑战了以往将空间推理失败归因于视觉信息丢失的普遍观点。
• 方法严谨：通过严格的位置偏差控制（所有顺序排列）和BSTF案例筛选，确保诊断的可靠性。
• 结合行为实验与机械可解释性工具（激活修补、稀疏干预），提供了因果证据而非仅相关性。
• 修复方案简单有效：仅更新语言侧，使用极小合成数据，且泛化到多个真实数据集，具有实用价值。

Limitations:

• BSTF案例筛选标准严格（二元100%且下降≥80pp），可能遗漏部分弱化但仍有意义的偏差模式。
• 可解释性分析主要针对LLaVA系列模型，其他架构的偏差机制可能有所不同。
• 修复方法仅在LLM侧进行，未探索联合调整视觉编码器或投影器是否能进一步提升。
• 合成数据集场景简单（单对象对），真实场景中物体数量、遮挡、光照等复杂因素未充分覆盖。
• DPO训练数据仅来自单对象对，泛化到更复杂空间关系（如“在...之间”）的效果未知。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但研究的多模态大模型属于统一视觉-语言理解的范畴。
• World Models: 论文未涉及世界模型，空间推理可视为世界模型的一部分，但本文未构建或利用世界模型。
• Representation Learning: 论文通过探针分析残差流表示，属于表征学习分析，但未提出新的表征学习方法。
• Model-Based RL: 不相关。
• 原生多模态大模型: 论文使用的模型均为原生多模态（如LLaVA、Qwen-VL），属于该范畴。
• 多模态大模型的理解和生成一体化: 论文仅关注理解（空间推理），未涉及生成。
• 表征学习: 论文通过探针研究内部表征的可恢复性，与表征学习相关。
• 世界模型: 不直接相关。
• 强化学习: 不直接相关，但DPO是一种基于偏好的优化方法，可视为后训练中的强化学习变体。
• 后训练: 论文使用DPO进行后训练，属于后训练范畴，且仅更新语言解码器，是轻量级后训练方法。

Multimodal LLMs (多模态大语言模型) 正日益被用于协助科学同行评审，其核心要求是验证论文中的主张是否由其证据支持。先前工作表明，当证据是表格时，模型在此任务上的表现显著优于当证据是相同底层数据的图表时。这引发了一个问题：模型是否无法从图表中提取信息，或者它们提取了信息但在形成预测时未能使用？我们通过层线性探测 (layer-wise linear probing) 和注意力分析 (attention analysis) 在三个开源视觉语言模型 (open-weight VLMs) 上研究这一问题，这些模型处理代表相同底层数据的表格和图表证据。我们发现一致的证据支持后者。图表信息被编码在模型的中间表示 (intermediate representations) 中，但未到达预测位置 (prediction position)，而表格则不存在这种差距，且在所有测试条件下均成立。注意力分析进一步揭示，这种脱节在模型家族中呈现出两种架构上不同的形式 (architecturally distinct forms)。这些发现将表格 - 图表差距 (table-chart gap) 重新定义为预测时编码视觉信息的路由 (routing) 失败，而非编码本身的失败。

Multimodal LLMs are increasingly used to assist scientific peer review, where a core requirement is verifying whether claims in a paper are supported by its evidence. Prior work has shown that models perform substantially better at this task when the evidence is a table than when it is a chart of the same underlying data. This raises the question of whether models fail to extract information from charts, or do they extract it but fail to use it when forming their prediction? We study this question through layer-wise linear probing and attention analysis on three open-weight VLMs over table and chart evidence, representing the same underlying data. We find consistent evidence for the latter. Chart information is encoded in the models' intermediate representations but does not reach the prediction position, a gap that is absent for tables and holds across all conditions tested. Attention analysis further reveals that this disconnect takes two architecturally distinct forms across model families. These findings reframe the table-chart gap as a failure of how encoded visual information is routed at prediction time, rather than a failure of encoding itself.

评分理由: The paper focuses on Multimodal LLMs (MLLM) and MultiModal understanding for scientific claim verification, resulting in high scores for these keywords. It analyzes Visual Encoder representations regarding how visual info is handled, warranting a high score on Visual Encoder. Tokenizer, World Models, and model-based RL are not discussed, resulting in low scores. Unify Models is moderately related due to the multimodal nature but not the primary focus. No expert authors from the specified list were found.

Multimodal LLMs, Scientific Claim Verification, Table-Chart Gap, Visual Information Routing, Layer-wise Linear Probing, Attention Analysis, Vision-Language Models

Chinese Title: 编码但未路由：解释科学声明验证中的表格-图表差距

Summary: 本文研究了多模态大语言模型在科学声明验证任务中，对表格证据表现优于图表证据的现象。作者通过层间线性探测和注意力分析，对三个开源视觉语言模型（Qwen2.5-VL-7B、Qwen2.5-VL-32B、InternVL3-8B）在SciTabAlign+数据集上进行实验，该数据集包含语义等价的表格和图表证据。研究发现，图表信息在模型的中间表示中被编码，但未能有效路由到预测位置，而表格信息则能成功路由。注意力分析进一步揭示了两种模型家族中不同的失败模式：Qwen模型在最终层对图像标记的注意力远低于基线，而InternVL模型虽保持近比例注意力，但仍无法有效整合信息。链式思维提示实验也证实了两种失败模式的差异。结论表明，表格-图表差距源于编码信息的利用失败而非感知失败。

Innovations:

• 首次通过层间线性探测区分了图表信息编码失败与路由失败，证明图表信息被编码但未有效路由到预测位置。
• 发现图表信息在中间表示中比表格信息分布更广，但无法在预测位置集中，形成反转模式。
• 揭示了两种模型家族中不同的失败机制：Qwen模型因注意力路由不足，InternVL模型因后注意力整合失败。
• 通过链式思维提示实验进一步验证了两种失败模式的不同响应行为，Qwen模型因强制描述未注意内容导致性能下降，InternVL模型则受益。
• 使用内容控制的SciTabAlign+数据集，确保表格和图表基于相同底层数据，隔离格式敏感性。

Methodology: 论文采用线性探测（linear probing）方法，在每个层训练一个线性分类器，使用留一法交叉验证，评估隐藏状态中任务相关信息的可解码性。设置最后令牌（last-token）和平均池化（mean-pool）两种探测方式。同时进行注意力分析，计算最后令牌对图像令牌的注意力比例，并归一化到比例基线。还进行了链式思维消融实验，要求模型先描述图表再预测标签。评估指标包括方向校正的AUROC、宏F1和准确率。

Key Results:

• 平均池化探测在图表变体上的AUROC（84-89%）高于表格（65-70%），而最后令牌探测则相反，表明图表信息分布广泛但未集中到预测位置。
• 平均池化探测的准确率在所有图表变体上均超过模型推理准确率，而表格上则未出现此现象，差异显著（McNemar检验p<0.01）。
• Qwen家族模型在最终层对图像令牌的注意力仅为比例基线的4-11%，InternVL3-8B则保持93%但仍有性能差距。
• 链式思维提示使Qwen模型性能下降（宏F1降低3.3-13.5），InternVL模型性能提升（+4.6）。
• 仅基于声明文本的探测AUROC为64-67%，远低于图表平均池化探测，排除声明文本泄漏。

Tech Stack:

• 线性探测（Linear Probing）
• L-BFGS优化器
• ℓ2正则化（C=1.0）
• 方向校正AUROC（Direction-corrected AUROC）
• McNemar检验
• 注意力比例归一化（Proportional Baseline）
• 链式思维提示（Chain-of-Thought Prompting）
• SciTabAlign+数据集
• Qwen2.5-VL-7B/32B-Instruct
• InternVL3-8B

Strengths:

• 实验设计严谨，使用内容控制的数据集隔离格式影响。
• 通过内部表示分析揭示了模型失败的根本原因，而非仅观察表面性能。
• 覆盖两个模型家族，发现不同失败机制，增强了结论的泛化性。
• 结合注意力分析和链式思维实验，多角度验证路由失败假说。
• 提供了可操作的诊断方法，为改进多模态模型提供方向。

Limitations:

• 仅研究三个开源模型，可能无法代表所有多模态大模型。
• 线性探测假设表示是线性可分的，可能忽略非线性特征。
• 数据集规模有限（162个声明），可能影响统计稳定性。
• 未探索如何具体修复路由失败，仅诊断问题。
• 图表变体仅包括四种类型，未涵盖所有常见图表形式。

Relevance To Keywords:

• 原生多模态大模型：论文研究的多模态大模型（Qwen2.5-VL、InternVL3）属于原生多模态架构，直接处理图像和文本。
• 表征学习：通过线性探测分析中间表示中图表信息的编码情况，涉及表征学习中的可解码性。
• 世界模型：虽未直接提及，但科学声明验证可视为对世界知识的推理，与模型对数据格式的理解相关。
• 模型基于强化学习：论文未涉及强化学习，但后训练阶段可能通过链式思维提示等干预改善路由。
• 后训练：链式思维提示实验属于后训练阶段的推理策略，论文探讨了其对不同模型的影响。

构建具备能力的视觉网页代理需要长程推理、精确 grounding（定位）以及与动态真实网站的稳健交互。尽管进展迅速，最先进的系统仍主要属于专有领域，而开放代理（agent）仍严重依赖于对大规模精心策划的网页轨迹（trajectory）的监督后训练。这种依赖造成了一个主要的可扩展性瓶颈：高质量演示的收集成本高昂，且静态数据集对多样且不断变化的开放网络覆盖有限。虽然在线强化学习（RL）在基于文本的代理上显示出潜力，但其直接在实时网站上训练视觉网页代理的潜力仍很大程度上未被充分探索。本文介绍了 OpenWebRL，这是一个在真实网站上使用在线多轮强化学习（RL）训练视觉网页代理的开放框架。OpenWebRL 涵盖了完整的训练流程，包括可扩展的实时浏览器基础设施、监督初始化、多模态上下文管理、轨迹级成功判定以及高效的多轮策略（policy）优化。利用该框架，我们训练了 OpenWebRL-4B，它在具有挑战性的实时网络基准上建立了新的开源最先进（SOTA）标准。仅使用 0.4K 初始化轨迹和 2.2K 开放式强化学习（RL）训练任务，OpenWebRL-4B 在 Online-Mind2Web 上取得 67.0% 的成功率，在 DeepShop 上取得 64.0% 的成功率，优于先前类似或更大规模的开放代理，并与包括 OpenAI CUA 和 Gemini CUA 在内的专有系统保持竞争力。除了强大的基准性能外，我们系统性地研究了使在线强化学习（RL）对视觉网页代理有效的关键设计选择，并分析了强化学习如何提升代理（agent）推理能力。总体而言，我们的工作为构建更具能力、可复现且成本高效的开放网页代理提供了一条切实可行的路径。我们将发布训练数据、模型和代码，以支持未来的研究。

Building capable visual web agents requires long-horizon reasoning, precise grounding, and robust interaction with dynamic real-world websites. Despite rapid progress, the strongest systems remain largely proprietary, while open agents still depend heavily on supervised post-training over large collections of curated web trajectories. This dependence creates a major scalability bottleneck: high-quality demonstrations are expensive to collect, and static datasets offer limited coverage of the diverse, ever-changing open web. Although online RL has shown promise for text-based agents, its potential for training visual web agents directly on live websites remains largely underexplored. In this paper, we introduce OpenWebRL, an open framework for training visual web agents with online multi-turn RL on real websites. OpenWebRL covers the full training pipeline, including scalable live-browser infrastructure, supervised initialization, multimodal context management, trajectory-level success judging, and efficient multi-turn policy optimization. Using this framework, we train OpenWebRL-4B, which establishes a new open-source state of the art on challenging live-web benchmarks. With only 0.4K initialization trajectories and 2.2K open-ended RL training tasks, OpenWebRL-4B achieves 67.0% success on Online-Mind2Web and 64.0% on DeepShop, outperforming prior open agents of similar or larger scale and remaining competitive with proprietary systems including OpenAI CUA and Gemini CUA. Beyond strong benchmark performance, we systematically study the key design choices that make online RL effective for visual web agents, and analyze how RL improves agentic reasoning. Overall, our work offers a practical path toward building more capable, reproducible, and cost-efficient open web agents. We will release our training data, models, and code to support future research.

评分理由: 论文核心聚焦于视觉网页代理的在线多回合强化学习。MultiModal 和 MLLM 评分较高，因视觉代理涉及多模态交互且基于大模型 backbone。model-based RL 评分中等，属 RL 范畴但摘要未明确强调模型学习。Visual Encoder 评分中等，视觉输入必要但非核心创新点。Unify Models 和 World Models 评分较低，因侧重 RL 框架而非模型统一或生成式世界模型。Tokenizer 评分最低，摘要未涉及。

Online Multi-turn Reinforcement Learning, Visual Web Agents, OpenWebRL, Multimodal Context Management, Policy Optimization, Live-browser Infrastructure, State-of-the-art

Chinese Title: OpenWebRL：揭秘视觉网络代理的在线多轮强化学习

Summary: 本文提出OpenWebRL，一个完全开放的框架，用于在真实网站上通过在线多轮强化学习训练视觉网络代理。当前最强的网络代理多为专有系统，而开放代理严重依赖监督微调，需要大量昂贵的演示数据，且静态数据集覆盖有限。虽然在线强化学习在文本代理中已显示潜力，但在视觉网络代理上的应用尚未充分探索。OpenWebRL覆盖完整训练流程：可扩展的实时浏览器基础设施、监督初始化（仅0.4K轨迹）、多模态上下文管理、轨迹级成功判断（使用GPT或蒸馏的8B评判器，成本降低约545.5美元/实验）以及高效多轮策略优化（多模态多轮GRPO）。基于此框架训练的OpenWebRL-4B（4B参数）在Online-Mind2Web、DeepShop和WebVoyager上分别达到67.0%、64.0%和74.1%的成功率，超越先前同规模或更大规模的开放代理（如FARA-7B、MolmoWeb-8B、Qwen3-VL-235B），并与GPT-5、OpenAI CUA、Gemini CUA等专有系统竞争。论文系统分析了在线RL的关键设计选择及其对代理推理能力的影响，并开源训练数据、模型和代码。

Innovations:

• 提出OpenWebRL，首个完全开放的用于视觉网络代理的端到端在线多轮强化学习框架，覆盖从基础设施到策略优化的完整流程。
• 开发实用的多模态多轮RL配方，结合鲁棒的浏览器基础设施、轨迹级评判和高效上下文管理，使紧凑模型（4B）在真实网站上有效训练。
• 发布强4B开放代理，并系统研究在线RL成功的关键因素（如监督初始化、评判器设计、多轮优化），为后续研究提供实证基础。
• 引入混合评判器（GPT或蒸馏8B），在保持专有级性能的同时大幅降低评估成本（每实验节省约545.5美元）。
• 在多个实时网络基准上取得开放代理新SOTA，超越更大规模模型，并接近专有系统水平。

Methodology: 论文采用两阶段训练范式：首先使用0.4K轨迹进行监督微调（SFT）作为热启动，使策略进入有效探索区域；然后在真实网站上通过在线多轮GRPO（Group Relative Policy Optimization）进行强化学习。具体技术包括：基于Orchard Env构建容错浏览器环境，支持大规模并行异步轨迹采样；采用ReAct风格的多工具调用代理框架，整合截图、URL、视口尺寸、标签元数据等多模态观测，并利用DOM树变化提取简洁文本环境反馈；设计轨迹级成功评判器（GPT或蒸馏8B模型）计算奖励；在多轮GRPO中，以完整轨迹为采样单元，计算组内相对优势，优化所有轮次生成的token。训练任务为2.2K开放网络任务，在实时网站上收集在线rollout并迭代更新策略。

Key Results:

• OpenWebRL-4B在WebVoyager上达到74.1%成功率，在Online-Mind2Web上达到67.0%，在DeepShop上达到64.0%，均超越先前开放代理（如FARA-7B、MolmoWeb-8B、Qwen3-VL-235B-A22B-Thinking）。
• 与专有系统（GPT-5、OpenAI CUA、Gemini CUA）相比，OpenWebRL-4B在部分基准上具有竞争力。
• 仅使用0.4K初始化轨迹和2.2K在线RL训练任务，远少于其他开放代理（如MolmoWeb使用278K轨迹）。
• 蒸馏8B评判器在性能上匹配GPT评判器，同时将评估成本降低约545.5美元/实验。
• 系统分析表明：监督热启动、多模态上下文管理、轨迹级评判和多轮GRPO是成功的关键因素；RL训练提升了代理的推理能力（如更长的思考链、更少重复动作）。

Tech Stack:

• Qwen3-VL-4B（基础视觉语言模型）
• GRPO（Group Relative Policy Optimization）
• ReAct（推理-行动循环）工具调用框架
• Orchard Env（容错浏览器环境）
• GPT-4o / 蒸馏8B模型（轨迹级成功评判器）
• DOM树变化提取（环境反馈）
• 异步并行浏览器实例（大规模rollout收集）
• 多模态观测（截图、URL、视口、标签元数据）

Strengths:

• 完全开源：训练数据、模型权重和代码均将发布，促进可复现研究。
• 实用性强：在真实动态网站上训练和评估，而非模拟环境，更贴近实际应用。
• 高效数据利用：仅需少量初始化轨迹（0.4K）和训练任务（2.2K），显著降低数据收集成本。
• 系统消融研究：详细分析了监督初始化、评判器设计、多轮优化等关键因素，提供可迁移的经验。
• 紧凑模型达到高性能：4B参数模型超越更大规模开放代理，表明在线RL对小型模型的有效性。

Limitations:

• 依赖GPT评判器进行奖励标注，虽然蒸馏版降低了成本，但初始训练仍需访问GPT API，存在一定依赖。
• 仅使用4B规模模型，未探索更大模型（如7B、8B）在相同框架下的表现，可能限制性能上限。
• 在线RL训练在真实网站上可能遇到网站动态变化、反爬机制等不可控因素，影响训练稳定性和泛化性。
• 基准测试时间点不同（如WebVoyager较早），直接比较历史结果可能受网站变化影响。
• 未深入分析RL训练对模型安全性和鲁棒性的影响，如对抗性输入或恶意网站。

Relevance To Keywords:

• 原生多模态大模型：论文使用Qwen3-VL-4B作为基础模型，属于原生多模态大模型，并针对网络代理任务进行后训练。
• 多模态大模型的理解和生成一体化：代理需要理解网页截图（视觉）和文本指令，并生成结构化动作（文本），体现理解与生成一体化。
• 表征学习：论文通过多模态上下文管理（截图、URL、反馈）学习有效的状态表征，但未重点讨论表征学习机制。
• 世界模型：论文未显式构建世界模型，但在线RL通过与真实环境交互隐式学习环境动态，可视为世界模型的一种形式。
• 强化学习：核心方法为在线多轮GRPO，属于强化学习范畴，直接优化任务成功率。
• 后训练：论文采用SFT+RL的两阶段后训练范式，属于大模型后训练技术。

大型视觉语言模型（LVLMs）在图像和视频理解任务上取得了优异性能，但其推理效率受限于视觉编码器产生的大量视觉令牌。大多数现有的视觉令牌压缩方法基于特定层的注意力分数或表征属性来估计令牌重要性，却忽略了视觉令牌在视觉编码器中的演变过程。此类基于特定层级的准则可能提供不完整的重要性估计，并限制压缩后的性能保留。为了解决这一问题，我们分析了逐层视觉令牌演变方向，并观察到令牌在视觉编码器层之间形成了多个群体演变方向。我们的分析进一步表明，信息丰富的令牌倾向于表现出对常见群体演变方向的持续偏离。基于这一观察，我们提出 EvoCut，一种无需训练且无需注意力的视觉令牌压缩方法，该方法通过多层演变偏差来估计令牌重要性。实验结果表明，在 LLaVA-1.5-7B 上，EvoCut 仅保留 11.1% 的视觉令牌，同时保留了 94.4% 的平均性能，证明了其在平衡效率与准确性方面的有效性。

Large vision-language models (LVLMs) achieve strong performance on image and video understanding tasks, but their inference efficiency is constrained by the large number of visual tokens produced by vision encoders. Most existing visual token compression methods estimate token importance from attention scores or representation properties at specific layers, overlooking how visual tokens evolve across the vision encoder. Such layer-specific criteria may provide incomplete importance estimates and limit performance preservation after compression. To address this issue, we analyze layer-wise visual token evolution directions and observe that tokens form multiple group evolution directions across vision-encoder layers. Our analysis further shows that informative tokens tend to exhibit persistent deviations from common group evolution directions. Based on this observation, we propose EvoCut, a training-free and attention-free visual token compression method that estimates token importance from multi-layer evolution deviation. Experimental results show that EvoCut can retain only 11.1\% of the visual tokens on LLaVA-1.5-7B while preserving 94.4\% of the average performance, demonstrating its effectiveness in balancing efficiency and accuracy.

评分理由: 论文核心在于视觉令牌压缩以提升大视觉语言模型（LVLM/MLLM）的效率，因此'MLLM'、'Visual Encoder'和'MultiModal'高度相关。'Tokenizer'涉及令牌处理但侧重压缩而非生成，相关性中等。'Unify Models'、'World Models'及'model-based RL'与论文内容（推理效率优化）无直接关联，故评分较低或为零。作者列表中未发现指定的专家。

Visual Token Compression, Large Vision-Language Models, Multi-Layer Evolution, Vision Encoder, Inference Efficiency, Training-Free, Token Importance

Chinese Title: EvoCut：面向高效大型视觉语言模型的多层演化感知视觉标记压缩

Summary: 大型视觉语言模型（LVLMs）在图像和视频理解任务中表现优异，但视觉编码器产生的大量视觉标记严重制约了推理效率。现有压缩方法多依赖单层注意力分数或表示属性，忽略了视觉标记在编码器各层间的演化过程，导致重要性估计不完整。本文通过分析视觉标记在编码器层间的演化方向，发现标记会形成多个群体演化方向，且信息丰富的标记往往持续偏离这些共同方向。基于此，提出EvoCut——一种无需训练、无需注意力的视觉标记压缩方法，通过跨层演化偏差累积来评估标记重要性。实验表明，在LLaVA-1.5-7B上仅保留11.1%的视觉标记（64个）即可保持94.4%的平均性能，同时实现1.44倍的总时间加速，有效平衡了效率与准确性。

Innovations:

• 首次揭示视觉标记在视觉编码器层间存在多个群体演化方向，而非单一全局方向。
• 发现信息丰富的视觉标记倾向于持续偏离群体演化方向，并基于此提出跨层演化偏差作为重要性度量。
• 提出EvoCut方法，无需训练、无需注意力图，兼容FlashAttention等高效注意力算子。
• 通过历史感知的跨层累积策略，避免深层单层偏差噪声，提升重要性估计稳定性。

Methodology: 论文首先对视觉标记在编码器相邻层间的演化方向进行聚类分析（使用HDBSCAN），发现多个群体演化方向。然后定义每个标记的演化方向与最近群体方向之间的余弦偏差，并跨层累积该偏差分数（采用历史感知更新）。最后根据累积分数保留高偏差标记，丢弃低偏差标记，实现训练无关的视觉标记压缩。整体流程包括：群体演化建模、演化偏差评分、多层分数累积。

Key Results:

• 在LLaVA-1.5-7B上仅保留64个视觉标记（原576个的11.1%）即可保持94.4%的平均性能。
• 在多个LVLM骨干（LLaVA-1.5、LLaVA-NeXT、Video-LLaVA）上均优于现有压缩方法（如VisionZip、ApET、V2Drop等）。
• 实现1.44倍总时间加速，且与FlashAttention兼容。
• 在POPE、TextVQA等数据集上，保留的标记对应前景物体、文本区域等视觉信息丰富区域。

Tech Stack:

• HDBSCAN（层次密度聚类）
• 余弦相似度/偏差计算
• 视觉编码器（ViT/CLIP）
• LLaVA-1.5、LLaVA-NeXT、Video-LLaVA等LVLM架构
• FlashAttention（兼容性）
• 历史感知累积策略

Strengths:

• 无需额外训练，即插即用，降低部署成本。
• 不依赖注意力图，避免位置偏差，兼容高效注意力实现。
• 跨层演化分析提供了比单层快照更鲁棒的重要性信号。
• 在多个模型和任务上验证了通用性和有效性，性能保持率高。

Limitations:

• 仅利用视觉编码器内部的演化信息，未考虑语言模型侧对视觉标记的交互需求。
• 聚类步骤（HDBSCAN）可能引入额外计算开销，尽管整体仍为训练无关。
• 对于极低保留率（如<10%）的场景，性能下降可能更明显，需进一步分析。
• 当前仅在图像和视频理解任务上验证，未涉及生成任务（如视觉生成）。

Relevance To Keywords:

• 原生多模态大模型：论文研究LVLM的视觉标记压缩，属于多模态大模型效率优化，与原生多模态大模型相关。
• 表征学习：通过分析视觉标记的演化方向进行重要性估计，涉及表征学习中的特征演化分析。
• 世界模型：论文未直接涉及世界模型，但视觉标记压缩可间接提升世界模型在视觉推理中的效率。
• 强化学习/后训练：论文方法无需训练，与强化学习/后训练无直接关联。
• 多模态大模型的理解和生成一体化：论文聚焦理解任务，未涉及生成一体化，但压缩方法可迁移至生成模型。

视觉推理领域的强化学习（RL）需要可扩展、可验证且可控的训练信号。现有的视觉 RL 后训练基于静态精选数据集进行训练，其固定的图像 - 问题 - 答案样本受限于采集预算。本文引入 TRON（目标导向、规则可验证的在线环境），这是一种在线环境基底：训练轨迹由一个可控的生成 - 验证程序按需生成，该程序采样一个新鲜的潜在视觉状态，渲染图像，提出问题，并精确验证答案。因此，单次运行可根据当前课程所需的难度级别，生成无界的新鲜实例流。当前的 TRON 套件包含 520 个环境，分为五个能力桶（空间、数学、图表、模式/逻辑和计数）；同一基底支持在所有桶上训练的单一完整模型以及按桶划分的能力专家模型，无需额外数据收集。我们还引入了一项基底分析，涵盖生成可靠性、实例和级别多样性、跨环境近重复项以及基础模型按难度级别的通过率。使用 METHOD 的 RL 后训练在 Qwen3-VL-4B、Qwen2.5-VL-7B 和 MiMo-VL-7B-SFT 十个外部多模态推理基准上持续改进了性能。

Reinforcement learning (RL) for visual reasoning needs scalable, verifiable, and controllable training signals. Existing visual RL post-training trains on static curated datasets, with fixed image-question-answer samples bounded by their collection budget. In this work, we introduce TRON (Targeted, Rule-verifiable Online eNvironments), an online environment substrate: a training rollout is generated on demand by a controllable generator-verifier program that samples a fresh latent visual state, renders an image, asks a question, and exactly verifies the answer. A single run can therefore draw an unbounded stream of fresh instances at the difficulty level required by the current curriculum. The current TRON suite contains 520 environments organized into five ability buckets (spatial, mathematical, diagram, pattern/logic, and counting); the same substrate supports both a single full model trained on all buckets and per-bucket ability-specialist models, with no additional data collection. We also introduce a substrate analysis covering generation reliability, instance and level diversity, cross-environment near-duplicates, and base-model pass rate by difficulty level. RL post-training with METHOD consistently improves performance on ten external multimodal reasoning benchmarks across Qwen3-VL-4B, Qwen2.5-VL-7B, and MiMo-VL-7B-SFT.

评分理由: 论文核心为视觉推理的强化学习环境生成，目标模型为 MLLM，故 MLLM 和多模态相关度高。涉及单模型与专家模型训练策略，与 Unify Models 相关。环境生成涉及潜在状态，与 World Models 中度相关。未讨论 Tokenizer 和视觉编码器细节，相关度低。RL 为核心，环境生成属于模型化环境，与 model-based RL 中度相关。

Visual Reasoning, Reinforcement Learning, Online Environment, MLLM, Curriculum Learning, Synthetic Data, Rule-Verifiable

Chinese Title: TRON：面向视觉推理强化学习的目标导向可规则验证在线环境

Summary: 本文提出TRON（Targeted, Rule-verifiable Online eNvironments），一个用于视觉推理强化学习（RL）的在线环境基座。现有视觉RL后训练依赖静态数据集，受限于收集预算且难以控制难度和技能。TRON包含520个可编程的生成器-验证器环境，每个环境按需生成新的图像-问题-答案样本，并提供确定性奖励。环境分为空间、数学、图表、模式/逻辑、计数五个能力桶，支持难度阶梯和课程控制。通过TRON-DAPO对Qwen3-VL-4B、Qwen2.5-VL-7B和MiMo-VL-7B进行RL后训练，在十个外部多模态推理基准上持续提升性能。论文还进行了基座分析，包括生成可靠性、实例和难度多样性、跨环境近重复检测以及基模型通过率等。

Innovations:

• 提出TRON在线环境基座，包含520个生成器-验证器程序，可无上限生成训练样本，替代静态数据集。
• 将环境组织为五个能力桶（空间、数学、图表、模式/逻辑、计数），支持全模型和专长模型训练，无需额外数据收集。
• 引入基座分析框架，评估生成质量、多样性、难度校准和跨环境近重复，确保训练信号有效。
• 在多个开源VLM上验证TRON-DAPO后训练在十个外部基准上的持续改进效果。

Methodology: 论文采用程序化生成环境的方法：每个环境是一个Python程序，包含生成器（从潜在状态采样、渲染图像、构造问题）和验证器（计算正确答案并给出确定性奖励）。训练时，模型仅看到图像和问题，奖励由验证器提供。环境具有难度阶梯（0-9级），通过跟踪验证器准确率自动提升难度。数据生成在线进行，每次采样使用新种子，并加入图像扰动（填充抖动、旋转、模糊等）增强鲁棒性。RL算法采用DAPO（基于GRPO的变体）。

Key Results:

• TRON包含520个环境，覆盖五个能力桶：空间111个、数学131个、图表144个、模式/逻辑104个、计数30个。
• RL后训练在Qwen3-VL-4B、Qwen2.5-VL-7B和MiMo-VL-7B上，在十个外部多模态推理基准（如MathVista、MMMU等）上均取得一致提升。
• 基座分析表明：生成可靠性高，实例和难度多样性良好，跨环境近重复率低，难度阶梯与基模型通过率正相关。
• 能力专长模型（per-bucket）与全模型训练均有效，揭示了能力迁移的新见解。

Tech Stack:

• DAPO（基于GRPO的强化学习算法）
• Python程序化环境生成器
• 图像渲染（使用PIL/OpenCV等）
• 确定性验证器（精确匹配、集合/序列比较、特定求解器）
• 难度阶梯自动推进机制（基于滑动窗口准确率阈值）
• 图像扰动增强（填充抖动、旋转、JPEG压缩、亮度偏移、高斯模糊、高斯噪声）

Strengths:

• 在线生成机制突破静态数据集限制，训练样本数量仅受计算资源约束。
• 难度可控，支持课程学习，避免模型过拟合固定样本。
• 环境多样性高（520个），覆盖多种视觉推理能力，且每个环境内部有随机化。
• 验证器提供精确奖励，无需人工标注，适合RL训练。
• 在多个开源VLM上验证了泛化能力，结果一致提升。

Limitations:

• 环境生成依赖预定义模板，可能无法覆盖所有真实世界的视觉推理场景。
• 图像渲染质量可能有限，与真实图像分布存在差距。
• 难度阶梯设计基于基模型通过率，但可能不适用于所有模型。
• 目前仅支持五个能力桶，未来可扩展更多类型。
• RL训练计算成本较高，在线生成增加采样开销。

Relevance To Keywords:

• Unify Models: 论文训练多模态大模型（Qwen3-VL等），属于统一模型范畴。
• World Models: 环境生成器模拟潜在视觉状态，可视为世界模型的一种简化形式。
• Representation Learning: RL后训练提升模型视觉推理表征能力。
• Model-Based RL: 环境生成器提供可交互的模型，但训练本身是model-free RL（DAPO）。
• 原生多模态大模型: 论文针对视觉-语言模型进行后训练。
• 多模态大模型的理解和生成一体化: 论文侧重理解（推理），未涉及生成。
• 表征学习: 通过RL优化模型内部表征。
• 世界模型: 环境生成器可看作世界模型的组件。
• 强化学习: 核心方法是RL后训练（DAPO）。
• 后训练: 论文聚焦于RL后训练阶段。

大型视觉语言模型（LVLMs）的内部注意力模式能否在不进行微调的情况下识别可靠的小目标框？在本研究中，我们给出了肯定的回答。LVLMs 中的注意力结构编码了定位质量——仅基于注意力图训练的轻量级 IoU 回归器实现了强大的 IoU 预测（皮尔逊相关系数 r > 0.67）。该回归器驱动了我们基于注意力的候选选择（ACS）框架中的回归器变体，称为 ACS-Learned，该框架从多个采样候选框中选择最佳框以改进物体定位。通过分析该回归器所学到的内容，我们揭示了哪些变换器层和头最为关键，并推导出 ACS-Free：一种无需训练的选择器，它利用这些判别性头上的注意力熵对候选框进行排序，推理阶段无需学习组件。在 COCO 和 Objects365 上的实验表明，小目标定位性能提升幅度高达 19%，且 ACS-Free 在所有无需训练的方法中排名最佳，这表明有用的注意力结构提升了 LVLMs 中定位的可靠性和可解释性。

Can internal attention patterns in Large Vision Language Models (LVLMs) identify reliable small-object boxes without fine-tuning? In this work, we provide an affirmative answer. Attention structure in LVLMs encodes grounding quality-a lightweight IoU regressor trained solely on attention maps achieves strong IoU prediction (Pearson r > 0.67). This regressor powers the regressor-based variant of our Attention-based Candidate Selection (ACS) framework, called ACS-Learned, which selects the best box from multiple sampled candidates to improve object grounding. By analyzing what the regressor learns, we reveal which transformer layers and heads are most critical and derive ACS-Free: a training-free selector that ranks candidates by attention entropy on these discriminative heads, with no learned component at inference. Experiments on COCO and Objects365 demonstrate up to 19% self-improvement on small object localization, with ACS-Free ranking best among all training-free methods, demonstrating that useful attention structure improves both localization reliability and interpretability in LVLMs.

评分理由: 论文核心在于 LVLM 的小目标定位，利用注意力机制。MLLM 和 MultiModal 直接对应 LVLM 属性，高度相关；Visual Encoder 涉及注意力图来源，中度相关；Unify Models 中度相关（视觉语言统一）；Tokenizer、World Models、model-based RL 在摘要中未体现或无关。作者列表不包含指定的 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang，故无专家加分。

LVLMs, Small Object Grounding, Attention Patterns, Bounding Box Selection, Training-free, Vision-Language Models, Interpretability

Chinese Title: LVLMs中的小目标自改进定位

Summary: 本文提出一种无需微调即可提升大型视觉语言模型（LVLMs）小目标定位能力的方法。作者发现LVLM内部的注意力模式与定位质量高度相关：一个轻量级的IoU回归器仅基于注意力图即可准确预测IoU（皮尔逊相关系数>0.67）。基于此，他们设计了基于注意力候选选择（ACS）框架，包含两个变体：ACS-Learned（使用训练好的回归器选择最佳候选框）和ACS-Free（通过分析回归器梯度与熵，识别出关键层和注意力头，在推理时无需任何学习组件，仅凭注意力熵排序即可选择最佳框）。实验在COCO和Objects365数据集上进行，小目标定位提升高达19%，ACS-Free在所有无训练方法中表现最佳。该工作揭示了LVLM内部注意力结构对定位可靠性的编码能力，提升了定位的可解释性。

Innovations:

• 发现LVLM内部注意力模式与定位质量（IoU）存在强相关性，无需微调即可预测框的可靠性。
• 提出轻量级IoU回归器，仅基于注意力图训练，实现高精度IoU预测（Pearson r>0.67）。
• 通过梯度归因和熵分析，识别出对定位最关键的Transformer层和注意力头，并据此设计无训练的选择器ACS-Free。
• ACS-Free在推理时无需任何学习组件，仅凭注意力熵排序即可达到最佳无训练方法性能，提升小目标定位达19%。
• 框架无需修改LVLM架构、无需微调或外部检测器，可作为即插即用增强模块应用于不同LVLM。

Methodology: 首先，通过温度采样生成多个候选边界框及其对应的注意力图。然后，训练一个轻量级神经网络（IoU回归器）以注意力图为输入预测IoU，验证注意力编码定位质量的假设。接着，利用梯度归因和熵分析，从训练好的回归器中识别出对定位贡献最大的层和注意力头。最后，基于这些关键头的注意力熵设计无训练的选择规则（ACS-Free），在推理时直接根据熵值排序选择最佳框。整体框架分为三阶段：训练回归器、分析关键模式、蒸馏为无训练规则。

Key Results:

• 轻量级IoU回归器在注意力图上训练，实现皮尔逊相关系数>0.67的IoU预测。
• ACS-Learned在多个LVLM和数据集上持续提升小目标定位性能。
• ACS-Free在所有无训练方法中表现最佳，小目标定位提升高达19%。
• 识别出Qwen2.5-VL-7B和InternVL-3.5-8B中各自的前10个定位关键层（如14-21,24,25等）。
• 注意力熵与IoU在关键头上呈现强负相关，验证了熵作为无训练选择信号的有效性。

Tech Stack:

• LVLM：Qwen2.5-VL-7B, InternVL-3.5-8B
• 注意力图提取：从所有层和头的视觉token注意力权重
• IoU回归器：轻量级神经网络（具体结构未详述，但为MLP类）
• 损失函数：均方误差（MSE）
• 梯度归因分析：用于识别关键层
• 熵分析：计算注意力熵，用于无训练选择
• 温度采样：生成多样化候选框
• 数据集：COCO, Objects365

Strengths:

• 无需微调LVLM，仅需训练一个极小的回归器或完全无训练，计算成本低。
• 即插即用，可应用于不同LVLM，通用性强。
• 揭示了注意力结构与定位质量的内在联系，增强了模型可解释性。
• 小目标定位提升显著（19%），对安全关键应用（如自动驾驶）有价值。
• 从有监督回归器蒸馏出无训练规则，方法优雅且实用。

Limitations:

• 回归器训练仍需少量标注数据（IoU标签），虽然轻量但并非完全零样本。
• ACS-Free虽无训练，但需要预先通过回归器分析确定关键头，该分析过程仍依赖训练数据。
• 实验仅在两个LVLM和两个数据集上进行，泛化性需进一步验证。
• 方法聚焦于小目标，对大目标提升可能不明显（论文未详细报告大目标结果）。
• 未探讨多目标场景或复杂查询下的表现。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究LVLM（Qwen2.5-VL, InternVL-3.5）的小目标定位，属于原生多模态大模型能力增强。
• 表征学习：通过分析注意力图作为表征，学习IoU预测，属于表征学习在定位质量估计中的应用。
• 世界模型：论文未直接涉及世界模型，但小目标定位是自动驾驶等世界模型感知模块的关键能力。
• 强化学习/后训练：论文未使用强化学习或后训练，而是利用推理时采样和注意力分析，与关键词相关性较弱。
• Unify Models：论文未涉及模型统一，但LVLM本身是视觉语言统一模型。
• 模型基于强化学习：不相关。

网络上丰富的程序性知识在协助智能体解决长周期任务方面蕴含着巨大潜力。然而，此类知识往往具有多模态、异构和噪声特性，且隐含地假设人类执行者，因而难以直接作为智能体所需的技能使用。为了弥合人类导向指南与智能体可执行技能之间的差距，我们将此问题形式化为指南到技能学习（guide-to-skill learning）：将真实世界中的指南转换为可执行技能，并从智能体可观察的轨迹中持续改进它们。为了评估现有智能体在此任务上的能力，我们引入了 MMG2Skill-Bench，这是首个专为该问题设计的基准。我们进一步提出了 MMG2Skill，这是一个闭环框架，它将指南编译为可编辑技能，并在执行过程中使固定的视觉 - 语言模型（VLM）智能体依据这些技能运行，并从轨迹级根本原因反馈修订技能，而不使用基准分数。在 GUI 控制、开放式游戏及策略卡牌游戏等任务中，基于六种 VLM 骨干，MMG2Skill 在所有模型 - 域设置中一贯优于朴素基线智能体，在所有骨干模型上实现了 +12.8 至 +25.3 个百分点的宏观平均增益。消融实验表明，直接使用原始指南提示智能体会导致性能下降，而结构化技能构建与轨迹驱动修订对于实现观察到的改进均是必要的。在成功可推断的任务中，基于分析器的早停机制进一步防止了后期阶段的性能退化，并在成功信号适当校准时节省了 25% 至 53% 的尝试次数。

Abundant procedural knowledge on the Web holds great potential for helping agents solve long-horizon tasks. However, such knowledge is often multimodal, heterogeneous, noisy, and implicitly assumes human executors, making it difficult to use directly as the skills required by agents. To bridge the gap between human-oriented guides and agent-executable skills, we formalize this problem as guide-to-skill learning: converting in-the-wild guides into executable skills and continuously improving them from trajectories observable to the agent. To evaluate the capability of existing agents on this task, we introduce MMG2Skill-Bench, the first benchmark designed for this problem. We further propose MMG2Skill, a closed-loop framework that compiles guides into editable skills, conditions a fixed vision-language model (VLM) agent on these skills during execution, and revises the skills from trajectory-level root-cause feedback without using benchmark scores. Across GUI control, open-ended gameplay, and strategic card play with six VLM backbones, MMG2Skill consistently outperforms vanilla baseline agents in every model-domain setting, achieving macro-average gains of +12.8 to +25.3 percentage points across backbones. Ablation studies show that directly prompting agents with raw guides can degrade performance, while both structured skill construction and trajectory-driven revision are necessary for the observed improvements. On success-inferable tasks, analyzer-based early stopping further prevents late-stage performance regressions and saves 25%-53% of attempts when the success signal is properly calibrated.

评分理由: 论文核心为多模态技能转化，MultiModal (9.0) 与 MLLM (8.0) 相关性高，Visual Encoder (5.0) 为组件相关。Unify Models、World Models、model-based RL 相关性较低 (3.0)，Tokenizer 未提及 (1.0)。加权总分 48.0，高于及格分 27.8。作者列表中未包含指定专家。

MMG2Skill, Guide-to-skill learning, Multimodal guides, Vision-language model, Trajectory feedback, Self-evolving skills, Skill distillation, GUI control

Chinese Title: MMG2Skill：智能体能否从野外指南中提炼出自我进化的技能？

Summary: 论文针对智能体在长程任务中缺乏可执行技能的问题，提出将互联网上丰富的多模态人类指南转化为智能体可执行的技能，并实现自我进化。作者首先构建了首个指南到技能学习基准MMG2Skill-Bench，涵盖桌面GUI控制、开放世界游戏和策略卡牌三个领域，共130个任务。在此基础上提出MMG2Skill框架，该框架将多模态指南编译为可编辑的SKILL.md技能文件，在任务执行时以固定VLM策略条件化技能，并通过分析器从智能体可见轨迹中提取根因反馈，再由精炼器修订技能，形成闭环。在六个VLM骨干模型上的实验表明，MMG2Skill在所有模型-领域组合中均优于基线，宏平均提升12.8至25.3个百分点。消融实验显示，直接使用原始指南提示会降低性能，而结构化技能构建和轨迹驱动修订缺一不可。在成功可推断任务中，基于分析器的早期停止可防止后期性能退化并节省25%-53%的尝试次数。

Innovations:

• 首次提出指南到技能学习问题，并构建了首个跨三个领域的基准MMG2Skill-Bench。
• 提出MMG2Skill闭环框架，将多模态指南编译为可编辑技能，并通过轨迹级根因反馈进行修订，不依赖基准分数。
• 发现原始指南直接提示可能损害性能，而结构化技能构建和轨迹驱动修订是必要且互补的。
• 引入分析器早期停止机制，在成功可推断任务中防止后期性能退化并显著节省尝试次数。

Methodology: 论文采用以下技术路线：1）多模态技能构建：将人类指南（HTML+图像）通过VLM编译为结构化SKILL.md文件，包含可重用过程、适用条件、状态线索和恢复知识。2）技能条件执行：在每次尝试开始时将当前技能集注入VLM上下文，与任务指令和历史一起生成动作。3）分析器：使用VLM读取任务指令和智能体可见轨迹，输出诊断（成功/失败证据）和自判结果评估（likely_success）。4）精炼器：结合原始指南、当前技能和累积诊断，对技能进行局部编辑（添加缺失检查、强化成功行为、移除误导恢复建议）。5）闭环迭代：算法1循环执行，直到分析器判定成功或达到最大尝试次数。评估使用领域原生评分器，在OSWorld、OpenHA Minecraft和RLCard环境中进行。

Key Results:

• MMG2Skill在六个VLM骨干上均优于基线，宏平均增益+12.8至+25.3个百分点。
• 直接使用原始指南提示会导致性能下降，而结构化技能构建提供更安全的先验。
• 轨迹驱动修订修复了指南与运行时环境之间的接地差距，且修订增益是非单调的。
• 分析器早期停止在成功可推断任务中防止后期性能退化，节省25%-53%的尝试次数。
• 在私有信息任务（无限制德州扑克）中，轨迹级分析器无法可靠推断胜负，因此被排除在主评估外。

Tech Stack:

• 视觉语言模型（VLM）作为策略和分析器/精炼器
• OSWorld桌面GUI环境
• OpenHA Minecraft任务（MineStudio框架）
• RLCard卡牌游戏环境（斗地主、麻将）
• SKILL.md结构化技能表示
• 闭环迭代算法（Algorithm 1）
• 领域原生评分器（success-inferable评估）

Strengths:

• 首次系统研究指南到技能学习问题，填补了现有基准和方法空白。
• 跨三个不同交互领域（GUI、游戏、策略）验证，具有广泛适用性。
• 闭环框架不依赖基准分数，仅使用智能体可见信息，更贴近实际部署。
• 消融实验清晰揭示了技能构建和修订各自的贡献。
• 早期停止机制实用且有效，节省计算资源。

Limitations:

• 仅适用于成功可推断任务，私有信息任务（如无限制德州扑克）无法使用轨迹级分析。
• 分析器的自判结果评估存在残差误差，可能误判成功或失败。
• 技能表示（SKILL.md）的灵活性有限，可能无法覆盖所有复杂程序知识。
• 依赖VLM的能力，不同骨干性能差异较大，框架效果受限于基础模型。
• 未探索技能跨任务迁移或持续学习场景。

Relevance To Keywords:

• 原生多模态大模型：论文使用VLM作为核心策略和分析器，直接处理多模态输入。
• 多模态大模型的理解和生成一体化：VLM既用于理解指南和轨迹，也用于生成技能修订。
• 表征学习：技能表示（SKILL.md）将指南转化为结构化表征，便于编辑和条件化。
• 世界模型：智能体在交互环境中执行任务，需要理解环境状态和转移，技能提供程序性知识。
• 强化学习：闭环修订过程类似于基于轨迹反馈的策略优化，但优化对象是技能而非模型参数。
• 后训练：技能修订可视为一种后训练方式，通过轨迹反馈改进智能体的行为先验。

指令微调将大语言模型（包括多模态模型）与多样化的用户意图对齐，但在扩展到异构混合任务时，受到梯度干扰和高带宽同步的阻碍。我们探究是否可以通过独立训练混合体中的部分任务并在参数空间中统一它们，从而联合解决这两个瓶颈。我们在共享平坦盆地内构建了一个局部二次理论，得出三个结论：权重合并产生曲率加权的方差减少；PCA (主成分分析) 对齐的冲突分裂沿高曲率方向最大化这一增益；此外，合并过程还充当了具有隐式范数正则化的谱滤波。这些结果直接催生了 MERIT，一种去中心化合并就绪的指令微调管道，该方法估计数据集级别的梯度冲突，沿主要 PCA 冲突轴划分混合体，独立微调每个分区且无需分区间通信，最后通过令牌加权平均合并一次。在 Qwen2.5-VL-3B 模型上，针对 136 个视觉 FLAN 任务，MERIT 将 8 个基准的平均值从 54.3（联合训练）提升至 57.0。该方法可扩展至 7B 模型，在包含 160 万示例、176 个来源的混合体上运行——以极小的成本开销匹配或超越集中式联合训练——并迁移至纯文本 FLAN 任务。我们的代码可在 https://github.com/naver-ai/merit 获取。

Instruction tuning aligns large language models, including multimodal ones, with diverse user intents, but scaling to heterogeneous mixtures is hindered by gradient interference and bandwidth-heavy synchronization. We ask whether these two bottlenecks can be addressed jointly by training parts of the mixture independently and reconciling them once in parameter space. We develop a local quadratic theory inside a shared flat basin that yields three results: weight merging produces a curvature-weighted variance reduction; PCA-aligned conflict splitting maximizes this gain along high-curvature directions; and merging additionally acts as spectral filtering with implicit norm regularization. These results directly motivate MERIT, a decentralized merge-ready instruction-tuning pipeline that estimates dataset-level gradient conflicts, partitions the mixture along the top PCA conflict axes, fine-tunes each partition independently with no inter-partition communication, and merges once via token-weighted averaging. On Qwen2.5-VL-3B with 136 Vision-FLAN tasks, MERIT improves the 8-benchmark average from 54.3 (joint training) to 57.0. The same recipe scales to a 7B model on a 1.6M-example, 176-source mixture -- matching or exceeding centralized joint training with minimal cost overhead -- and transfers to text-only FLAN. Our code is available at https://github.com/naver-ai/merit.

评分理由: 论文核心在于去中心化的指令调优与权重合并（MERIT），与 Unify Models 有一定关联（参数空间合并）。评估基于 Qwen2.5-VL 多模态大模型，因此与 MLLM 和 MultiModal 高度相关。摘要中提及 token-weighted averaging，与 Tokenizer 有关联；Visual Encoder 存在于基座模型中但非方法核心。论文未涉及 World Models 或强化学习，故这两项得分为 0。加权总分 45.0，高于动态及格分 27.8。

Decentralized Instruction Tuning, Conflict-Aware Splitting, Weight Merging, Gradient Interference, Token-Weighted Averaging, Vision-FLAN Tasks, Parameter Space Merging

Chinese Title: 去中心化指令微调：冲突感知分割与权重合并

Summary: 本文提出MERIT，一种去中心化的指令微调流水线，旨在解决大规模异构指令微调中梯度干扰和带宽同步瓶颈。理论分析表明，在共享平坦盆地内，权重合并可产生曲率加权方差缩减，PCA对齐的冲突分割可最大化该增益，且合并具有隐式范数正则化和谱滤波效应。MERIT通过从校准集估计数据集级梯度冲突，沿主PCA冲突轴分割任务混合物，独立微调各分支（无跨分区通信），最后通过令牌加权平均合并。在Qwen2.5-VL-3B上，136个Vision-FLAN任务使8基准平均从54.3提升至57.0；在7B模型上，1.6M样本、176源混合物匹配或超越集中式联合训练，且可迁移至纯文本FLAN。

Innovations:

• 提出局部二次理论，证明在共享平坦盆地内权重合并产生曲率加权方差缩减，且PCA对齐分割最大化该增益。
• 设计MERIT流水线：先验冲突感知分割，独立微调，单次令牌加权合并，无需跨分区梯度通信。
• 将冲突处理从训练时移至训练前，避免逐步干扰累积，同时消除同步需求。
• 理论揭示合并具有隐式范数正则化和谱滤波效应，提升泛化与优化。
• 在多种规模模型和混合物上验证一致改进，包括多模态和纯文本场景。

Methodology: 基于局部二次模型分析平坦盆地内权重合并的增益，推导曲率加权方差缩减公式；利用PCA分析数据集级梯度冲突，沿主冲突轴分割任务；采用令牌加权平均合并独立微调后的模型；实验使用Qwen2.5-VL系列模型，在Vision-FLAN和FLAN数据集上评估，对比集中式联合训练、随机分割、模型汤等基线。

Key Results:

• MERIT在Qwen2.5-VL-3B上，8基准平均从54.3提升至57.0（相同令牌预算）。
• 在Qwen2.5-VL-7B上，1.6M样本、176源混合物匹配或超越集中式联合训练，且三随机种子一致。
• 理论证明合并增益由曲率加权方差决定，PCA分割优于随机分割。
• 合并具有隐式范数正则化效果，可视为谱滤波。
• 方法可迁移至纯文本FLAN设置。

Tech Stack:

• 局部二次模型（Hessian矩阵）
• PCA（主成分分析）
• 令牌加权平均
• 模型合并/模型汤
• 线性模式连通性诊断
• 梯度冲突估计（校准集）
• Qwen2.5-VL系列模型
• Vision-FLAN数据集
• FLAN数据集

Strengths:

• 理论分析扎实，从局部二次模型推导出合并增益的明确表达式，并指导算法设计。
• 提出去中心化训练范式，有效解决梯度干扰和通信瓶颈两大问题。
• 实验规模大，涵盖3B和7B模型、多模态和纯文本场景，结果一致且显著。
• 方法实用，无需修改训练过程，仅需一次合并，适合异构计算环境。
• 开源代码，可复现。

Limitations:

• 理论基于局部二次近似和平坦盆地假设，实际中可能不完全成立。
• 需要先验的合并就绪初始化（如LLaVA Stage 2），并非所有模型都具备。
• PCA冲突分割依赖校准集，校准集大小和代表性可能影响效果。
• 仅考虑单次合并，未探索迭代合并或多轮通信。
• 实验主要针对视觉-语言模型，文本-only验证较简略。

Relevance To Keywords:

• 原生多模态大模型：论文使用Qwen2.5-VL多模态模型，验证方法在多模态指令微调中的有效性。
• 多模态大模型的理解和生成一体化：指令微调涉及理解（OCR、推理）和生成（对话），MERIT通过冲突分割提升整体性能。
• 表征学习：理论分析涉及Hessian矩阵和曲率，与表征的几何性质相关。
• 世界模型：间接相关，指令微调可增强模型对世界的理解能力。
• 强化学习：论文未直接涉及RL，但后训练阶段与RLHF等对齐方法互补。
• 后训练：核心研究后训练中的指令微调优化问题。

基于扩散的视觉 - 语言 - 动作策略在机器人操作中取得了显著成功，但犯了一个我们称之为欧几里得谬误（Euclidean Fallacy）的基本几何错误：将 SE(3) 姿态表示为平坦的 R12 向量。这种近似会导致 (1) 违反 SO(3) 约束的流形漂移，(2) 在坐标变换下破坏的等变性，以及 (3) 具有过高运动学代价的非测地线轨迹。我们提出了李扩散演员（Lie Diffuser Actor, LDA），这是一个在 SE(3) 上内在运行的扩散框架。我们的方法通过左不变随机微分方程（SDEs）注入噪声，在切空间中预测得分，并通过指数映射回缩样本。这种构造从根本上消除了流形漂移，同时保证了坐标系等变性和测地线最优性。在 CALVIN ABC→D 基准上，LDA 将平均任务长度从 3.27 提高到 3.51（+7.3%）。我们进一步在真实机器人上验证了该方法，结果表明我们的方法在大多数任务上优于基线方法。

Diffusion-based Vision-Language-Action policies achieve remarkable success in robotic manipulation, yet commit a fundamental geometric error we term the $\textbf{Euclidean Fallacy}$: representing SE(3) poses as flat $\mathbb{R}^{12}$ vectors. This approximation induces (1) manifold drift violating SO(3) constraints, (2) broken equivariance under coordinate transformations, and (3) non-geodesic trajectories with excessive kinematic cost. We introduce $\textbf{Lie Diffuser Actor (LDA)}$, a diffusion framework operating intrinsically on SE(3). Our method injects noise through left-invariant SDEs, predicts scores in the tangent space, and retracts samples via the exponential map. This formulation eliminates manifold drift by construction while guaranteeing coordinate-frame equivariance and geodesic optimality. On CALVIN ABC$\rightarrow$D, LDA improves average task length from $3.27$ to $3.51$ ($+7.3\%$). We further validate our method on real robot and the results show that our methodology outperforms the baseline on majority tasks.

评分理由: 论文聚焦视觉 - 语言 - 动作（VLA）策略的几何表示，提出基于 SE(3) 李群的扩散框架。"MultiModal"高度相关，因涉及多模态融合；"MLLM"与"Unify Models"中度相关，涉及多模态统一；"model-based RL"中度相关，属强化学习范畴；"Visual Encoder"与"World Models"关联较弱，非核心贡献；"Tokenizer"未提及，相关性最低。

Vision-Language-Action, Diffusion Models, SE(3), Lie Groups, Score Matching, Tangent Space, Robotic Manipulation, Geometric Correctness

Chinese Title: 我们所说的谎言：通过切空间上的分数匹配纠正视觉-语言-动作策略中的欧几里得谬误

Summary: 本文指出当前基于扩散的视觉-语言-动作（VLA）策略存在一个根本性几何错误——将SE(3)位姿表示为平坦的R12向量，导致流形漂移、坐标变换下的等变性破坏以及非测地线轨迹。为解决此问题，作者提出Lie Diffuser Actor（LDA），一种直接在SE(3)流形上运行的扩散框架。该方法通过左不变随机微分方程注入噪声，在切空间（李代数se(3)）中预测分数，并利用指数映射将样本回缩到流形上。理论证明该方法消除了流形漂移、保证了左不变等变性并生成测地线轨迹。在CALVIN ABC→D任务上，平均任务长度从3.27提升至3.51（+7.3%）；在真实机器人实验中，多数任务优于基线。

Innovations:

• 首次识别并形式化VLA扩散策略中的“欧几里得谬误”，揭示流形漂移和等变性破坏的系统性问题。
• 提出Lie Diffuser Actor，在SE(3)流形上定义左不变SDE扩散过程，通过指数映射保证输出始终位于流形上。
• 理论证明三个关键性质：流形漂移消除（命题4.1）、左不变等变性（定理4.2）和测地线轨迹生成（命题4.3）。
• 在CALVIN、OpenVLA-OFT和真实机器人上验证了性能提升，并展示零样本泛化到新工作空间的能力。

Methodology: 论文采用基于李群SE(3)的扩散模型。前向过程通过左不变SDE在流形上添加噪声，具体为gt = g0 · exp(σtξ)，其中ξ ∈ se(3)服从高斯分布。反向过程在切空间（李代数）中预测分数，并通过指数映射回缩到流形。网络架构采用条件扩散模型，输入视觉和语言指令，输出SE(3)轨迹。训练时使用分数匹配损失。

Key Results:

• 在CALVIN ABC→D上，平均任务长度从3.27提升至3.51（+7.3%）。
• 在OpenVLA-OFT的LIBERO Long任务上，成功率从92.20%提升至94.13%。
• 正交性约束违反率：中位数降低5.7%，P90降低11.8%，P95降低5.4%，P99降低2.6%。
• 真实机器人实验在多数任务上优于基线。
• 零样本泛化到新工作空间验证了等变性带来的实用价值。

Tech Stack:

• SE(3)李群与se(3)李代数
• 左不变随机微分方程（SDE）
• 指数映射与Rodrigues公式
• 分数匹配（Score Matching）
• 条件扩散模型
• OpenVLA-OFT框架
• CALVIN基准

Strengths:

• 理论严谨：从几何角度揭示了现有方法的根本缺陷，并提供了严格的数学证明。
• 方法优雅：直接在流形上操作，避免了后处理投影，保证了输出始终有效。
• 实验充分：在模拟和真实机器人上均验证了有效性，且展示了零样本泛化能力。
• 与现有架构兼容：可集成到OpenVLA等框架中，提升性能。

Limitations:

• 计算开销：指数映射等操作可能增加计算成本，实时性需进一步评估。
• 仅考虑SE(3)位姿：未涉及关节空间或其他动作表示，适用范围有限。
• 实验规模：CALVIN任务相对简单，在更复杂的长时域任务上效果待验证。
• 对噪声调度敏感：左不变SDE的噪声调度设计可能影响性能。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文聚焦于VLA策略中的几何表示学习，属于表征学习范畴；扩散模型可视为一种生成式世界模型；与强化学习的结合（后训练）未直接涉及，但改进的动作表示可提升RL策略质量。
• 原生多模态大模型，多模态大模型的理解和生成一体化: 论文改进的是VLA策略中的动作生成部分，与多模态大模型的理解和生成一体化方向相关，但未涉及语言理解本身的改进。
• 表征学习: 核心贡献在于纠正位姿的几何表征，属于表征学习。
• 世界模型: 扩散模型可视为隐式世界模型，论文改进了其几何一致性。
• 强化学习，后训练: 论文未直接涉及强化学习，但改进的动作策略可作为RL的底层控制器。

在多语言教育的当代背景下，学习习语为通往创造力、文化价值、历史背景以及各语言传统所蕴含的多元视角提供了一条迷人的途径。本文探讨了如何在低资源东南亚语言（如印地语、孟加拉语和泰语）中保留比喻和文化语义。在这些语言中，由于深层隐喻复杂性，文化丰富的习语对计算建模和跨语言迁移构成了重大障碍。为应对这种复杂性，我们提出了 Varnika，这是一个重建的多模态习语语料库，包含 3,533 个多语言习语，并丰富了与文本及视觉表示对齐的七种习语语调（idiomatic tones）。此外，为了推断信息丰富的习语理解，我们引入了一个混合式混合专家（HybridMoE）框架。该框架嵌入了多个习语专家意见，并通过受控混合整合选定与未选定专家的输出以缓解专家稀疏性问题，同时进一步通过掩码多模态嵌入增强了习语属性信号（Idiomatic Property Signals）。为了从多个维度分析性能，我们提出了 IDIO-TONE 和习语验证分数（Idiomatic Validation Score），这是一个三阶段评估流程，用于衡量（i）字面翻译保真度，（ii）视觉 - 语义对齐，以及（iii）习语意义保留。实证评估表明，HybridMoE 在先进的视觉语言模型（Vision-Language Models）上实现了 5%–6% 的性能提升，展示了在多语言多模态环境中对比喻语言及文化嵌入意义的改进表示。

In the contemporary epoch of multilingual education, learning idioms provides a fascinating gateway towards creativity, cultural values, historical context, and diverse perspectives inherent to various linguistic traditions. This paper showcases the navigation of retaining figurative and cultural semantics in low-resource Southeast Asian languages such as Hindi, Bengali, and Thai, where culturally rich idioms pose significant obstacles for computational modeling and cross-linguistic transfer due to their deep metaphorical complexity. To tackle such complexity, we present Varnika, a reconstructed multimodal idiom corpus comprising 3,533 multilingual idioms, enriched with seven idiomatic tones aligned with both textual and visual representations. Additionally, to infer informative idiomatic understanding, we introduce a Hybrid Mixture-of-Experts (HybridMoE) framework that embeds multiple idiomatic expert opinions while mitigating expert sparsity by integrating outputs from both selected and unselected experts through controlled hybridization, further augmented with Idiomatic Property Signals via masked multimodal embeddings. To analyze the performance across multiple dimensions, we propose the IDIO-TONE and Idiomatic Validation Score, a three-stage evaluation pipeline measuring (i) literal translation fidelity, (ii) visual-semantic alignment, and (iii) idiomatic meaning retention. Empirical evaluations highlight that HybridMoE achieves 5--6\% performance gains across advanced vision language models, demonstrating improved representation of figurative language and culturally embedded meaning in multilingual multimodal settings

评分理由: 论文核心在于多模态习语理解与混合专家模型，与 MultiModal 和 MLLM 高度相关；涉及文本与视觉表征统一，Unify Models 中度相关；Visual Encoder 和 Tokenizer 为辅助组件；World Models 和 model-based RL 与习语理解任务无直接关联。

Hybrid-MoE, Idiomatic Understanding, Multimodal Idiom Corpus, Multilingual, Figurative Language, Vision Language Models, Masked Multimodal Embeddings

Chinese Title: 当意义旅行：混合专家模型在语言模型习语理解中的细粒度作用

Summary: 本文针对低资源东南亚语言（印地语、孟加拉语、泰语）中习语理解困难的问题，提出Varnika多模态习语语料库（含3533条习语及七种语用语调标注），并设计HybridMoE（混合专家模型）框架。该框架通过超网络实现跨专家知识共享，结合习语属性信号（IPS）增强多模态嵌入，同时提出IDIO-TONE和习语验证分数（IV）作为三阶段评估指标（文字翻译保真度、视觉语义对齐、习语意义保留）。实验表明，HybridMoE在先进视觉语言模型上取得5-6%的性能提升，有效改善了模型对比喻语言和文化嵌入意义的表征能力。

Innovations:

• 提出HybridMoE框架，通过超网络整合选定与未选定专家输出，缓解专家稀疏性问题
• 引入习语属性信号（IPS），利用掩码多模态嵌入增强上下文保真度
• 构建Varnika数据集，为三种低资源语言提供多模态习语语料及七种语用语调标注
• 设计IDIO-TONE和习语验证分数（IV）三阶段评估体系，量化习语理解质量

Methodology: 首先重建Mediom数据集为Varnika，添加七种语用语调（幽默、嘲讽、喜爱、渴望、恐惧、悲伤、欺骗）并经过两阶段验证（同行评审+专家审核，Cohen's kappa=0.65）。然后设计HybridMoE架构：输入多模态对（文本+图像），通过多个专家模块处理，利用超网络生成专家权重并混合输出，同时IPS模块对跨模态嵌入进行条件化。最后使用IDIO-TONE和IV分数评估文字翻译、视觉语义对齐和习语意义保留三个维度。

Key Results:

• HybridMoE在多个先进视觉语言模型上实现5-6%的性能提升
• Varnika数据集标注一致性达0.65（Cohen's kappa）
• 文本与视觉模态的语调标签重叠率为54.75%，表明跨模态语用对齐良好
• 模型在低资源语言（印地语、孟加拉语、泰语）的习语理解任务上优于基线

Tech Stack:

• Mixture-of-Experts (MoE)
• HyperNetwork
• Idiomatic Property Signal (IPS)
• 多模态嵌入（文本+图像）
• Cohen's kappa一致性检验
• IDIO-TONE指标
• Idiomatic Validation (IV)分数

Strengths:

• 针对低资源语言习语理解这一难点，提供了高质量多模态数据集和专用评估指标
• HybridMoE通过超网络和IPS有效缓解专家稀疏性，提升跨模态语义对齐
• 实验验证了模型在多种VLM上的泛化能力，性能提升显著
• 数据集包含语用语调标注，有助于细粒度情感和文化理解研究

Limitations:

• 数据集规模较小（3533条），仅覆盖三种语言，可能限制跨语言泛化
• 未与大规模世界模型或强化学习方法结合，后训练阶段探索不足
• 评估指标主要针对习语理解，未涉及生成任务或对话交互场景
• HybridMoE的计算开销和训练效率未详细分析

Relevance To Keywords:

• 多模态大模型：论文聚焦视觉语言模型（VLM）的习语理解，属于多模态理解范畴
• 表征学习：通过HybridMoE和IPS优化多模态表征，提升比喻语言编码能力
• 世界模型：论文未直接涉及世界模型或物理规律建模，但习语理解需要文化世界知识
• 强化学习/后训练：论文未使用强化学习或后训练技术，主要在前向推理阶段改进

强化学习使得机器人能够习得令人印象深刻的技能，但通常需要手工设计的奖励函数，这些函数设计缓慢且难以与人类意图对齐。近期工作（如 Eureka）利用大语言模型（LLM）根据任务描述迭代生成并精炼奖励代码，从而自动化奖励设计。然而，它们依赖于成功率等粗略反馈信号，这些信号对学习到的行为提供的语义洞察微乎其微。因此，它们训练出的策略虽然能达成最终目标，但通常与任务指令的对齐程度较差。我们提出了奖励设计代理（Reward Design Agent, RDA），这是一种基于视觉语言模型（VLM）的智能体框架，将语义理解注入奖励设计过程。RDA 分解任务，视觉评估轨迹，总结失败模式，并迭代修订奖励代码，以更好地与任务指令对齐。在 ManiSkill 的 12 个桌面操作任务和 HumanoidBench 的 4 个全身操作任务上，RDA 生成的策略在指令对齐程度上显著优于其他基线方法，同时实现了相当的任务成功率。视频和生成的奖励代码可在 https://nitinkamra1992.github.io/reward-design-agent 上获取。

Reinforcement learning has enabled the acquisition of impressive robotic skills, but typically requires hand-crafted reward functions that are slow to design and difficult to align with human intentions. Recent work, such as Eureka, automates reward design by using an LLM to iteratively generate and refine reward code from task descriptions. However, they rely on coarse feedback signals such as success rate, which provide little semantic insight into the learned behavior. As a result, their trained policies achieve the final goal but are frequently poorly aligned with task instructions. We introduce the Reward Design Agent (RDA), a VLM-based agentic framework that injects semantic understanding into reward design. RDA decomposes tasks, visually evaluates trajectories, summarizes failure modes, and iteratively revises reward code to better align with task instructions. Across 12 tabletop manipulation tasks from ManiSkill and 4 whole-body manipulation tasks from HumanoidBench, RDA produces policies substantially more instruction-aligned than those of other baselines, while achieving comparable task success rates. Videos and the generated reward code are available on https://nitinkamra1992.github.io/reward-design-agent.

评分理由: The paper primarily utilizes a Vision-Language Model (MLLM) and MultiModal capabilities (Vision + Language) for reward design in Reinforcement Learning, justifying high scores for these keywords. Visual Encoder is implicitly used for trajectory evaluation but is not the core contribution. Other keywords such as Unify Models, Tokenizer, World Models, and model-based RL are not central to the proposed method or explicitly discussed as core innovations (focus is on reward shaping rather than model architecture unification, tokenizers, world models, or model-based planning).

Reward Design Agent, Reinforcement Learning, VLM-based, Semantic Understanding, Task Alignment, Visual Evaluation, Agentic Framework

Chinese Title: RDA：面向强化学习的奖励设计智能体

Summary: 本文提出了一种名为奖励设计智能体（RDA）的视觉语言模型（VLM）驱动的智能体框架，旨在自动化强化学习中的奖励函数设计。传统方法如Eureka依赖成功率等粗粒度反馈信号，导致策略虽能完成任务但行为与指令对齐性差。RDA通过将自然语言指令分解为子任务，利用VLM视觉评估训练轨迹，诊断失败模式，并迭代修正奖励代码。在ManiSkill的12个桌面操作任务和HumanoidBench的4个全身操作任务上，RDA生成的策略在任务成功率上与基线相当，但在指令对齐性上显著优于人类设计和Eureka等方法。RDA通过闭环进化搜索，结合子任务级视觉评估和针对性修正，有效提升了奖励设计的质量和行为对齐性。

Innovations:

• 提出VLM驱动的智能体框架RDA，将视觉语义理解注入奖励设计过程，克服了Eureka等纯数值反馈的局限性。
• 引入任务分解机制，将复杂指令拆解为可解释的子任务，实现细粒度的行为评估与诊断。
• 构建闭环进化搜索流程：训练策略→VLM视觉评估轨迹→生成子任务级诊断报告→针对性修正奖励代码。
• 在长时域全身操作任务上，RDA能有效避免Eureka产生的行为错位（如抛掷而非推送），实现指令对齐。

Methodology: RDA采用两阶段流程：初始化阶段，VLM将自然语言指令分解为子任务列表，并基于子任务生成初始奖励候选代码。进化搜索阶段，每个候选奖励用于训练策略，采样多条轨迹并由VLM进行视觉评估，输出子任务得分和推理报告；聚合后生成诊断摘要，用于同时修正子任务列表和奖励代码。该过程迭代固定次数，逐步优化奖励函数。

Key Results:

• 在ManiSkill的12个桌面操作任务中，RDA和Eureka均超越人类设计的奖励，但RDA在最具挑战的PlugCharger任务上唯一成功。
• 在HumanoidBench的4个全身操作任务中，RDA与Eureka成功率相当，但RDA生成的策略严格遵循指令（如推送而非抛掷），而Eureka出现行为错位。
• RDA通过子任务级视觉诊断，能够识别并修复Eureka无法检测的失败模式，显著提升指令对齐性。

Tech Stack:

• 视觉语言模型（VLM）用于轨迹评估和子任务分解
• 强化学习算法（PPO等）用于策略训练
• 进化搜索（Evolutionary Search）用于奖励候选迭代
• ManiSkill模拟器（桌面操作任务）
• HumanoidBench模拟器（全身操作任务）
• 奖励代码生成：基于LLM/VLM生成可执行Python代码

Strengths:

• 引入视觉语义评估，弥补了纯数值反馈的不足，能检测细粒度行为错位。
• 任务分解机制使诊断和修正更加精准，可解释性强。
• 无需大量人工标注或预训练奖励模型，仅需VLM和模拟器。
• 在长时域、复杂操作任务上表现出良好的指令对齐性。

Limitations:

• 依赖VLM的视觉理解能力，可能受限于VLM对细粒度物理交互的感知精度。
• 进化搜索需要多次训练策略，计算成本较高。
• 当前仅在模拟环境中验证，未在真实机器人上测试。
• 子任务分解和诊断报告的质量受VLM性能影响，可能存在误判。

Relevance To Keywords:

• Unify Models: 论文使用VLM统一了视觉理解与奖励设计，但未涉及多模态模型统一框架。
• World Models: 论文未直接构建世界模型，但VLM的视觉评估可视为对轨迹的隐式世界理解。
• Representation Learning: 论文未涉及表征学习，但VLM的视觉编码可视为一种表征。
• Model-Based RL: 论文属于无模型RL的奖励设计，未使用环境模型。
• 原生多模态大模型: 论文使用VLM作为核心组件，属于多模态大模型的应用。
• 多模态大模型的理解和生成一体化: VLM同时用于理解轨迹和生成奖励代码，体现理解与生成一体化。
• 后训练: 论文未涉及模型后训练，但VLM的推理能力是预训练获得的。

实用的非侵入式脑机接口 (BCI) 系统要求脑电解码器具备强大的跨被试泛化能力以及最小的校准需求。然而，被试间变异性与信号非平稳性往往将运动语义与被试特异性噪声纠缠在一起，限制了独立于被试的解码性能。尽管近期多模态方法利用文本作为语义锚点，但文本对于本质上动态的运动过程而言，提供的监督是稀疏且静态的。为了解决这一问题，我们提出 EVA-Net，这是一种两阶段框架，利用动作视频作为语义先验，以实现独立于被试的脑电运动解码。在第一阶段，利用跨模态和监督对比目标，将脑电特征与视频特征对齐到共享空间，以减少被试特异性变异。在第二阶段，通过视频类别原型和知识蒸馏，将视频衍生的先验知识转移至仅使用脑电的分类器中，且不增加推理开销。在两个公开数据集上的实验表明，EVA-Net 实现了强大的独立于被试的解码性能，其中包括在 EEGMMI 数据集上 8.66% 的留一被试法 (LOSO) 准确率增益。消融实验结果进一步表明，视频相较于本工作中考虑的文本基线，提供了更有效的语义锚点。

Practical non-invasive Brain-Computer Interface (BCI) systems require EEG decoders with strong cross-subject generalization and minimal calibration. However, inter-subject variability and signal non-stationarity often entangle motor semantics with subject-specific noise, limiting subject-independent decoding. Recent multimodal approaches use text as a semantic anchor, yet text provides sparse and static supervision for inherently dynamic motor processes. To address this issue, we propose EVA-Net, a two-stage framework that uses action videos as semantic priors for subject-independent EEG motor decoding. In the first stage, EEG and video features are aligned in a shared space using cross-modal and supervised contrastive objectives to reduce subject-specific variation. In the second stage, video category prototypes and knowledge distillation transfer video-derived priors to an EEG-only classifier without adding inference overhead. Experiments on two public datasets show that EVA-Net achieves strong subject-independent decoding performance, including an 8.66% LOSO accuracy gain on EEGMMI. Ablation results further suggest that video provides a more effective semantic anchor than the text baseline considered in this work.

评分理由: The paper focuses on EEG decoding using video priors, making it highly relevant to MultiModal and Visual Encoder. Unify Models is moderately relevant due to cross-modal alignment. Tokenizer, World Models, MLLM, and model-based RL are irrelevant as the work involves BCI decoding without language models, tokenization, or RL. No target expert authors were found.

EEG Motor Decoding, Subject-Independent, Video-Derived Priors, Multimodal Learning, Knowledge Distillation, Cross-Modal Alignment, Brain-Computer Interface, Contrastive Learning

Chinese Title: EVA-Net: 基于视频运动先验的跨被试脑电运动解码

Summary: 本文针对脑机接口中跨被试EEG解码泛化性差的问题，提出EVA-Net两阶段框架。第一阶段利用预训练的EEG编码器（基于EEG Conformer）和视频编码器（VideoMAE），通过跨模态对比学习（MIL-NCE）和监督对比损失将EEG与动作视频特征对齐到共享语义空间，减少被试特异性噪声。第二阶段引入视频类别原型（K-means聚类）和知识蒸馏，将视频运动先验迁移至仅EEG的分类器，推理时无需视频输入。在EEGMMI和另一公开数据集上，EVA-Net在留一被试交叉验证中准确率提升8.66%，消融实验表明视频作为语义锚点优于文本基线。

Innovations:

• 首次将动作视频作为动态语义先验用于跨被试EEG运动解码，替代传统静态文本锚点
• 提出两阶段训练范式：跨模态对齐阶段+先验引导分类阶段，推理时仅需EEG输入
• 设计视频类别原型（K-means聚类）结合Log-Sum-Exp聚合，实现视频先验的高效迁移
• 融合MIL-NCE跨模态对比损失与监督对比损失，同时增强跨模态一致性和EEG类内紧凑性
• 引入响应式知识蒸馏，从视频教师网络向EEG学生网络传递类别间语义关系

Methodology: 采用两阶段训练：1）对齐阶段：EEG编码器（卷积+Transformer）和视频编码器（VideoMAE）分别提取特征，经投影头映射至共享空间，使用MIL-NCE损失（双向对比）和监督对比损失联合优化；2）分类阶段：对每类视频特征进行K-means聚类得到多个原型，EEG特征与所有原型计算余弦相似度，经Log-Sum-Exp聚合为类别logit，结合标签平滑交叉熵、知识蒸馏损失和原型正则化损失训练。推理时仅使用EEG编码器和原型头。

Key Results:

• 在EEGMMI数据集上，留一被试交叉验证准确率相比基线提升8.66%
• 在另一公开数据集上同样取得跨被试解码性能提升
• 消融实验证实视频先验优于文本先验，且各损失组件均有效
• 知识蒸馏和原型正则化进一步提升了分类性能

Tech Stack:

• EEG Conformer（卷积+自注意力）
• VideoMAE（视频自监督预训练）
• MIL-NCE损失（多实例对比学习）
• 监督对比损失（Supervised Contrastive Loss）
• 余弦相似度与L2归一化
• K-means聚类
• Log-Sum-Exp（LSE）聚合函数
• 知识蒸馏（响应式，温度缩放）
• 标签平滑交叉熵（Label Smoothing Cross-Entropy）

Strengths:

• 创新性地引入视频模态作为动态语义先验，比文本更贴合运动EEG的时序特性
• 两阶段设计使推理时无视频计算开销，适合实际BCI系统
• 跨模态对比学习有效缓解被试间变异，提升泛化性
• 在多个数据集上验证了有效性，消融实验充分

Limitations:

• 依赖高质量动作视频数据，视频质量或视角变化可能影响先验质量
• 仅在两个公开数据集上评估，泛化性需更多场景验证
• 文本基线可能未使用最优文本编码器，视频优势的公平性需进一步确认
• 未探讨视频先验对运动执行与运动想象任务的差异影响
• 未与强化学习或世界模型等更前沿方法结合

Relevance To Keywords:

• 多模态大模型：论文使用视频和EEG双模态，通过对比学习对齐，属于多模态表征学习范畴
• 表征学习：核心目标是学习跨被试、跨模态的通用EEG表征
• 世界模型：视频作为运动先验可视为对物理世界运动规律的隐式建模，但论文未明确提及世界模型框架
• 强化学习：论文未涉及强化学习或后训练，但视频先验可潜在用于BCI中的策略学习

基于视觉 - 语言模型的图形用户界面（GUI）代理已展现出广泛的自动化能力，然而其部署却受到键值（KV）缓存的瓶颈制约，该缓存随交互步骤线性增长。例如，UI-TARS-1.5-7B 在仅处理五个截图时便消耗 76 GB GPU 显存，接近主流 80 GB 加速器的容量上限。现有的 KV 压缩方法共享两个结构假设：一是将视觉令牌的重要性聚合到单个共享显著性图中，二是对融合后的分数分布应用固定的 top-B 截断。试点测量否定了这两点：空间专业化存在于注意力子空间（attention-subspace）层级并随层迁移，而分数分布的形状会沿轨迹发生漂移。我们提出 STaR-KV（时空自适应重加权），一种无需训练的 KV 缓存压缩框架，该框架沿三个轴校准令牌重要性：(i) 由在线空间互信息驱动的感知子空间评分；(ii) 时间稳定性折扣，用于抑制来自持久关注子空间的冗余缓存条目；(iii) 基于熵的温度参数，用于自适应重塑分数分布。在四个 GUI 基准测试中，STaR-KV 在相同预算下实现了所有现有先进 KV 压缩方法（如 GUIKV、SnapKV）中最强的平均准确率，且压缩阶段无 FLOPs 开销（-0.07%），在 20% KV 缓存预算下将峰值 GPU 显存消耗降低了近 40%。代码开源地址为 https://github.com/kawhiiiileo/STaR-KV。

Vision-language-model-based graphical user interface (GUI) agents have shown broad automation capabilities, yet deployment is bottlenecked by a key-value (KV) cache that grows linearly with interaction steps. For instance, UI-TARS-1.5-7B consumes 76 GB of GPU memory on merely five screenshots, approaching the capacity of mainstream 80 GB accelerators. Existing KV compression methods share two structural assumptions: aggregating visual-token importance into a single shared saliency map, and applying a fixed top-B cutoff to the fused score distribution. Pilot measurements refute both: spatial specialization lives at the attention-subspace level and migrates across layers, while the score distribution drifts in shape along a trajectory. We propose STaR-KV (Spatio-Temporal Adaptive Re-weighting), a training-free KV cache compression framework that calibrates token importance along three axes: (i) subspace-aware scoring driven by online spatial mutual information; (ii) a temporal stability discount that suppresses redundant cache entries from persistently attended subspaces; and (iii) an entropy-derived temperature that adaptively reshapes the score distribution. Across four GUI benchmarks, STaR-KV achieves the strongest average accuracy among state-of-the-art KV compression methods (e.g., GUIKV, SnapKV) at matched budgets, with no compression-stage FLOPs overhead (-0.07%) and cutting peak GPU memory by nearly 40% at a 20% KV-cache budget. Code is available at https://github.com/kawhiiiileo/STaR-KV.

评分理由: 论文核心聚焦于 GUI 视觉语言模型的 KV 缓存压缩优化，属于 MLLM 和多模态领域的应用，因此 MLLM 和多模态评分较高；虽涉及视觉编码器架构但未作为创新点，tokenizer 仅作为缓存单位提及；未涉及模型统一、世界模型或强化学习，相关度低；经核对，作者列表中未包含指定专家（Yang Shi 等）。

KV Cache Compression, GUI Vision-Language Models, Spatio-Temporal Adaptive Re-weighting, Memory Efficiency, Large Language Models, Token Importance, Deployment Optimization

Chinese Title: STaR-KV: 面向GUI视觉语言模型的时空自适应重加权KV缓存压缩方法

Summary: 本文针对基于视觉语言模型（VLM）的图形用户界面（GUI）代理在部署时面临的KV缓存线性增长问题（例如UI-TARS-1.5-7B在5张截图下消耗76GB显存），提出了一种无需训练的KV缓存压缩框架STaR-KV。现有压缩方法存在两个结构性缺陷：将视觉token重要性聚合为单一共享显著性图（忽略注意力子空间的空间异质性），以及使用固定的top-B截断（忽略分数分布随任务和步骤的漂移）。STaR-KV通过三个校准轴解决上述问题：基于在线空间互信息的子空间感知评分、抑制持久注意力子空间冗余的累积时间稳定性折扣、以及基于熵的自适应温度重塑分数分布。在四个GUI基准测试上，STaR-KV在匹配预算下取得了优于现有方法（如GUIKV、SnapKV）的平均准确率，压缩阶段无额外FLOPs开销（-0.07%），在20% KV缓存预算下峰值显存降低近40%。

Innovations:

• 提出在线空间互信息（MI）估计，在子空间（GQA组或注意力头）级别对视觉token进行空间感知评分，保留布局敏感信号。
• 引入累积时间稳定性折扣，对由持久稳定子空间（如固定工具栏）控制的token施加衰减，抑制冗余缓存条目，同时保留动态部件相关token。
• 设计自适应熵基锐化（AEB）机制，根据分数分布的归一化熵动态调整温度，消除固定top-B截断在平坦分布下的任意性，并在峰值分布下增强选择性。
• 无需微调，可直接应用于现有GUI VLM（如UI-TARS、OpenCUA），在多个基准上达到SOTA压缩性能。

Methodology: STaR-KV采用三轴校准流水线：首先通过最近查询注意力聚合构建基础分数s̄_t，并可选地加入残差流隐藏状态范数增强；然后通过在线空间互信息估计每个子空间与2D屏幕坐标的耦合度，得到子空间先验权重w_g^*(t)，用于上采样最能解释该token的子空间分数；接着计算累积时间稳定性折扣D_t，基于子空间在历史帧中的稳定性对视觉token进行衰减；最后通过自适应熵基锐化（AEB）根据归一化熵Ĥ计算温度1/T，重塑融合后的分数分布。最终选择top-B token与固定最近窗口拼接形成压缩缓存。所有统计在线维护，每层仅需O(L)额外内存。

Key Results:

• 在四个GUI基准测试上，STaR-KV在匹配KV缓存预算下平均准确率优于GUIKV、SnapKV等SOTA方法。
• 压缩阶段无额外FLOPs开销（-0.07%）。
• 在20% KV缓存预算下，峰值GPU显存降低近40%。
• 验证了子空间级空间互信息（MI）的稳定性（Spearman ρ>0.85），以及注意力熵随步骤单调上升并存在任务间方差的现象。

Tech Stack:

• 分组查询注意力（GQA）
• 多头注意力（MHA）
• 互信息（MI）估计
• 归一化熵（Ĥ）
• 自适应温度缩放
• 1D平均池化
• 残差流隐藏状态范数
• 固定预算top-B选择
• 最近窗口保留

Strengths:

• 针对GUI场景的KV缓存压缩问题，发现了现有方法忽略的子空间空间异质性和分数分布漂移两个关键盲点。
• 提出的三轴校准方法无需训练，计算开销极小，易于集成到现有GUI VLM中。
• 在多个基准上取得SOTA性能，显存节省显著，具有实际部署价值。
• 代码开源，可复现性强。

Limitations:

• 方法依赖于在线互信息估计，可能对极短交互序列（如单帧）效果有限。
• 时间稳定性折扣假设子空间稳定性在帧间一致，但某些动态任务中子空间可能快速切换，折扣策略需进一步验证。
• 仅针对GUI VLM设计，未验证在自然图像/视频VLM上的泛化性。
• 实验仅在UI-TARS和OpenCUA等模型上进行，未覆盖更多VLM架构。

Relevance To Keywords:

• 原生多模态大模型：论文针对GUI VLM（多模态大模型的一种）的KV缓存压缩，属于多模态大模型推理效率优化。
• 多模态大模型的理解和生成一体化：GUI VLM同时涉及截图理解（视觉）和动作生成（文本），本文压缩方法不影响理解与生成能力。
• 表征学习：子空间空间互信息估计本质上是对注意力表征的空间耦合性进行学习，属于表征学习范畴。
• 世界模型：GUI代理需要建模屏幕状态和交互历史，KV缓存压缩保留了关键历史信息，间接支持世界模型构建。
• 强化学习/后训练：本文方法无需后训练，但压缩后的缓存可加速强化学习训练中的推理过程。

视觉自回归（AR）模型通过预测离散 token 来生成图像，这些 token 由视觉分词器进行解码。尽管展现出强大的整体图像生成能力，它们在文本渲染方面仍表现欠佳，容易产生模糊笔画并破坏字母形状。在本工作中，我们将这一局限归因于视觉分词器，该分词器难以重建细粒度细节。改进分词器虽然直接但成本高昂，因为这需要同时重新训练分词器和 AR 模型。我们能否在不重新训练现有分词器和 AR 模型的情况下，提升 AR 模型的文本渲染性能？为此，我们提出了残差解码器适配器（RDA），该适配器可在不改变其 token 空间的前提下，事后升级现有的分词器。具体而言，它通过引入两个新颖组件来细化视觉分词器的解码器输出：(i) 一个与原始码本共享 token 分布的配对码本；(ii) 一个并行分支，用于在像素空间中学习重建图像与真实图像之间的微小差异（残差）。这种残差设计使我们能够在非侵入式地增强分词器的同时，保持与先前 AR 模型的兼容性。RDA 显著提升了文本渲染性能。例如，在竞争性的 TextAtlas 基准上，微调后的 Janus-Pro OCR 准确率从 24.52% 提升至 58.26%（TextVisionBlend），从 12.75% 提升至 36.81%（StyledTextSynth）。代码已开源，详见 https://github.com/CSU-JPG/RDA。

Visual Autoregressive (AR) models generate images by predicting discrete tokens that are decoded by a visual tokenizer. Despite demonstrating strong overall image generation ability, they still underperform on text rendering with blur strokes and disrupt letter shapes. In this work, we trace this limitation to the visual tokenizer, which struggles to reconstruct fine-grained detail. Improving the tokenizer is straightforward but expensive, as it necessitates retraining both the tokenizer and the AR model. Can we improve text rendering performance of AR models without retraining the existing tokenizer and AR model? To achieve this, we propose the Residual Decoder Adapter(RDA) that upgrades an existing tokenizer post-hoc without changing its token space. Specifically, it refines the decoder output of the visual tokenizer by introducing two novel components: (i) a paired codebook that shares the token distribution with the original one; (ii) a parallel branch to learn the tiny differences (residual) between the reconstructed image and the ground-truth images in the pixel space. This residual design allows us to enhance the tokenizer non-invasively while preserving compatibility with prior AR models. RDA substantially improves text rendering significantly by a large margin. For instance, we boost finetuned Janus-Pro OCR accuracy rises from 24.52% to 58.26% (TextVisionBlend), from 12.75% to 36.81% (StyledTextSynth) on competitive TextAtlas benchmark. The code is available at https://github.com/CSU-JPG/RDA

评分理由: 论文核心改进视觉 tokenizer 以解决文本渲染问题，故'Tokenizer'相关性最高（9 分）。'MultiModal'涉及文本图像生成（5 分），'Visual Encoder'为相关组件（4 分）。'Unify Models'与'MLLM'关联较弱（3 分），'World Models'与'model-based RL'无关（2 分与 1 分）。作者列表不含指定专家，无加分。

Visual Autoregressive, Text Rendering, Visual Tokenizer, Residual Decoder Adapter, Post-hoc Adaption, Token Space, Image Generation

Chinese Title: 残差解码器适配器：面向自回归文本渲染的保持ID的标记器适配

Summary: 本文针对自回归（AR）模型在文本渲染任务中表现不佳的问题展开研究。作者指出，AR模型生成图像时依赖离散视觉标记器，而现有标记器在重建细粒度细节（如文字）时存在瓶颈。直接改进标记器需要重新训练整个AR模型，成本高昂。为此，本文提出残差解码器适配器（RDA），一种即插即用的后处理框架，在不改变原始标记器ID空间的前提下提升其重建质量。RDA包含两个轻量组件：共享ID的提示码本（Hint Codebook）和残差解码器（Residual Decoder）。前者与原始码本共享相同的标记ID，提供补充的高频细节特征；后者在像素空间学习重建图像与真实图像之间的残差。RDA无需重新训练AR模型，即可显著提升文本渲染精度。实验表明，在多个基准上，RDA将Janus-Pro等模型的OCR准确率提升超过30个百分点，同时保持整体图像保真度。

Innovations:

• 提出残差解码器适配器（RDA），一种无需重新训练AR模型即可提升视觉标记器文本渲染能力的后处理框架。
• 设计共享ID的提示码本（Shared-ID Hint Codebook），与原始码本使用相同标记ID，提供互补的高频细节特征，保持与预训练AR模型的兼容性。
• 引入残差解码器，在像素空间学习重建图像与真实图像之间的残差，有效恢复量化过程中丢失的细粒度细节。
• 采用实例依赖的特征注入机制，将基础特征与提示特征融合，确保残差学习针对具体图像内容。
• 提出多种损失函数（如感知损失、对抗损失等）以稳定训练，克服残差信号稀疏且易被背景像素主导的困难。

Methodology: 本文采用以下技术路线：首先，冻结原始视觉标记器（VQ-VAE）的编码器、量化器和解码器，保留其ID空间。然后，引入一个共享ID的提示码本（Hint Codebook），与原始码本使用相同的标记ID，但学习补充的高频特征。接着，设计残差解码器（Residual Decoder），该解码器接收原始解码器的中间特征和提示码本的特征，通过实例依赖的特征注入（两个投影器融合）得到混合特征，再预测像素级残差。最终重建图像为原始解码器输出加上残差。训练时使用多种损失函数，包括L1损失、感知损失（LPIPS）、对抗损失（GAN）以及码本损失等，以优化残差解码器和提示码本。推理时，AR模型生成标记ID序列，RDA使用相同ID从两个码本检索特征，经残差解码器得到增强图像。

Key Results:

• 在TextAtlas基准上，将微调后的Janus-Pro OCR准确率从24.52%提升至58.26%（TextVisionBlend），从12.75%提升至36.81%（StyledTextSynth）。
• 在AnyText-Benchmark上，将LlamaGen-VQ的文本准确率从21.26%提升至36.79%，LPIPS从0.1912降至0.1832。
• RDA在多个主流AR模型（Janus-Pro、TAR、Lumina-mGPT）上均取得一致的文本渲染性能提升。
• RDA在提升文本渲染的同时，保持整体图像生成质量，不损害原有图像保真度。

Tech Stack:

• VQ-VAE（向量量化变分自编码器）作为基础视觉标记器
• 共享ID的提示码本（Shared-ID Hint Codebook）
• 残差解码器（Residual Decoder），基于VQ-VAE解码器架构，最后两层卷积通道加倍
• 实例依赖的特征注入：两个投影器（projector）分别处理基础特征和提示特征
• 损失函数：L1损失、感知损失（LPIPS）、对抗损失（GAN）、码本损失（commitment loss）
• 自回归模型（AR model）：Janus-Pro、TAR、Lumina-mGPT等

Strengths:

• 非侵入式设计：无需重新训练AR模型或修改原始标记器，兼容现有预训练模型。
• 即插即用：RDA作为外部适配器，可快速部署到任意基于VQ的AR模型上。
• 显著提升文本渲染：在多个基准上实现超过30个百分点的准确率提升，效果明显。
• 保持图像保真度：在增强文本细节的同时，不损害整体图像质量（LPIPS下降）。
• 方法简洁有效：仅需训练两个轻量组件，训练成本低，易于复现。

Limitations:

• 依赖原始标记器的质量：RDA的改进上限受限于原始标记器的编码能力。
• 增加推理计算开销：引入额外的码本查找和残差解码器，可能增加推理延迟。
• 仅针对文本渲染：论文主要聚焦于文本渲染任务，对其他细粒度细节（如人脸、纹理）的泛化能力未充分验证。
• 未与扩散模型直接对比：虽然提及扩散模型在文本渲染上更优，但未提供RDA与扩散模型的公平对比。

Relevance To Keywords:

• 原生多模态大模型：RDA提升了自回归多模态模型（如Janus-Pro）的文本生成能力，有助于多模态理解和生成一体化。
• 表征学习：通过共享ID的提示码本和残差学习，改进了视觉标记器的表征质量，保留高频细节。
• 世界模型：自回归模型可视为世界模型的一种形式，RDA增强了其生成细粒度视觉世界的能力。
• 模型基于强化学习：论文未直接涉及强化学习，但后训练阶段（如微调）与强化学习微调范式相关。
• 后训练：RDA是一种后训练适配方法，无需从头训练，符合后训练提升模型能力的趋势。

生成式视频模型在视觉保真度和时间一致性方面取得了显著进展，然而有意控制相机运动仍然难以实现。现有框架将相机运动视为像素合成的副产品，生成的轨迹具有随机性和空间不一致性，且不考虑驱动场景的人物主体。在这项工作中，我们提出了 Auteur，一种用于生成式视频的语言驱动、以人为中心的相机构图方法。我们的核心见解在于，专业电影制作人将镜头构思为相对于人物主体定义的构图，而非世界空间轨迹，将景别、角度和构图表示为人体姿态和运动的函数。我们将这种直觉形式化为一种以人为中心的相机参数化，并引入一种领域特定语言（DSL），该语言可转换为标准的 6-DoF 相机参数。随后，一个微调的多模态大语言模型充当虚拟导演，将自然语言描述和粗略人体运动映射到稀疏的 DSL 关键帧，这些关键帧被确定性插值为连续相机轨迹，随后作为输入提供给视频生成器。我们在一个新数据集上训练并评估了 Auteur，该数据集包含 3.4 万条对齐的文本、人体运动和 DSL 标注的相机轨迹，源自程序化合成以及来自 CondensedMovies 数据集的真实电影片段。Auteur 实现了以人为中心场景的电影级构图，而这一能力在很大程度上缺失于先前的生成式模型中。为了评估这一行为，我们提出了新的以构图为中心的指标，实验结果表明 Auteur 一贯优于现有方法。

Generative video models have achieved remarkable visual fidelity and temporal coherence, yet intentional camera control remains elusive. Existing frameworks treat camera motion as a byproduct of pixel synthesis, producing trajectories that are stochastic, spatially inconsistent, and indifferent to the human subject driving the scene. In this work, we present Auteur, a method for language-driven, human-centric camera framing in generative video. Our core insight is that professional filmmakers conceive shots not as world-space trajectories but as framings defined relative to the actor, encoding shot size, angle, and composition as functions of human pose and motion. We formalize this intuition as a human-centric camera parameterization and introduce a Domain-Specific Language (DSL) that is convertible to standard 6-DoF camera parameters. A fine-tuned multimodal large language model then acts as a virtual director, mapping natural language descriptions and coarse human motion to sparse DSL keyframes that are deterministically interpolated into continuous camera trajectories, which are then provided as input to video generators. We train and evaluate Auteur on a new dataset of 34K aligned text, human motion, and DSL-annotated camera trajectories drawn from procedural synthesis and real-world movie footage from the CondensedMovies dataset. Auteur enables cinematographic framing of human-centered scenes, a capability largely absent in prior generative models. To assess this behavior, we propose new framing-focused metrics, and our experiments show that Auteur consistently outperforms existing methods

评分理由: The paper centers on using a Multimodal Large Language Model (MLLM) for camera control, yielding high scores for MLLM and MultiModal. Video generation relates moderately to World Models, but the work focuses on framing rather than world modeling. Unify Models, Tokenizer, and Visual Encoder are not primary contributions. No Reinforcement Learning is involved, so model-based RL scores zero. No specified expert authors are present.

Language-Driven, Cinematographic Framing, Human-Centric Video Generation, Multimodal Large Language Model, Domain-Specific Language, Camera Control, Video Generation

Chinese Title: Auteur：语言驱动的以人为中心的视频生成电影化构图

Summary: 本文提出Auteur方法，旨在实现语言驱动的、以人为中心的视频生成中的相机控制。现有生成视频模型缺乏有意的相机控制，通常将相机运动视为像素合成的副产品，产生随机、空间不一致且不关注人类主体的轨迹。Auteur的核心洞察是专业电影制作人不是以世界空间轨迹来构思镜头，而是相对于演员定义构图（景别、角度、画面布局）。作者形式化了以人为中心的相机参数化，并引入领域特定语言（DSL），可转换为标准6自由度相机参数。通过微调的多模态大语言模型（Qwen-2.5-VL）作为虚拟导演，将自然语言描述和粗略人体运动映射为稀疏DSL关键帧，再确定性插值为连续相机轨迹，输入视频生成器。训练数据集包含34K对齐的文本、人体运动、DSL标注的相机轨迹，来自程序化合成和真实电影片段（CondensedMovies）。实验表明Auteur在构图相关指标上优于现有方法。

Innovations:

• 提出以人为中心的相机参数化和领域特定语言（DSL），将相机状态相对于演员身体坐标系定义，实现电影化构图。
• 设计两阶段语言到人体到相机的流水线：先预测粗略3D人体轨迹，再生成稀疏DSL关键帧并插值为连续6自由度轨迹。
• 构建包含34K样本的Auteur数据集，融合程序化合成和真实电影数据，支持学习人类感知的电影化先验。
• 引入Auteur Score构图基准套件，评估主体可见性、构图一致性、时间构图稳定性和演员-相机协调性。

Methodology: Auteur采用两阶段框架：第一阶段，微调的多模态大语言模型Qwen-2.5-VL将自然语言描述映射为粗略3D人体轨迹（SOMA参数化）。第二阶段，同一LLM作为虚拟导演，基于人体轨迹生成稀疏DSL关键帧程序，DSL参数包括方向、景别、相机水平、构图、注视水平等，均相对于演员身体坐标系。这些关键帧通过确定性插值（如三次样条）转换为连续6自由度相机轨迹。轨迹用于条件化下游视频生成模型（如CameraCtrl、MotionCtrl）。训练数据来自程序化合成（随机SOMA运动+DSL驱动相机）和真实电影（CondensedMovies，通过4D人体和相机恢复、AuroraCap生成字幕、运动标签策略获得DSL）。

Key Results:

• Auteur在内部Auteur基准和外部PulpMotion基准上均优于现有可控相机基线（如LAMP、E.T.），实现更强的可控性和更稳定的电影化构图。
• 提出的构图指标（Auteur Score）有效评估了主体可见性、构图一致性、时间稳定性和演员-相机协调性。
• Auteur生成的相机轨迹可成功输入多个下游视频生成模型，提升空间连贯性和主体对齐。

Tech Stack:

• 多模态大语言模型：Qwen-2.5-VL（微调）
• 人体运动表示：SOMA（Saito et al., 2026）
• 领域特定语言（DSL）：自定义，包含方向、景别、相机水平、构图、注视水平等参数
• 相机轨迹插值：确定性插值（三次样条等）
• 视频生成模型：CameraCtrl、MotionCtrl等（作为下游）
• 数据集构建：CondensedMovies（Bain et al., 2020）、AuroraCap（Chai et al., 2024）
• 4D人体和相机恢复：Wang et al., 2024a

Strengths:

• 创新性地将电影化构图从世界空间轨迹转移到以人为中心的参数化，更符合专业电影制作实践。
• DSL设计使LLM能够生成结构化的相机程序，兼具可解释性和几何表达能力。
• 两阶段流水线有效解耦了人体运动预测和相机规划，便于训练和推理。
• 构建的大规模数据集融合合成和真实数据，增强了泛化能力。
• 提出专门的构图评估指标，弥补了现有视频生成评估的不足。

Limitations:

• 依赖SOMA人体运动表示，可能无法处理复杂多人场景或非标准人体姿态。
• DSL关键帧插值为连续轨迹是确定性的，可能缺乏对动态场景的适应性。
• 两阶段流水线中人体轨迹预测的误差会累积到相机规划中。
• 当前仅针对单个人类主体，未扩展到多人交互场景。
• 下游视频生成模型的质量仍受限于基础生成器的能力。

Relevance To Keywords:

• 原生多模态大模型：使用Qwen-2.5-VL作为核心组件，实现语言到视觉的映射。
• 多模态大模型的理解和生成一体化：LLM同时理解文本和人体运动，生成相机程序。
• 表征学习：通过SOMA和DSL学习以人为中心的相机表征。
• 世界模型：相机轨迹生成可视为对场景动态和主体行为的建模。
• 后训练：微调多模态LLM以适应特定任务。
• 强化学习：论文未直接使用RL，但相机规划可视为策略学习，未来可结合。

视频 - 语言模型对于时刻检索和高光检测等任务至关重要，但它们往往难以捕捉时序视频序列与文本语义之间的动态、非线性交互。现有方法依赖于静态交叉注意力或提示调优机制，无法自适应地建模模态之间动态演变的关系，导致次优对齐及泛化能力受限。受系统生物学启发，我们提出了一种新颖的框架——反应 - 扩散多模态融合（RDMF），该框架将视频 - 语言对齐重新构想为反应 - 扩散（RD）过程，借鉴了艾伦·图灵提出的模式形成原理。在 RDMF 中，视频特征随时间扩散以捕捉时序上下文，而文本 - 视频交互被建模为非线性反应，放大相关特征并抑制噪声，形成类似于生物系统的涌现模式。利用 Gray-Scott RD 模型，我们设计了一个计算高效的多模态融合模块，该模块整合了视频和文本表示，并通过使用图灵不稳定性判据对稳定性和收敛性进行了严格的数学分析。该框架具有坚实的理论基础，采用先进的数学工具确保稳定的模式形成，同时具有实际可行性，包含了预训练编码器和 DETR 风格头等标准组件，用于时刻检索和显著性预测。RDMF 代表了一种开创性的跨学科方法，架起系统生物学与多媒体研究之间的桥梁，以解决传统多模态融合的局限性。初步实验展示了其在识别显著视频时刻方面超越现有方法的潜力，为视频 - 语言任务提供了新范式。

Video-language models are pivotal for tasks such as moment retrieval and highlight detection, yet they often struggle to capture the dynamic, non-linear interactions between temporal video sequences and textual semantics. Existing approaches, relying on static cross-attention or prompt-tuning mechanisms, fail to adaptively model the evolving relationships between modalities, leading to suboptimal alignment and limited generalization. Inspired by systems biology, we propose \textbf{Reaction-Diffusion Multimodal Fusion (RDMF)}, a novel framework that reimagines video-language alignment as a reaction-diffusion (RD) process, drawing on the principles of pattern formation introduced by Alan Turing. In RDMF, video features diffuse across time to capture temporal context, while text-video interactions are modeled as non-linear reactions that amplify relevant features and suppress noise, forming emergent patterns akin to biological systems. Leveraging the Gray-Scott RD model, we design a computationally efficient fusion module that integrates video and text representations, supported by rigorous mathematical analysis of stability and convergence using Turing instability criteria. Our framework is theoretically grounded, employing advanced mathematical tools to ensure stable pattern formation, and is practically viable, incorporating standard components like pretrained encoders and DETR-style heads for moment retrieval and saliency prediction. RDMF represents a pioneering interdisciplinary approach, bridging systems biology and multimedia research to address the limitations of conventional multimodal fusion. Preliminary experiments demonstrate its potential to outperform existing methods in identifying salient video moments, offering a new paradigm for video-language tasks.

评分理由: 论文核心在于多模态融合（MultiModal 高度相关，10 分），使用视觉编码器提取特征（Visual Encoder 中度相关，5 分），属于视频语言模型范畴（MLLM 中度相关，5 分）。虽然涉及动态交互，但未明确构建世界模型（World Models 低相关，2 分），未涉及统一模型架构（Unify Models 低相关，4 分）或分词器设计（Tokenizer 低相关，1 分），且与强化学习无关（model-based RL 无关，0 分）。作者名单未包含指定专家，无额外加分。加权总分 40.5，超过动态及格分 27.8。

Reaction-Diffusion, Multi-Modal Fusion, Video-Language Alignment, Moment Retrieval, Turing Patterns, Dynamic Interaction, Pattern Formation

Chinese Title: 多媒体中的图灵斑图：用于语言引导视频时刻检索的反应-扩散多模态融合

Summary: 本文针对视频-语言模型在时刻检索和精彩片段检测任务中难以捕捉视频时序与文本语义之间动态非线性交互的问题，提出了一种受系统生物学启发的反应-扩散多模态融合框架（RDMF）。该框架将视频-语言对齐重新建模为反应-扩散过程：视频特征在时间维度上扩散以获取时序上下文，文本-视频交互则作为非线性反应，放大相关特征并抑制噪声，形成类似生物系统的涌现斑图。基于Gray-Scott反应-扩散模型，设计了计算高效的融合模块，并利用图灵不稳定性准则进行了严格的数学稳定性与收敛性分析。RDMF结合预训练编码器和DETR风格头部，在时刻检索和显著性预测任务上展现出超越现有方法的潜力，为视频-语言任务提供了新的跨学科范式。

Innovations:

• 首次将反应-扩散系统引入视频-语言建模，实现系统生物学与多媒体研究的跨学科融合。
• 提出动态特征交互机制：视频特征扩散建模时序演化，文本-视频反应放大语义相关特征，无需预定义注意力模式。
• 基于图灵不稳定性与稳定性分析提供严格数学理论支撑，确保反应-扩散系统收敛到稳定有意义的斑图。
• 框架具有通用性，可拓展至音视频对齐、传感器-文本融合等多模态领域，并促进多媒体与系统生物学社区的合作。

Methodology: 采用Gray-Scott反应-扩散模型作为核心融合模块：视频特征通过扩散过程在时间维度上平滑传播，文本特征与视频特征通过非线性反应项相互作用，形成自组织斑图。结合预训练编码器（如CLIP、SlowFast）提取视频和文本特征，使用DETR风格头部进行时刻边界回归和显著性预测。通过图灵不稳定性分析确保系统稳定，并利用数学工具（如线性稳定性分析）验证收敛性。

Key Results: 初步实验表明RDMF在识别视频显著时刻方面优于现有方法，能够自适应地突出与文本查询相关的视频片段并抑制无关内容。框架在时刻检索和精彩片段检测任务上展现出潜力，但论文未提供具体数值结果（仅提及初步实验）。

Tech Stack:

• Gray-Scott反应-扩散模型
• 图灵不稳定性准则
• 线性稳定性分析
• 预训练编码器（CLIP、SlowFast）
• DETR风格头部（Moment-DETR、QD-DETR）
• Transformer架构
• 跨模态注意力机制

Strengths:

• 跨学科创新：将系统生物学原理引入多媒体研究，开辟新范式。
• 动态自适应融合：克服静态交叉注意力的局限，实现非线性、上下文相关的多模态交互。
• 理论严谨：提供数学稳定性与收敛性分析，确保方法可靠性。
• 实用性强：兼容现有预训练编码器和检测头，易于部署。

Limitations:

• 论文仅报告初步实验结果，缺乏在标准数据集（如Charades-STA、ActivityNet Captions）上的定量对比。
• 反应-扩散模型的计算复杂度可能较高，需进一步优化以支持实时视频分析。
• 对长视频或复杂场景的泛化能力尚未充分验证。
• 跨学科理论（如图灵斑图）的直观解释与多媒体任务的对应关系需更清晰阐述。

Relevance To Keywords:

• 原生多模态大模型：RDMF提出新的多模态融合机制，可视为多模态大模型中的一种新型交互模块。
• 表征学习：通过反应-扩散过程学习视频与文本的动态联合表征。
• 世界模型：反应-扩散系统模拟了视频时序演化与语义约束的交互，具有世界模型建模潜力。
• 模型-Based RL：反应-扩散过程可视为一种可微分动力学系统，未来可结合强化学习进行决策优化。
• 后训练：RDMF可作为预训练模型的轻量级后训练融合模块，提升下游任务性能。

文本到图像（T2I）模型的爆炸式增长，从大规模版本延伸至轻量级、实时版本，如今正面临单模型扩展带来的边际收益递减问题。为缓解这一瓶颈，基于多模型的智能体（Agentic）T2I 方法应运而生。然而，现有的智能体 T2I 方法面临三大关键挑战：依赖昂贵的手工设计先验或人工标注、僵化的单路径决策机制，以及对推理效率的忽视。为应对这些挑战，我们引入 OctoT2I，一种新颖的智能体框架，将 T2I 任务重新表述为生成质量与推理效率的联合优化。OctoT2I 实施了一种有状态的、多轮路由策略，能够根据其知识和记忆自适应地选择最合适的工具。该策略由一种从头构建的知识库支撑，该知识库源自我们提出的新颖自我进化机制（Self-Evolving Mechanism）。该机制无需人工监督，首先自主定义基础概念维度（Conceptual Dimensions，例如风格、颜色、数量），然后通过迭代的"提议--求解--评估--学习"（Propose--Solve--Evaluate--Learn, PSEL）循环智能地探索其组合。PSEL 循环高效地发现每个工具的能力边界，驱动持续改进而无需外部指导。大量实验表明，OctoT2I 在 GenEval 上取得了具有竞争力的性能（0.96），同时相比领先基线（Flow-GRPO）实现了 90.3% 的推理加速和 56.6% 的能效增益，在性能与效率之间实现了卓越的平衡。代码与模型将公开提供。

The explosive growth of Text-to-Image (T2I) models, from large-scale versions to lightweight, real-time ones, now faces diminishing marginal returns from single-model scaling. Agentic T2I methods emerged to alleviate this bottleneck by using multiple models. However, existing agentic T2I methods suffer from three key challenges: reliance on expensive handcrafted priors or human annotations, rigid single-path decision mechanisms, and a neglect of inference efficiency. To address these challenges, we introduce OctoT2I, a novel agentic framework that reformulates the T2I task as a joint optimization of generation quality and inference efficiency. OctoT2I implements a stateful, multi-round routing strategy that adaptively selects the most suitable tool based on its knowledge and memory. This strategy is enabled by a knowledge base built from scratch by our novel Self-Evolving Mechanism. This mechanism, which requires no human supervision, first autonomously defines foundational Conceptual Dimensions (eg, style, color, count) and then intelligently explores their combinations via an iterative" Propose--Solve--Evaluate--Learn"(PSEL) loop. The PSEL loop efficiently discovers each tool's capability frontier, driving continuous improvement without external guidance. Extensive experiments demonstrate that OctoT2I achieves competitive performance (0.96) on GenEval while delivering a 90.3% inference speedup and a 56.6% energy-efficiency gain over the leading baseline (Flow-GRPO), striking an exceptional balance between performance and efficiency. Code and models will be made available.

评分理由: 论文聚焦 T2I 多模型路由与效率优化，与 MultiModal 高度相关；整合多模型与 Unify Models 中度相关；智能体学习循环与 MLLM/model-based RL 有关联但非核心；未涉及 Tokenizer、Visual Encoder 及 World Models 架构创新。未发现指定专家。

Text-to-Image, Agentic Framework, Self-Evolving Mechanism, Inference Efficiency, Multi-model Routing, Energy Efficiency, GenEval

Chinese Title: OctoT2I：一种自演进的智能文本到图像路由系统

Summary: 本文针对文本到图像（T2I）生成领域面临的多模型选择难题，提出了一种名为OctoT2I的自演进智能路由框架。该框架将T2I任务重新定义为生成质量与推理效率的联合优化问题，通过状态化、多轮路由策略，自适应地为每个用户提示选择最合适的T2I工具。核心创新在于引入自演进机制，无需人工标注或先验知识，通过“提议-求解-评估-学习”（PSEL）循环自主构建工具知识库，并利用探索空间剪枝策略高效发现各工具的能力边界。实验表明，OctoT2I在GenEval基准上达到0.96的竞争性能，同时相比领先基线Flow-GRPO实现了90.3%的推理加速和56.6%的能效提升，在性能与效率之间取得了卓越平衡。

Innovations:

• 提出OctoT2I框架，将文本到图像路由问题形式化为生成质量与推理效率的联合优化，实现性能与效率的协同平衡。
• 设计自演进机制，使智能体无需任何人工监督或外部数据，通过自我交互从零开始自主构建工具知识库。
• 引入状态化、多轮动态路由策略，结合知识模块与记忆模块，实现基于实时反馈的迭代式工具选择。
• 提出“提议-求解-评估-学习”（PSEL）循环与探索空间剪枝策略，高效、自适应地探索各工具的能力边界。

Methodology: 论文首先将路由问题形式化为带质量阈值约束的成本最小化选择问题。系统设计包含推理工作流和自演进机制两部分：推理工作流中，智能体在每个决策轮次基于用户提示、知识模块和记忆模块选择工具，生成图像后由评估模块打分，形成“推理-行动-反思”闭环；自演进机制中，智能体先自主定义概念维度，然后通过PSEL循环（提议具体提示、用不同工具求解、定量评估图像、分析结果更新知识）迭代探索维度组合，并由探索空间剪枝策略引导搜索方向，最终构建分层工具知识库。

Key Results:

• 在GenEval基准上达到0.96的得分，与最先进方法持平。
• 相比Flow-GRPO基线，推理速度提升90.3%，能效提升56.6%。
• 自演进机制无需人工标注，即可自主构建高质量工具知识库。
• 多轮动态路由策略优于静态单路径方法，在复杂提示上表现更优。

Tech Stack:

• 大语言模型（LLM）作为路由控制器
• 多个预训练T2I工具库（如SD-Turbo、Flow-GRPO、Stable Diffusion 3等）
• 自演进机制中的“提议-求解-评估-学习”（PSEL）循环
• 探索空间剪枝策略（Exploration Space Pruning）
• 定量评估函数（qeval）用于图像质量评分
• GenEval基准测试

Strengths:

• 首次在智能T2I路由中联合优化生成质量与推理效率，实用性强。
• 自演进机制完全摆脱对人工标注或先验知识的依赖，可扩展性好。
• 多轮动态路由结合记忆模块，能根据实时反馈自适应调整，决策更智能。
• 实验充分，在性能、速度、能效三个维度均取得显著优势。

Limitations:

• 路由决策依赖LLM的推理能力，若LLM本身能力不足可能影响路由质量。
• 当前工具库规模有限，未来需扩展至更多T2I模型以验证泛化性。
• 自演进过程需要一定计算资源用于探索，初始阶段可能耗时。
• 论文未详细讨论在极端复杂或模糊提示下的鲁棒性。

Relevance To Keywords:

• 原生多模态大模型：OctoT2I利用LLM作为控制器，整合多个T2I模型，体现了多模态理解与生成的协同。
• 多模态大模型的理解和生成一体化：路由系统需理解用户提示并选择合适生成工具，实现理解与生成的联合优化。
• 表征学习：自演进机制中概念维度的定义和工具能力边界的探索可视为一种隐式表征学习。
• 世界模型：通过多轮路由和评估反馈，系统逐步构建对工具行为的世界知识。
• 强化学习：Flow-GRPO等工具本身采用强化学习后训练，而自演进机制中的PSEL循环也包含类似“试错-学习”的强化信号。
• 后训练：论文强调自演进无需人工标注，可视为一种后训练阶段的知识自主获取方法。

搜索与救援 (SAR) 要求具身智能体在多模态不确定性下探索未知环境，执行多阶段交互，并在长时程内检索空间记忆。现有基准通常孤立地评估这些能力，使得当它们必须在真实工作流中组合时，失败如何累积尚不明确。我们引入 RescueBench，一个照片级真实感的诊断基准，它将 SAR 实例化为一个四阶段流程：多模态探索、目标救援、记忆引导返回和最终交接。通过结合顺序任务组合与阶段级评估，RescueBench 使得能够分析探索失败和记忆失败如何在具身救援工作流中传播。它包含五个渐进难度级别，在环境复杂度、线索模糊性和空间层级上有所不同，并配备一个自动的 episode (场景) 生成与标注流程，用于可扩展的评估和训练。我们评估了七种基线方法、一个 oracle (神谕) 参考和人类玩家，结果显示在最困难级别下，没有基线方法能完成全部任务。阶段级诊断将自主探索识别为主导失败模式，将空间记忆识别为第二个独立的瓶颈，表明这些限制无法通过当前的拓扑视觉语言导航或基于地图的方法解决。代码可在 https://github.com/wukui-muc/RescueBench 获取。

Search-and-rescue (SAR) requires embodied agents to explore unfamiliar environments under multimodal uncertainty, perform multi-stage interactions, and retrieve spatial memory over long horizons. Existing benchmarks typically evaluate these capabilities in isolation, leaving unclear how failures compound when they must be composed in realistic workflows. We introduce RescueBench, a photo-realistic diagnostic benchmark that instantiates SAR as a four-stage pipeline: multimodal exploration, target rescue, memory-guided return, and final handoff. By combining sequential task composition with stage-level evaluation, RescueBench enables analysis of how exploration and memory failures propagate through embodied rescue workflows. It contains five progressive difficulty levels that vary in environmental complexity, clue ambiguity, and spatial hierarchy, along with an automatic episode generation and annotation pipeline for scalable evaluation and training. We evaluate seven baselines, an oracle reference, and human players, showing that no baselines complete the full task at the greatest difficulty. Stage-level diagnosis identifies autonomous exploration as the dominant failure mode and spatial memory as a second, independent bottleneck, suggesting that these limitations are not resolved by current topological visual-language navigation or map-based methods. Code is available in https://github.com/wukui-muc/RescueBench

评分理由: 论文核心为搜救任务的基准测试（Benchmark），而非模型架构创新。与 MultiModal 高度相关（明确提及多模态不确定性）；与 World Models 和 Unify Models 中度相关（涉及空间记忆与任务流程统一）；与 MLLM 中度相关（基线涉及视觉语言模型）；与 Tokenizer 完全无关；与 Visual Encoder 和 model-based RL 关联较弱（未深入具体编码器或模型算法）。未发现指定专家作者。加权总分 39.0，高于动态及格分 27.8。

Search-and-Rescue, Embodied Agents, Multimodal Uncertainty, Spatial Memory, Photo-realistic Benchmark, Visual-Language Navigation, Long-Horizon Tasks

Chinese Title: RescueBench：具身智能体能否在野外拯救生命？

Summary: 本文提出了RescueBench，一个面向搜索与救援（SAR）任务的具身智能基准测试。现有基准通常孤立评估探索、导航或操作能力，忽略了真实SAR场景中这些能力必须顺序组合时产生的级联失败。RescueBench将SAR任务分解为四个顺序阶段：多模态探索（S1）、定位并救援目标（S2）、记忆引导返回（S3）、定位并交接（S4），并设计了五个渐进难度等级（L1-L5），通过环境复杂度、线索模糊度和空间层次三个维度控制难度。基于Unreal Engine 5构建了照片级真实环境，并开发了自动化的场景生成与标注管线。评估了七个基线方法、一个Oracle参考和人类玩家，结果显示：在最高难度下没有任何基线能完成完整任务；阶段级诊断表明自主探索是主要失败模式，空间记忆是第二个独立瓶颈。这些发现揭示了当前拓扑视觉语言导航和地图方法在开放世界探索和长时空间记忆方面的根本局限。

Innovations:

• 首次将搜索救援任务建模为四阶段顺序流水线（探索-救援-返回-交接），支持阶段级诊断以分析级联失败模式。
• 设计了五个渐进难度等级，独立控制环境复杂度、线索模糊度和空间层次，实现可控的能力瓶颈分析。
• 提出了自动化的场景生成与标注管线，基于UE5导航网格和VLM生成多模态线索，支持大规模可扩展评估。
• 通过环境辅助交互触发机制解耦操作能力，使评估聚焦于导航、探索和记忆瓶颈，拓宽了适用架构范围。
• 揭示了自主探索和空间记忆是当前具身智能体的两个独立且持久的瓶颈，即使成功定位目标后仍无法可靠返回。

Methodology: 论文采用基准测试构建与实证评估的方法。首先，基于Unreal Engine 5和UnrealZoo平台构建照片级真实环境，设计四阶段顺序任务定义。其次，开发自动化数据收集管线：从导航网格提取候选生成区域，采样救护车、目标、智能体位置，通过导航网格驱动的智能体执行任务并记录轨迹，使用VLM（Qwen-3.5 plus）从智能体第一人称视角生成多模态线索。然后，定义五个难度等级（L1-L5），通过距离范围、遮挡条件、跨区域/跨楼层等规则控制难度。最后，评估七个基线方法（包括拓扑VLN、地图方法、端到端方法等）、一个Oracle参考和人类玩家，计算各阶段成功率及完整任务成功率，进行阶段级诊断。

Key Results:

• 在最高难度L5（跨区域室内外+多楼层）下，没有任何基线方法能完成完整四阶段任务。
• 自主探索（S1）是主导失败模式：所有基线在L3及以上难度中S1成功率显著下降，L2到L3的过渡（从近距离可见目标到中距离遮挡目标）产生了最陡峭的能力悬崖。
• 空间记忆（S3）是第二个独立瓶颈：即使智能体成功完成S2（定位并救援），返回救护车的成功率仍远低于S2，表明空间编码质量不足。
• 人类玩家在L5下完整任务成功率为60%，而最佳基线（Oracle）仅为20%，表明当前方法存在巨大差距。
• 阶段级诊断揭示了拓扑VLN和地图方法在开放世界探索和长时记忆方面的根本局限，并非简单参数调整可解决。

Tech Stack:

• Unreal Engine 5 (UE5) 和 UnrealZoo 平台
• 导航网格 (NavMesh) 用于自动路径规划和场景生成
• 视觉语言模型 (VLM): Qwen-3.5 plus 用于生成多模态线索
• 七个基线方法：包括基于拓扑图的VLN方法、基于地图的方法、端到端强化学习方法等（具体名称见原文）
• Oracle参考：使用全局地图和完美感知的智能体
• 人类玩家评估：通过UE5前端进行实时控制
• 评估指标：各阶段成功率、完整任务成功率、级联失败分析

Strengths:

• 任务设计紧密贴合真实SAR场景，具有实际应用价值。
• 阶段级诊断机制能够精确定位能力瓶颈，而非仅给出整体成功率。
• 渐进难度框架允许系统性地分析环境因素对能力的影响。
• 自动化数据管线支持大规模生成和可重复实验。
• 解耦操作能力使评估聚焦于导航和记忆，适用于多种架构。
• 提供了人类基线，便于衡量AI与人类差距。

Limitations:

• 环境辅助交互触发机制虽然解耦了操作，但无法评估真实操作能力。
• 当前仅评估单智能体设置，多智能体协作仅初步验证。
• 环境多样性有限（基于UnrealZoo的特定场景），可能无法完全代表真实野外环境。
• 基线方法的选择可能未涵盖最新的大模型驱动方法（如基于MLLM的端到端规划）。
• 未深入分析失败的具体原因（如探索策略、记忆表示形式），仅停留在成功率层面。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：论文使用VLM生成多模态线索，但评估的基线方法并非统一模型，而是分离的导航/记忆模块。相关性中等。
• World Models / 世界模型：任务要求智能体在探索中构建空间记忆，与世界模型中的环境建模相关，但论文未直接使用或评估世界模型方法。相关性中等。
• Representation Learning / 表征学习：空间记忆的编码方式涉及表征学习，但论文未深入探讨表征质量。相关性较弱。
• Model-Based RL / 强化学习：部分基线可能使用RL，但论文主要评估的是基于导航的方法，而非模型基RL。相关性较弱。
• 多模态大模型的理解和生成一体化：论文使用VLM生成线索，但智能体本身未使用多模态大模型进行一体化理解与生成。相关性中等。
• 后训练：论文未涉及后训练技术。相关性低。

具身视觉导航（Embodied Visual Navigation）是指智能体感知复杂环境并根据原始感官输入采取行动以达成目标，它是家庭服务机器人、辅助机器人以及大规模自主探索等众多应用的基础。然而，近期统一视觉 - 语言导航（VLN）和目标导航（ObjNav）的尝试仍局限于架构融合、混合任务训练及大规模视觉 - 语言预训练层面，尚未探究独立训练的视觉编码器与语言编码器是否已共享共同的语义结构。此外，即使是以对象为中心的拓扑地图仍通过显式跨模态监督（如 CLIP 或大型视觉 - 语言模型）来锚定语言目标，这留下了一个问题：仅从纯视觉构建的地图中实现这种锚定是否可能。为应对这些挑战，我们将柏拉图表示假设（Platonic Representation Hypothesis）扩展至具身导航，并将仅视觉 ObjNav、跨模态 ObjNav 以及 VLN 重新表述为通往同一以对象为中心的语义流形的三种不同接口。此外，我们提出了 PlatonicNav，这是一个无需训练的框架，其柏拉图拓扑地图（Platonic Topological Map）融合了来自自监督视觉编码器的几何与语义节点距离，并通过盲匹配锚定语言目标，而无需任何配对的视觉 - 语言数据。在包括 HM3D-IIN、OVON 以及 MP3D 上的 R2R-CE 等仿真基准上的广泛实验，以及在 Unitree Go2 机器人上的部署，均表明 PlatonicNav 能够在无需显式跨模态训练的情况下，跨任务、模态和具身形式实现泛化。代码：https://github.com/AIGeeksGroup/PlatonicNav。网站：https://aigeeksgroup.github.io/PlatonicNav。

Embodied visual navigation, where an agent perceives a complex environment and acts to reach a goal from raw sensory input, underpins a wide range of applications such as household service robotics, assistive robotics, and large-scale autonomous exploration. However, recent attempts to unify vision-and-language navigation (VLN) and object goal navigation (ObjNav) remain at the level of architectural fusion, mixed-task training, and large vision-language pretraining, without examining whether independently trained vision and language encoders may already share a common semantic structure. Moreover, even object-centric topological maps still ground language goals through explicit cross-modal supervision such as CLIP or large vision-language models, leaving open whether such grounding is possible from a purely vision-built map. To address these challenges, we extend the Platonic Representation Hypothesis to embodied navigation and recast vision-only ObjNav, cross-modal ObjNav, and VLN as three different interfaces to the same object-centric semantic manifold. We further introduce PlatonicNav, a training-free framework whose Platonic Topological Map fuses geometric and semantic node distances from a self-supervised visual encoder, and grounds language goals via blind matching without any paired vision-language data. Extensive experiments on simulation benchmarks including HM3D-IIN, OVON, and R2R-CE on MP3D, together with deployment on Unitree Go2, demonstrate that PlatonicNav generalizes across tasks, modalities, and embodiments without explicit cross-modal training. Code: https://github.com/AIGeeksGroup/PlatonicNav. Website: https://aigeeksgroup.github.io/PlatonicNav.

评分理由: 论文核心在于利用视觉编码器构建共享语义流形以统一 VLN 和 ObjNav 任务。Visual Encoder 是核心组件，评分最高；MultiModal 涉及视觉与语言交互，评分较高；Unify Models 体现在任务统一而非模型架构融合，评分中等；Tokenizer、World Models、MLLM、model-based RL 与论文提出的无训练、视觉主导、匹配机制关联度低，评分较低或为零。未发现指定专家作者。

Embodied Visual Navigation, Platonic Topological Maps, Semantic Correspondence, Visual Encoder, Blind Matching, Vision-and-Language Navigation, Object Goal Navigation, Training-free Framework

Chinese Title: PlatonicNav：基于柏拉图拓扑地图的导航中语义对应关系揭示

Summary: 本文提出PlatonicNav，一个无需训练的统一导航框架，基于柏拉图表征假说（Platonic Representation Hypothesis），将视觉目标导航（ObjNav）和视觉语言导航（VLN）视为同一物体中心语义流形的不同接口。该方法构建柏拉图拓扑地图（Platonic Topological Map），融合自监督视觉编码器（DINOv3）提取的几何与语义节点距离，并通过盲匹配（blind matching）将语言目标直接映射到地图节点，无需任何配对视觉-语言数据。实验在HM3D-IIN、OVON、R2R-CE等仿真基准以及Unitree Go2真实机器人上验证，表明PlatonicNav能够跨任务、跨模态、跨实体泛化，证明独立训练的视觉和语言编码器已隐含共享的语义结构，从而减少对显式跨模态监督的依赖。

Innovations:

• 将柏拉图表征假说扩展到具身导航，提出可证伪的思想实验，将视觉ObjNav、跨模态ObjNav和VLN统一为同一物体中心语义流形的不同接口。
• 提出PlatonicNav，一个无需训练的框架，其柏拉图拓扑地图融合几何距离和自监督视觉编码器产生的语义距离，无需任何配对视觉-语言数据。
• 通过盲匹配技术，利用独立训练的视觉编码器（DINOv3）和语言编码器（GTR-T5）之间的关系结构，实现语言目标到视觉地图节点的零样本对齐。
• 在仿真和真实机器人上验证了跨任务、跨模态、跨实体的泛化能力，表明显式跨模态训练在很大程度上是冗余的。

Methodology: 首先，基于柏拉图表征假说，将视觉和语言编码器视为学习同一现实统计模型的不同模态接口，通过双中心化（double-centering）对齐其关系距离矩阵。其次，构建柏拉图拓扑地图：以自监督视觉编码器（DINOv3）提取的图像片段作为节点，边权重融合几何距离和视觉语义距离。然后，通过盲匹配：计算语言目标类别嵌入与视觉片段聚类嵌入之间的成对关系距离，利用匹配求解器（如匈牙利算法）找到对应节点。最后，基于地图规划路径，生成柏拉图物体代价地图（PlatonicObject Costmap）用于控制预测。整个流程无需训练，仅使用预训练编码器。

Key Results:

• PlatonicNav在HM3D-IIN、OVON和R2R-CE基准上均达到或超越现有需要跨模态训练的方法。
• 在Unitree Go2真实机器人上成功部署，验证了从仿真到现实的零样本迁移能力。
• 盲匹配成功将语言目标映射到视觉节点，无需任何配对数据，证明视觉和语言编码器已隐含共享语义结构。
• 同一柏拉图拓扑地图可同时支持视觉ObjNav、跨模态ObjNav和VLN三种任务，输出轨迹高度一致。

Tech Stack:

• 自监督视觉编码器：DINOv3
• 语言编码器：GTR-T5（基于T5的密集文本检索器）
• 盲匹配：基于关系距离矩阵的双中心化与匹配求解器（如匈牙利算法）
• 拓扑图构建：图像分割（如SAM）、几何距离计算、语义距离计算
• 仿真平台：Habitat Simulator（HM3D-IIN, OVON, R2R-CE on MP3D）
• 真实机器人：Unitree Go2 Air四足机器人

Strengths:

• 提出新颖的理论视角，将柏拉图表征假说引入导航领域，为统一不同导航任务提供理论基础。
• 完全无需训练，仅依赖预训练编码器，降低了计算和数据需求。
• 无需任何配对视觉-语言数据，通过盲匹配实现跨模态对齐，具有强泛化性。
• 在多个仿真基准和真实机器人上验证，展示了跨任务、跨模态、跨实体的能力。
• 代码和网站开源，便于复现和扩展。

Limitations:

• 依赖自监督视觉编码器（DINOv3）的语义质量，在复杂或罕见物体上可能表现不佳。
• 盲匹配假设视觉和语言编码器已充分对齐，但实际中可能存在残余错位，影响匹配精度。
• 当前框架主要针对静态场景，动态环境下的实时更新和重规划未深入探讨。
• 实验仅在有限仿真环境和单一真实机器人上验证，大规模真实场景泛化性有待进一步测试。
• 未与端到端强化学习方法进行直接比较，性能上限可能受限于拓扑图的离散化精度。

Relevance To Keywords:

• Unify Models: 论文将视觉ObjNav、跨模态ObjNav和VLN统一到同一语义流形，实现了任务层面的统一。
• World Models: 柏拉图拓扑地图可视为环境的世界模型，融合几何与语义信息，支持规划。
• Representation Learning: 核心基于柏拉图表征假说，利用自监督视觉和语言编码器的共享表征，无需跨模态训练。
• Model-Based RL: 框架使用拓扑地图进行路径规划，属于基于模型的方法，但未涉及强化学习训练。
• 原生多模态大模型/多模态大模型的理解和生成一体化: 论文使用独立预训练编码器（非原生多模态大模型），但盲匹配思想与多模态对齐相关。
• 后训练: 论文完全无需训练，属于零样本方法，与后训练方向不同。

自主智能体日益被期望支持端到端的医疗 AI 研究工作流程，超越孤立的预测任务或简短的临床问答。然而，现有的医疗智能体基准主要评估最终输出，对研究过程中智能体行为的可见性有限。为填补这一空白，我们提出了 AutoMedBench，这是一个面向自主医疗 AI 研究的工作流感知基准，涵盖多样的医学影像和多模态推理任务，将智能体执行组织为统一五阶段工作流（S1-S5）：计划（Plan）、设置（Setup）、验证（Validate）、推理（Inference）和提交（Submit）。该基准包含长周期任务，每次运行平均涉及 33 次智能体轮次，涵盖五个研究赛道：分割（segmentation）、图像增强（image enhancement）、视觉问答（VQA）、报告生成（report generation）和病灶检测（lesion detection）。每个任务均在两个难度层级（Lite 和 Standard）下进行评估，两者使用相同的数据和指标，但在任务简报脚手架的量上有所不同；每次运行均基于最终任务表现和 S1-S5 阶段得分进行评分，从而支持从初始任务简报到最终提交工件的阶段级分析。在数千次记录运行的基础上，阶段级评分显示，验证（Validate）平均而言是最弱的工作流阶段，而设置（Setup）是最强的，这表明当前智能体在使管道可执行方面优于验证其可靠性。运行后的错误分析进一步表明，验证（verification）和提交（submission）失败主导了标记错误，分别占触发错误代码的 37.7% 和 38.1%，而任务理解错误（task-understanding errors）极为罕见，仅占 0.9%；此外，平均而言，出现一次触发错误代码的运行其整体得分比无错误代码的运行低 48%。

Autonomous agents are increasingly expected to support end-to-end medical-AI research workflows, moving beyond isolated prediction tasks or short-form clinical question answering. However, existing medical agent benchmarks primarily evaluate final outputs, providing limited visibility into agent behavior within the research process. To address this gap, we present AutoMedBench, a workflow-aware benchmark for autonomous medical-AI research across diverse medical imaging and multimodal inference tasks, organizing agent execution into a unified five-stage workflow (S1-S5): Plan, Setup, Validate, Inference, and Submit. It comprises long-horizon tasks with each run averaging 33 agent turns, spanning five research tracks: segmentation, image enhancement, visual question answering (VQA), report generation, and lesion detection. Each task is evaluated under two difficulty tiers, Lite and Standard, which use the same data and metrics but differ in the amount of task-brief scaffolding, and each run is scored using both final task performance and S1-S5 stage scores, enabling stage-level analysis from the initial task brief to the final submitted artifact. Across thousands of recorded runs, stage-level scoring reveals that Validate is the weakest workflow stage on average, whereas Setup is the strongest, suggesting that current agents are better at making pipelines executable than at verifying their reliability. Post-run error analysis further shows that verification and submission failures dominate tagged errors, accounting for 37.7% and 38.1% of fired codes respectively, whereas task-understanding errors are rare at 0.9%, and runs with one fired error code have a 48% lower overall score than runs with no error code on average.

评分理由: The paper presents AutoMedBench, a benchmark for medical agentic workflows, rather than a novel model architecture. Thus, keywords related to specific model components (Tokenizer, World Models) have low relevance. 'MultiModal' and 'MLLM' are highly relevant as the tasks involve multimodal inference and likely utilize MLLMs. 'Unify Models' is moderately relevant due to the 'unified five-stage workflow' mention, though it refers to process unification. 'model-based RL' is low relevance as RL is not explicitly detailed. No expert authors from the provided list are found in the author list.

AutoMedBench, Medical Agentic AI, Workflow Benchmark, Multimodal Inference, Agent Evaluation, Medical Imaging, Stage-level Analysis

Chinese Title: AutoMedBench：迈向基于智能体AI模型的医学自动研究

Summary: 本文提出AutoMedBench，一个面向自主医学AI研究工作流评估的基准。现有医学智能体基准主要评估最终输出，缺乏对研究过程中智能体行为的可见性。AutoMedBench将智能体执行过程组织为统一的五阶段工作流（S1-S5：规划、设置、验证、推理、提交），涵盖24个任务，涉及分割、图像增强、视觉问答、报告生成和病灶检测五个研究轨道，每个任务设有Lite和Standard两个难度等级。评估采用过程级评分（智能体分数）和最终任务分数相结合的方式，并记录交互轨迹和错误代码。实验发现，验证阶段是平均最弱的环节，而设置阶段最强；错误分析显示验证和提交错误占主导（37.7%和38.1%），任务理解错误仅占0.9%。触发一个错误代码的运行平均总分比无错误代码的运行低48%。这些结果表明，当前医学自动研究智能体的主要瓶颈不仅在于领域知识，更在于鲁棒的工程执行、中间验证和错误恢复能力。

Innovations:

• 提出工作流感知的评估协议，将医学AI研究过程分解为五个可检查的阶段（S1-S5），实现过程级评分。
• 构建包含24个任务、覆盖五种医学研究轨道（分割、增强、VQA、报告生成、检测）的基准，任务来源为公开挑战赛和数据集。
• 引入双难度等级（Lite和Standard），在保持数据和指标不变的情况下改变任务说明中的脚手架信息，便于分析智能体自主性。
• 设计后运行错误诊断机制，基于交互轨迹自动标注五类错误代码（E1-E5），揭示隐藏的流程故障。
• 开源完整的执行框架和沙箱环境，包括容器化智能体和隔离评估环境，支持可复现的基准测试。

Methodology: 论文采用基准构建与实验评估相结合的方法。首先，从20多个公开医学挑战赛（如KiTS19）中选取任务，确保输入公开、参考隐藏、工作流可表达。每个任务遵循统一五阶段工作流（S1-S5），智能体在隔离容器中与代码执行环境交互。评估时，每个运行获得智能体分数（基于S1-S5完成度）和任务分数（基于私有参考的确定性评估）。后运行阶段，利用完整交互记录（conversation.json）自动识别五类错误代码（E1：任务理解、E2：数据/模型设置、E3：验证与恢复、E4：实现与执行、E5：交付提交）。实验对6种前沿基础模型进行基准测试，记录数千次运行，进行阶段级和错误级分析。

Key Results:

• 验证阶段（S3）是平均最弱的工作流阶段，设置阶段（S2）最强，表明智能体更擅长使管道可运行而非验证其可靠性。
• 错误代码分析显示，验证错误（E3）占37.7%，提交错误（E5）占38.1%，任务理解错误（E1）仅占0.9%。
• 触发一个错误代码的运行平均总分比无错误代码的运行低48%，表明错误代码与性能下降强相关。
• 隐藏的故障包括模型加载失败、形状错误、跳过验证、空输出和格式错误的提交，这些常被最终输出指标掩盖。
• 在整体排行榜上，不同智能体在智能体分数和任务分数上表现出显著差异，但所有智能体在验证阶段均表现不佳。

Tech Stack:

• 大型语言模型（LLM）作为智能体基础模型
• 代码执行环境（容器化沙箱）
• 五阶段工作流评分规则（S1-S5）
• 确定性评估（私有参考）
• 错误代码自动标注（基于交互轨迹）
• Docker容器隔离
• GitHub仓库和在线排行榜

Strengths:

• 首次提出面向医学AI研究全流程的智能体基准，填补了过程级评估的空白。
• 工作流感知设计使得不同任务类型（分割、VQA等）可在统一协议下比较。
• 双难度等级和错误诊断机制提供了细粒度的智能体能力分析。
• 开源框架和容器化环境保证了实验的可复现性和公平性。
• 实验规模大（数千次运行），结论具有统计意义。

Limitations:

• 基准任务仅包含推理时工作流，不包括训练阶段或需要长期临床对话的任务。
• 错误代码标注依赖交互轨迹，可能遗漏某些隐式错误或误判。
• 当前仅评估了6种基础模型，未涵盖所有主流智能体框架。
• 任务选择偏向公开挑战赛，可能不完全代表真实临床研究场景。
• 过程级评分与最终任务分数之间的关系未进行深入因果分析。

Relevance To Keywords:

• 原生多模态大模型：论文评估的智能体通常基于多模态大模型（如LLM），但基准本身不限定模型架构，与多模态理解与生成一体化间接相关。
• 世界模型：论文未直接涉及世界模型，但智能体在验证阶段需要模拟和检查中间结果，可视为世界模型的一种简单应用。
• 表征学习：基准任务涉及医学图像表征，但论文重点在智能体工作流而非表征学习方法。
• 模型基强化学习：论文未使用强化学习，但智能体在错误恢复和验证中可能隐含类似强化学习的试错机制。
• 后训练：论文未涉及后训练，但智能体在设置阶段需加载预训练模型，与后训练概念有间接联系。

大型语言模型 (LLMs) 不仅被要求编写静态界面，还被要求能够从自然语言构建可执行的交互式世界。浏览器原生 3D（通常使用 Three.js 构建）是自然的下一个前沿：生成的程序必须整合资产，遵守空间和物理约束，并确保面向用户的控件与隐藏的运行时状态保持同步。然而，现有的网页生成基准和评估器主要仅观察像素或 DOM 节点，而 Three.js 世界的机制却在不透明的 <canvas> 内部展开。我们提出 WorldCoder-Bench，这是一个用于自主且基于物理的 3D 世界合成的基准。WorldCoder-Bench 包含 2,026 个专家精心策划的任务，涵盖模拟、渲染和应用场景，并提供可选的 .glb 资产及隐藏的行为契约。我们进一步提出 StateProbe，这是一种基于执行的协议，它在沙箱浏览器中探测生成的程序，并验证隐藏且经过变异加固的契约，以检查运行时状态和转换。除验证覆盖率外，我们还报告自动化回报与时间效率乘数（Return on Automation and Time Efficiency Multiplier），以衡量经正确性调整后的成本和时间节省。在九个前沿模型中，最佳系统在 WorldCoder-Core 上仅达到 27.8% 的验证覆盖率，在 WorldCoder-Robust 上为 19.9%，其失败主要由状态模式漂移和断裂的交互链主导，而非场景元素缺失。效用指标进一步表明，低成本或快速模型在较简单的领域仍能提供显著价值。WorldCoder-Bench 可在 https://anonymous.4open.science/r/WorldCoder-Bench/ 获取。

Large language models (LLMs) are increasingly asked not only to write static interfaces, but to construct executable interactive worlds from natural language. Browser-native 3D, commonly built with Three.js, is a natural next frontier: generated programs must integrate assets, obey spatial and physical constraints, and keep user-facing controls synchronized with hidden runtime state. Existing web-generation benchmarks and evaluators, however, largely observe only pixels or DOM nodes, while the mechanics of a Three.js world unfold inside an opaque <canvas>. We introduce WorldCoder-Bench, a benchmark for autonomous, physically grounded 3D world synthesis. WorldCoder-Bench contains 2,026 expert-curated tasks across Simulation, Rendering, and Application scenarios, with optional .glb assets and hidden behavioral contracts. We further propose StateProbe, an execution-based protocol that probes generated programs in a sandboxed browser and verifies hidden, mutation-hardened contracts over runtime states and transitions. Beyond verification coverage, we report Return on Automation and Time Efficiency Multiplier to measure correctness-adjusted cost and time savings. Across nine frontier models, the best system reaches only 27.8% verification coverage on WorldCoder-Core and 19.9% on WorldCoder-Robust, with failures dominated by state-schema drift and broken interaction chains rather than missing scene elements. Utility metrics further show that cheap or fast models can still provide substantial value on easier domains. WorldCoder-Bench is available at https://anonymous.4open.science/r/WorldCoder-Bench/.

评分理由: The paper focuses on 3D world synthesis from text, making 'World Models' moderately relevant due to the title and concept. 'MLLM' and 'MultiModal' are relevant for text-to-3D tasks. 'Unify Models', 'Tokenizer', 'Visual Encoder', and 'model-based RL' are less relevant as the paper is a benchmark for generation, not architecture or RL. No expert authors from the specified list were found. Weighted sum is 36.0, exceeding the dynamic pass score of 27.8.

WorldCoder-Bench, 3D World Synthesis, StateProbe, Physical Grounding, LLM Benchmark, Three.js, Runtime Verification

Chinese Title: WorldCoder-Bench：物理基础3D世界合成的基准测试

Summary: 本文提出了WorldCoder-Bench，首个针对可执行Three.js 3D世界的行为正确性基准测试，包含2026个专家策划的任务，涵盖模拟、渲染和应用三大类别。现有基准仅通过像素或DOM节点评估，无法检测隐藏的物理、状态同步等行为正确性。为此，作者提出了STATEPROBE协议，通过沙盒浏览器执行程序并验证隐藏的行为合约，合约经过突变硬化以确保严格性。此外，引入了“自动化回报率”和“时间效率乘数”两个实用指标，结合推理成本和人工开发成本评估模型价值。对9个前沿模型的测试显示，最佳系统在核心集上仅达到27.8%的验证覆盖率，在鲁棒集上为19.9%，失败主要由状态模式漂移和交互链断裂导致。外部评估方法误分类了45.6%的严重缺陷输出，凸显了本方法的必要性。

Innovations:

• 首个评估生成3D世界行为正确性而非视觉合理性的基准，覆盖物理、资产集成和状态同步三个被忽视的方面。
• 提出STATEPROBE执行式状态验证协议，使用隐藏的突变硬化行为合约，确保通过测试反映真实正确性。
• 引入自动化回报率（Return on Automation）和时间效率乘数（Time Efficiency Multiplier）两个实用指标，结合成本与延迟衡量模型的实际价值。
• 构建了鲁棒性变体集（WORLDCODER-ROBUST），通过扰动物理常数、对象数量等防止记忆化，测试机制级泛化能力。
• 系统评估了9个前沿模型，揭示了现有模型在物理正确性和状态同步方面的严重不足。

Methodology: 采用四阶段数据构建流程：专家种子创作、LLM辅助扩展与过滤、运行时验证与合约编写、反污染处理。任务定义为从自然语言指令和可选.glb资产生成自包含HTML文件。评估使用STATEPROBE协议：在无头Chromium中执行程序，通过标准化接口暴露运行时变量，执行脚本化动作序列并快照状态，将状态变化与隐藏行为合约对比。合约经过突变测试（删除状态更新、缩放物理常数、交换事件目标等）确保严格性。指标包括验证覆盖率、自动化回报率（正确性调整后的成本节省）和时间效率乘数（正确性调整后的时间节省）。

Key Results:

• 最佳模型（GPT-4o等）在WORLDCODER-CORE上仅达到27.8%验证覆盖率，在WORLDCODER-ROBUST上为19.9%。
• DOM-based评分与隐藏状态正确性几乎不相关（Kendall τb = -0.02）。
• 8轮代理探测（成本约400倍DOM）仍将45.6%的严重缺陷输出评为通过。
• 便宜或快速的模型在简单领域仍能提供显著价值（高自动化回报率）。
• 失败主要由状态模式漂移和交互链断裂导致，而非缺失场景元素。

Tech Stack:

• Three.js（WebGL 3D渲染库）
• WebGL（浏览器图形API）
• Headless Chromium（无头浏览器）
• JavaScript（编程语言）
• GLB/glTF（3D模型格式）
• LLM（大语言模型，如GPT-4、Claude等）
• Kendall τb（相关性统计量）
• 突变测试（合约硬化）

Strengths:

• 填补了3D世界生成行为正确性评估的空白，解决了现有基准仅关注视觉外观的局限。
• STATEPROBE协议通过隐藏合约和突变硬化确保了评估的严格性和可靠性。
• 数据集规模大（2026任务）、覆盖广（3大类15子域），并包含鲁棒性变体。
• 引入实用经济指标，使评估更贴近实际应用价值。
• 对多个前沿模型进行了全面基准测试，揭示了重要缺陷。

Limitations:

• 仅针对Three.js框架，可能不适用于其他3D引擎（如Unity、Babylon.js）。
• 评估依赖于预定义的行为合约，可能无法覆盖所有可能的正确行为。
• 任务主要面向浏览器原生3D，未涵盖更复杂的物理模拟或VR/AR场景。
• 数据集构建依赖专家和LLM辅助，可能存在偏差或遗漏。
• STATEPROBE需要沙盒执行环境，部署成本较高。

Relevance To Keywords:

• 世界模型：论文评估的3D世界合成涉及物理模拟和状态同步，与世界模型中的环境建模和预测相关。
• 表征学习：生成程序需学习如何表示3D场景、物理规律和交互逻辑，但论文更侧重代码生成而非表征学习本身。
• 多模态大模型：任务输入为自然语言和可选3D资产，输出为可执行代码，属于多模态生成范畴。
• 模型-Based RL：论文未直接涉及强化学习，但生成的3D世界可作为RL环境，评估其物理正确性对RL应用重要。
• 后训练：论文评估的是预训练模型的零样本生成能力，未涉及后训练或微调。

本文介绍了我们在 CVPR 2026 EgoVis Workshop 举办的 CASTLE 2026 Challenge 中获胜的方法，我们的团队在全球范围内荣获第三名。该挑战要求参与者在海量多模态视频流中回答高度复杂的视觉、时空及语言问题，涵盖视觉计数、动作定位、多视角跟踪和说话人时序推理等任务。底层数据集由 15 个第一人称（ego）和第三人称（exo）相机源捕获的超过 600 小时同步录像组成。为应对该环境带来的极端规模与长上下文需求，我们提出了一种针对长视频理解优化的无训练智能体框架（training-free agentic framework）。我们的框架引入了两个核心架构组件：i) 视频知识图谱（Video Knowledge Graph），用于映射静态和动态实体、它们的时序关系及交叉事件，从而实现多跳关系推理；ii) 自适应智能体工作流（adaptive agentic workflow），通过层级检索与索引来解决复杂查询。实验结果表明，我们的框架在长上下文多视角流上实现了高零样本（zero-shot）推理准确率。我们的代码将在 https://github.com/RaghadKhaled/CASTLE-Challenge-Framework 上发布。

This paper presents our winning methodology for the CASTLE 2026 Challenge at the CVPR 2026 EgoVis Workshop, where our team secured third place globally. The challenge tasks participants with answering highly complex visual, spatiotemporal, and verbal questions, including visual counting, action localization, multi-view tracking and speaker temporal reasoning, within massive, multimodal video streams. The underlying dataset consists of over 600 hours synchronized footage captured by 15 ego and exo camera sources. To tackle the extreme scale and long-context demands of this environment, we introduce a training-free agentic framework optimized for long-form video understanding. Our framework introduces two core architectural components: i) a Video Knowledge Graph that maps static and dynamic entities, their temporal relationships, and intersecting events to enable multi-hop relational reasoning, and ii) an adaptive agentic workflow that resolves complex queries through a hierarchical retrieval and indexing. Empirical results demonstrate that our framework achieves high zero-shot reasoning accuracy on long-context multi-view streams. Our code will be released at https://github.com/RaghadKhaled/CASTLE-Challenge-Framework.

评分理由: 论文核心在于构建一个基于知识图谱检索的代理框架以解决长上下文视频理解问题。MultiModal 高度相关（明确处理多模态视频流）；MLLM 中度相关（涉及语言与视觉推理）；Visual Encoder 中度相关（视频处理隐含视觉特征提取）；Unify Models 和 World Models 低相关（侧重系统架构而非模型统一或生成式世界模型）；Tokenizer 和 model-based RL 完全无关（未提及分词或强化学习机制）。作者列表中未包含指定的 Yang Shi 等专家。

Video Understanding, Multi-View, Long-Context, Agentic Framework, Knowledge Graph, Hierarchical Retrieval, Zero-shot Reasoning

Chinese Title: CVPR 2026 CASTLE挑战赛第三名：基于层次化知识图谱检索的智能体多视角长上下文视频理解

Summary: 本文提出了一种无需训练、基于智能体的框架，用于解决CVPR 2026 CASTLE挑战赛中的长视频理解任务。该任务涉及超过600小时的多视角（10个第一人称和5个第三人称摄像头）同步视频，要求回答复杂的视觉、时空和语言问题。框架包含两个核心组件：1）视频知识图谱，将静态和动态实体及其时间关系、交叉事件建模为有向图，支持多跳关系推理；2）层次化智能体工作流，通过规划、图检索、片段检索和答案生成四个模块，逐步收集证据并生成答案。实验表明，该框架在零样本推理中取得了高准确率，最终获得全球第三名。代码已开源。

Innovations:

• 提出训练无关的智能体框架，无需微调即可处理超长多视角视频问答。
• 构建视频知识图谱，显式建模实体类型（人物、物体、地点、动作等）和关系类型（对话、空间、操作等），并附带时间戳，支持多跳推理。
• 设计层次化检索粒度：通过SQLite数据库存储带时间、摄像头、日期的边信息，实现从全局到局部的高效检索。
• 引入“严格到宽松”的SQL生成策略，确保图检索的鲁棒性。
• 利用知识图谱作为时间索引指导视频片段检索，减少冗余计算。

Methodology: 方法分为记忆构建和智能体推理两个阶段。记忆构建：将每个视频均匀切分为30秒片段，使用统一音视频提取函数（Gemini 2.5 Pro）生成多模态描述；然后利用LangChain的LLMGraphTransformer从描述中提取实体和关系，构建有向知识图谱，每个边包含时间区间和摄像头元数据，存入SQLite3数据库。智能体推理：PlannerAgent将用户查询分解为子任务；GraphRetrievalAgent通过“严格到宽松”策略生成SQL查询，从知识图谱中检索相关信息；ReflectorAgent判断是否需要进一步检索视频片段；ClipRetrievalAgent根据时间字段定位并提取片段，ClipAnalyzeAgent分析片段提供视觉证据；最后VQAAgent综合所有证据生成答案。

Key Results:

• 在CVPR 2026 CASTLE挑战赛中获得全球第三名。
• 在185个长上下文问答样本上，零样本推理准确率显著高于基线。
• 验证了知识图谱作为结构化时间索引的有效性，能够高效定位相关视频片段。
• 层次化检索策略（先图后片段）减少了不必要的视频处理开销。

Tech Stack:

• Gemini 2.5 Pro（多模态大模型，用于音视频描述、实体关系提取、推理）
• LangGraph（智能体框架）
• LLMGraphTransformer（知识图谱构建）
• SQLite3（图存储与查询）
• 严格到宽松的SQL生成策略
• 层次化检索（图级→片段级）

Strengths:

• 训练无关，无需微调即可适应新视频域，实用性强。
• 知识图谱显式建模时间关系，支持复杂多跳推理。
• 层次化检索机制高效，先利用结构化索引缩小范围，再精细分析。
• 多视角处理能力：通过摄像头元数据支持跨摄像头事件关联。
• 代码开源，可复现。

Limitations:

• 依赖LLM提取实体和关系的质量，可能存在遗漏或错误。
• 30秒片段划分可能丢失细粒度时间边界信息。
• 仅使用第一人称视频，未充分利用第三人称视角信息。
• 智能体流程中多次调用LLM，推理成本较高。
• 在极端长视频（600小时）上，图构建和检索的扩展性有待验证。

Relevance To Keywords:

• 原生多模态大模型：框架使用Gemini 2.5 Pro作为核心模型，直接处理视频和音频，属于多模态大模型应用。
• 表征学习：知识图谱将视频内容表示为结构化实体和关系，是一种隐式的表征学习。
• 世界模型：视频理解涉及对时空动态和因果关系的建模，知识图谱可视为一种简化的世界模型。
• 后训练：框架无需训练，属于零样本/训练无关方法，与后训练（post-training）概念相关。
• 强化学习：论文未直接使用强化学习，但智能体框架中的规划与反思可类比于强化学习中的策略搜索。

基于文本的人体搜索（TBPS）旨在利用自然语言查询检索行人图像。然而，现有的 TBPS 模型，尤其是基于 CLIP 的模型，由于继承了短文本描述训练所带来的全局表示偏差和语义稀疏性，在细粒度理解方面面临挑战。这导致了细粒度对齐能力较弱，而区域级标注的稀缺性进一步加剧了这一困难。为此，我们提出 ROGLE（鲁棒全局 - 局部嵌入），这是一个统一框架，通过自动化的区域 - 句子匹配（RSM）策略克服了对昂贵人工标注的依赖。RSM 自动挖掘伪区域 - 句子对，以实现可扩展的细粒度监督。此外，ROGLE 采用一种多粒度学习策略，该策略融合了全局对比学习与区域级局部对齐。我们还引入了 P-VLG 基准，这是一个大型数据集，通过整理和丰富来自现有公共基准的图像构建而成。该数据集拥有超过 10 万个标注区域和丰富的长文本描述，使其成为首个同时支持全局和局部评估协议的 TBPS 基准。大量实验表明，ROGLE 显著优于现有方法，尤其在具有挑战性的长文本查询上表现更佳。代码及 P-VLG 基准将公开提供。

Text-Based Person Search (TBPS) aims to retrieve pedestrian images using natural language queries. However, existing TBPS models, especially those based on CLIP, struggle with fine-grained understanding due to global representational bias and semantic sparsity inherited from training on short captions. This results in weak fine-grained alignment, exacerbated by the scarcity of region-level annotations. To address this, we propose ROGLE (Robust Global-Local Embedding), a unified framework that overcomes reliance on costly manual annotations through an automated Region-to-Sentence Matching (RSM) strategy. RSM automatically mines pseudo region-sentence pairs for scalable fine-grained supervision. Furthermore, ROGLE employs a multi-granular learning strategy that fuses global contrastive learning with region-level local alignment. We also introduce the P-VLG Benchmark, a large-scale dataset constructed by curating and enriching images from established public benchmarks. It features over 100,000 annotated regions and rich long-form captions, making it the first TBPS benchmark to support both global and local assessment protocols. Extensive experiments show that ROGLE significantly outperforms existing approaches, particularly on challenging long-form queries. Code and the P-VLG benchmark will be made publicly available.

评分理由: 论文聚焦于基于文本的人体搜索，属于典型的多模态（MultiModal）检索任务，因此相关性最高。文中提出统一的全局 - 局部对齐框架（Unify Models），并隐含使用视觉编码器（Visual Encoder），相关性中等。Tokenizer 和 MLLM 并非本文核心贡献，相关性较低。World Models 和 model-based RL 与本文的检索任务及方法论完全无关，相关性为 0。作者列表中未包含指定的专家组成员。

Text-Based Person Search, Global-Local Alignment, Automated Region Supervision, Multi-granular Learning, Cross-modal Retrieval, Fine-grained Understanding, P-VLG Benchmark

Chinese Title: ROGLE：基于自动区域监督的鲁棒全局-局部对齐用于文本行人搜索

Summary: 本文针对文本行人搜索（TBPS）任务中现有模型（尤其是基于CLIP的模型）因全局表示偏差和语义稀疏性导致的细粒度对齐不足问题，提出ROGLE统一框架。该框架通过自动区域-句子匹配（RSM）策略，利用SAM分割图像区域、CLIP计算跨模态相似度，自动挖掘伪区域-句子对，无需人工标注即可提供细粒度监督。同时，ROGLE采用多粒度学习策略，融合全局对比学习和区域级局部对齐，并引入可靠性感知对齐校准机制以增强对噪声对应关系的鲁棒性。此外，论文构建了P-VLG基准数据集，包含超过10万个标注区域和丰富长描述，支持全局和局部评估协议。实验表明，ROGLE在复杂长查询上显著优于现有方法。

Innovations:

• 提出ROGLE统一框架，通过自动区域-句子匹配（RSM）模块从长描述中挖掘伪对齐，实现无需人工标注的细粒度监督。
• 构建P-VLG基准数据集，首个支持多粒度TBPS评估的数据集，包含丰富描述和超过10万个区域级标注。
• 设计多粒度学习策略，协同全局对比学习与区域级局部对齐，提升模型对细粒度细节的区分能力。
• 引入可靠性感知对齐校准机制，增强模型对大规模数据中噪声对应关系的鲁棒性。

Methodology: 采用双编码器架构（基于预训练CLIP），通过SAM自动分割图像为语义区域，利用spaCy将长描述分解为原子句子；使用CLIP编码器提取区域和句子特征，计算余弦相似度并贪心分配生成伪区域-句子对。训练时，全局分支进行图像-文本全局对比学习，局部分支利用伪对齐进行多粒度局部对齐，并加入可靠性校准损失。P-VLG基准从四个公开数据集（CUHK-PEDES、ICFG-PEDES、RSTPReid、UfineBench）中整合图像并自动生成区域标注。

Key Results:

• ROGLE在多个TBPS基准上显著优于现有方法，尤其在长查询和细粒度描述上表现突出。
• P-VLG基准包含6,801个训练身份、48,485张图像、68,990条丰富描述，验证集提供超过10万个区域-描述对齐。
• 自动RSM模块有效生成高质量伪区域-句子对，无需人工标注。
• 多粒度学习策略和可靠性校准机制提升了模型对噪声的鲁棒性和细粒度对齐能力。

Tech Stack:

• CLIP (ViT-B/16) 预训练模型
• SAM (Segment Anything Model, ViT-H) 图像分割
• spaCy 自然语言处理库
• 余弦相似度计算
• 贪心分配策略
• 对比学习损失 (全局和局部)
• 可靠性感知对齐校准机制

Strengths:

• 提出自动化的区域-句子匹配方法，大幅降低对人工标注的依赖，具有可扩展性。
• 构建了首个支持全局和局部评估的TBPS基准，推动细粒度检索研究。
• 多粒度学习策略有效结合全局语义和局部细节，提升模型对复杂查询的理解能力。
• 在多个公开数据集上取得领先性能，验证了方法的有效性。

Limitations:

• 自动生成的伪区域-句子对可能存在噪声，尽管有可靠性校准，但无法完全消除错误对齐。
• 依赖SAM和CLIP的预训练质量，在特定场景下分割或特征提取可能不准确。
• P-VLG基准基于现有数据集整合，未引入全新真实场景图像，多样性可能受限。
• 方法计算开销较大（SAM分割+CLIP编码），实时性可能受影响。

Relevance To Keywords:

• Unify Models / 原生多模态大模型: 论文基于CLIP多模态模型，通过后训练实现全局-局部对齐，属于多模态大模型的理解与检索应用。
• World Models / 表征学习: 通过对比学习和区域对齐学习多粒度表征，提升模型对视觉世界的细粒度理解。
• Model-Based RL / 强化学习: 论文未直接涉及强化学习，但后训练过程可视为一种基于伪标签的优化，与模型微调相关。
• 后训练: ROGLE在预训练CLIP基础上进行多粒度微调，属于后训练范式。

医学影像解读是现代临床诊断的基石，然而放射学报告的手动生成过程仍耗时且易出现解读不一致。在医学人工智能领域，通过深度学习自动化这些描述有望优化临床工作流程并标准化诊断输出。然而，由于在捕捉细粒度视觉特征及确保临床连贯性方面存在局限，准确的疾病检测与精确的报告生成仍面临重大挑战。为解决这些问题，我们提出了 RL-ACRGNet，这是一种改进的编码器 - 解码器模型，该模型在离策略强化学习框架内整合了预训练的 DenseNet 编码器和多层 LSTM 解码器。通过采用双网络方法，基于度量奖励机制优化视觉 - 语义嵌入，我们证明 RL-ACRGNet 在 IU-Xray 数据集上始终优于最先进基线，在 BLEU-4 (0.47%)、METEOR (0.17%) 和 ROUGE-L (0.518) 指标上实现了定量提升。此外，在大规模 MIMIC-CXR 数据集上的综合评估证实了该模型具有鲁棒的泛化能力，并能生成高质量且具有临床相关性的报告。

Medical imaging interpretation is a foundational pillar of modern clinical diagnostics, yet the manual generation of radiology reports remains a time-consuming process prone to interpretation inconsistencies. Within the field of medical AI, automating these descriptions through deep learning promises to streamline clinical workflows and standardise diagnostic output. However, accurate disease detection and precise report generation remain significant challenges due to limitations in capturing fine-grained visual features and ensuring clinical coherence. To address these issues, we propose RL-ACRGNet, an improved encoder-decoder model that integrates a pre-trained DenseNet encoder with a multilevel LSTM decoder within an off-policy reinforcement learning framework. Using a dual-network approach to refine visual-semantic embeddings through a metric-based reward mechanism, we demonstrate that RL-ACRGNet consistently outperforms state-of-the-art baselines on the IU-Xray dataset, achieving quantitative improvements in BLEU-4 (0.47%), METEOR (0.17%) and ROUGE-L (0.518). Furthermore, comprehensive evaluations on the large-scale MIMIC-CXR data set confirm the robust generalisation of the model and its ability to generate high-quality, clinically relevant reports

评分理由: 论文核心使用了 DenseNet 作为视觉编码器（Visual Encoder 高相关），并处理图像到文本的多模态任务（MultiModal 高相关）。虽然涉及强化学习（RL），但主要为基于奖励机制的策略优化，未明确体现环境模型学习，故 model-based RL 相关性较低。论文未涉及统一模型架构、特定分词器设计、世界模型构建或大语言模型（MLLM），相关度均较低。加权总分 33.0，高于动态及格分 27.8。

Chest Radiology, Report Generation, Reinforcement Learning, DenseNet, LSTM, Encoder-Decoder, Medical Imaging

Chinese Title: RL-ACRGNet：基于强化学习的胸部放射学报告生成网络

Summary: 本文提出RL-ACRGNet，一种结合预训练DenseNet编码器与多级LSTM解码器的混合模型，并在离策略强化学习框架下进行训练。针对传统序列到序列模型在细粒度视觉特征捕获和临床连贯性方面的不足，该模型采用双网络（策略网络与价值网络）结构，通过基于指标的奖励机制优化视觉-语义嵌入。在IU-Xray数据集上，RL-ACRGNet在BLEU-4、METEOR和ROUGE-L指标上分别提升0.47%、0.17%和0.518%，超越现有最优方法。在MIMIC-CXR大规模数据集上的评估进一步验证了模型的泛化能力和生成高质量临床报告的能力。该工作从先前的肺部疾病诊断扩展至全尺度描述性报告生成，旨在提高放射科医生效率并加速诊断决策。

Innovations:

• 提出RL-ACRGNet，一种基于强化学习的混合自动报告生成网络，专门用于胸部X光图像，整合了图像分析与临床报告生成。
• 设计统一的DenseNet视觉编码器与多级LSTM解码器架构，有效捕获细粒度视觉模式与长期语言依赖。
• 开发增强的离策略演员-评论家策略，利用双网络（策略网络与价值网络）实现单词级精炼与序列级连贯性优化。
• 采用复合奖励函数，线性组合标准化NLP指标（如BLEU、METEOR、ROUGE-L），直接优化临床准确性与报告多样性。

Methodology: 论文采用编码器-解码器架构，编码器使用预训练的DenseNet提取胸部X光图像的深层视觉特征；解码器使用多级LSTM生成报告文本。在强化学习框架中，策略网络负责局部单词生成，价值网络评估全局连贯性，奖励网络对部分生成的报告进行评分。训练采用离策略演员-评论家方法，通过复合奖励函数（线性组合BLEU、METEOR、ROUGE-L）指导网络更新。推理时，模型根据策略网络输出逐步生成报告。

Key Results:

• 在IU-Xray数据集上，RL-ACRGNet的BLEU-4达到0.47%，METEOR达到0.17%，ROUGE-L达到0.518%，均优于现有最优基线。
• 在MIMIC-CXR大规模数据集上的评估证实模型具有良好的泛化能力，能够生成高质量、临床相关的报告。
• 与先前工作（CNN-O-ELMNet、MultiFusionNet、CXR-Net）相比，从疾病诊断扩展至全尺度描述性报告生成，实现了功能升级。

Tech Stack:

• DenseNet（预训练卷积神经网络编码器）
• 多级LSTM（长短期记忆网络解码器）
• 离策略强化学习（Off-policy Reinforcement Learning）
• 演员-评论家方法（Actor-Critic）
• 策略网络（Policy Network）
• 价值网络（Value Network）
• 奖励网络（Reward Network）
• 复合奖励函数（线性组合BLEU、METEOR、ROUGE-L）
• IU-Xray数据集
• MIMIC-CXR数据集

Strengths:

• 将强化学习与CNN-RNN框架结合，有效解决了传统序列模型在全局连贯性和临床一致性上的不足。
• 采用离策略演员-评论家方法，提高了样本效率并稳定了训练过程。
• 复合奖励函数直接优化多个NLP指标，使报告生成更贴近临床评估标准。
• 在多个数据集上验证了模型的泛化能力，且从诊断任务扩展至报告生成任务，具有实际临床价值。

Limitations:

• 论文未详细讨论模型在罕见疾病或异常发现上的生成能力，可能对长尾分布不敏感。
• 强化学习训练可能对超参数敏感，且计算成本较高，文中未提供详细的训练时间或资源消耗分析。
• 仅使用标准NLP指标（BLEU、METEOR、ROUGE-L）评估，缺乏临床专家评估或更专业的医学指标（如临床准确性、错误率等）。
• 模型依赖预训练DenseNet，可能无法充分利用最新视觉架构（如Transformer）的优势。

Relevance To Keywords:

• 强化学习：论文核心方法为离策略强化学习，与关键词“强化学习”直接相关。
• 表征学习：DenseNet编码器与LSTM解码器共同学习视觉与文本表征，属于表征学习范畴。
• 世界模型：论文未明确构建世界模型，但强化学习中的环境可视为图像状态空间，有一定间接关联。
• 多模态大模型的理解和生成一体化：论文实现从图像到文本的生成，属于多模态理解与生成一体化，但未使用大模型架构（如Transformer），规模较小。
• 后训练：强化学习阶段可视为对预训练编码器-解码器的后训练优化，与“后训练”概念相关。
• 原生多模态大模型：论文未采用原生多模态大模型（如LLaVA、GPT-4V），而是定制化CNN-RNN-RL架构，相关性较弱。
• Model-Based RL：论文使用离策略RL，但未显式建模环境动态，属于Model-Free RL，与Model-Based RL相关性较低。

随着大语言模型（LLM）智能体日益借助模型上下文协议（MCP）在复杂环境中运行，其动作空间的扩展赋予了智能体不安全的能力，并凸显了权力寻求的风险。虽然广泛的动作空间和更大的环境影响对于任务完成至关重要，但它们创造了一个脆弱的风险面，其中微小的错误或幻觉会被放大为灾难性失败。对此，我们提出 SafeMCP，这是一种服务端防御插件，通过针对未来安全风险的预测性推理来约束工具获取。SafeMCP 利用内部世界模型进行前瞻推理，以实施两层防御：主动工具过滤以约束危险的权力扩张，以及作为故障安全措施的即时干预。为了训练 SafeMCP，我们引入一个三阶段流程，包括环境动态锚定、安全策略初始化以及具有双重可验证奖励的强化学习（RL）。在 PowerSeeking Bench、ToolEmu 和 AgentHarm 上的实验表明，SafeMCP 实现了安全均衡，在有效缓解风险的同时保持了智能体效用。

As Large Language Model (LLM) agents increasingly leverage the Model Context Protocol (MCP) to operate in complex environments, the expansion of their action spaces offers agents unsafe capabilities and underscores the risk of power-seeking. While broad action space and greater environment influence are essential for task fulfillment, they create a fragile risk surface where minor errors or hallucinations are magnified into catastrophic failures. In response, we propose SafeMCP, a {server-side} defense plugin that constrains tool acquisition via predictive reasoning regarding future safety risks. SafeMCP utilizes an internal world model for look-ahead reasoning to implement a two-tier defense: proactive tool filtering to constrain hazardous power expansion and immediate intervention as a fail-safe. To train SafeMCP, we introduce a three-stage pipeline comprising environmental dynamic grounding, safe policy initialization, and reinforcement learning (RL) with dual verifiable rewards. Experiments on PowerSeeking Bench, ToolEmu, and AgentHarm show that SafeMCP achieves a safe equilibrium, effectively mitigating risks while preserving agent utility.

评分理由: The paper centers on SafeMCP, which explicitly utilizes an internal 'World Model' for look-ahead reasoning (Score: 8) and combines this with Reinforcement Learning for safety training (Score: 7). It focuses on LLM agent safety rather than model unification (Score: 2), tokenization architecture (Score: 0), or visual encoders (Score: 0). While it involves LLMs, it is not specifically a Multimodal LLM study (MLLM: 3, MultiModal: 2). No matching expert authors from the provided list were found in the authorship.

SafeMCP, World Model, Look-ahead Reasoning, Power Seeking, Reinforcement Learning, LLM Agent Defense, Tool Acquisition

Chinese Title: SafeMCP：基于环境前瞻推理的LLM智能体防御主动功率调节

Summary: 本文针对LLM智能体通过模型上下文协议（MCP）扩展工具集时面临的安全风险，提出SafeMCP——一种服务器端防御插件。该插件利用内部世界模型进行前瞻推理，实现两层防御：主动工具过滤（排除导致危险状态转移的工具）和即时拦截（作为故障安全）。将智能体与防御的交互建模为合作Stackelberg功率博弈，其中功率由状态相关的有效工具集量化。通过三阶段训练流程（环境动态基础、安全策略初始化、双可验证奖励强化学习）训练SafeMCP。在PowerSeeking Bench、ToolEmu和AgentHarm基准上的实验表明，SafeMCP在保持智能体效用的同时有效缓解风险，实现了安全均衡。

Innovations:

• 将智能体-防御交互形式化为合作Stackelberg功率博弈，将防御转化为功率约束问题，实现安全与效用的最优平衡。
• 首次提出服务器端防御SafeMCP，结合环境前瞻推理与主动工具过滤，在不中断工作流的前提下实现安全功率调节，支持即插即用。
• 采用双可验证奖励机制和Smooth Tchebycheff标量化，增加奖励密度并避免梯度饥饿问题。
• 提出三阶段训练流程：环境动态基础、安全策略初始化、强化学习，使SafeMCP能够理解自动扩展工具集带来的变化并推理未来风险状态。

Methodology: SafeMCP采用三阶段训练流程：1）环境动态基础：收集MCP环境中的状态-动作轨迹，训练世界模型预测状态转移；2）安全策略初始化：基于世界模型进行前瞻推理，初始化安全工具过滤策略；3）强化学习与双可验证奖励：使用RL训练防御策略，奖励包括安全性和任务完成度，通过STCH标量化将离散反馈转化为连续信号。推理时采用模拟-评估-约束范式：预测下一状态，分类安全状态，过滤导致不可逆危险转移的工具，并实施两层防御（主动过滤和即时拦截）。

Key Results:

• 在PowerSeeking Bench上，SafeMCP有效约束了自动扩展动作空间的风险边界，防止了危险功率寻求行为。
• 在ToolEmu和AgentHarm基准上，SafeMCP在保持高任务效用的同时显著降低了安全风险。
• 与现有后验过滤方法相比，SafeMCP避免了过度拒绝，通过细粒度权限约束引导智能体安全完成任务。
• SafeMCP的即插即用设计使其能够兼容多种LLM智能体，无需修改智能体内部逻辑。

Tech Stack:

• 合作Stackelberg功率博弈（Cooperative Stackelberg Power Game）
• 世界模型（World Model）用于状态转移预测
• 强化学习（Reinforcement Learning）
• 双可验证奖励（Dual Verifiable Rewards）
• Smooth Tchebycheff（STCH）标量化
• 模型上下文协议（Model Context Protocol, MCP）
• 前瞻推理（Look-Ahead Reasoning）
• 主动工具过滤（Proactive Tool Filtering）
• 即时拦截（Immediate Intervention）

Strengths:

• 创新性地将防御问题建模为功率博弈，理论框架清晰。
• 服务器端设计实现即插即用，与智能体无关，易于部署。
• 前瞻推理能力克服了传统后验过滤的短视问题，能预防未来风险。
• 双奖励机制和STCH标量化提高了训练效率和稳定性。
• 在多个基准上验证了安全与效用的平衡，实验充分。

Limitations:

• 依赖世界模型的预测准确性，模型误差可能导致防御失效（论文提及了失败模式分析但未完全解决）。
• 训练流程需要大量环境交互数据，可能难以迁移到全新领域。
• 当前仅针对MCP协议下的工具获取场景，对其他协议或非工具型智能体可能不适用。
• 未讨论对抗性攻击下防御的鲁棒性，例如智能体故意绕过过滤。

Relevance To Keywords:

• 世界模型（World Models）：论文核心使用世界模型进行前瞻推理，预测状态转移和安全分类，与关键词高度相关。
• 强化学习（Reinforcement Learning）：采用RL训练防御策略，使用双可验证奖励，属于模型基RL（Model-Based RL）范畴。
• 表征学习（Representation Learning）：世界模型需要学习环境状态的有效表征，但论文未深入讨论表征学习方法。
• 原生多模态大模型/多模态大模型的理解和生成一体化：论文主要针对LLM智能体，未涉及多模态，相关性较低。
• 后训练（Post-training）：SafeMCP的训练属于后训练阶段，但论文未强调此概念。

传统视频质量评估 (VQA) 狭隘地专注于美学保真度，却忽略了定义用户生成内容 (UGC) 质量的复杂社会动态。在此工作中，我们提出了一种范式转变，即从以信号为中心的指标转向以人为中心的共鸣评估。我们引入了 CASTER（社区感知的社会文本参与与共鸣评估），这是一个新任务，旨在评估某项用户生成内容 (UGC) 是否基于其多模态属性而非仅凭视觉质量实现了积极的社区共鸣。为此，我们提出了 MEDEA（多模态参与驱动评估架构），该架构引入了一种新颖的社会思维链 (Social-CoT) 机制。与传统逻辑思维链 (CoT) 不同，社会思维链 (Social-CoT) 执行多模态视角采择，实例化多样化的观众角色，以模拟集体认知和情感反应（即“社区心智”），随后再得出质量判断。MEDEA 采用两阶段方法进行训练，包含监督微调以及结合社会对齐奖励的过程监督强化学习，以确保推理路径扎根于真实的人类社会认知。为支持该任务，我们发布了 CASTER-Bench，这是一个涵盖多样化用户生成内容 (UGC) 类别的全面人工标注基准。实验表明，MEDEA 在 CASTER-Bench 上显著优于最先进基线，同时提供可解释且富有同理心的推理路径，这些路径与真实的社区反馈相一致。

Traditional Video Quality Assessment (VQA) focuses narrowly on aesthetic fidelity, overlooking the complex social dynamics that define quality in User-Generated Content (UGC). In this work, we propose a paradigm shift from signal-centric metrics to human-centric resonance assessment. We introduce CASTER (Community-Aware Assessment of Social Textual Engagement and Resonance), a new task that evaluates whether a UGC item achieves positive community resonance based on its multimodal attributes rather than visual quality alone. To address this, we present MEDEA (Multimodal Engagement-Driven Evaluation Architecture), which introduces a novel Social Chain-of-Thought (Social-CoT) mechanism. Unlike traditional logical CoT, Social-CoT performs multimodal perspective-taking, instantiating diverse viewer personas to simulate collective cognitive and emotional reactions (i.e., the "community mind") before deriving a quality judgment. MEDEA is trained via a two-stage approach involving supervised fine-tuning and process-supervised reinforcement learning with Social Alignment Reward to ensure reasoning paths are grounded in authentic human social cognition. To support this task, we release CASTER-Bench, a comprehensive human-annotated benchmark covering diverse UGC categories. Experiments demonstrate that MEDEA significantly outperforms state-of-the-art baselines on CASTER-Bench while providing interpretable and empathetic reasoning paths that align with real community feedback.

评分理由: 论文核心贡献在于多模态用户生成内容评估架构（MultiModal 高相关），涉及多模态大模型推理应用（MLLM 中等相关）。虽使用强化学习进行训练，但侧重过程监督与社会对齐，非典型的基于模型的强化学习（model-based RL 低相关）。论文未涉及统一模型架构、Tokenizer 设计或世界模型构建（相关度低）。视觉编码器作为多模态组件隐含存在但非核心创新点。作者列表中未包含指定的 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 专家，故无额外加分。加权总分 33.0，高于动态及格分 27.8。

Community-Aware Assessment, Social Textual Engagement, User-Generated Content, Multimodal Engagement-Driven Evaluation, Social Chain-of-Thought, Reinforcement Learning, Social Alignment Reward

Chinese Title: 社区感知的社会文本参与与共鸣评估：一种以人为中心的用户生成内容评价视角

Summary: 本文提出了一种从信号中心指标向以人为中心的共鸣评估的范式转变。传统视频质量评估（VQA）仅关注美学保真度，忽略了用户生成内容（UGC）中定义质量的复杂社会动态。为此，作者引入了CASTER（社区感知的社会文本参与与共鸣评估）任务，旨在基于多模态属性而非视觉质量来评估UGC是否实现积极的社区共鸣。为应对该任务，提出了MEDEA（多模态参与驱动评估架构），其核心是一种新颖的社会思维链（Social-CoT）机制。与传统的逻辑CoT不同，Social-CoT执行多模态视角转换，实例化多样化的观众角色以模拟集体认知和情感反应（即“社区心智”），然后得出质量判断。MEDEA通过两阶段训练：监督微调和基于过程监督的强化学习（结合社会对齐奖励），确保推理路径基于真实的人类社会认知。为支持该任务，作者发布了CASTER-Bench，一个涵盖多样化UGC类别的人工标注基准。实验表明，MEDEA在CASTER-Bench上显著优于现有基线，同时提供可解释且富有同理心的推理路径，与真实社区反馈一致。

Innovations:

• 提出CASTER任务，将UGC质量评估重新定义为社区共鸣识别，而非传统视觉保真度。
• 提出Social-CoT机制，通过模拟多样化观众角色和情感反应路径实现多模态视角转换，模拟“社区心智”。
• 设计MEDEA架构，结合监督微调和过程监督强化学习，并引入社会对齐奖励以确保推理路径符合真实社会认知。
• 发布CASTER-Bench基准，包含长视频（平均442秒）和多模态信息（帧、封面、标题、标签、ASR等），聚焦叙事连贯性、信息密度和持续参与。
• 通过实验证明MEDEA在社区共鸣评估上显著优于传统VQA和多模态基线，并提供可解释的推理路径。

Methodology: 论文采用两阶段训练方法：首先使用大规模伪标签数据进行监督微调（SFT），然后使用过程监督强化学习（RL）结合社会对齐奖励进行训练。在RL阶段，模型生成Social-CoT推理路径，通过奖励函数确保路径反映真实人类社会认知。评估时，MEDEA接收多模态输入（视频帧、封面、标题、标签、类别、ASR转录），先模拟多种观众角色的评论反应，再聚合为最终质量判断。基准构建采用分层随机抽样，由10名专业内容运营专家根据人类中心评分标准进行标注。

Key Results:

• MEDEA在CASTER-Bench上显著优于传统VQA方法（如VSFA、DOVER、MaxVQA）和多模态基线（如Q-Align、LMM-VQA、FineVQ）。
• 实验表明，正面用户评论与专家判断之间存在强相关性，而传统VQA和视觉中心模型表现较差。
• MEDEA生成的Social-CoT推理路径具有可解释性，能够模拟不同观众的情感反应，与真实社区反馈一致。
• CASTER-Bench中质量标签分布为：优秀10.6%、良好17.0%、一般38.6%、较差33.7%，反映真实平台分布。

Tech Stack:

• Social Chain-of-Thought (Social-CoT) 机制
• 监督微调 (Supervised Fine-Tuning, SFT)
• 过程监督强化学习 (Process-Supervised Reinforcement Learning)
• 社会对齐奖励 (Social Alignment Reward)
• 多模态编码器（视频帧、封面、标题、标签、ASR等）
• CLIP-based 视觉语言预训练
• Transformer架构（用于时序建模）
• 分层随机抽样（数据收集）
• 专家标注协议（人类中心评分标准）

Strengths:

• 创新性地将社会推理引入UGC质量评估，突破传统VQA的局限。
• Social-CoT机制模拟社区心智，提供可解释的推理路径，增强模型可信度。
• CASTER-Bench基准针对长视频和真实UGC场景，填补了现有基准的空白。
• 两阶段训练策略结合伪标签和专家标注，有效利用数据。
• 实验全面，对比多种基线，验证了方法的有效性。

Limitations:

• CASTER-Bench规模较小（1485个样本），可能限制泛化能力。
• 依赖ASR转录和标签等元数据，对于缺失元数据的UGC可能效果下降。
• Social-CoT模拟的观众角色数量有限，可能无法覆盖所有社区多样性。
• 训练过程需要大量伪标签数据，其质量可能影响最终性能。
• 未讨论模型在跨平台或不同文化背景下的迁移能力。

Relevance To Keywords:

• Unify Models: 论文提出的MEDEA架构整合了多模态理解和生成（通过Social-CoT生成评论），体现了统一模型的思路。
• World Models: Social-CoT模拟社区心智可视为一种简化的世界模型，预测观众反应。
• Representation Learning: 论文使用多模态编码器学习内容表示，但未深入探讨表征学习创新。
• Model-Based RL: 过程监督强化学习属于模型无关方法，但社会对齐奖励可视为基于模型的奖励设计。
• 原生多模态大模型: MEDEA基于多模态输入，但未明确使用原生多模态大模型（如LLaVA），而是采用CLIP等预训练模型。
• 多模态大模型的理解和生成一体化: Social-CoT同时进行理解（分析内容）和生成（模拟评论），符合一体化趋势。
• 表征学习: 论文未重点讨论表征学习，但多模态融合涉及表征。
• 世界模型: 模拟社区心智可看作构建社会世界模型。
• 强化学习: 论文使用RL进行后训练，与关键词相关。
• 后训练: 两阶段训练中的RL阶段属于后训练，与关键词匹配。

视觉 - 语言模型（VLMs），例如 CLIP，实现了强大的零样本（zero-shot）分类。然而，它们的预测仍然对虚假关联（spurious correlations）敏感，其中上下文线索主导了语义内容。早期解决方案通常依赖于微调（fine-tuning）或提示工程（prompt engineering），这要么削弱了预训练模型的优势，要么容易产生幻觉（hallucination）。在这项工作中，我们提出了密度感知翻译（DAT），该机制利用从组参考集导出的局部几何密度项来优化图像 - 文本相似度得分。我们的方法受以下现象的启发：CLIP 嵌入（embeddings）表现出模态间隙（modality gap），并位于特征空间中的一个各向异性壳（anisotropic shell）上：常见模式聚集在均值附近，而稀有模式则被推向外部。这种几何结构造成了不均匀的对齐，其中虚假关联被放大，而具有语义意义但稀有的线索却被边缘化（marginalised）。为了解决这一问题，我们采用一种基于嵌入密度的相对度量来重新缩放相似度，抑制弥散区域中的过度自信得分，同时保留密集且语义一致的匹配。在基准数据集上的实验结果表明，最坏组准确率和平均准确率均得到一致提升，凸显了密度感知翻译作为一种简单有效的校准机制（calibration mechanism），用于使用多模态模型进行可靠的零样本分类。

Vision-Language models (VLMs), such as CLIP, achieve powerful zero-shot classification. However, their predictions remain sensitive to spurious correlations, where contextual cues dominate over semantic content. Earlier solutions typically rely on fine-tuning or prompt engineering, which either undermine the advantages of pre-trained models or are prone to hallucination. In this work, we propose Density-Aware Translation (DAT) that refines image-text similarity scores using a local geometric density term derived from group reference sets. Our approach is motivated by the phenomenon that CLIP embeddings exhibit a modality gap and lie on an anisotropic shell in the feature space: common patterns cluster near the mean, while rare patterns are pushed outward. This geometry creates uneven alignment, where spurious correlations are amplified while semantically meaningful but rare cues are marginalised. To address this, we employ a relative measure to rescale similarities based on embedding density, suppressing overconfident scores in diffuse regions while preserving dense, semantically consistent matches. Experimental results on benchmark datasets demonstrate consistent improvements in worst-group and average accuracy, highlighting density-aware translation as a simple and effective calibration mechanism for reliable zero-shot classification using multimodal models.

评分理由: 论文主要研究视觉语言模型（VLMs）的零-shot 分类校准，通过密度感知翻译解决伪相关性问题。MultiModal 高度相关，因研究对象本质为多模态模型；Unify Models 和 Visual Encoder 中度相关，涉及多模态统一表征及编码器嵌入空间，但未深入架构设计；MLLM 中度相关，属于多模态大模型领域但论文针对的是 CLIP 类 VLM 而非典型 MLLM；Tokenizer 低相关，未涉及分词器设计；World Models 和 model-based RL 完全不相关，论文不涉及世界模型或强化学习。

Vision-Language Models, Zero-Shot Classification, Spurious Correlations, Embedding Density, Similarity Calibration, Multimodal Models, Density-Aware Translation

Chinese Title: 零样本视觉语言模型中虚假相关性的密度感知平移

Summary: 本文提出密度感知平移（DAT）方法，用于缓解零样本视觉语言模型（如CLIP）中的虚假相关性。研究发现CLIP嵌入空间呈现各向异性的椭球壳结构：频繁出现的虚假相关样本聚集在均值附近，而稀有但有意义的样本分布在稀疏区域，导致余弦相似度评分偏向虚假模式。DAT通过从参考集中估计局部几何密度，重新缩放图像-文本相似度，抑制稀疏区域的过度自信分数，保留密集区域的一致匹配。理论分析表明，DAT纠正了余弦相似度在各向异性嵌入下的偏差，恢复了缺失的对数似然项，与贝叶斯最优决策对齐。实验在多个基准数据集上一致提升了最差组准确率和平均准确率，且无需微调或提示工程，保持零样本推理能力。

Innovations:

• 提出DAT，一种零样本机制，利用组参考密度重新缩放图像-文本相似度，无需微调、提示工程或测试时虚假属性标签。
• 理论证明DAT在各向异性嵌入下纠正余弦相似度的偏差，恢复缺失的对数似然项，与贝叶斯最优决策规则对齐。
• 通过Tangent-Space Mahalanobis距离量化组间对齐偏差，揭示CLIP嵌入几何导致虚假相关性被放大的现象。
• 提出DAT*变体，在无显式虚假属性标注时自动推断组归属，保持零样本设置。

Methodology: 首先构建每组平衡的参考集（通过采样或零样本属性推断），然后提取图像和文本的冻结CLIP嵌入。对每个测试样本，计算其与各提示的余弦相似度，并利用参考集估计每个组的局部几何密度（通过相对密度比）。最后将原始相似度乘以密度感知权重，抑制稀疏区域（虚假相关）的得分，保留密集区域（真实语义）的得分。理论部分使用Kent分布建模组分布，推导余弦相似度与贝叶斯最优决策的偏差，并证明DAT的校正作用。

Key Results:

• 在Waterbirds、CelebA等基准数据集上，DAT一致提升了最差组准确率和平均准确率。
• 相比现有零样本去偏方法（如Orth-Cali、TIE），DAT在多个VLM（CLIP ViT-B/32、ViT-L/14等）上取得更优或相当的性能。
• 理论分析验证了DAT恢复各向异性对数似然项，使决策边界接近贝叶斯最优。
• DAT*在无虚假属性标签时仍能有效提升鲁棒性，接近有标签版本。

Tech Stack:

• CLIP（ViT-B/32, ViT-L/14等）作为基础VLM
• Kent（Fisher-Bingham）分布用于建模组嵌入分布
• Tangent-Space Mahalanobis距离（TMD）用于量化组间对齐
• 相对密度比估计（基于参考集）
• 余弦相似度重缩放机制

Strengths:

• 完全零样本，无需微调或访问模型参数，仅需少量平衡参考集。
• 理论扎实，从几何角度解释了虚假相关性的成因并提供了校正方案。
• 方法简单有效，在多个基准和多种VLM上均取得一致改进。
• 提供DAT*变体，适应无虚假属性标签的实际场景。

Limitations:

• 依赖参考集的构建质量，若参考集不平衡或噪声大可能影响密度估计。
• DAT*中零样本属性推断可能引入额外误差，尤其当属性描述不准确时。
• 方法仅在分类任务上验证，对检索、生成等任务的适用性未讨论。
• 需要为每个组构造提示，当类别或属性数量很大时成本增加。

Relevance To Keywords:

• 表征学习：论文深入分析CLIP嵌入空间的几何结构，提出密度感知重缩放，属于表征学习中的校准方法。
• 多模态大模型的理解和生成一体化：研究对象为零样本VLM（如CLIP），属于多模态理解范畴，但未涉及生成。
• 世界模型：论文未直接涉及世界模型，但通过密度感知校正虚假相关性，可提升模型对真实因果关系的建模，间接相关。
• 后训练：DAT是一种后训练校准方法，无需微调，符合后训练范式的轻量级调整。
• 强化学习：论文未涉及强化学习。
• 模型基础RL：不相关。

驾驶视觉 - 语言模型（VLMs）必须准确理解由操作设计域（ODDs）定义的多样化条件下的场景，然而验证仍然稀疏：许多切片缺失，导致经验性故障率不可靠。我们提出 SliceScorer，这是一种用于缺失切片推荐的确定性评分规则，它结合了（i）基于曝光的覆盖先验，用于优先处理稀有且测试不足的区域，以及（ii）邻居失败先验，该先验从类似的测试条件传播风险。SliceScorer 刻意保持简单——具有可解释性、可审计性和保守性——这些属性对于安全关键验证至关重要。针对超出声明操作设计域（ODD）的压力测试，我们将 SliceScorer 嵌入 SliceNav 中，这是一个由大语言模型编排的验证管道。在该管道中，模型解释开发者查询以选择相关操作（分类、评分、采集、评估）及词汇扩展，从而构建验证工作流程，同时保持所有评分的确定性和可审计性。在三个驾驶视觉 - 语言模型（WiseAD、DriveMM、Cosmos-Reason2-2B）上的实验表明，SliceNav 比先前的切片发现方法更有效地揭示高风险覆盖缺口，同时在条件空间中保持多样化的推荐。消融实验证实两个评分组件均有贡献，而定性分析展示了从开发者查询到针对性评估的端到端工作流程。

Driving vision-language models (VLMs) must accurately understand scenes across diverse conditions defined by Operational Design Domains (ODDs), yet verification remains sparse: many slices are missing, making empirical failure rates unreliable. We propose SliceScorer, a deterministic scoring rule for missing-slice recommendation that combines (i) an exposure-based coverage prior to prioritize rare, under-tested regions, and (ii) a neighbor-failure prior that propagates risk from similar tested conditions. SliceScorer is deliberately simple - interpretable, auditable, and conservative - properties essential for safety-critical validation. For stress testing beyond the declared ODD, we embed SliceScorer within SliceNav, an LLM-orchestrated verification pipeline where the model interprets developer queries to select relevant operators (triage, scoring, acquisition, evaluation) and vocabulary extensions, composing verification workflows while keeping all scoring deterministic and auditable. Experiments on three driving VLMs (WiseAD, DriveMM, Cosmos-Reason2-2B) show that SliceNav surfaces high-risk coverage gaps more effectively than prior slice-discovery methods while maintaining diverse recommendations across the condition space. Ablations confirm both scoring components contribute, and qualitative analysis demonstrates end-to-end workflows from developer query to targeted evaluation.

评分理由: 论文聚焦驾驶 VLMs 的测试验证框架，与 MultiModal 和 MLLM 领域高度相关。未涉及模型架构统一、Tokenizer、视觉编码器、世界模型或强化学习，故相关度低。作者无指定专家，无加分。加权总分 33.0，高于动态及格分 27.8。

Driving VLMs, Coverage Gap Discovery, SliceScorer, SliceNav, Safety-critical Validation, Operational Design Domains, LLM-orchestrated Verification

Chinese Title: 下一步测试什么：驾驶视觉语言模型中可解释的覆盖缺口发现

Summary: 本文针对驾驶视觉语言模型（VLM）在多样化运行设计域（ODD）条件下的验证问题，提出了一种可解释的缺失场景推荐方法。现有方法仅能诊断已评估数据中的失败模式，无法指导下一步测试。作者提出SLICESCORER，一种确定性评分规则，结合基于暴露度的覆盖先验（优先测试罕见、未充分测试的区域）和邻居失败先验（从相似已测试条件传播风险）。进一步构建SLICENAV，一个由大语言模型（LLM）编排的验证流水线，能够根据开发者自然语言查询选择相关操作符（分类、评分、获取、评估）并组合验证工作流，同时保持评分过程的确定性和可审计性。在三个驾驶VLM（WiseAD、DriveMM、Cosmos-Reason2-2B）上的实验表明，SLICENAV比先前的切片发现方法更有效地发现高风险覆盖缺口，同时保持推荐多样性。消融实验验证了两个评分组件的贡献，定性分析展示了从开发者查询到目标评估的端到端工作流。

Innovations:

• 形式化了驾驶VLM验证中的缺失场景推荐问题：给定部分测试覆盖，对未测试条件按预测失败风险排序。
• 提出SLICESCORER，一种结合稀有性先验和邻居失败先验的确定性评分规则，具有可解释、可审计和保守性特点。
• 构建SLICENAV，一个LLM编排的验证流水线，支持灵活、查询驱动的验证工作流，同时保持确定性排序。
• 在三个驾驶VLM上验证了方法有效性，相比SliceFinder等基线，在更大测试预算下平均降低65%-71%的遗漏失败风险，并保持高多样性。

Methodology: 论文采用以下技术路线：首先定义ODD条件空间和切片概念，将验证数据分为已观测切片和缺失切片。然后设计SLICESCORER评分函数，由两部分组成：暴露度稀有性先验（基于边际频率估计联合暴露度，取补数并幂次调整）和邻居失败先验（通过嵌入相似度从已观测高错误切片传播风险）。最后将SLICESCORER嵌入SLICENAV框架，由LLM根据用户查询选择操作符（分类、评分、获取、评估），组合成端到端验证工作流。所有评分保持确定性，LLM仅用于解释查询和编排流程。

Key Results:

• 在K=5000测试预算下，SLICESCORER相比SliceFinder在DriveMM上平均降低65%的遗漏失败风险，在Cosmos上降低71%。
• 推荐列表在条件空间上具有高多样性，避免聚类在单一区域。
• 消融实验证实稀有性先验和邻居失败先验均对性能有贡献。
• 定性分析展示了从开发者查询到ODD扩展、数据获取和VLM评估的完整工作流。

Tech Stack:

• SLICESCORER：基于边际频率的暴露度估计（拉普拉斯平滑）、乘积独立性假设、幂次调整的稀有性先验；基于嵌入相似度的邻居失败传播（使用文本嵌入模型）。
• SLICENAV：LLM（大语言模型）作为编排器，操作符包括Triage、In-ODD scoring、Out-of-ODD scoring、Acquisition、Evaluation。
• 基准方法：SliceFinder、SliceLine。
• 评估模型：WiseAD、DriveMM、Cosmos-Reason2-2B。
• 评估指标：风险捕获（遗漏失败风险）、多样性（条件空间覆盖）。

Strengths:

• 方法设计简单、可解释、可审计，适合安全关键验证场景。
• 首次提出缺失场景推荐问题，填补了现有切片发现方法仅诊断已评估数据的空白。
• LLM编排框架灵活，支持自然语言查询驱动的验证流程，同时保持核心评分确定性。
• 实验充分，在多个VLM上验证了有效性和多样性，消融实验清晰。

Limitations:

• 暴露度估计采用维度独立性假设，可能不准确，作者承认这是保守近似。
• 邻居失败先验依赖嵌入相似度，语义相近但实际风险不同的切片可能被错误传播。
• 方法依赖种子验证表的质量和样本阈值，稀疏数据下统计意义有限。
• 未考虑测试成本（如数据获取难度）对推荐排序的影响。
• 仅在驾驶VLM上验证，泛化到其他领域需进一步研究。

Relevance To Keywords:

• 论文涉及多模态大模型（驾驶VLM）的验证，与“原生多模态大模型”、“多模态大模型的理解和生成一体化”有一定关联，但重点不在模型本身而在验证方法。
• ODD条件空间可视为一种世界模型（World Model）的离散化表示，论文通过覆盖缺口发现来评估模型在未知条件下的行为，与世界模型概念相关。
• 表征学习（Representation Learning）在邻居失败先验中通过嵌入相似度体现，但并非核心。
• 强化学习（Model-Based RL）和后训练（Post-training）与本文关系较弱，本文更侧重于验证和测试选择，而非训练或优化。

视频扩散模型在肖像视频生成方面取得了显著进展，然而其高昂的计算需求限制了它们在交互式应用中的使用。本文提出了一种基于语音音频和参考图像的可流式传输说话肖像视频生成框架。该框架专为流式传输场景精心设计，包含一个用于深层潜在压缩的因果视频 VAE 和一个自回归潜在去噪模型。我们的因果 VAE 整合了可变数量的参考图像作为引导，使网络能够关注动态信息而非静态外观，从而提高了压缩效率和重建质量。此外，我们扩展了残差自编码范式，以改进 VAE 中的时空因果性处理。生成器基于 Rectified Flow Transformer 架构，并以块状自回归的方式生成视频潜在表示。我们的方法实现了高质量说话肖像视频的实时生成，速度显著快于基线模型。此外，综合实验表明，该方法在真实性、生动性和视频质量方面与这些大型模型相当，甚至优于它们。

Video diffusion models have significantly advanced portrait video generation, yet their high computational demands limit their use in interactive applications. This work presents a framework for streamable talking portrait video generation conditioned on speech audio and reference images. Designed meticulously for streaming scenarios, it features a causal video VAE for deep latent compression and an autoregressive latent denoising model. Our causal VAE integrates a variable number of reference images as guidance, allowing the network to focus on dynamic information rather than static appearance, thereby enhancing compression efficacy and reconstruction quality. Additionally, we extend the residual auto-encoding paradigm to improve spatial-temporal causality handling in our VAE. The generator is based on a Rectified Flow Transformer architecture and produces video latents in a blockwise auto-regressive manner. Our method enables the real-time generation of high-quality talking portrait videos, achieving speeds significantly faster than baseline models. Furthermore, comprehensive experiments demonstrate that it is on par with or even outperforms these large models in realism, vividness, and video quality.

评分理由: 论文主要研究实时说话人像视频生成，采用因果 VAE 和扩散模型。'MultiModal'高度相关（音频 + 视频输入）；'Visual Encoder'中度相关（参考图像编码）；'Tokenizer'和'World Models'低相关（潜在空间建模）；'Unify Models'、'MLLM'、'model-based RL'无关（无语言模型、强化学习或模型统一）。未发现指定专家。

Talking Portrait Video, Streamable Generation, Causal Video VAE, Reference-Guided, Real-time Generation, Audio-Video Conditioning, Rectified Flow Transformer

Chinese Title: 基于参考引导深度压缩变分自编码器的可流式说话人像视频实时生成

Summary: 本文提出一个用于可流式说话人像视频实时生成的框架，旨在解决现有视频扩散模型计算成本高、难以用于交互式应用的问题。该框架包含一个因果视频VAE用于深度潜在压缩，以及一个基于音频和参考图像条件的自回归潜在去噪模型。因果VAE通过引入可变数量的参考图像作为解码器引导，使网络专注于动态信息而非静态外观，从而提升压缩效率和重建质量；同时扩展了残差自编码范式以改进时空因果处理。生成器采用整流流Transformer架构，以块状自回归方式生成视频潜在表示，支持通过KV缓存实现高效流式推理。实验表明，该方法在单个GPU上能以42 FPS生成512×512视频，速度比现有扩散模型快25倍以上，且在逼真度、生动性和视频质量方面与大型模型相当或更优。

Innovations:

• 提出可流式说话人像视频生成框架，结合因果视频VAE和块状自回归去噪模型，支持任意长度视频的连续实时生成。
• 提出参考引导视频VAE，将一张或多张参考人像图像注入解码器，使网络专注于动态信息，显著提升压缩效率和重建保真度。
• 实现768倍视频压缩率，比流行视频扩散模型的VAE高10-15倍，同时视频生成速度达42 FPS，比现有扩散模型快25倍以上。
• 将残差自编码范式扩展至因果视频VAE，通过时空分离的残差编码改进因果处理，进一步提升重建质量。

Methodology: 采用两阶段方法：首先训练一个因果视频VAE，其编码器由E1（时空下采样）和E2（空间下采样）组成，解码器由D1（空间上采样）和D2（时空上采样）组成，并在D1和D2之间插入基于Transformer的融合网络Dref，将参考图像经E1处理后的特征通过交叉注意力注入。VAE训练时从输入视频中随机采样参考帧。然后训练一个基于整流流Transformer的生成器，采用块状因果注意力机制，以自回归方式（教师强制策略）生成潜在表示，条件为音频特征和参考图像特征。整个框架在说话人像视频语料库上端到端训练。

Key Results:

• 视频生成速度达到42 FPS（512×512分辨率），比现有扩散模型（如VASA-1、MuseTalk等）快25倍以上。
• 视频压缩率达到768倍，比Stable Video Diffusion等模型的VAE高10-15倍。
• 在音频-唇同步、视觉质量、动态逼真度等指标上与大型模型（如VASA-1、MuseTalk）相当或更优。
• 支持任意长度视频的连续生成，无时间不连续性。

Tech Stack:

• 因果卷积神经网络
• RMSNorm归一化层
• Transformer（自注意力与交叉注意力）
• 整流流（Rectified Flow）
• 自回归建模（块状因果注意力）
• KV缓存（Key-Value Caching）
• 教师强制训练策略（Teacher Forcing）
• 残差自编码（Residual Auto-Encoding）
• 变分自编码器（VAE）

Strengths:

• 实现了实时、可流式的说话人像视频生成，满足交互式应用需求。
• 通过参考图像引导显著提升VAE压缩效率和重建质量，无需额外计算开销。
• 高压缩率（768倍）大幅减少潜在令牌长度，降低生成延迟。
• 生成视频包含丰富的动态效果（唇动、表情、头部/躯干运动、头发、光影），逼真度高。
• 与大型扩散模型相比，速度优势明显且质量不逊色。

Limitations:

• 依赖参考图像质量，若参考图像与生成视频差异较大（如不同光照、角度），可能影响效果。
• 当前方法主要针对单说话人场景，对多说话人或复杂背景的泛化能力未充分验证。
• 对音频质量敏感，噪声或低质量音频可能导致唇同步下降。
• 未讨论模型在低端硬件或移动设备上的部署可行性。

Relevance To Keywords:

• 原生多模态大模型：论文处理音频、图像、视频三种模态，通过VAE和Transformer实现多模态条件生成。
• 多模态大模型的理解和生成一体化：模型同时理解音频和参考图像内容，生成连贯视频，体现理解与生成融合。
• 表征学习：因果VAE学习紧凑潜在表征，参考引导优化表征聚焦动态信息，属于表征学习范畴。
• 世界模型：视频生成可视为对物理世界动态的建模，尤其是人物运动、光影等，与世界模型概念相关。
• 强化学习：论文未直接涉及强化学习，但后训练（如整流流）可视为生成模型的训练范式，与后训练相关。
• 后训练：整流流训练属于后训练方法，通过优化概率流提升生成质量。

工业异常检测历史上一直是一项单模态任务。近期出现的多模态视觉 - 语言模型（Vision-Language Models）已开发出能够同时接受图像和文本输入的系统，并被宣称能够实现文本引导的零样本及少样本检测。然而，这些方法沿用了源自单模态基准的评估协议，该协议保持文本条件恒定，因而无法衡量语言是否对决策产生了调节作用；报告的性能提升究竟源于文本引导还是强大的预训练视觉特征，这一问题仍未得到解决。我们提出了文本引导异常检测（Text-Guided Anomaly Detection, TGAD），这是一个结构化基准，旨在通过三个场景逐步提升语言的功能角色：一是基于 MVTec AD 的受控提示敏感性设置；二是 MVTec AD 的组件标记扩展版本，要求模型将评估限制在指定部件上；三是新的组装面板数据集（Assembled Panel Dataset, APD），这是一个真实的工业场景，要求模型同时具备缺陷类型和组件位置知识。我们在每种范式下评估了一个代表性模型：生成式大型视觉 - 语言模型、无训练判别式模型以及嵌入自适应判别式模型。在所有三个场景中，文本界面仅对决策产生了表面性的调节作用：提示内容会被模型吸收，除非移除对象名词（生成式模型的 I-AUROC 从 97.4 降至 82.6）；一旦将指定部件之外的缺陷视为正常，组件级别的指令便无法约束决策（从 90.3 降至 66.3）；而当两者在 APD 上结合时，图像级判别能力崩溃至低于 MVTec 水平，其中一例甚至低于随机水平（71.2, 50.5, 31.5）。这些结果表明，标准基准高估了当前多模态异常检测系统的文本引导能力，而此类协议是实现可通过语言可靠控制并用于工业部署的模型之先决条件。

Industrial anomaly detection has historically been a unimodal task. Recent multimodal vision-language models have produced systems that admit textual input alongside the image and are presented as enabling text-guided zero- and few-shot inspection. Yet these methods are evaluated with protocols inherited from unimodal benchmarks that hold the textual condition constant and therefore cannot measure whether language conditions the decision; whether reported gains reflect text guidance or strong pretrained visual features remains open. We introduce Text-Guided Anomaly Detection (TGAD), a structured benchmark that progressively increases the functional role of language across three scenarios: a controlled prompt-sensitivity setting on MVTec AD; a component-tagged extension of MVTec AD that requires the model to restrict its assessment to an instructed part; and the new Assembled Panel Dataset (APD), a realistic industrial setting that requires both defect-type and component-location knowledge. We evaluate one representative model per paradigm: generative large vision-language, training-free discriminative, and embedding-adaptive discriminative. In all three, the textual interface conditions the decision only superficially: prompt content is absorbed unless the object noun is removed (the generative model's I-AUROC drops from 97.4 to 82.6); component-level instructions do not constrain the decision once defects outside the instructed part are admitted as normal (from 90.3 to 66.3); and when both combine on APD, image-level discrimination collapses below the MVTec level, in one case below chance (71.2, 50.5, 31.5). These results suggest that standard benchmarks overstate the text-guided capabilities of current multimodal anomaly detection systems, and that a protocol of this kind is a prerequisite for models that can be reliably controlled through language for industrial deployment.

评分理由: The paper evaluates text-guided anomaly detection using multimodal models, making MultiModal and MLLM relevant. Visual Encoder is tangentially relevant. Unify Models, Tokenizer, World Models, and model-based RL are irrelevant as the paper focuses on benchmarking language conditioning in anomaly detection, not model architecture or reinforcement learning.

Text-Guided Anomaly Detection, Multimodal Vision-Language Models, Evaluation Benchmark, Language Conditioning, Industrial Anomaly Detection, Prompt Sensitivity, MVTec AD

Chinese Title: 文本引导异常检测的结构化基准：当语言停止影响决策时

Summary: 本文针对当前多模态异常检测方法在标准基准上表现良好但实际文本引导能力存疑的问题，提出了一个结构化基准TGAD（Text-Guided Anomaly Detection），通过三个逐步增加语言功能角色的场景来系统评估文本输入是否真正影响检测决策。场景一在MVTec AD上控制提示词变化，测试模型输出是否随语言移动；场景二引入组件级标注，要求模型仅检测指定部件的缺陷，忽略其他部件的异常；场景三提出新的组装面板数据集（APD），同时要求缺陷类型和组件位置知识。作者评估了三个代表性模型（生成式大视觉语言模型AnomalyGPT、无训练判别式LogSAD、嵌入自适应判别式AA-CLIP），发现文本接口仅表面地影响决策：提示词内容仅在移除物体名词时显著改变结果（对象锚点崩溃）；组件级指令无法约束全局决策（定位-决策分离）；在APD上图像级检测性能大幅下降甚至低于随机水平。结果表明当前基准高估了多模态异常检测系统的文本引导能力，该协议是构建可靠语言控制模型的前提。

Innovations:

• 提出了TGAD结构化基准，包含三个逐步增加语言功能角色的场景，系统评估文本引导异常检测的真实能力。
• 发布了组件标注扩展的MVTec AD数据集和新的组装面板数据集（APD），提供像素级标注和组件标签。
• 发现了“对象锚点崩溃”现象：模型仅在移除物体名词时才对提示变化敏感，表明文本仅作为弱类别先验。
• 揭示了“定位-决策分离”诊断特征：在指令压力下图像级检测性能崩溃，而区域级定位指标（AUPRO）下降较少。
• 通过三个代表性模型（生成式、无训练判别式、嵌入自适应判别式）的全面评估，证明当前多模态异常检测方法的文本引导能力被高估。

Methodology: 论文采用结构化基准测试方法，设计三个场景：场景一在MVTec AD上固定图像和标注，系统变化文本提示（从完整描述到仅物体名词再到无内容查询），测量输出变化；场景二对MVTec AD的9个物体类进行组件标签标注，定义两种评估设置（EV1仅无缺陷图像为正常，EV2允许无关缺陷图像为正常），测试模型是否仅关注指定组件；场景三使用新采集的APD数据集（电子板组装件），要求同时识别缺陷类型和组件位置。评估三个代表性模型：AnomalyGPT（生成式）、LogSAD（无训练判别式，并为其添加组件级注意力扩展）、AA-CLIP（嵌入自适应判别式），使用图像级AUROC、像素级AUROC和AUPRO指标。

Key Results:

• 在场景一中，生成式模型AnomalyGPT的I-AUROC从97.4降至82.6（移除物体名词后），而其他模型变化较小，表明文本仅作为弱类别先验。
• 在场景二中，组件级指令无法有效约束全局决策：LogSAD在EV2设置下I-AUROC从90.3降至66.3，即使添加组件注意力扩展仍脆弱。
• 在APD数据集上，图像级检测性能大幅下降：AnomalyGPT为71.2，LogSAD为50.5，AA-CLIP为31.5（低于随机水平）。
• 定位指标AUPRO下降相对较小，形成“定位-决策分离”现象。
• 所有模型在标准MVTec AD评估中表现良好，但在TGAD场景中暴露了文本引导的表面性。

Tech Stack:

• CLIP（对比语言-图像预训练）
• AnomalyGPT（生成式大视觉语言模型）
• LogSAD（无训练判别式异常检测）
• AA-CLIP（嵌入自适应判别式异常检测）
• MVTec AD数据集
• MVTec LOCO数据集（逻辑异常）
• VisA数据集（跨域适应）
• AUROC（受试者工作特征曲线下面积）
• AUPRO（区域加权平均精度）
• 组件级注意力扩展（为LogSAD添加的架构修改）

Strengths:

• 提出了系统性的结构化基准，填补了现有评估协议无法衡量文本引导能力的空白。
• 发布了两个新数据集（组件标注MVTec AD扩展和APD），促进后续研究。
• 发现了重要的诊断现象（对象锚点崩溃、定位-决策分离），揭示了多模态异常检测方法的本质局限。
• 评估覆盖三种主要范式，结论具有代表性。
• 实验设计严谨，逐步增加语言功能角色，清晰分离了视觉先验和文本引导的贡献。

Limitations:

• 仅评估了三个代表性模型，可能无法完全覆盖所有多模态异常检测方法。
• 组件标注扩展仅覆盖MVTec AD的9个物体类，未包含纹理类。
• APD数据集规模可能有限，且仅针对电子板组装场景，泛化性需进一步验证。
• 对生成式模型的评估仅使用AnomalyGPT，其他LVLM（如GPT-4V）未测试。
• 未深入探讨如何改进模型以真正实现文本引导，仅指出问题。

Relevance To Keywords:

• 原生多模态大模型：论文评估的AnomalyGPT属于生成式大视觉语言模型，直接相关。
• 多模态大模型的理解和生成一体化：AnomalyGPT同时进行异常检测和自然语言解释，体现理解与生成一体化。
• 表征学习：AA-CLIP和LogSAD依赖CLIP的视觉语言表征，论文探讨了表征中文本先验的作用。
• 世界模型：论文未直接涉及世界模型，但异常检测可视为对正常世界状态的建模。
• 强化学习：论文未涉及强化学习。
• 后训练：论文中的模型多为预训练后直接使用或少量微调，与后训练概念相关但非核心。

交通事故责任分析是智能交通和法律辅助领域一项关键且具有挑战性的任务。现有方法往往存在效率低下、判断主观以及分析结果不一致的问题。与此同时，大型语言模型（LLM）受限于嘈杂的视频输入和不足的领域法律知识。为了解决这些问题，本文提出了 TrafficRAG，一种用于自动化交通事故分析和报告生成的多模态检索增强框架。具体而言，所提出的框架首先采用视觉 - 语言模型（VLM）生成事故场景的结构化文本描述，这些描述作为准确的检索查询。基于这些文本查询，采用了一种融合 BM25 稀疏检索和稠密嵌入检索的混合检索策略，以获取相关的交通法规和类似的历史案例。最后，LLM 整合检索到的法律知识和多模态事故证据进行综合推理，并生成标准化、基于法律的责任分析报告。大量实验表明，TrafficRAG 始终优于基线方法，实现了 77.32% 的 Legal Norm Adaptation Accuracy（法律规范适配准确率）、81.71% 的 Factual Faithfulness（事实忠实度）以及 5.48% 的 Liability Ratio MAE（责任比率平均绝对误差）。结果表明，通过检索增强将多模态事实证据与法律条款相结合，可以有效提高交通事故责任认定的可靠性和准确性。

Traffic accident liability analysis is a critical yet challenging task in intelligent transportation and legal assistance. Existing methods often suffer from low efficiency, subjective judgment, and inconsistent analysis results. Meanwhile, large language models are constrained by noisy video inputs and insufficient legal domain knowledge. To address these issues, this work presents TrafficRAG, a multimodal retrieval-augmented framework for automated traffic accident analysis and report generation. Specifically, the proposed framework first adopts a vision-language model to produce structured textual descriptions of accident scenarios, which serve as accurate retrieval queries. Based on these textual queries, a hybrid retrieval strategy integrating BM25 sparse retrieval and dense embedding retrieval is employed to fetch relevant traffic regulations and similar historical cases. Finally, the large language model incorporates retrieved legal knowledge and multimodal accident evidence for comprehensive reasoning, and generates standardized, legally grounded liability analysis reports. Extensive experiments show that TrafficRAG consistently outperforms baseline methods, achieving 77.32% Legal Norm Adaptation Accuracy, 81.71% Factual Faithfulness, and a Liability Ratio MAE of 5.48%. The results validate that integrating multimodal factual evidence with legal clauses via retrieval augmentation can effectively improve the reliability and accuracy of traffic accident liability determination.

评分理由: 论文核心为多模态 RAG 框架，与"MultiModal"高度相关；使用视觉语言模型涉及"MLLM"技术。未涉及世界模型、强化学习及底层架构细节。未发现指定专家作者。

Multimodal RAG, Traffic Accident Liability, Vision-Language Model, Retrieval Augmentation, Legal Knowledge, LLM Reasoning, Traffic Regulations

Chinese Title: TrafficRAG: 一种用于交通事故责任判定的多模态检索增强生成框架

Summary: 本文提出TrafficRAG，一种多模态检索增强生成框架，用于自动生成交通事故责任分析报告。针对现有方法效率低、主观性强、法律依据不足等问题，TrafficRAG首先利用视觉语言模型（VLM）从监控视频中提取结构化事故描述，然后通过混合检索策略（BM25稀疏检索与稠密检索结合）从外部知识库中检索相关交通法规和类似案例，最后利用大语言模型（LLM）结合检索到的知识与多模态证据进行推理，生成具有法律依据的责任分析报告。实验结果表明，TrafficRAG在法律规范适应准确率（77.32%）、事实忠实度（81.71%）和责任比例平均绝对误差（5.48%）等指标上显著优于多个基线模型。该工作展示了将多模态事故事实与法律条款相结合的推理方法能够有效提升交通事故责任判定的性能。

Innovations:

• 提出TrafficRAG框架，首次将多模态检索增强生成（RAG）应用于交通事故责任判定，实现从视频到结构化报告的全流程自动化。
• 设计VLM引导的结构化事故描述生成模块，从视频中提取场景背景、参与者、行为序列和责任相关线索四类关键信息，过滤噪声并聚焦于责任判定。
• 采用双路径混合检索（BM25+稠密检索）与跨源一致性重排序模块，联合检索法律条款和相似案例，提升证据的连贯性和相关性。
• 构建了包含1584个案例的多模态交通事故数据集，整合了VRU-Accident、TAU-106K等视频数据集与CADD、STARD、LeCaRDv2等法律资源。
• 通过结构化提示和三种一致性约束（事实一致性、法律一致性、结构一致性）生成标准化责任分析报告，减少幻觉并增强可控性。

Methodology: 论文采用多阶段流水线方法：1）视频预处理：均匀采样帧、去噪、归一化，并用CLIP编码为视觉特征；2）VLM生成结构化事故描述：使用视觉编码器-语言解码器架构，通过提示引导提取四类信息；3）双路径知识检索：结合BM25稀疏检索和moka-ai/m3e-base稠密检索，经Min-Max归一化后加权融合；4）跨源一致性重排序：基于余弦相似度和固定逻辑规则计算法律-案例对的联合得分，筛选最优证据包；5）LLM报告生成：使用结构化提示，基于检索证据生成包含基本信息、过程、法律依据、责任划分等部分的报告。

Key Results:

• 在法律规范适应准确率（Legal Norm Adaptation Accuracy）上达到77.32%，优于基线模型。
• 在事实忠实度（Factual Faithfulness）上达到81.71%。
• 在责任比例平均绝对误差（Liability Ratio MAE）上仅为5.48%。
• 通过消融实验验证了各组件（VLM描述生成、双路径检索、重排序）对性能的贡献。
• 在多个强基线（包括纯LLM方法、无检索方法等）上持续取得最优结果。

Tech Stack:

• 视觉语言模型：CLIP (openai/clip-vit-large-patch14)
• 稠密检索编码器：moka-ai/m3e-base
• 稀疏检索：BM25
• 向量索引：FAISS
• 大语言模型：未明确指定，但使用了结构化提示和条件生成
• 数据集：VRU-Accident, TAU-106K, CADD, STARD, LeCaRDv2
• 数学方法：Min-Max归一化，余弦相似度，加权融合公式

Strengths:

• 提出端到端的多模态RAG框架，有效结合视频理解与法律知识检索，解决传统方法的法律依据不足问题。
• 构建了高质量的多模态交通事故数据集，涵盖视频、结构化描述、法律条款和案例，为后续研究提供基准。
• 通过跨源一致性重排序提升证据的连贯性，减少检索噪声对生成的影响。
• 实验设计全面，包括多个基线对比和消融研究，验证了各模块的有效性。
• 报告生成采用结构化提示和一致性约束，提高了输出的规范性和可解释性。

Limitations:

• 数据集规模有限（1584个案例），可能影响模型泛化能力，尤其对罕见事故场景。
• VLM生成的结构化描述仍可能受视频噪声、遮挡等因素影响，导致关键信息遗漏。
• 法律知识库仅包含265条法规和671个案例，覆盖范围有限，可能无法处理复杂或新型事故。
• 重排序模块使用固定逻辑规则而非学习型方法，灵活性不足。
• 未公开模型代码和数据集，可复现性受限。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但多模态RAG框架可视为视觉与语言模型的协同。
• World Models: 论文未涉及世界模型，不相关。
• Representation Learning: 使用了CLIP和m3e-base等预训练表征模型，但未提出新的表征学习方法。
• Model-Based RL: 论文未涉及强化学习，不相关。
• 原生多模态大模型: 论文使用VLM和LLM，但并非原生多模态大模型（如GPT-4V），而是组合现有模型。
• 多模态大模型的理解和生成一体化: 论文实现了视频理解与报告生成的一体化流程，但未提出统一模型。
• 表征学习: 同上，使用了现有表征模型。
• 世界模型: 不相关。
• 强化学习: 不相关。
• 后训练: 论文未涉及后训练（如RLHF），仅使用预训练模型进行推理。

生物分子如蛋白质和小分子配体在生物系统中起核心作用，这源于序列与三维结构之间的紧密相互作用。近期针对生物分子协同设计（biomolecular co-design）的生成模型（generative models）旨在通过联合建模耦合模态（coupled modalities）来捕捉这种相互作用。然而，现有方法大多采用边缘生成过程（marginal generative processes）的并行执行，隐式地强制固定同步耦合（synchronous coupling）。我们认为，一个关键但被忽视的自由度在于这些边缘过程在训练和生成过程中如何进行时间上的耦合（temporally coupled），不恰当的耦合可能引入高方差监督（high-variance supervision）和不一致的中间状态（inconsistent intermediate states），进而影响模态一致性（modality consistency）。为了解决这一问题，我们引入了 GeoCoupling，这是一个优化异质模态（heterogeneous modalities）之间时间耦合（temporal couplings）的系统框架。在基于结构的药物设计（structure-based drug design）和无条件蛋白质设计（unconditional protein design）上的实证结果表明，学习到的耦合一致地优于同步和随机耦合的基线（baselines），产生具有改进的物理有效性（physical validity）和多样性（diversity）的生物分子。

Biomolecules such as proteins and small-molecule ligands play a central role in biological systems, arising from the tight interplay between sequence and three-dimensional structure. Recent generative models for biomolecular co-design aim to capture this interplay by jointly modeling coupled modalities. However, existing approaches largely adopt a parallel execution of marginal generative processes, implicitly enforcing fixed synchronous coupling. We argue that a critical but overlooked degree of freedom lies in how these marginal processes are temporally coupled during training and generation, where inappropriate coupling can introduce high-variance supervision and inconsistent intermediate states, affecting modality consistency. To address this, we introduce GeoCoupling, a systematic framework that optimizes for temporal couplings between heterogeneous modalities. Empirical results across structure-based drug design and unconditional protein design demonstrate the learned couplings consistently outperform synchronous and randomly coupled baselines, yielding biomolecules with improved physical validity and diversity.

评分理由: The paper centers on multimodal biomolecular co-design, scoring high on 'MultiModal' (9.0) and moderate on 'Unify Models' (5.0) due to coupling optimization. Other keywords like Tokenizer, Visual Encoder, World Models, MLLM, and model-based RL are largely irrelevant (1.0-2.0). Total weighted score is 31.5, surpassing the 27.8 threshold. No specified expert authors are found.

Multimodal Biomolecular Co-design, Intrinsic Geodesic Coupling, Temporal Couplings, Heterogeneous Modalities, Structure-based Drug Design, Protein Design, Generative Models

Chinese Title: 揭秘具有内在测地耦合的多模态生物分子协同设计

Summary: 本文针对生物分子（如蛋白质和小分子配体）的序列与三维结构协同设计问题，指出现有多模态生成模型普遍采用同步或随机耦合策略，导致高方差监督和模态间不一致。作者提出Geo-Coupling框架，将多模态生成建模为时间最优传输问题，通过贝叶斯优化学习模态间的时间耦合路径（测地线），从而最小化从先验到数据分布的传输能量。该方法在基于结构的药物设计和无条件蛋白质生成任务上，相比同步和随机耦合基线，持续生成具有更好物理有效性和多样性的生物分子。实验表明，学习到的耦合路径能够自动发现复杂度感知的课程，使结构误差快速下降后序列一致性才提升，验证了“结构优先”的生成机制。

Innovations:

• 识别出多模态协同设计中动态不匹配的根本问题，指出同步耦合存在高偏差、随机耦合存在高方差。
• 提出Geo-Coupling框架，将时间耦合视为可学习的自由度，通过时间最优传输形式化多模态生成。
• 采用双层优化与高斯过程代理模型高效搜索耦合空间，无需反向传播整个训练轨迹。
• 在结构药物设计和蛋白质生成上验证了学习耦合优于同步和随机耦合，提升了物理有效性和多样性。

Methodology: 论文首先将多模态生成建模为时间最优传输问题，定义时间耦合函数γ(τ)=[t_r(τ), t_h(τ)]，将全局进度映射到各模态的局部噪声水平。然后提出双层优化目标：内层训练生成模型，外层优化耦合参数以最小化最终验证性能（非可微）。采用高斯过程代理模型对耦合空间进行贝叶斯优化，高效探索低能量路径。训练时使用学习到的耦合调度，推理时直接应用该调度进行联合生成。

Key Results:

• 学习到的耦合路径在结构药物设计任务中生成配体的物理有效性（如结合亲和力、类药性）显著优于同步和随机耦合。
• 在无条件蛋白质生成中，生成序列的结构一致性（如pLDDT）和多样性均得到提升。
• 轨迹分析显示结构误差在早期快速下降（t<0.3），随后序列一致性才上升，验证了结构优先的生成机制。
• Geo-Coupling在训练和推理阶段仅增加极小的额外计算开销。

Tech Stack:

• 时间最优传输（Temporal Optimal Transport）
• 贝叶斯优化（Bayesian Optimization）
• 高斯过程代理模型（Gaussian Process Surrogate）
• 双层优化（Bi-level Optimization）
• 扩散模型/流匹配（Diffusion/Flow Matching）
• 测地线耦合（Geodesic Coupling）

Strengths:

• 问题定义清晰，从理论角度揭示了同步/随机耦合的缺陷，并给出几何解释。
• 方法模型无关，可适用于多种多模态生成模型（如扩散、流匹配）。
• 实验验证充分，在两类重要生物分子设计任务上均取得一致改进。
• 学习到的耦合路径具有可解释性，揭示了结构优先的生成顺序。

Limitations:

• 贝叶斯优化在高维耦合空间中的扩展性可能受限，论文仅实验了二维耦合（两个模态）。
• 方法依赖最终验证性能作为优化目标，可能受验证指标选择影响。
• 未讨论更多模态（如蛋白质-配体-溶剂）的耦合优化。
• 理论分析部分对测地线的严格数学定义和收敛性证明不够深入。

Relevance To Keywords:

• Unify Models: 论文提出的多模态协同设计框架统一了序列和结构生成，与统一模型理念相关。
• World Models: 生物分子设计可视为对分子世界的建模，但论文未直接涉及世界模型。
• Representation Learning: 论文通过耦合学习隐式地优化了模态间的表征对齐。
• Model-Based RL: 论文使用贝叶斯优化（一种基于模型的方法）搜索耦合，但非强化学习。
• 原生多模态大模型: 论文聚焦生物分子特定领域，非通用多模态大模型，但方法论可迁移。

盲图像质量评估（BIQA）旨在无需参考图像的情况下预测感知图像质量。经典的自然场景统计（NSS）描述子与现代视觉 - 语言模型（VLM）嵌入从本质上不同的视角解决这一问题，但结合二者是否能产生互补效益，以及如何根据输入图像加权它们的贡献，尚待探索。我们提出一种失真感知融合框架，该框架通过乘法门控机制整合一个 138 维 NSS 描述子与两种互补的视觉 - 语言模型（VLM）嵌入（SigLIP 和 CLIP-H），该机制基于图像内容学习针对每个输入的流权重。与静态拼接融合不同，所提出的门控网络根据输入抑制或放大每个流的贡献，生成的权重与在 KADID-10k 上通过独立消融实验测量的每失真 NSS 贡献呈正相关（斯皮尔曼等级相关系数 rho=0.33）。该框架无需对 VLM 骨干进行端到端微调，而是采用混合损失进行训练，该损失结合了均方误差、皮尔逊线性相关系数以及成对排序目标。我们在三个标准基准上进行评估：KonIQ-10k（SROCC=0.9142, PLCC=0.9279）、KADID-10k（SROCC=0.9715, PLCC=0.9733，超越了近期最先进方法）以及 LIVE Challenge in-the-Wild（在跨数据集预训练和微调下，SROCC=0.8527, PLCC=0.8802）。在 KADID-10k 上的每失真分析表明，NSS 特征在噪声和色偏失真（像素统计直接受影响）上贡献最大，而在感知失真（如色饱和度变化）上贡献最小。学习得到的门控值验证了这些发现，证实了模型能够自主发现与手动每失真研究一致的失真 - 流亲和模式。

Blind image quality assessment (BIQA) aims to predict perceived image quality without access to a reference image. Classical natural scene statistics (NSS) descriptors and modern vision-language model (VLM) embeddings address this problem from fundamentally different perspectives, yet whether combining them yields complementary benefits and how to weight their contributions per input image remains unexplored. We propose a distortion-aware fusion framework that integrates a 138-dimensional NSS descriptor with two complementary VLM embeddings, SigLIP and CLIP-H, through a multiplicative gating mechanism that learns per-input stream weights conditioned on image content. Unlike static concatenation fusion, the proposed gating network suppresses or amplifies each stream's contribution based on the input, producing weights that correlate positively (Spearman rank correlation rho=0.33) with the per-distortion NSS contribution measured by independent ablation on KADID-10k. The framework requires no end-to-end fine-tuning of the VLM backbones and is trained with a hybrid loss combining mean squared error, Pearson linear correlation, and pairwise ranking objectives. We evaluate on three standard benchmarks: KonIQ-10k (SROCC=0.9142, PLCC=0.9279), KADID-10k (SROCC=0.9715, PLCC=0.9733, surpassing recent state-of-the-art methods), and LIVE Challenge in-the-Wild (SROCC=0.8527, PLCC=0.8802 with cross-dataset pretraining and fine-tuning). A per-distortion analysis on KADID-10k reveals that NSS features contribute most on noise and color-shift distortions where pixel statistics are directly affected, and least on perceptual distortions such as color saturation changes. The learned gate values validate these findings, confirming that the model autonomously discovers distortion-stream affinity patterns consistent with the manual per-distortion study.

评分理由: 论文核心为盲图像质量评估（BIQA），使用 VLM 嵌入与统计特征融合。与背景中的 World Models 和 Model-Based RL 完全无关（0 分）。虽未直接讨论 Tokenizer，但使用 VLM 涉及 Visual Encoder 和 MLLM 技术栈（中高相关）；特征融合体现了多模态（MultiModal）和模型统一（Unify Models）思想，故给予中等偏高评分。作者列表中不包含指定的专家名单。

Blind Image Quality Assessment, Distortion-Aware Fusion, Natural Scene Statistics, Vision-Language Model, Multiplicative Gating Mechanism, SigLIP, CLIP-H

Chinese Title: 面向失真的统计特征与视觉语言特征融合的盲图像质量评估

Summary: 本文提出一种面向失真的三流融合框架，用于盲图像质量评估（BIQA）。该框架结合了138维自然场景统计（NSS）描述符与两个互补的视觉语言模型（VLM）嵌入（SigLIP和CLIP-H），通过乘法门控机制学习每个输入图像的流权重，从而自适应地抑制或放大各流贡献。VLM骨干网络保持冻结，仅训练轻量级MLP头（约466k参数）和门控网络。训练采用混合损失函数（MSE、PLCC和成对排序目标）。在KonIQ-10k、KADID-10k和LIVE Challenge in-the-Wild三个基准上评估，KADID-10k上SROCC达0.9715，超越现有方法。每失真类型分析表明NSS特征在噪声和颜色偏移失真上贡献最大，而门控值与此分析正相关（ρ=0.33），验证了模型自主发现失真-流亲和模式。

Innovations:

• 提出三流BIQA框架，融合NSS、SigLIP和CLIP-H嵌入，仅训练轻量级MLP头，无需微调VLM骨干，在KADID-10k上达到SROCC 0.9715的SOTA性能。
• 引入乘法失真感知门控机制，学习每输入图像的流权重，门控值与独立消融实验测得的每失真NSS贡献正相关（ρ=0.33），提供可解释性验证。
• 设计三阶段评估协议（跨数据集预训练、目标域微调、多种子集成、蒙特卡洛dropout测试时增强），在LIVE-itW上获得4.2个百分点的SROCC提升。
• 提供KADID-10k上的每失真分析，明确NSS特征在哪些失真类型上补充VLM嵌入（如颜色块、对比度变化、颜色扩散），以及哪些失真上贡献最小（如颜色饱和度、非偏心补丁）。

Methodology: 整体架构为三流并行提取：NSS流提取138维统计特征（空间域48维+颜色频率域21维，每块32×32像素，跨块聚合均值和标准差）；SigLIP和CLIP-H流分别提取VLM嵌入，经PCA降维后与NSS特征拼接。然后通过一个轻量级乘法门控网络（MLP）学习每输入图像的流权重，权重与特征逐元素相乘后再输入回归MLP预测MOS。训练使用混合损失：MSE、PLCC和成对排序损失。VLM骨干冻结，仅训练门控网络和回归头（约466k参数）。评估采用标准SROCC和PLCC指标。

Key Results:

• 在KADID-10k上SROCC=0.9715，PLCC=0.9733，超越MANIQA、LIQE、Q-Align等SOTA方法。
• 在KonIQ-10k上SROCC=0.9142，PLCC=0.9279。
• 在LIVE Challenge in-the-Wild上，通过跨数据集预训练+微调，SROCC=0.8527，PLCC=0.8802。
• 每失真分析显示NSS在噪声、颜色偏移等失真上贡献最大，在颜色饱和度等感知失真上贡献最小。
• 门控值与独立消融的每失真NSS贡献的Spearman相关系数为ρ=0.33，验证了门控机制的有效性。

Tech Stack:

• 自然场景统计（NSS）：MSCN系数、广义高斯分布、局部二值模式（LBP）、log-Gabor滤波器、Benford定律首位数字分布。
• 视觉语言模型：SigLIP（sigmoid对比损失，WebLI数据集）、CLIP-H（softmax对比损失，LAION-2B数据集）。
• 特征降维：PCA。
• 门控机制：乘法门控网络（MLP）。
• 回归头：三层MLP，GELU激活。
• 混合损失：均方误差（MSE）、皮尔逊线性相关系数（PLCC）、成对排序损失。
• 训练策略：跨数据集预训练、目标域微调、多种子集成、蒙特卡洛dropout测试时增强。
• 评估指标：Spearman秩相关系数（SROCC）、皮尔逊线性相关系数（PLCC）。

Strengths:

• 融合经典统计特征与现代VLM特征，实现互补优势，且无需微调大模型，计算资源需求低。
• 门控机制提供可解释性，自动学习每失真类型的特征重要性，与人工分析一致。
• 在合成失真数据集KADID-10k上达到SOTA，在真实失真数据集上也有竞争力。
• 方法设计简洁，训练参数少，易于复现和部署。
• 提供了详细的每失真分析，有助于理解不同特征在BIQA中的作用。

Limitations:

• VLM特征提取仍依赖预训练模型，虽然冻结但推理时仍需加载大模型，可能影响实时性。
• 在真实失真数据集LIVE-itW上性能提升有限，跨域泛化能力仍需改进。
• 门控机制仅学习流权重，未考虑特征内部维度的自适应加权。
• 仅使用两个VLM（SigLIP和CLIP-H），未探索更多VLM或自监督模型（如DINOv2）的融合潜力。
• 实验仅在三个标准数据集上评估，缺乏对更多场景（如AIGC图像、视频质量）的验证。

Relevance To Keywords:

• 表征学习：论文通过融合NSS和VLM特征，学习图像质量表征，属于表征学习在BIQA中的应用。
• 多模态大模型的理解和生成一体化：论文使用视觉语言模型（CLIP、SigLIP）作为特征提取器，体现了多模态理解能力，但未涉及生成。
• 世界模型：间接相关，因为NSS特征基于自然图像统计规律，可视为对视觉世界先验的建模。
• 强化学习/后训练：论文未涉及强化学习或后训练技术，但训练策略中的微调、集成等可视为后训练的一种形式。
• 原生多模态大模型：论文使用的CLIP/SigLIP属于原生多模态模型，但未进行端到端微调。
• 总体相关性中等，主要聚焦于表征学习和多模态特征融合，与世界模型、强化学习关联较弱。

工业互联网系统正面临来自先进的工业控制系统（ICS）攻击的日益增加的威胁，导致严重的安全事故。然而，由于传感器和执行器之间存在复杂的依赖关系，现有工具在实时异常检测方面的有效性有限。为了解决这一问题，我们提出了 IstGPT，这是首个基于大语言模型（LLMs）和图学习的工业异常检测工具，旨在提供针对广泛 ICS 攻击的实时保护。IstGPT 能够对工业信息物理系统中的时空依赖关系进行细粒度和精确的建模。它首先利用工业多模态知识（包括运行数据、技术文档和系统图），通过多阶段提示工程提取传感器 - 执行器依赖图。然后，LLM-Optimation 基于节点准确性、边一致性和逻辑一致性迭代优化该图。最后，IstGPT 将改进的图神经网络与编码器 - 解码器架构相结合，通过重构误差来检测异常。我们在 9 个数据集（包括 2 个公开数据集、6 个模拟数据集和一个真实世界机械臂数据集）上，将 IstGPT 与 12 种最先进基线方法进行了评估。IstGPT 在九个数据集上均取得了最佳的 F1 分数和 eTaF1（一种较新的时间感知指标）。我们进一步讨论了在真实工业场景中部署 IstGPT 的可行性。

Industrial Internet systems face increasing threats from sophisticated industrial control system (ICS) attacks, resulting in critical safety incidents. However, existing tools exhibit limited effectiveness in real-time anomaly detection due to the complex dependencies among sensors and actuators. To tackle this, we present IstGPT, the first industrial anomaly detection tool based on LLMs and graph learning to provide real-time protection against a wide range of ICS attacks. IstGPT achieves fine-grained and precise modeling on spatial-temporal dependencies in industrial cyber-physical systems. It first leverages industrial multi-modal knowledge, including operational data, technical documents, and system diagrams, to extract sensor-actuator dependency graphs via multi-stage prompt engineering. Then, LLM-Optimation iteratively refines the graph based on node accuracy, edge consistency, and logical coherence. Finally, IstGPT integrated improved graph neural networks with an encoder-decoder architecture to detect anomalies via reconstruction errors. We evaluate IstGPT against 12 state-of-the-art baselines on 9 datasets, including 2 public, 6 simulated, and a real-world robotic arm dataset. IstGPT achieves the best F1-scores and eTaF1 (a newer time-aware metric) across nine datasets. We further discuss the feasibility of deploying IstGPT in real-world industrial scenarios.

评分理由: The paper focuses on industrial anomaly detection using LLMs and graph networks, showing strong alignment with MultiModal (diverse data inputs) and MLLM (LLM processing multimodal prompts), and moderate alignment with Unify Models (LLM+GNN integration). It has low relevance to Tokenizer (implicit usage), Visual Encoder (diagrams processed via prompts rather than dedicated encoder), and no relevance to World Models or Model-Based RL.

LLM-based Anomaly Detection, Spatial-Temporal Graph, Multi-modal Knowledge, Graph Neural Networks, Industrial Control System, Encoder-Decoder Architecture

Chinese Title: IstGPT：基于大语言模型的工业系统时空图异常检测

Summary: 工业互联网系统面临日益复杂的工业控制系统攻击，现有异常检测方法因未能有效建模传感器与执行器之间的复杂依赖关系而性能有限。本文提出IstGPT，首个基于大语言模型和图学习的工业异常检测工具。该方法首先通过多阶段提示工程从工业多模态知识（运行数据、技术文档、系统图）中提取传感器-执行器依赖图，然后利用LLM-Optimation模块基于节点准确性、边一致性和逻辑连贯性迭代优化该图，最后结合改进的图神经网络与编码器-解码器架构，通过重构误差检测异常。在9个数据集（含2个公开、6个模拟和1个真实机械臂数据集）上，IstGPT在F1分数和时态感知指标eTaF1上均优于12个最先进基线，平均F1达91.7%，并展示了实际部署可行性。

Innovations:

• 首次设计迭代提示工程，从分类的工业多模态知识中捕获复杂的传感器-执行器依赖关系，构建高效可扩展的异常检测工具。
• 提出LLM-Optimation模块，通过验证节点、边和整体逻辑一致性评估并优化LLM生成的依赖图，确保图结构的准确性和物理意义。
• 构建工业时空图（ISTG），联合建模多传感器与执行器信号在空间和时间维度上的依赖关系，实现多维多元异常检测，显著降低误报和漏报。
• 在9个数据集上全面评估，包括真实机械臂平台，性能优于12个SOTA方法，并讨论了实际工业场景部署的可行性。

Methodology: IstGPT包含四个阶段：1）数据预处理：对原始传感器/执行器数据进行清洗、归一化和滑动窗口分割；2）ISTG生成：利用多阶段提示工程从工业多模态知识（运行数据、技术文档、系统图）中提取传感器-执行器依赖图，并通过LLM-Optimation迭代优化，再结合时间相关性形成工业时空图；3）ISTG学习：采用无监督深度学习（GAT、GCN和编码器-解码器架构）建模正常时空行为；4）异常检测：通过阈值化重构误差检测和定位异常。

Key Results:

• 在SWaT和WADI两个公开数据集上，IstGPT平均F1分数达91.7%，优于最佳基线（89.1%、87.6%、79.9%）。
• 在7个私有工业数据集（含模拟和真实机械臂）上，IstGPT在所有指标上均优于12个SOTA基线。
• 图构建平均耗时约7分钟（数百节点规模），训练和推理时间成本低，具备实际部署可行性。
• 在时态感知指标eTaF1上同样取得最优性能。

Tech Stack:

• 大语言模型（LLM）
• 多阶段提示工程（Multi-stage Prompt Engineering）
• LLM-Optimation模块（基于节点准确性、边一致性、逻辑连贯性）
• 图注意力网络（GAT）
• 图卷积网络（GCN）
• 编码器-解码器架构（Encoder-Decoder）
• 自相关函数（Autocorrelation）用于工业周期估计
• 滑动窗口分割（Sliding-window Segmentation）
• 重构误差阈值检测（Reconstruction Error Thresholding）

Strengths:

• 首次将LLM与图学习结合用于工业异常检测，充分利用工业多模态知识（文档、图、数据）构建物理可解释的依赖图。
• 提出迭代优化机制（LLM-Optimation），有效避免纯数据驱动方法产生的虚假或误导性关系。
• 构建的时空图（ISTG）同时建模空间依赖和时间动态，提升检测精度。
• 在多个数据集上全面超越现有方法，且训练时间成本低，具备实际部署潜力。

Limitations:

• 依赖LLM对工业知识的理解能力，若LLM对特定领域术语或复杂系统图理解不足，可能影响图构建质量。
• 目前仅针对传感器和执行器级别的异常，未覆盖网络层或控制逻辑层的攻击。
• 需要预先提供工业多模态知识（文档、图等），在知识缺失或质量差的环境中可能受限。
• 对未知攻击类型的泛化能力尚未充分验证，实验基于已知攻击场景。

Relevance To Keywords:

• 原生多模态大模型：论文利用LLM处理工业多模态知识（文本、图、数据），体现了多模态理解能力。
• 多模态大模型的理解和生成一体化：LLM用于从多模态知识中生成依赖图，实现理解到结构化输出的转化。
• 表征学习：通过图神经网络学习传感器-执行器的时空表征，用于异常检测。
• 世界模型：构建的工业时空图可视为对工业系统物理世界依赖关系的建模，有助于理解系统行为。
• 强化学习/后训练：论文未直接涉及强化学习，但LLM-Optimation的迭代优化过程与后训练中的反馈机制有相似之处。

扩散变换器（DiT）已在生成扩散领域被广泛采用，通过注意力机制和前馈（FFN）层推进查询标记的去噪。FFN 实际上充当了解码视觉内容的键值词汇库，其值嵌入了视觉语义知识。本文指出，关注对应更复杂细节的关键查询标记，并鼓励模型改进这些标记，对于细粒度视觉生成至关重要。为此，我们提出了 FocusDiT，该模型应用一种掩码（Masking）方案，专门关注仅输入至 FFN 的关键查询标记。被掩码的查询可以从 FFN 词汇库中检索视觉标记，并利用它们来解码其视觉细节。广泛的文本到图像实验验证了标记掩码在提升生成性能方面的有效性。

Diffusion transformer (DiT) has been widely adopted in the generative diffusion field, advancing the denoising of query tokens through attention and Feed-Forward (\text{FFN}) layers. FFN actually acts as the key-value vocabulary for decoding visual contents where the value embeds the visual semantical knowledge. We present that focusing on critical query tokens corresponding to more complex details and encouraging the model to improve these tokens is essential for fine-grained visual generation. To this end, we propose FocusDiT, which applies a Masking scheme to focus on critical query tokens that are exclusively fed into FFN. The masked queries can retrieve visual tokens from the FFN vocabularies, and use them to decode their visual details. Extensive text-to-image experiments validate the effectiveness of token masking in enhancing generative performance.

评分理由: The paper focuses on Diffusion Transformers for fine-grained image generation, showing moderate-to-high relevance to MultiModal (text-to-image task) and Tokenizer (token masking mechanism). Visual Encoder is moderately relevant as part of the DiT architecture. Relevance is low for Unify Models, World Models, and model-based RL as the paper does not address model unification, world simulation, or reinforcement learning. MLLM is moderately relevant due to multimodal context but the model is diffusion-based rather than language-model-based.

FocusDiT, Diffusion Transformers, Masking Queries, Fine-grained Image Generation, Text-to-Image, Visual Tokens, FFN Vocabulary

Chinese Title: FocusDiT：扩散Transformer中的查询掩码用于细粒度图像生成

Summary: 本文提出FocusDiT，一种针对扩散Transformer（DiT）中前馈网络（FFN）的查询令牌掩码策略，旨在提升细粒度图像生成质量。研究发现，DiT中的FFN充当存储视觉语义知识的键值词汇表，但关键查询令牌（对应复杂细节）常被背景或低频区域令牌淹没，导致词汇利用率不足。为此，FocusDiT设计了一个查询掩码预测网络（Q-MaskGen），根据时间步和前一模块掩码动态区分关键与非关键令牌，仅让关键令牌通过FFN解码视觉细节。同时提出词汇重分配（VR）方案，根据各层解码需求调整词汇容量，将浅层和深层的冗余容量重新分配给中间层。实验表明，FocusDiT在文本到图像生成任务中显著提升了图像质量和细节丰富度，并可通过跳过掩码接近零的FFN层提高推理效率。

Innovations:

• 提出查询令牌掩码策略，动态识别关键令牌并优先分配FFN词汇资源，增强细粒度细节生成。
• 设计词汇重分配方案，根据各层解码需求调整词汇容量，优化总词汇利用率。
• 将时间步和前一模块掩码融入掩码预测，使模型适应不同噪声阶段的解码需求。
• 利用查询掩码实现推理加速，通过跳过低激活FFN层降低计算成本。

Methodology: 基于DiT架构，在FFN前插入查询掩码预测网络（Q-MaskGen），该网络由多层MLP组成，输入包括时间步t、交叉注意力输出和前一模块掩码，输出每个令牌的掩码值（0-1）。掩码与FFN输出逐元素相乘后加入残差。词汇重分配通过调整各层FFN的中间维度（词汇大小）实现，保持总参数量不变。训练采用标准扩散损失，掩码网络与主模型端到端联合优化。

Key Results:

• FocusDiT在文本到图像生成中优于PixArt-α、SD3和OpenSoraPlan等基线，定量指标（如FID、CLIP分数）提升。
• 词汇利用率分析显示，掩码策略使关键令牌能访问更多词汇条目，非关键令牌被抑制。
• 词汇重分配后，中间层词汇容量增加，浅层和深层减少，整体生成质量提升。
• 推理阶段可跳过约30%的FFN层（掩码接近零），加速而不损失质量。

Tech Stack:

• 扩散Transformer（DiT）
• 前馈网络（FFN）作为键值词汇表
• 查询掩码预测网络（Q-MaskGen）基于MLP
• 自适应层归一化（AdaLN-single）
• GeLU激活函数
• 词汇重分配（调整FFN中间维度）
• 文本到图像生成任务（基于PixArt-α等基线）

Strengths:

• 深入分析了DiT中FFN的词汇存储与利用机制，提出针对性优化。
• 掩码策略简单有效，同时提升生成质量和推理效率。
• 词汇重分配方案在不增加参数量的前提下优化资源分配。
• 实验充分，与多个SOTA方法对比，定性定量结果均有优势。

Limitations:

• 掩码预测网络增加了额外计算开销，尽管推理时可跳过部分层。
• 词汇重分配策略依赖于手动设计各层容量比例，可能非最优。
• 方法主要针对文本到图像生成，未在视频或其他模态验证。
• 对极复杂场景（如多人、多物体）的细节生成能力有待进一步测试。

Relevance To Keywords: 论文聚焦于扩散Transformer中的令牌选择与词汇利用，与“表征学习”和“世界模型”间接相关（通过视觉语义存储）。其掩码机制可视为一种隐式注意力分配，与“多模态大模型的理解和生成一体化”方向一致（提升文本到图像生成质量）。但论文未直接涉及强化学习、后训练或统一模型框架，相关性中等。