多跳音视频推理对 Omni-LLMs（全模态大语言模型）仍然具有挑战性，因为相关证据往往稀疏、时间上分散，且分布在音频和视频流中。现有的基准测试对此场景的研究较为有限，通常仅涉及有限的模态、相关时间片段或推理步骤。在这项工作中，我们引入了 MOV-Bench，这是一个包含 519 个精心构建问题的基准，这些问题需要对时间分散的音视频证据进行多跳推理。在 MOV-Bench 上的评估表明，当前的 Omni-LLMs 在多跳跨模态推理方面仍面临挑战。为了解决这一挑战，我们进一步提出了 AOP-Agent，这是一个基于开源 Omni-LLMs 构建的高效智能体框架，用于主动全模态感知。通过结合层级全模态记忆与协作式观察 - 反思 - 重规划循环，AOP-Agent 使开源 Omni-LLMs 能够在无需额外训练或专有模型的情况下执行主动感知。在 MOV-Bench 和 OmniVideoBench 上的实验表明，AOP-Agent 持续提升推理性能，尤其在长视频和推理密集型问题上取得了尤为显著的改进。

Multi-hop audio-visual reasoning remains challenging for Omni-LLMs, as relevant evidence is often sparse, temporally dispersed, and distributed across both audio and visual streams. Existing benchmarks provide limited investigation of this setting, typically involving only a limited number of modalities, relevant temporal segments, or reasoning steps. In this work, we introduce MOV-Bench, a benchmark containing 519 carefully curated questions that require multi-hop reasoning over temporally dispersed audio-visual evidence. Evaluations on MOV-Bench reveal that current Omni-LLMs still struggle with multi-hop cross-modal reasoning. To address this challenge, we further propose AOP-Agent, an efficient agentic framework built on open-source Omni-LLMs for active omni-modal perception. By combining a hierarchical omni-modal memory with a collaborative observe-reflect-replan loop, AOP-Agent enables open-source Omni-LLMs to perform active perception without additional training or proprietary models. Experiments on MOV-Bench and OmniVideoBench demonstrate that AOP-Agent consistently improves reasoning performance, with particularly notable gains on long videos and reasoning-intensive questions.

评分理由: 论文核心涉及多模态大模型（MLLM）与多模态数据，相关性最高；AOP-Agent 的记忆与 replan 机制与世界模型及强化学习规划部分相关；未直接涉及模型统一架构，相关性较低。

Multi-hop audio-visual reasoning, Omni-LLMs, AOP-Agent, Active perception, Hierarchical memory, Observe-reflect-replan, MOV-Bench

Chinese Title: 面向多跳音频-视觉推理的智能体主动全模态感知

Summary: 本文针对多跳音频-视觉推理中证据稀疏、时间分散且跨模态分布的问题，提出了MOV-Bench基准（519个精心设计的多选题）以评估现有全模态大语言模型（Omni-LLMs）的能力。实验发现当前模型在定位和整合分散证据方面存在困难。为此，作者提出AOP-Agent框架，一种低资源智能体方法，通过构建层次化全模态记忆（全局摘要、片段描述、音视频关键点、检索关键词）并采用多智能体“观察-反思-重规划”循环，使开源Omni-LLMs无需额外训练或专有模型即可实现主动感知。在MOV-Bench和OmniVideoBench上的实验表明，AOP-Agent显著提升了多跳推理性能，尤其在长视频和推理密集型问题上效果突出。

Innovations:

• 提出MOV-Bench基准，专门评估跨模态、多时间片段的多跳音频-视觉推理能力，包含五种推理主题（因果、指代、关系、假设、意图）。
• 提出AOP-Agent框架，通过层次化全模态记忆实现粗到细的证据定位，降低开源Omni-LLMs主动感知的难度。
• 设计多智能体协作循环（规划器、观察工具、反射器、推理器），使模型无需额外训练或专有模型即可迭代式地定位和整合稀疏证据。
• 在低资源设置下（仅使用开源Omni-LLMs）实现了与依赖专有模型或大量训练的方法相当甚至更优的推理性能。

Methodology: 首先构建MOV-Bench：从Fine-Video数据集选取视频，利用LLM基于ASR转录和事件描述生成五类推理主题的多选题，经语言过滤和人工验证确保跨模态多跳性。然后提出AOP-Agent：将视频按ASR时间戳分割为细粒度片段，合并为中粒度语义片段（≤30秒）；使用Omni-LLM为每个片段生成视觉关键点、音频关键点、检索关键词和片段描述，形成层次化记忆；在推理阶段，规划器根据当前状态选择观察目标，观察工具检索对应片段，反射器评估信息充分性，循环直至满足条件，最后由推理器生成答案。

Key Results:

• 当前Omni-LLMs在MOV-Bench上表现不佳，难以定位和整合跨模态分散证据。
• AOP-Agent在MOV-Bench和OmniVideoBench上均一致提升多跳推理准确率，尤其在长视频（>5分钟）和推理密集型问题（3-4跳）上增益显著。
• 与依赖专有模型（如GPT-4o）或需额外训练的智能体框架相比，AOP-Agent在低资源设置下实现了更高效的主动感知。

Tech Stack:

• 开源Omni-LLMs（如Qwen2.5-VL等，论文未指定具体型号）
• 层次化记忆构建：视频分割（基于ASR时间戳）、Omni-LLM生成结构化语义信息（视觉/音频关键点、检索关键词、片段描述）
• 多智能体循环：规划器（Planner Agent）、反射器（Reflector Agent）、推理器（Reasoner Agent）
• 观察工具（Observation Tools）：基于检索关键词或时间戳定位中粒度片段
• ASR（自动语音识别）转录

Strengths:

• 提出了首个专门针对跨模态多跳音频-视觉推理的基准MOV-Bench，填补了现有评估的空白。
• AOP-Agent设计巧妙，利用层次化记忆和协作循环有效降低了开源模型主动感知的门槛，无需额外训练或专有模型。
• 实验充分，在多个基准上验证了有效性，并分析了长视频和推理复杂度的影响。
• 方法具有通用性，可应用于其他开源Omni-LLMs，促进低资源多模态推理研究。

Limitations:

• MOV-Bench规模较小（519个问题），可能不足以全面反映模型能力。
• 层次化记忆构建依赖Omni-LLM的生成质量，若模型本身对片段理解有误可能影响后续推理。
• 未与更多基于强化学习或后训练的主动感知方法进行对比，仅比较了少数智能体框架。
• 实验仅在特定开源Omni-LLMs上进行，泛化性需进一步验证。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究Omni-LLMs在多跳音频-视觉推理中的表现，并基于开源模型构建智能体框架，高度相关。
• 表征学习：层次化全模态记忆的构建涉及对视频片段的结构化表征（关键点、描述），属于表征学习范畴。
• 世界模型：主动感知和迭代观察-反思-重规划可视为一种简化的世界模型探索，但论文未明确使用世界模型术语，相关性中等。
• 强化学习/后训练：论文方法不涉及强化学习或后训练，而是通过智能体循环实现主动感知，与这两个关键词相关性较低。

尽管多模态大语言模型（MLLMs）广受欢迎且取得了成功，但它们往往难以准确理解图像内容，这限制了它们在复杂场景（例如高物体密度和复杂的背景杂乱）下的推理能力。先前工作主要通过结合显式视觉线索（如边界框）来解决这一局限性，但这些线索需要额外的标注。此外，由此产生的低分辨率裁剪图往往丢失了 MLLMs 进行准确推理所需的细粒度细节。因此，我们提出了 Mags-RL，这是一个智能体强化学习（RL）框架，它为 MLLMs 配备了外部超分辨率“放大镜”智能体，用于高分辨率细粒度检查。具体来说，该模型执行两轮推理：在第一轮中，它生成初始推理依据并自主识别感兴趣区域（ROI），无需依赖额外标注；在第二轮中，它调用超分辨率智能体裁剪并放大这些区域，然后重新审视并验证其先前的推理以产生最终答案。我们还引入了一种新颖的课程学习策略，该策略实现了数据高效的强化学习训练，仅需 40 个训练样本即可达到合理的性能。在 VSR、TallyQA 和 GQA 子集上的实验表明，其相对于近期强竞争方法具有优越性能，展示了具有精确视觉定位的高质量推理。代码和权重将很快发布。

Despite their popularity and success, Multimodal Large Language Models (MLLMs) often struggle to interpret images accurately, which limits their reasoning capability in complex scenarios (e.g., high object density and complex background clutter). Prior work mainly addresses this limitation by incorporating explicit visual cues like bounding boxes that require extra annotations. In addition, the resulting low-resolution crops often miss fine-grained details that MLLMs require for accurate reasoning. Therefore, we propose Mags-RL, an Agentic Reinforcement Learning (RL) framework that equips MLLMs with an external super-resolution "magnifying glass" agent for high-resolution fine-grained inspection. Specifically, the model performs two-round reasoning: in the first round, it generates an initial rationale and autonomously identifies regions of interest without relying on additional annotations; in the second round, it invokes a super-resolution agent to crop and upscale those regions, then revisits and verifies its earlier reasoning to produce the final answer. We also introduce a novel curriculum learning strategy that enables data-efficient RL training, needing as few as only 40 training samples to achieve reasonable performance. Experiments on VSR, TallyQA, and GQA subsets show its superior performance against recent strong competing methods, demonstrating high-quality reasoning with precise visual grounding. Code and weights will be released soon.

评分理由: MLLM 和 MultiModal 是论文核心主题，故评分为 10.0。论文将 MLLM 与外部代理统一，属于模型统一范畴，Unify Models 评分为 7.0。虽然使用强化学习，但论文重点在于推理代理而非世界模型构建或模型基策略，故 World Models 评分为 3.0，model-based RL 评分为 5.0。经核对，作者列表中未包含 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 中的任何专家。加权总分为 70.0，远超动态及格分 26.5。

MLLM, Agentic Reinforcement Learning, Super-resolution, Complex Scene Reasoning, Visual Grounding, Curriculum Learning, Magnifying Glass Agent

Chinese Title: Mags-RL：通过代理强化学习为多模态大模型戴上放大镜以进行复杂场景推理

Summary: 多模态大语言模型（MLLMs）在复杂场景（如高物体密度、背景杂乱）中常因图像理解不准确而推理受限。现有方法依赖额外标注的边界框或低分辨率裁剪，丢失细节。本文提出Mags-RL，一种代理强化学习框架，为MLLM配备外部超分辨率“放大镜”代理，实现两轮推理：第一轮生成初始推理并自主识别感兴趣区域（无需额外标注）；第二轮调用超分辨率代理裁剪并放大这些区域，然后验证并修正推理以产生最终答案。采用GRPO算法和课程学习策略，仅需40个训练样本即可实现有效训练。在VSR、TallyQA和GQA三个基准上，Mags-RL在复杂场景推理中显著优于CoT、Zoom-Refine、GRIT等强基线方法，展示了高质量推理与精确视觉定位能力。

Innovations:

• 提出两轮推理框架，通过动态调用外部超分辨率代理实现“用图像思考”，增强对细粒度细节的捕捉。
• 引入数据高效的强化学习训练范式，基于GRPO算法和课程学习，仅需40个样本即可对齐模型推理行为。
• 无需额外标注，模型自主识别感兴趣区域，摆脱对边界框等人工标注的依赖。
• 在多个复杂场景推理基准（VSR、TallyQA、GQA）上取得领先性能，验证了方法的有效性和泛化性。

Methodology: Mags-RL采用两轮推理流程：第一轮，MLLM根据图像和问题生成初始推理链，并输出一组坐标作为感兴趣区域；第二轮，超分辨率代理裁剪并放大这些区域，将高分辨率图像反馈给MLLM，模型据此验证并修正初始推理，输出最终答案。训练使用GRPO算法，奖励信号包括格式正确性和答案准确性，并引入课程学习策略逐步增加任务难度，实现高效训练。

Key Results:

• 在VSR（视觉空间推理）上，Mags-RL优于CoT、Zoom-Refine和GRIT等方法。
• 在TallyQA（计数问答）上，Mags-RL准确识别密集场景中的物体数量，克服了基线方法遗漏或误判的问题。
• 在GQA（场景图问答）上，Mags-RL在复杂逻辑推理任务中表现更优。
• 消融实验表明，超分辨率模块相比直接裁剪缩放显著提升性能，课程学习策略进一步加速收敛。

Tech Stack:

• Group Relative Policy Optimization (GRPO) 算法
• 超分辨率（Super-Resolution）代理（预训练模型）
• 课程学习（Curriculum Learning）策略
• KL散度正则化（用于GRPO中的策略约束）
• 重要性采样（Importance Sampling）
• 多模态大语言模型（MLLM，如LLaVA等）

Strengths:

• 数据高效：仅需40个训练样本即可获得合理性能，大幅降低数据依赖。
• 无需额外标注：模型自主定位感兴趣区域，减少人工成本。
• 动态交互：两轮推理结合超分辨率放大，增强对细粒度细节的感知，提升复杂场景推理能力。
• 通用性强：在多个不同复杂度的基准上均取得优异结果，方法可迁移。

Limitations:

• 依赖超分辨率代理的质量，若代理性能不足可能限制最终效果。
• 两轮推理增加计算开销和推理延迟，实时性可能受影响。
• 仅使用40个训练样本，虽然高效但可能在小样本场景下泛化性有限，需更多数据集验证。
• 未在更多样化的复杂场景（如视频、3D）中测试，适用范围有待扩展。

Relevance To Keywords:

• 原生多模态大模型：论文直接针对MLLM的推理能力改进，属于多模态大模型后训练范畴。
• 强化学习：采用GRPO算法进行强化学习训练，属于RLHF/RL后训练方法。
• 后训练：论文聚焦于MLLM的后训练阶段，通过RL提升推理能力。
• 表征学习：超分辨率代理增强视觉表征，帮助模型获取更精细的特征。
• 世界模型：虽未直接构建世界模型，但两轮推理中的验证机制隐含了对场景内在逻辑的建模。
• 模型基RL：代理RL框架中模型与环境（超分辨率工具）交互，属于模型基RL的一种形式。

多模态大语言模型 (MLLMs) 在审慎推理中日益采用局部化和交错式的视觉证据。基于定位的方法通常通过向推理上下文中注入裁剪图像块或 RoI 特定特征来聚焦于感兴趣区域 (RoIs)。然而，此类设计可能会削弱整体场景理解及对象间关系，同时产生的解码成本会随 RoI 的数量和规模而增加。相比之下，自适应视觉特征选择往往需要细粒度监督或复杂的启发式规则。为了解决这些局限性，我们提出 ROVER（面向定位的多图像推理的路由对象中心视觉证据），这是一种轻量级、可学习的插件，用于高效的全局视觉证据路由。在每次对象定位预测后，ROVER 注入一个步骤特定的标记三元组，以协同地执行以下操作：(i) 聚合当前的推理上下文；(ii) 通过对象中心差分注意力将图像内线索蒸馏至视觉工作空间；以及 (iii) 在此空间内路由并整合跨对象与图像的历史感知证据，以供后续推理使用。我们将 ROVER 集成至 Qwen2.5-VL-7B，并开发了一种交错的 SFT-to-GRPO 训练流程。严格遵循原始数据集和评估协议，我们的方法在 MM-GCoT（答案准确率提升 +4.8%，定位准确率提升 +14.6%）和 VideoEspresso（答案准确率提升 +8.6%）上取得了最佳性能。经 VideoEspresso 训练的模型展现出强大的迁移能力，在多个基准测试上平均比基线模型高出 +4.7%。

Multimodal Large Language Models (MLLMs) have increasingly localized and interleaved visual evidence for deliberative reasoning. Grounding-based approaches typically focus on regions of interest (RoIs) by injecting cropped image patches or RoI-specific features into the reasoning context. However, such designs can weaken holistic scene understanding and inter-object relations, while incurring decoding costs that scale with the number and size of RoIs. Alternatively, adaptive visual feature selection often requires fine-grained supervision or complex heuristics. To address these limitations, we propose ROVER (Routing Object-centric Visual Evidence for grounded multi-image Reasoning), a lightweight, learnable plugin for efficient global visual evidence routing. Upon each object grounding prediction, ROVER injects a step-specific token triplet to synergistically: (i) aggregate the ongoing reasoning context, (ii) distill intra-image cues into a visual working space via object-centric differential attention, and (iii) route and integrate history-aware evidence across objects and images within this space for subsequent reasoning. We integrate ROVER into Qwen2.5-VL-7B and develop an interleaved SFT-to-GRPO training pipeline. Strictly adhering to the original datasets and evaluation protocols, our method achieves the best performance on MM-GCoT (+4.8% answer accuracy, +14.6% grounding accuracy) and VideoEspresso (+8.6% answer accuracy). The VideoEspresso-trained model demonstrates strong transferability, outperforming the base model by +4.7% on average across diverse benchmarks.

评分理由: 论文核心聚焦于多模态大语言模型（MLLM）的多图像推理，因此 MLLM 和 MultiModal 得分为 10。论文使用 GRPO 强化学习训练，与 model-based RL 中度相关（5 分）。插件集成到基模型涉及模型统一概念，与 Unify Models 中度相关（5 分）。视觉工作空间与世界模型概念弱相关（4 分）。作者列表中未包含指定专家，故无额外加分。

ROVER, Object-Centric Visual Evidence, Grounded Multi-Image Reasoning, Multimodal Large Language Models, Visual Working Space, SFT-to-GRPO Training, Qwen2.5-VL-7B, Differential Attention

Chinese Title: ROVER: 面向多图像推理的对象中心视觉证据路由方法

Summary: 论文提出ROVER（Routing Object-centric Visual Evidence for grounded multi-image Reasoning），一种轻量级可学习插件，旨在解决多模态大语言模型（MLLM）在多图像推理中现有基于RoI的方法忽视全局场景理解和对象间关系、解码成本随RoI数量与尺寸增长的问题。ROVER在每个对象接地预测后注入一个固定长度的token三元组（Link/Sift/Weave），通过对象中心差分注意力（DiffAttn）从图像中蒸馏互补线索并抑制干扰，同时引入视觉工作空间（VWS）作为结构化路由基质，实现跨对象和图像的历史感知证据路由。该插件集成到Qwen2.5-VL-7B中，并采用统一的SFT-to-GRPO训练流水线。在严格遵循原始数据集和评估协议下，ROVER在MM-GCoT上取得最佳性能（答案准确率+4.8%，接地准确率+14.6%），在VideoEspresso上答案准确率提升+8.6%，且VideoEspresso训练的模型展现出强迁移性，在多个基准上平均提升+4.7%。

Innovations:

• 提出ROVER插件，通过固定长度token三元组（Link/Sift/Weave）替代可变长度RoI特征，实现全局对象中心视觉证据路由，解码成本恒定。
• 设计对象中心差分注意力机制（DiffAttn），在Sift模块中蒸馏互补视觉线索并抑制干扰区域，增强全局场景理解。
• 引入视觉工作空间（VWS）作为结构化路由基质，通过Weave模块实现历史感知的跨对象和跨图像证据整合。
• 开发统一的SFT-to-GRPO训练流水线，在严格设置下仅使用原始数据集即取得一致性能提升，并展现强迁移性。

Methodology: ROVER采用触发-路由机制：当模型生成有效的接地模式（如<obj>...<box>...</box>）时，触发路由事件，并追加Link/Sift/Weave三个可学习token。Link吸收当前推理上下文；Sift通过差分注意力（DiffAttn）以对象中心查询（由RoI特征平均池化后线性投影得到）对图像所有patch进行交叉注意力，抑制非RoI区域并提取上下文线索，填充VWS；Weave通过标准注意力从VWS中整合历史证据。Sift和Weave均为单层Transformer块（交叉注意力+FFN）。训练分两阶段：先进行监督微调（SFT）使模型学会生成接地和路由模式，再使用组相对策略优化（GRPO）强化推理能力。基础模型为Qwen2.5-VL-7B。

Key Results:

• 在MM-GCoT上，答案准确率提升4.8%，接地准确率提升14.6%。
• 在VideoEspresso上，答案准确率提升8.6%，超越此前最佳。
• 仅使用VideoEspresso训练的模型迁移到其他基准：Mantis提升2.2%，V-Star提升4.8%，TreeBench提升5.9%，平均提升4.7%。

Tech Stack:

• Qwen2.5-VL-7B（基础多模态大语言模型）
• 差分注意力（DiffAttn）
• 交叉注意力（Cross-Attention）
• 前馈网络（FFN）
• Transformer单层块
• 平均池化（Average Pooling）
• 线性投影（Linear Projection）
• 监督微调（SFT）
• 组相对策略优化（GRPO）
• 视觉编码器（ViT）

Strengths:

• 轻量级设计：每个接地对象仅增加三个token，解码成本恒定，不随RoI尺寸增长。
• 全局场景理解：通过差分注意力抑制干扰，蒸馏对象周围上下文，避免孤立区域导致的幻觉。
• 历史感知路由：VWS支持跨对象和跨图像证据整合，增强多跳推理能力。
• 训练高效：SFT-to-GRPO流水线仅使用原始数据集，无需额外标注或复杂启发式。
• 强迁移性：在多个不同基准上均取得显著提升，验证了方法的通用性。

Limitations:

• 依赖模型自身生成的接地预测，若接地不准确可能影响后续路由效果。
• 差分注意力需计算所有非RoI区域，虽为轻量但仍有额外计算开销。
• 仅在7B参数规模模型上验证，在更大模型上的效果和效率未知。
• 训练仅使用原始数据集，未探索数据增强或多源数据融合。
• 对于需要精细空间关系或复杂几何推理的任务，可能仍需结合其他机制。

Relevance To Keywords:

• 原生多模态大模型：ROVER作为MLLM的插件，直接增强其多图像推理能力，与原生多模态大模型高度相关。
• 多模态大模型的理解和生成一体化：ROVER在生成过程中动态路由视觉证据，促进理解与生成的协同，紧密相关。
• 表征学习：通过差分注意力学习对象中心表征，并利用VWS进行结构化存储，属于表征学习范畴。
• 世界模型：VWS可视为一种内部工作空间，隐式建模对象间关系，与世界模型概念有一定关联。
• 强化学习：采用GRPO进行后训练，属于强化学习在MLLM中的应用，相关。
• 后训练：SFT-to-GRPO是典型的后训练策略，直接相关。

我们提出了 ProgVLA，一种紧凑的视觉 - 语言 - 动作（VLA）模型，旨在在严格的计算和内存预算下实现可靠的机器人操控。该模型特别专注于通过保持任务进展的显式表示，在长时域内高效处理长多模态序列。为此，ProgVLA 集成了两个关键组件。首先，一个采用两阶段 Perceiver 重采样方案的多模态编码器将可变长度的视觉、语言和本体感觉流压缩为一组固定的控制就绪上下文令牌，在大幅缩短序列长度的同时保持跨模态对齐。其次，一组辅助进展头使用离线强化学习（RL）目标进行训练，共同学习归一化剩余时间范围目标的 Critic。这为策略提供了任务进展的内部估计，并启用了优势加权和成功加权的 Flow-Matching 模仿学习。在两个成熟的多任务机器人操作基准上，一个参数量为 0.1B 的 ProgVLA 模型达到了与显著更大的预训练基线相当的成功率，且在长时域和更难任务层级上超越了这些基线。消融实验表明，学习的上下文重采样器和任务自适应视觉微调是最大的单一贡献者，而进展感知训练提供了持续额外的增益，这种增益主要集中在长时域和多对象任务上。我们进一步在真实世界的 Toy-Kitchen 环境中验证了该方法。

We present ProgVLA, a compact vision-language-action (VLA) model designed for reliable robot manipulation under tight compute and memory budgets. The model specifically focuses on efficiently processing long multi-modal sequences by maintaining an explicit representation of task progress over extended horizons. To this end, ProgVLA integrates two key components. First, a multi-modal encoder with a two-stage Perceiver resampling scheme compresses variable-length visual, language, and proprioceptive streams into a fixed set of control-ready context tokens, substantially reducing sequence length while preserving cross-modal grounding. Second, an auxiliary set of progress heads is trained with offline reinforcement learning (RL) objectives to jointly learn critics over normalized remaining-horizon targets. This provides the policy with an internal estimate of task progress and enables advantage- and success-weighted flow-matching imitation learning. On two well-established multi-task robot manipulation benchmarks, a 0.1B-parameter ProgVLA model reaches success rates that are competitive with, and on long-horizon and harder task tiers exceed, substantially larger pretrained baselines. Ablations indicate that the learned context resampler and task-adaptive visual fine-tuning are the largest single contributors, while progress-aware training provides a consistent additional gain that is concentrated on long-horizon and multi-object tasks. We further validate the approach in real-world toy-kitchen environments.

评分理由: 论文提出 ProgVLA VLA 模型。Unify Models (7.0): 统一视觉、语言、动作模态。World Models (4.0): 涉及长时程进度表示，关联中等。MLLM (8.0): VLA 属 MLLM 分支，高度相关。MultiModal (9.0): 核心为多模态编码器，高度相关。model-based RL (3.0): 主方法为模仿学习，关联度低。未找到指定专家。加权总分 62.0，高于及格线。

ProgVLA, Vision-Language-Action, Multi-modal Encoder, Progress-Aware, Offline RL, Robot Manipulation, Imitation Learning

Chinese Title: ProgVLA：进度感知的机器人操作技能学习

Summary: 本文提出ProgVLA，一种紧凑的视觉-语言-动作（VLA）模型，旨在有限计算和内存预算下实现可靠的机器人操作。模型专注于高效处理长多模态序列，通过维护任务进度的显式表示来应对长时域挑战。ProgVLA包含两个关键组件：一是多模态编码器，采用两阶段Perceiver重采样方案，将可变长度的视觉、语言和本体感知流压缩为固定数量的控制上下文令牌，大幅缩短序列长度同时保持跨模态对齐；二是辅助进度头，通过离线强化学习目标联合训练，学习归一化剩余时域目标的批评函数，为策略提供内部进度估计，并实现优势加权和成功加权的流匹配模仿学习。在两个多任务机器人操作基准上，0.1B参数的ProgVLA模型在成功率上与更大的预训练基线相当，在长时域和困难任务上甚至超越。消融实验表明，学习的上下文重采样器和任务自适应视觉微调是最大贡献因素，而进度感知训练在长时域和多物体任务上提供一致额外增益。该方法还在真实玩具厨房环境中得到验证。

Innovations:

• 提出两阶段Perceiver重采样（逐模态和后融合），高效压缩多模态序列为固定大小上下文令牌，大幅降低序列长度并保留跨模态信息。
• 设计辅助进度头，与策略共享上下文表示，通过离线RL目标（Huber损失和期望回归）联合训练，提供内部进度估计并作为样本权重用于模仿学习。
• 采用通用视觉骨干DUNE（ViT-Small）而非大规模机器人预训练，通过任务自适应微调获得强视觉先验，在0.1B参数下达到与更大模型竞争的性能。
• 将进度信号作为内部表示正则化和样本重加权机制，而非外部分类器，使策略自身具备进度感知能力。
• 在长时域和多物体任务上，进度感知训练提供一致增益，且模型无需跨本体机器人预训练，仅使用目标基准的演示数据。

Methodology: ProgVLA采用三部分架构：多模态编码器、进度头和动作专家。编码器先通过DUNE（视觉）、T5（语言）和MLP（本体感知）提取特征，再经逐模态Perceiver重采样压缩为固定令牌，融合Transformer进行跨模态自注意力，最后后融合重采样得到紧凑上下文令牌c_t。动作专家使用流匹配（Flow Matching），以c_t为条件，通过Heun ODE求解器生成动作块，训练时采样噪声和插值时间，预测速度场。进度头包括状态-动作批评Q̂(c_t, a_t)和价值头V̂(c_t)（含成功logit），均以蒙特卡洛剩余时域G_t为回归目标：Q̂使用Huber损失，V̂使用IQL期望回归（τ=0.8），计算优势A_t = Q̂ - V̂，经温度缩放和裁剪后作为流匹配损失的样本权重。训练总损失为流匹配损失、Q损失和值损失之和。

Key Results:

• 0.1B参数的ProgVLA在两个多任务机器人操作基准上，成功率与更大的预训练基线（如SmolVLA 450M）相当，在长时域和困难任务上超越。
• 消融实验表明，两阶段Perceiver重采样器和任务自适应视觉微调是最大贡献因素，分别带来显著性能提升。
• 进度感知训练在长时域和多物体任务上提供一致额外增益（约2-5%成功率提升），而在短时域任务上增益较小。
• 在真实玩具厨房环境中，ProgVLA成功执行多步操作指令，验证了方法的实际可行性。
• 模型无需大规模机器人预训练，仅使用目标基准的演示数据，降低了部署门槛。

Tech Stack:

• Perceiver Resampler（两阶段：逐模态和后融合）
• DUNE（ViT-Small，通用视觉骨干）
• T5文本编码器（冻结）
• 流匹配（Flow Matching）
• Heun ODE求解器（10步）
• 离线强化学习：IQL期望回归（τ=0.8）、Huber损失
• 蒙特卡洛剩余时域目标（G_t）
• Beta分布采样（α=2, β=2）用于流匹配时间步
• 优势加权（温度缩放+裁剪）
• MLP投影（本体感知）
• Transformer自注意力（跨模态融合）

Strengths:

• 模型紧凑（0.1B参数），无需大规模机器人预训练，适合边缘部署。
• 两阶段重采样高效处理长多模态序列，显著降低计算复杂度。
• 内部进度估计通过离线RL目标实现，无需外部分类器，提升长时域任务性能。
• 消融实验全面，清晰揭示各组件贡献。
• 在真实世界环境中验证，证明实用性。
• 与更大模型竞争，展示了小模型在特定场景下的潜力。

Limitations:

• 进度目标仅基于时间阶段（归一化剩余时域），而非语义子目标，可能不适用于非时间对齐或子任务结构复杂的任务。
• 仅使用成功演示进行训练，优势估计在严格离线RL意义下弱识别，更多作为轨迹阶段重加权。
• 依赖DUNE和T5预训练模型，其性能可能受限于这些模型的能力。
• 未在更多样化场景（如不同机器人平台、复杂环境）中测试泛化性。
• 对超参数（如温度、裁剪阈值、期望回归τ）可能敏感，需要调优。

Relevance To Keywords:

• 原生多模态大模型：ProgVLA是典型的VLA模型，融合视觉、语言和动作模态，属于多模态大模型范畴。
• 表征学习：两阶段Perceiver重采样和上下文令牌学习是多模态表征压缩的核心，体现了表征学习思想。
• 强化学习：辅助进度头使用离线RL目标（IQL、Huber损失）进行训练，并用于加权模仿学习，与强化学习紧密相关。
• 后训练：模型在预训练视觉骨干（DUNE）和语言编码器（T5）基础上进行任务自适应微调，属于后训练阶段。
• 世界模型：论文未显式构建世界模型或进行模型预测，相关性较弱。
• 模型基RL：未使用模型基方法，而是直接学习策略和值函数，相关性低。
• 多模态大模型的理解和生成一体化：ProgVLA侧重动作生成，语言理解用于指令条件，但未强调理解与生成的一体化框架。
• Unify Models：论文未涉及统一不同模型，而是单一紧凑模型，相关性一般。

音频生成领域取得了显著进展，然而合成包含语音与声音自然复合的统一音频仍具挑战性。现有方法要么依赖分离的流水线，无法捕捉细粒度交互；要么需要结构化输入和外部文本重写，从而限制了自由形式文本提示的灵活性。本文提出了一项新任务：自由形式文本提示到统一音频生成（Free-Form-Text-Prompt-to-Unified-Audio generation），旨在直接从无约束的自然语言中合成包含语音、声音及其复合体的统一音频。为应对这一任务，本文提出 PlanAudio，这是一种统一的、基于自回归大语言模型（LLM）的框架。首先，该框架通过利用大语言模型（LLM）内在的推理能力，而非传统文本编码器，简化了模型架构。其次，它引入了一种语义潜在思维链（semantic latent chain-of-thought）机制，这是一种隐式规划机制，用于连接高层语义理解与底层声学合成。此外，我们构建了 PlanAudio-Bench，这是一个专门用于评估复合音频场景的基准测试。我们在语音、声音及其复合体场景下进行了评估。实验结果表明，PlanAudio 通常优于现有的流水线方法和统一基线模型，同时在与为单一场景设计的模型竞争时保持竞争力。我们的分析进一步揭示了语义潜在思维链（CoT）机制相较于其他思维链机制的优势，并强调了连续多场景训练课程的重要性。

Audio generation has made significant progress, yet synthesizing unified audio where speech and sounds are naturally composited remains a challenge. Current methods either rely on disjoint pipelines, which fail to capture fine-grained interactions, or require structured inputs and external text rewriting, which limits the flexibility of free-form text prompts. In this paper, we introduce a new task: Free-Form-Text-Prompt-to-Unified-Audio generation, which aims to directly synthesize unified audio containing speech, sound, and their composites from unconstrained natural language. To address this task, we propose PlanAudio, a unified, autoregressive LLM-based framework. First, it simplifies the model architecture by leveraging intrinsic LLM reasoning capability instead of traditional text encoders. Second, it introduces a semantic latent chain-of-thought mechanism, an implicit planning mechanism that bridges high-level semantic understanding and low-level acoustic synthesis. Furthermore, we create PlanAudio-Bench, a specialized benchmark for evaluating composite audio scenarios. We perform evaluations in the scenarios of speech, sound, and their composites. The results demonstrate that PlanAudio generally outperforms the existing pipeline and unified baselines, while staying competitive with models designed for a single scenario. Our analysis further reveals the superiority of semantic latent CoT over other CoT mechanisms and highlights the importance of continuous multi-scenario training curricula.

评分理由: 论文标题与摘要均强调'Unified'，与 Unify Models 高度相关 (9.0)；文本到音频生成属于多模态任务，与 MultiModal (9.0) 和 MLLM (8.0) 相关；虽涉及规划机制，但未构成典型世界模型或强化学习场景，故 World Models (3.0) 和 model-based RL (1.0) 相关性低。加权总分 60.0，高于及格分 26.5，且作者列表中未包含指定专家。

Unified Synthesis, Speech and Sound, Free-Form Text, PlanAudio, LLM-based, Semantic Latent, Chain-of-Thought

Chinese Title: 基于自由形式文本提示的统一合成语音与声音

Summary: 本文提出了一项新任务：从自由形式文本提示直接生成包含语音、声音及其复合的统一音频。现有方法要么依赖分离的流水线（无法捕捉细粒度交互），要么需要结构化输入或外部文本重写（限制灵活性）。为此，作者提出了PlanAudio，一个基于自回归LLM的统一框架。该框架利用LLM的内在推理能力替代传统文本编码器，简化架构；并引入语义潜在链式思维（Latent CoT）机制，在潜在空间进行隐式语义规划，弥合高层语义理解与低层声学合成之间的鸿沟。此外，作者构建了PlanAudio-Bench基准用于评估复合音频场景。实验表明，PlanAudio在复合、声音和语音场景中普遍优于现有流水线和统一基线，且与专为单一场景设计的模型竞争力相当。分析进一步证明了语义潜在CoT优于其他CoT机制，并强调了连续多场景训练课程的重要性。

Innovations:

• 首次定义自由形式文本提示到统一音频生成任务，无需结构化输入或外部重写。
• 提出PlanAudio框架，利用LLM内在语言理解能力直接处理文本，避免传统文本编码器和多模块流水线。
• 创新性地引入语义潜在链式思维（Latent CoT）机制，在连续潜在空间进行隐式语义规划，桥接高层语义与低层声学合成。
• 构建专门用于复合音频评估的基准PlanAudio-Bench，填补了联合标注数据的空白。
• 验证了语义潜在CoT相对于显式CoT的优势，并揭示了连续多场景训练课程的必要性。

Methodology: PlanAudio采用两阶段生成框架：首先，将自由形式文本提示通过LLM tokenizer处理为文本令牌，然后使用语义潜在CoT阶段预测固定长度的连续潜在序列（通过线性投影层与预训练Audio Flamingo 3编码器提取的语义嵌入对齐，优化MSE和余弦相似度损失）。接着，在声学生成阶段，基于文本和潜在序列，自回归预测层次化离散音频令牌（使用AudioCraft tokenizer，跨Q个码本），通过交叉熵损失优化。所有模态（文本、潜在、音频）通过特殊分隔令牌组织成单一序列，由统一Transformer骨干处理。训练采用加权组合损失平衡语义规划与生成质量。推理时先预测潜在序列，再生成音频令牌直至结束令牌。

Key Results:

• PlanAudio在复合、声音和语音三个场景中普遍优于现有流水线方法和统一基线方法。
• 与专为单一任务设计的模型相比，PlanAudio在各自场景中保持竞争力。
• 语义潜在CoT机制优于其他显式CoT机制（如语言链式思维）。
• 连续多场景训练课程（同时训练语音、声音和复合数据）对提升整体性能至关重要。
• PlanAudio-Bench基准有效评估了复合音频生成质量。

Tech Stack:

• LLM（大语言模型）作为骨干网络
• Audio Flamingo 3 Encoder（AF3Encoder）用于提取语义嵌入
• AudioCraft tokenizer（层次化离散音频令牌，多码本）
• Transformer架构（自回归生成）
• Mean Squared Error (MSE) 损失
• 余弦相似度损失
• 交叉熵损失
• 线性投影层（ϕ）用于潜在空间对齐
• 特殊分隔令牌（<|sot|>, <|sol|>, <|soa|>, <|eoa|>）

Strengths:

• 统一架构，无需外部文本重写或多模块流水线，降低系统复杂性和级联错误。
• 利用LLM的固有推理能力，简化模型设计并增强语义理解。
• 语义潜在CoT提供隐式规划，避免显式中间语言生成的开销，同时保持结构指导。
• 在多个场景（语音、声音、复合）中均表现优异，通用性强。
• 构建了专门的复合音频基准，推动该领域评估标准化。

Limitations:

• 依赖预训练的Audio Flamingo 3编码器和AudioCraft tokenizer，可能引入预训练偏差。
• 潜在序列长度K为固定常数，可能无法适应不同复杂度的音频结构。
• 训练数据为合成标注（PlanAudio-Bench），与真实场景数据可能存在分布差异。
• 未详细讨论模型在极长音频或复杂多事件场景下的扩展性。
• 与专门模型相比，在单一场景上可能仍有微小差距（文中表述为“competitive”而非“superior”）。

Relevance To Keywords:

• 原生多模态大模型：PlanAudio基于LLM直接处理文本和音频，实现多模态理解与生成一体化。
• 多模态大模型的理解和生成一体化：框架同时进行语义规划（理解）和声学合成（生成），端到端训练。
• 表征学习：使用Audio Flamingo 3编码器提取语义表征，并通过潜在CoT学习隐式语义表示。
• 世界模型：语义潜在CoT可视为对音频世界的隐式结构建模，预测事件编排和声学布局。
• 强化学习/后训练：论文未直接涉及强化学习，但连续多场景训练课程可视为一种后训练策略，未来可结合RL优化生成质量。

空间智能需要能够捕捉物理世界中语义对象和几何结构的视觉表征。为此，目前广泛用作基础骨干的两种主要预训练方案是：视觉 - 语言模型（VLMs），利用语言监督将视觉观测与语义概念对齐；以及视频生成模型（VGMs），从随时间演变的视觉世界中学习。然而，尚不清楚哪种预训练方案能为空间智能提供更好的表征基底。本文首次对 VLMs 和 VGMs 进行了系统性的冻结特征探测研究，涵盖了空间智能的三个代表性维度：语义标注、实例分组和 3D 几何预测。借助轻量级探针，我们的框架能够受控比较两个模型家族冻结表征中已编码的信息。实验结果揭示了明显的互补性：VLMs 在语义标注和实例分组方面表现更强，而 VGMs 为稠密几何和相机运动提供了更易获取的信号。此外，两者的朴素融合即可产生一种在几何和语义方面都表现优异的表征，这表明通过有效整合两个模型家族的特征来构建更强的空间智能骨干网络是一个有前景的方向。我们的代码可在 https://github.com/om-ai-lab/Probing-VLM-VGM 获取。

Spatial intelligence requires visual representations that capture both semantic objects and geometric structure in the physical world. To support this, two major pre-training schemes are now widely used as foundation backbones: Vision-Language Models (VLMs), which use language supervision to align visual observations with semantic concepts, and Video Generation Models (VGMs), which learn from temporally evolving visual worlds. However, it still remains unclear which pre-training scheme provides a better representation substrate for spatial intelligence. In this paper, we present the first systematic frozen-feature probing study of VLMs and VGMs across three representative axes of spatial intelligence: semantic tagging, instance grouping, and 3D geometry prediction. Using the lightweight probe, our framework enables a controlled comparison of what information is already encoded in frozen representations from two model families. Experimental results reveal a clear complementarity: VLMs are stronger at semantic tagging and instance grouping, while VGMs provide more accessible signals for dense geometry and camera motion. Moreover, a naive fusion of the two already yields a representation that excels at both geometry and semantics, suggesting a promising direction for building stronger spatial-intelligence backbones by effectively integrating features from both model families. Our code is available at \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM}.

评分理由: 论文核心为多模态表征学习，VLM 与 VGM 对比涉及 MultiModal 和 MLLM；提出融合两种模型特征，故 Unify Models 中度相关；VGM 涉及世界动态，故 World Models 中度相关；未涉及强化学习，故 model-based RL 低相关。作者列表中无指定专家。

Spatial intelligence, Vision-Language Models, Video Generation Models, Pre-training paradigm, Semantic tagging, 3D geometry prediction, Representation learning

Chinese Title: 哪种预训练范式更有利于空间智能？视觉语言模型与视频生成模型的实证比较

Summary: 本文系统比较了视觉语言模型（VLM）和视频生成模型（VGM）在空间智能方面的表征能力。通过冻结特征探测方法，在语义标签、实例分组和3D几何预测三个维度上对两类模型进行对比。实验发现两者具有明显的互补性：VLM在语义标签和实例分组上表现更优，而VGM在密集几何和相机运动预测上提供更易获取的信号。简单特征融合即可同时获得几何和语义优势，表明整合两类模型特征有望构建更强的空间智能骨干。研究避免了下游微调等混杂因素，首次在冻结表征层面系统比较了两种预训练范式。

Innovations:

• 首次在冻结表征层面系统比较VLM和VGM对空间智能的支持，避免下游微调等混杂因素。
• 构建统一探测框架，在语义标签、实例分组和3D几何预测三个互补轴上评估空间智能。
• 发现VLM和VGM的明确优势分工：VLM擅长语义和实例，VGM擅长几何和相机运动。
• 通过简单特征融合证明两类表征的互补性，为构建更强空间智能骨干提供方向。

Methodology: 采用冻结特征探测方法：冻结VLM和VGM模型，从中间层提取视频特征，训练轻量级探测骨干（交替注意力Transformer）和任务特定读出头。三个任务分别使用语义标签（多标签分类）、实例分组（跨视图像素对应）和3D几何预测（深度、点图、相机运动）。特征提取时对视频采样20帧，VGM使用生成器内部隐藏激活，VLM使用视觉token隐藏状态。探测骨干统一架构，任务头分别训练。

Key Results:

• VLM在语义标签和实例分组上显著优于VGM。
• VGM在3D几何预测（深度、点图、相机运动）上表现更好。
• 简单特征融合（归一化后拼接）可同时保持VLM的语义优势和VGM的几何优势。
• 两类表征具有互补性，而非互斥。

Tech Stack:

• 视觉语言模型：Qwen3-VL, InternVL3
• 视频生成模型：WAN2.1, CogVideoX
• 探测骨干：N层交替注意力Transformer（帧内注意力和全局注意力）
• 特征提取：VGM使用单步去噪隐藏激活，VLM使用语言模型层视觉token
• 任务头：语义标签（多标签分类头）、实例分组（跨视图匹配头）、3D几何（深度/点图回归头、相机运动回归头）
• 评估指标：语义标签（mAP）、实例分组（IoU/准确率）、3D几何（深度误差、点图误差、相机运动误差）

Strengths:

• 实验设计严谨，通过冻结特征探测隔离了预训练范式的影响。
• 覆盖空间智能的三个关键维度，评估全面。
• 发现互补性并验证简单融合的有效性，具有实际指导意义。
• 代码开源，便于复现和扩展。

Limitations:

• 仅测试了少数代表性模型，结论的泛化性需更多模型验证。
• 探测任务为简化设定，未涉及复杂空间推理（如导航、操作）。
• 特征融合方式简单，更复杂的融合策略可能进一步提升性能。
• 未探讨不同模型规模、训练数据量等因素的影响。

Relevance To Keywords:

• Unify Models: 论文比较了VLM和VGM两种预训练范式，并探索融合，与统一模型方向相关。
• World Models: VGM作为视频生成模型可视为世界模型的一种，论文评估其几何表征能力。
• Representation Learning: 核心是表征学习，通过探测比较不同预训练得到的视觉表征。
• Model-Based RL: 空间智能是强化学习中环境建模的基础，论文结果对基于模型的RL有启示。
• 原生多模态大模型: VLM和VGM均属于多模态大模型，论文比较其空间智能表征。
• 多模态大模型的理解和生成一体化: 论文指出VLM（理解）和VGM（生成）的互补性，暗示一体化方向。
• 表征学习: 同上，核心是表征学习。
• 世界模型: 同上，VGM作为世界模型候选。
• 强化学习: 空间智能对RL中的感知和规划重要。
• 后训练: 论文关注预训练表征，但后训练可能改变表征，论文未涉及。

现代视频生成模型虽能产出视觉上令人印象深刻的结果，却经常违反基本的物理原理。本文提出 Proprio，一种无需训练的框架，使冻结的视频生成器能够评估并改进其自身输出的物理合理性。受本体感觉（即生物体对自身运动的感知）启发，Proprio 将模型在受控潜在扰动下的光流残差视为一种自评分信号。更能被生成器所学动力学解释的样本会产生更小且更稳定的残差。我们在时间步和扰动维度上聚合该信号，利用动态时空掩码将其聚焦于与运动相关的区域，并将其用于最佳 -N 搜索、基于梯度的自精炼，或两者结合。在文本到视频和图像到视频基准测试中，Proprio 一致提高了物理合理性，在多种设置下优于基于 VLM（视觉语言模型）的评分方法及外部世界模型基线。基于 TurboWan2.2，Proprio 将 Physics-IQ 从 32.2 提升至 37.5 (+16.5%)，并将 VideoPhy2-hard physical commonsense 从 45.6 提升至 55.0 (+20.6%)。人类评估进一步表明，在约三分之二的比较中，评估者更倾向于选择 Proprio 筛选或精炼的视频，因其物理合理性更佳。这些结果表明，冻结的视频生成器内部包含可用于评估和改进其自身输出物理合理性的可操作信号。

Modern video generative models produce visually impressive results, yet frequently violate basic physical principles. We propose Proprio, a training-free framework that enables a frozen video generator to assess and improve the physical plausibility of its own outputs. Inspired by proprioception, the biological sense of one's own movement, Proprio treats the model's flow residual under controlled latent perturbations as a self-scoring signal. Samples that are better explained by the generator's learned dynamics induce smaller and more stable residuals. We aggregate this signal across timesteps and perturbations, focus it on motion-relevant regions with a dynamic spatiotemporal mask, and use it for best-of-N search, gradient-based self-refinement, or both. Across text-to-video and image-to-video benchmarks, Proprio consistently improves physical plausibility, outperforming VLM-based scoring, and external world-model baselines in several settings. With TurboWan2.2, Proprio improves Physics-IQ from 32.2 to 37.5 (+16.5%) and VideoPhy2-hard physical commonsense from 45.6 to 55.0 (+20.6%). Human evaluation further shows that raters prefer Proprio-selected or refined videos for physical plausibility in roughly two-thirds of comparisons. These results suggest that frozen video generators contain actionable internal signals for evaluating and improving the physical plausibility of their own outputs.

评分理由: 1. Unify Models (5.0): 论文构建了评分与推理优化的统一框架，但未涉及多模型架构的统一，相关性中等。2. World Models (8.0): 摘要明确对比外部世界模型基线，且利用潜变量动力学建模，与世界模型核心概念高度相关。3. MLLM (3.0): 核心模型为视频生成器，非多模态大语言模型，仅将 VLM 作为基线，相关性较低。4. MultiModal (8.0): 任务涉及文本到视频和图像到视频，属于多模态生成，相关性高。5. model-based RL (5.0): 利用生成模型进行推理优化，具备模型驱动特征，但未涉及强化学习框架，相关性中等。专家核查：作者列表不包含指定专家，无额外加分。加权总分 58.0，远超动态及格分 26.5。

Video Generation, Physical Plausibility, Self-Scoring, Inference-Time Refinement, Latent Perturbations, World Models, Text-to-Video

Chinese Title: Proprio: 基于潜在自评分与推理时优化的物理合理视频生成

Summary: 现代视频生成模型虽视觉质量高，但常违反物理规律。本文提出Proprio，一种无需训练、冻结生成器的框架，使模型能自我评估并改进输出的物理合理性。受本体感觉启发，Proprio将模型在受控潜在扰动下的流残差作为自评分信号：与生成器学习动力学更一致的样本产生更小、更稳定的残差。通过逆方差加权聚合多时间步残差，并利用动态时空掩码聚焦运动区域，该分数可用于最佳N搜索、梯度自优化或两者结合。在文本到视频和图像到视频基准上，Proprio持续提升物理合理性，在Physics-IQ上提升16.5%，在VideoPhy2-hard上提升20.6%，人类评估中约三分之二情况下偏好Proprio选择的视频。结果表明冻结视频生成器内部包含可评估和改善自身输出物理合理性的信号。

Innovations:

• 提出生成器原生自评分方法，利用冻结生成器的去噪残差作为物理合理性的内在代理，无需外部评估器。
• 设计动态时空掩码，聚焦运动相关区域，提升评分对物理失效的敏感性。
• 采用逆方差加权聚合多时间步、多扰动的残差，提高评分鲁棒性。
• 将自评分转化为推理时优化目标，通过反向传播更新初始噪声实现自优化，可与最佳N搜索结合。
• 在多个物理合理性基准上超越基于VLM和外部世界模型的基线，证明冻结生成器可同时作为采样器和自评估器。

Methodology: Proprio基于流匹配框架，对生成的潜在视频施加受控噪声扰动，计算模型预测流与目标流之间的残差。通过逆方差加权聚合多个时间步和多个噪声实现的残差，并应用动态时空掩码（基于运动幅度和梯度）突出运动区域。所得分数用于三种推理时策略：最佳N搜索（选择分数最高的样本）、梯度自优化（通过冻结采样器反向传播更新初始噪声）以及混合搜索与优化。实验在文本到视频（TurboWan2.2）和图像到视频（I2VGen-XL）模型上进行，评估物理合理性指标（Physics-IQ、VideoPhy2）和人类偏好。

Key Results:

• 在TurboWan2.2上，Proprio将Physics-IQ从32.2提升至37.5（+16.5%），VideoPhy2-hard物理常识从45.6提升至55.0（+20.6%）。
• 在图像到视频任务上，Proprio在多个物理指标上优于VLM评分和外部世界模型（如V-JEPA）基线。
• 人类评估中，约三分之二情况下评估者认为Proprio选择或优化的视频在物理合理性上更优。
• 诊断实验显示，在82.2%的配对中，生成器内部残差信号偏好真实视频而非自身生成的物理不合理视频。
• 动态时空掩码和逆方差加权均带来显著提升，消融实验验证了各组件有效性。

Tech Stack:

• 流匹配（Flow Matching）生成框架
• 扩散模型（Diffusion Models）
• 逆方差加权聚合（Inverse-Variance Weighted Aggregation）
• 动态时空掩码（Dynamic Spatiotemporal Masking）
• 梯度下降优化（Gradient Descent）
• 最佳N搜索（Best-of-N Search）
• VAE编码器/解码器
• PyTorch（推断）

Strengths:

• 完全无需训练，直接利用冻结生成器内部信号，避免外部评估器的偏差和表示不匹配。
• 方法通用，可应用于不同视频生成模型（T2V和I2V）及多种推理时策略。
• 自评分与自优化结合，既可用于筛选也可用于改进，灵活性高。
• 动态时空掩码设计巧妙，有效聚焦物理相关区域，提升评分准确性。
• 实验充分，在多个基准和人类评估中验证有效性，消融实验清晰。

Limitations:

• 依赖生成器自身学习到的动力学，若生成器本身对某些物理规律建模不足，自评分可能失效。
• 计算开销较大：需要多次前向传播（多扰动、多时间步）以及可能的反向传播优化。
• 动态掩码设计依赖启发式规则（如运动幅度阈值），可能不适用于所有场景。
• 仅适用于推理时，无法从根本上改进生成器的训练过程。
• 实验仅在特定模型（TurboWan2.2、I2VGen-XL）上验证，泛化性需更多测试。

Relevance To Keywords:

• Unify Models: 论文探索生成器自身作为评估器，与统一模型（生成与理解一体化）理念一致。
• World Models: 视频生成模型可视为世界模型，Proprio利用其内部动力学评估物理合理性。
• Representation Learning: 潜在空间中的残差信号可视为一种表征学习信号。
• Model-Based RL: 自评分可作为奖励信号，推理时优化类似模型预测控制或策略优化。
• 原生多模态大模型: 方法适用于多模态（文本/图像到视频）生成模型。
• 后训练: 推理时优化属于后训练阶段，无需重新训练模型。

肖像动画方法在视觉质量和唇同步方面已取得了显著进展，但眼部区域的精细操控仍面临输入粒度与运动准确性之间的权衡。现有使用情感标签或粗略文本提示的方法不足以描述细微的眼部动态，而基于动作单元（Action Units）或驱动视频的方法虽然提供了更高的保真度，却以更大的输入负担为代价。这些限制对于超越情感的状态（例如思考）以及困倦状态而言仍然具有局限性。鉴于上述问题，我们提出了 CogPortrait，这是一种从高级标签生成肖像动画的两阶段框架。在第一阶段，三个基于链式思维的多模态大语言模型（MLLMs）代理通过时间事件规划、原型检索、基于真实行为库的组合以及语义生理约束执行，将高级标签编译为面部关键点。在第二阶段，一个基于扩散变换器（DiT）的视频生成骨干根据关键点、参考肖像、音频和文本提示合成最终动画，并通过动态无分类器指导策略进行增强，该策略包含眼部区域感知的重新加权以及针对边界情况的基于 KTO 的细化。此外，我们引入了 EMH 基准，涵盖多样情感及超越情感类别，并包含两个 AU 级指标，用于评估精细的眼部区域和头部运动控制。在 HDTF 和 EMH 基准上的广泛实验表明，CogPortrait 相较于现有方法实现了更精确的眼部区域控制，同时保持了卓越的视觉质量和身份一致性。

Portrait animation methods have achieved substantial visual quality and lip synchronization, but fine-grained manipulation of the eye region still faces a trade-off between input granularity and motion accuracy. Existing methods using emotion labels or coarse text prompts are insufficient for describing subtle ocular dynamics, whereas approaches based on Action Units or driving videos provide higher fidelity at the cost of a heavier input burden. These limitations are still restrictive for beyond-emotion states (e.g., thinking) and drowsiness. In light of the above, we propose CogPortrait, a two-stage framework that generates portrait animations from high-level labels. In the first stage, three chain-of-thought Multimodal Large Language Models (MLLMs) agents compile high-level labels into facial keypoints through temporal event planning, prototype retrieval, and composition from a real-behavior library, and semantic-physiological constraint enforcement. In the second stage, a DiT-based video generation backbone synthesizes the final animation conditioned on the keypoints, reference portrait, audio, and text prompt, enhanced by a dynamic classifier-free guidance strategy with eye-region-aware reweighting and KTO-based refinement for boundary cases. We further introduce the EMH benchmark covering diverse emotions and beyond-emotion categories with two AU-level metrics for evaluating fine-grained eye-region and head-motion control. Extensive experiments on HDTF and the EMH benchmark demonstrate that CogPortrait achieves more precise eye-region control than existing methods while maintaining supe- rior visual quality and identity consistency

评分理由: MLLM (10.0) and MultiModal (10.0) are core to the paper, explicitly utilizing MLLM agents and processing multimodal inputs (video, text, audio, keypoints). Unify Models (6.0) is moderately relevant due to the unified pipeline combining planning (MLLM) and generation (DiT). World Models (2.0) and model-based RL (1.0) are low relevance as the work focuses on conditional video generation rather than latent world dynamics modeling or reinforcement learning optimization. No expert authors from the target list were found, so no bonus was added.

CogPortrait, Portrait Animation, MLLM, Eye-Region Control, DiT, Video Generation, Hierarchical Planning, Facial Keypoints

Chinese Title: CogPortrait: 通过分层智能体规划实现肖像动画中的细粒度眼部区域控制

Summary: 本文提出CogPortrait，一个两阶段框架，用于从高层标签（如情绪、认知状态）生成细粒度眼部区域控制的肖像动画。第一阶段利用三个链式思维多模态大语言模型（MLLM）智能体：规划智能体将标签分解为时序事件，组合智能体从真实行为库中检索并组装原型，批评智能体施加语义和生理约束，最终生成面部关键点序列。第二阶段采用基于DiT的视频扩散骨干，以参考肖像、音频、文本提示和关键点为条件，通过动态无分类器引导（CFG）策略（眼部区域重加权）和基于KTO的边界情况优化，提升生成质量。此外，作者构建了EMH基准（涵盖6种核心情绪和6种超情绪状态）并引入两个AU级指标（AU-F1和AU-Temp）。实验表明，CogPortrait在细粒度眼部控制、视觉质量和身份一致性上优于现有方法。

Innovations:

• 提出两阶段框架，从高层标签直接实现细粒度眼部区域控制，无需运动级驱动信号。
• 设计分层智能体规划机制（规划、组合、批评），通过链式思维推理和原型库检索生成真实动态的面部关键点。
• 引入动态CFG策略，包含时空维度的眼部区域重加权，增强高频眼部运动并减少颜色偏移。
• 采用KTO优化对长尾模式（如不对称眉毛、大角度头部运动）进行后训练微调，提升边界情况表现。
• 构建EMH基准并设计AU-F1和AU-Temp两个AU级指标，专门评估细粒度眼部区域和头部运动控制。

Methodology: 论文采用两阶段技术路线。第一阶段：使用三个MLLM智能体（规划、组合、批评）通过链式思维推理将高层标签编译为面部关键点序列。规划智能体生成时序事件，组合智能体从真实行为库中检索原型并组装，批评智能体检查语义一致性和生理合理性，可迭代修正。第二阶段：采用基于Flow Matching的DiT视频扩散模型（Wan2.2）作为生成骨干，以参考肖像、音频、文本提示和第一阶段生成的关键点为条件。在推理时使用动态CFG，对眼部区域在时空维度进行重加权；对边界情况使用KTO优化，利用人工标注的期望/非期望样本微调模型。

Key Results:

• 在EMH基准上，CogPortrait在AU-F1和AU-Temp指标上优于所有基线方法（如AnimateDiff、SadTalker、MuseTalk等）。
• 在HDTF数据集上，CogPortrait在视觉质量（FID、FVD）和身份一致性（CSIM）上达到或超过现有方法。
• 消融实验验证了每个组件（智能体规划、动态CFG、KTO）的有效性。
• 展示了超情绪状态（如思考、困倦）和细粒度指令（如左眼眨眼、视线偏移）的生成案例，证明其泛化能力。

Tech Stack:

• Flow Matching (FM) 模型
• DiT (Diffusion Transformer) 视频生成骨干 (Wan2.2)
• 多模态大语言模型 (MLLM) 及链式思维 (Chain-of-Thought) 推理
• Kahneman-Tversky Optimization (KTO) 优化算法
• 3D VAE 编码器/解码器
• 动态无分类器引导 (Dynamic CFG) 策略
• AU (Action Unit) 指标：AU-F1、AU-Temp

Strengths:

• 实现了从高层语义标签到细粒度眼部运动控制的直接映射，降低用户输入负担。
• 智能体规划结合真实行为库，生成的面部关键点具有真实动态特性，避免过平滑。
• 动态CFG和KTO优化有效处理了长尾和边界情况，提升生成鲁棒性。
• 构建了专门的EMH基准和AU级指标，填补了细粒度眼部控制评估的空白。
• 在多个数据集和指标上达到SOTA，验证了方法的有效性。

Limitations:

• 依赖原型库的质量和覆盖度，若库中缺乏某些罕见模式可能影响生成效果。
• MLLM智能体推理过程可能引入额外计算开销，实时性有待验证。
• 对于极端大角度头部运动或复杂遮挡场景，身份保持可能仍有挑战。
• 论文未讨论跨身份泛化能力（如不同种族、年龄的参考肖像）。

Relevance To Keywords:

• 原生多模态大模型：论文使用MLLM智能体进行链式推理，属于多模态大模型的应用，但并非原生多模态（未训练统一模型）。
• 多模态大模型的理解和生成一体化：论文将MLLM用于理解高层标签并生成控制信号，与生成一体化概念相关。
• 表征学习：面部关键点作为中间表征，但未涉及自监督表征学习。
• 世界模型：智能体规划可视为对动态世界的建模，但未显式构建世界模型。
• 强化学习：KTO优化属于基于人类反馈的强化学习范式，与后训练相关。
• 后训练：KTO微调是后训练阶段，符合关键词。
• Unify Models、Model-Based RL：论文未涉及统一模型或基于模型的强化学习，相关性较弱。

视频 - 语言模型（VLMs）已在多样化的计算机视觉应用中展现出令人印象深刻的多模态推理能力。然而，这些 VLMs 是任务特定的，并假设视频和语言输入均完整。然而，现实世界中的 VLM 应用可能会因传感器停用（例如，由于数据隐私导致相机不可用）而面临挑战，从而产生模态不完整的数据，并导致训练数据与测试数据之间的不一致。虽然直接处理不完整的输入可能会损害训练泛化能力并导致训练失败，但其对 VLMs 在安全性和可信性方面的潜在风险在很大程度上被忽视了。为此，我们首次尝试提出一种统一的非完整视频 - 语言模型，以处理不完整的多模态输入。广泛的实验结果表明，我们的方法可以作为即插即用模块应用于先前的工作，以提高其在各种多模态任务中的性能。

Video-Language Models (VLMs) have demonstrated impressive multi-modal reasoning capabilities across diverse computer vision applications. However, these VLMs are task-specific and assume that both video and language inputs are complete. However, real-world VLM applications might face challenges due to deactivated sensors (e.g., cameras are unavailable due to data privacy), yielding modality-incomplete data and leading to inconsistency between training and testing data. While straightforward incomplete input can boast training generalization-ability and lead to training failure, its potential risks to VLMs regarding safety and trustworthiness have been largely neglected. To this end, we make the first attempt to propose a unified incomplete video-language model to process the incomplete multi-modal inputs. Extensive experimental results show that our method can serve as a plug-and-play module for previous works to improve their performance in various multi-modal tasks.

评分理由: 论文标题和摘要均强调'Unified'和'Multi-Modal'，与 Unify Models 和 MultiModal 高度相关。MLLM 作为多模态大模型缩写，与文中的 Video-Language Models 领域高度契合，故给予中高分。World Models 和 model-based RL 涉及强化学习与环境建模，与本文的多模态感知与推理任务无直接关联，得分最低。加权总分为 58.0，高于动态及格分 26.5。

Unified Vision-Language Models, Incomplete Multi-Modal Inputs, Video-Language Models, Modality-Incomplete Data, Multi-modal Reasoning, Plug-and-play Module, Robustness

Chinese Title: 面向不完整多模态输入的统一视觉语言模型

Summary: 本文针对现实应用中视频语言模型（VLM）面临的多模态输入不完整问题（如视频帧缺失、文本词缺失），首次提出了一种统一的、任务无关的不完整视频语言模型。现有VLM方法严重依赖完整的视频-文本对，无法处理不完整输入，导致性能严重下降。为此，论文设计了三个核心模块：多模态特征近似模块，通过构建跨模态关系图近似缺失模态的特征；多模态知识蒸馏模块，减少对完整模态的过度依赖；多粒度多模态集成模块，将语义相似的视频-文本对更紧凑地映射到共同特征空间。该方法可作为即插即用模块，显著提升多种现有VLM方法在视频文本检索、视频问答、视频句子定位等任务上的性能。实验在不同不完整率下验证了方法的有效性和鲁棒性。

Innovations:

• 首次提出并定义了“不完整视频-文本对齐”这一现实设定，涵盖视频和文本同时缺失且缺失率不平衡的情况。
• 提出统一的不完整多模态补全网络，可适用于多种下游多模态任务（检索、问答、定位），无需为每个任务设计特定融合方法。
• 设计多模态特征近似模块，利用跨模态和自模态的K-互近邻关系，基于可用特征可靠地近似缺失的帧/词特征。
• 引入多模态知识蒸馏模块，平衡模型对完整模态的依赖，提升在不完整输入下的鲁棒性。
• 提出基于原型的多粒度多模态集成模块，通过共享原型和交叉注意力机制，将语义相似的视频-文本对更紧凑地对齐。

Methodology: 论文采用以下技术路线：首先，利用特征编码器提取视频帧和文本词的初始特征；然后，通过原型学习构建共享原型，并利用多头交叉注意力（MCA）和前馈网络（FFN）重构特征；接着，基于Jaccard距离和K-互近邻算法，从跨模态和自模态中选取最可靠的邻居特征来近似缺失特征；之后，通过多模态知识蒸馏（以完整模态特征为教师，不完整模态特征为学生）减少过拟合；最后，通过多粒度集成模块将视频和文本特征映射到共同嵌入空间，实现紧凑对齐。整体框架为任务无关的即插即用模块。

Key Results:

• 所提方法可作为即插即用模块，显著提升多种现有SOTA VLM方法（如视频文本检索、视频问答、视频句子定位）在不完整输入下的性能。
• 在不同不完整率（如10%、30%、50%）下，方法均能有效恢复缺失信息，性能下降幅度远小于直接使用不完整输入的基线方法。
• 多模态特征近似模块能够利用跨模态语义相似性准确补全缺失帧/词特征，知识蒸馏模块有效缓解了模型对完整模态的过度依赖。
• 在多个公开数据集（如MSRVTT、ActivityNet、Charades-STA等）上的实验验证了方法的通用性和鲁棒性。

Tech Stack:

• 特征编码器（视频帧编码、文本词编码）
• 原型学习（Prototype Learning）
• 多头交叉注意力（Multi-head Cross-Attention, MCA）
• 前馈网络（Feed-Forward Network, FFN）
• Jaccard距离（Jaccard Distance）
• K-互近邻算法（K-reciprocal Nearest Neighbors）
• 余弦相似度（Cosine Similarity）
• 知识蒸馏（Knowledge Distillation）
• 多粒度特征集成（Multi-granularity Integration）

Strengths:

• 首次系统性地研究了多模态输入不完整问题，填补了该领域空白。
• 提出的方法为任务无关的即插即用模块，可直接应用于多种现有VLM方法，实用性强。
• 设计了三个互补模块，分别解决特征补全、过拟合缓解和对齐增强，技术方案完整。
• 实验设置全面，涵盖不同不完整率、不同任务和多个数据集，验证了方法的鲁棒性和泛化能力。

Limitations:

• 论文未讨论极端不完整情况（如视频帧缺失超过80%或文本词缺失超过70%）下的性能边界。
• 方法依赖于可用特征的质量，当可用特征本身噪声较大时，近似效果可能下降。
• 未在真实部署场景（如监控视频实时处理）中验证计算效率，可能面临延迟问题。
• 知识蒸馏模块需要额外训练步骤，可能增加模型复杂度。

Relevance To Keywords: 论文研究统一视觉语言模型处理不完整多模态输入，与“Unify Models”高度相关；涉及多模态表征学习（Representation Learning），通过原型和交叉注意力进行特征对齐；但论文未涉及世界模型（World Models）、强化学习（Model-Based RL）或后训练（Post-training），因此与这些关键词相关性较弱。整体上，论文主要聚焦于多模态大模型在不完整输入下的统一建模，属于原生多模态大模型的理解方向。

视觉描述任务要求模型忠实捕捉视觉内容，同时最小化遗漏与幻觉现象。作为描述任务的主导范式，多模态大语言模型（MLLMs）通过模型扩展和高质量数据取得了显著性能。近期，强化学习（RL）已成为推动多模态大语言模型（MLLMs）向更高精度和更广覆盖发展的关键路径，然而，现有的描述任务奖励设计未能提供细粒度且可靠的事实验证信号，限制了其有效性。为了解决这一问题，我们提出了 VCap，这是一种基于 Witness-Adjudicator（证人 - 裁判）机制的奖励函数，它将参考描述（作为证人）与视觉信号（作为裁判）进行配对。通过在视觉信号基础上显式验证参考描述与策略生成描述之间的事实一致性，VCap 提供了具有超几何分布级别精度的奖励信号，用于描述质量验证。该设计使得模型即使从不完美的参考描述中也能进行有效学习，从而促进强化学习训练中的弱到强泛化能力。实验结果表明，使用 VCap 训练的 8B 模型在多个图像和视频描述基准上均优于开源和闭源的最先进（SOTA）模型。人类评估进一步证实了其与事实正确性的高度对齐。此外，VCap 提升了多模态大语言模型的感知能力，具备良好的跨任务泛化性，并超越了最佳 N 蒸馏方法，从而挑战了关于视觉奖励强化学习（RLVR）的先前假设。

Visual captioning requires models to capture visual content faithfully while minimizing both omission and hallucination. As the dominant paradigm for captioning, MLLMs have achieved strong performance through scaling and high-quality data. Recently, RL has emerged as a key route to driving MLLMs toward higher precision and broader coverage, however, existing reward designs for captioning fail to provide fine-grained and reliable signals for factual verification, limiting their effectiveness. To address this, we propose VCap, a Witness-Adjudicator reward that pairs the reference caption (a witness) with the visual signal (an adjudicator). By explicitly verifying factual consistency between the reference and policy-generated captions grounded in the visual signal, VCap delivers a reward signal with hypergeometric-distribution-level precision for caption quality verification. This design enables effective learning even from imperfect references, facilitating weak-to-strong generalization in RL training. In our experiments, an 8B model trained with VCap outperforms open- and closed-source SOTA models on multiple image and video captioning benchmarks. Human evaluation further confirms its strong alignment with factual correctness. Additionally, VCap improves MLLM perceptual capability, generalizes across tasks, and surpasses best-of-N distillation, challenging prior assumptions about RLVR.

评分理由: 1. Unify Models: 论文聚焦于视觉 captioning 的奖励函数设计，未涉及多模型架构的统一，与背景中的"Unify Models"概念关联较弱。2. World Models: 论文内容集中在 captioning 和奖励学习，未提及世界模型或环境预测，完全不相关。3. MLLM: 论文明确针对多模态大模型（MLLM）进行视觉 captioning 优化，是核心研究对象，高度相关。4. MultiModal: 视觉 captioning 涉及图像/视频与文本的交互，属于典型的多模态任务，高度相关。5. model-based RL: 论文使用了强化学习（RL）框架，但重点在于奖励模型的设计，而非传统意义上的基于模型的强化学习（Model-Based RL planning），相关性中等。

Visual Captioning, MLLM, Reward Design, Hypergeometric Distribution, Weak-to-Strong, Factual Consistency, Reinforcement Learning

Chinese Title: VCap：用于弱到强视觉描述的超几何奖励

Summary: 论文提出VCap，一种证人-裁判奖励机制，用于视觉描述任务。该方法将参考描述视为随机证人，视觉信号作为裁判，通过超几何分布精确度量描述的正确性和完整性，从而在强化学习训练中实现弱到强泛化——即使使用不完美的参考也能训练出更强的描述模型。实验表明，8B模型在多个图像和视频描述基准上超越开源和闭源SOTA模型，人工评估证实其事实正确性。此外，VCap提升了多模态大模型的感知能力，并泛化到图像和视频问答任务，消融研究验证了奖励设计超越自蒸馏。

Innovations:

• 提出事实级别的视觉描述框架，将描述质量分解为正确性和完整性两个互补轴。
• 提出证人-裁判奖励机制，将参考描述和视觉信号角色分离，实现弱到强泛化。
• 推导出超几何分布的奖励信号，使得不完美参考也能引导更强描述器。
• 在图像和视频描述基准上取得SOTA，并验证了感知能力提升和跨任务泛化。

Methodology: 使用冻结的奖励模型（MLLM）对三元组（视觉信号x、参考描述yref、策略描述y）进行结构化判断，输出正确性、完整性和文本质量三个分数，加权组合成奖励。对于视频，额外使用随机时间段的局部奖励与全局奖励加权组合。训练采用强化学习（RL），策略模型迭代生成更强参考以自我改进。

Key Results:

• 8B模型在CapMAS、Decap-Bench等图像描述基准上超越多个更大模型。
• 在视频描述基准VDC上达到SOTA，VCapsBench上排名靠前。
• 人工评估中VCap排名第一，VCap奖励与人类偏好一致性达61.1%。
• 下游QA任务中表现提升，消融实验证实奖励设计超越自蒸馏。

Tech Stack:

• 强化学习（RL）
• 超几何分布
• 多模态大语言模型（MLLM）
• 证人-裁判奖励机制
• 自进化参考（self-evolving reference）
• 最佳-of-N采样（best-of-N）
• 消融实验

Strengths:

• 创新性地将参考描述作为随机证人，避免模仿式奖励的局限。
• 超几何分析提供了理论保证，支持弱到强泛化。
• 在多个基准上取得SOTA，且人工评估支持事实正确性。
• 提升感知能力，泛化到QA任务，验证了奖励设计的有效性。

Limitations:

• 依赖冻结的奖励模型，其能力可能成为瓶颈。
• 超几何模型假设事实均匀分布，可能不反映真实分布。
• 视频处理中随机时间段选择可能遗漏关键事实。
• 计算成本较高，需要多次推理。
• 未在更大规模模型上验证。

Relevance To Keywords: 论文与关键词高度相关：VCap用于原生多模态大模型的视觉描述训练，涉及多模态大模型的理解和生成一体化；通过强化学习后训练提升表征学习能力；世界模型方面，描述需要建模视觉世界；强化学习是核心方法；后训练阶段是主要应用场景。

现有的多模态推理 (multimodal reasoning) 方法主要遵循两种范式：一种是在推理前将视觉输入转换为文本，另一种是在统一的视觉 - 语言 (vision-language) 表示空间内进行端到端 (end-to-end) 推理。尽管它们在经验上取得了进展，但这两种范式都存在根本性的结构局限。前者依赖于静态的视觉 - 文本 (visual-to-text) 转换，往往会导致细粒度视觉细节的压缩和丢失。后者容易受到联合优化 (joint optimization) 和注意力机制 (attention mechanisms) 引发的语言主导的影响，导致在推理过程中系统性地削弱了对视觉证据的忠实性。本文认为，核心挑战在于视觉证据如何以及何时被引入推理过程。受此启发，我们提出了 CSMR，这是一种多模态推理框架，其中语言模型 (language model) 通过决定何时调用独立的视觉感知模块 (visual perception module) 来获取任务相关的视觉证据来控制推理过程。在多个多模态推理基准测试 (benchmarks) 上的实验表明，CSMR 在零样本设置 (zero-shot setting) 下的准确率始终优于代表性基线方法 (baseline methods)。进一步的实验分析证实，这些优势主要源于所提出的认知调度机制 (cognitive scheduling mechanism)。

Existing multimodal reasoning approaches predominantly follow two paradigms: converting visual inputs into text prior to reasoning, or performing end-to-end reasoning within a unified vision-language representation space. Despite their empirical progress, both paradigms suffer from fundamental structural limitations. The former relies on static visual-to-text conversion, which tends to compress and lose fine-grained visual details. The latter is prone to linguistic dominance induced by joint optimization and attention mechanisms, leading to systematically weakened faithfulness to visual evidence during reasoning. In this work, we argue that a central challenge is how and when visual evidence is introduced into the reasoning process. Motivated by this insight, we propose CSMR, a multimodal reasoning framework in which a language model controls the reasoning process by deciding when to invoke an independent visual perception module to acquire task-relevant visual evidence. Experiments across multiple multimodal reasoning benchmarks show that CSMR consistently outperforms representative baseline methods in accuracy under a zero-shot setting. Further experimental analysis confirms that these advantages primarily arise from the proposed cognitive scheduling mechanism.

评分理由: The paper is highly relevant to MultiModal (10) and MLLM (8) as it proposes an MLLM-based reasoning framework. It addresses Unify Models (6) by critiquing unified spaces and proposing scheduling. World Models (2) and model-based RL (1) are minimally relevant as the work focuses on evidence acquisition rather than dynamics or reinforcement learning. Total weighted score 54.0 exceeds the 26.5 threshold.

Multimodal Reasoning, Visual Evidence Acquisition, Cognitive Scheduling, Language Model Control, Visual Perception Module, Zero-shot Setting, Faithfulness to Visual Evidence

Chinese Title: 按需查看：多模态推理中视觉证据获取的认知调度框架

Summary: 本文针对多模态推理中视觉证据引入的时机与方式问题，提出了一种认知调度框架CSMR。现有范式分为两类：预推理视觉转文本（静态文本化丢失细节）和统一视觉-语言空间推理（语言先验主导，削弱视觉忠实性）。作者通过实验分析指出统一范式存在结构性缺陷：训练目标缺乏对视觉忠实性的约束，且自注意力机制偏向文本令牌，导致视觉编码器被语言主导梯度误导。CSMR将语言模型作为认知核心，维护显式推理状态，动态调用独立视觉感知模块获取证据，并可重复调用直至证据充分。在多个多模态推理基准上的零样本实验表明，CSMR在准确率上持续优于代表性基线，增益来源于推理状态驱动的视觉查询和提前终止机制。

Innovations:

• 揭示了统一多模态推理范式中视觉表示受语言先验影响的结构性缺陷，并通过注意力分析验证了文本令牌的注意力偏置。
• 提出CSMR框架，将语言模型作为认知核心，通过显式推理状态动态调度独立的视觉感知模块，实现按需获取视觉证据。
• 支持推理过程中重复调用视觉模块，逐步验证视觉证据，避免一次性转换导致的细节丢失。
• 通过结构解耦感知与推理，防止视觉证据被语言先验干扰，增强视觉忠实性。
• 在多个基准上实现零样本设置下的持续性能提升，并验证了推理状态驱动的视觉查询和提前终止的有效性。

Methodology: 论文采用实证分析与框架设计相结合的方法。首先通过注意力分布统计和消融实验（移除图像输入）验证统一范式中的语言先验主导问题。然后提出CSMR框架：认知推理核心（CRC）由LLM实现，维护推理状态并决定何时调用视觉感知模块（VLM）；视觉感知模块独立提取图像证据，返回文本化描述；CRC根据当前状态判断证据是否充分，若不充分则继续调用，否则终止推理并生成答案。实验在ScienceQA、MMBench、MMStar等基准上进行零样本评估，对比基线包括LLaVA、Qwen-VL、DDCoT等。

Key Results:

• 在ScienceQA、MMBench、MMStar等多个多模态推理基准上，CSMR在零样本设置下准确率持续优于代表性基线（如LLaVA-1.6、Qwen-VL、DDCoT等）。
• 注意力分析显示，在Qwen3-VL-8B和LLaVA-1.6-7B中，文本令牌的预softmax注意力分数平均约为视觉令牌的2.5倍，且总注意力也偏向文本。
• 移除图像输入后模型仍保持较高准确率，证实了语言先验的强依赖性。
• 消融实验表明，推理状态驱动的视觉查询和提前终止机制是性能提升的关键因素。

Tech Stack:

• LLM（大语言模型）作为认知推理核心
• VLM（视觉语言模型，如Qwen-VL、LLaVA）作为视觉感知模块
• 自注意力机制（Scaled Dot-Product Attention）
• 零样本评估设置
• ScienceQA、MMBench、MMStar等基准数据集
• 预softmax注意力分数统计方法

Strengths:

• 问题定义清晰，从现有范式的结构性缺陷出发，动机合理。
• 通过详实的注意力分析和消融实验提供了有力的实证支持。
• 框架设计简洁有效，解耦感知与推理，避免语言先验干扰。
• 零样本设置下取得一致提升，泛化性强。
• 代码开源，便于复现和后续研究。

Limitations:

• 依赖外部VLM作为感知模块，可能增加推理延迟和计算开销。
• 视觉证据以文本化形式返回，仍存在一定信息压缩（但可通过多次调用缓解）。
• 实验仅在零样本设置下进行，未探索微调或后训练场景。
• 未深入分析推理状态表示的具体设计（如状态更新规则）。
• 与强化学习、世界模型等关键词的直接关联较弱，论文未涉及这些方向。

Relevance To Keywords: 论文与'原生多模态大模型'高度相关，因为其核心是改进多模态推理中的视觉证据获取。与'表征学习'相关，因为分析了统一范式下视觉表示受语言先验影响的问题，并提出解耦方案。与'世界模型'有一定关联，因为推理状态可视为对当前任务世界的抽象，但论文未明确构建世界模型。与'强化学习'和'后训练'关联较弱，论文未使用RL或后训练技术，主要关注推理时的调度策略。与'多模态大模型的理解和生成一体化'相关，但论文侧重于理解（推理）而非生成。

随着预训练技术的快速发展，将大规模视觉 - 语言模型（VLMs）应用于视频理解（即图像到视频迁移学习）已成为一种主导范式。为取得优越性能，近期进展中采用混合专家模型（MoE）以增强 VLMs 的时序建模能力成为一种有效策略。然而，传统的 MoE 设计存在专家同质化问题，即所有专家均充当功能相同的通才，无法高效地从未区分的视频流中学习时空特征。为了解决这一问题，我们提出了 VidPrism，一种新颖的异构时序混合专家框架。VidPrism 通过部署功能专用专家实现了分工，每个专家承担的角色涵盖从空间理解到时序建模的范围。为了向这些专家提供适当的输入，我们引入了一种内容感知的多速率采样模块，该模块动态生成从语义丰富到运动聚焦的表示流，从而为专家提供专用输入。此外，一种动态双向融合机制使这些路径之间能够进行协同信息交换，进而生成综合的视频表示。在各种视频识别基准上的广泛实验表明，VidPrism 实现了最先进性能，并有效地促进了专家专业化。我们的源代码可在 https://github.com/Lrrrr549/VidPrism.git 处获取。

With the rapid development of pre-training technologies, adapting large-scale Vision-Language Models (VLMs) for video understanding \emph{\ie} image-to-video transfer learning has become a dominant paradigm. To achieve superior performance, it raises as an effective strategy among recent advances to employ Mixture-of-Experts (MoE) to enhance VLMs' temporal modeling capabilities. However, conventional MoE designs suffer from expert homogenization, where all experts act as identical generalists, inefficiently learning spatio-temporal features from undifferentiated video streams. To overcome this problem, we propose VidPrism, a novel heterogeneous temporal Mixture-of-Experts framework. VidPrism pioneers a division of labor by deploying functionally specialized experts, each assuming a role ranging from spatial understanding to temporal modeling. To feed these specialists appropriately, we introduce a content-aware, multi-rate sampling module that dynamically generates streams ranging from semantically rich to motion-focused representations, providing specialized inputs for experts. Furthermore, a dynamic, bidirectional fusion mechanism enables synergistic information exchange between these pathways, leading to a comprehensive video representation. Extensive experiments on various video recognition benchmarks demonstrate that VidPrism achieves state-of-the-art performance and effectively fosters expert specialization. Our source code is available at \href{https://github.com/Lrrrr549/VidPrism.git}{https://github.com/Lrrrr549/VidPrism.git}.

评分理由: 论文基于视觉语言模型 (VLM) 和混合专家 (MoE) 架构进行视频理解，与 MLLM 和多模态技术高度相关；通过异构专家统一了时空建模，与 Unify Models 有一定关联；涉及表征学习但与 World Models 的生成/动力学特性不符；未涉及强化学习，故 model-based RL 为 0 分。作者列表为 Rui Lin, Chuanming Wang, Huadong Ma，不包含指定专家名单，故无加分。

Image-to-Video Transfer, Mixture-of-Experts, Vision-Language Models, Video Recognition, Heterogeneous Experts, Spatio-temporal Modeling, Content-aware Sampling

Chinese Title: VidPrism: 异构专家混合模型用于图像到视频迁移

Summary: 本文提出VidPrism，一种异构时间专家混合（MoE）框架，用于将预训练的视觉语言模型（VLM）从图像领域迁移到视频理解任务。针对传统MoE中专家同质化导致时空特征学习效率低下的问题，VidPrism通过部署功能专门化的专家（如空间理解、时间建模）实现分工。具体地，设计内容感知的多速率采样模块，动态生成语义丰富的慢速流和运动密集的快速流，为不同专家提供专门输入；同时引入动态双向融合机制，促进空间与时间路径间的协同信息交换。在多个视频识别基准上的实验表明，VidPrism达到了最先进性能，并有效促进了专家专业化。

Innovations:

• 首次提出异构MoE架构用于图像到视频迁移，专家网络显式专门化并绑定不同时间尺度。
• 设计内容感知的多速率输入生成模块，动态生成语义丰富的慢速流和运动密集的快速流。
• 引入动态双向融合机制，实现空间与时间专家路径间的协同信息交换。

Methodology: 首先使用视觉编码器提取视频帧特征；然后通过多个速率引导的时空聚合模块（RgSTA）按不同速率采样并融合帧特征，保留关键信息；接着利用动态双向交互模块（DBI）在并行路径间选择性交换信息；最后通过异构MoE（HMoE）对各路径增强后的特征进行建模，并集成输出全局视频表示用于分类。

Key Results:

• 在多个视频识别基准（如UCF-101等）上达到最先进性能。
• 可视化显示模型在关键动作时刻出现清晰的注意力峰值，而传统同质化MoE基线则呈现平坦分布。
• 有效促进了专家专业化，不同专家分别聚焦于空间语义和运动动态。

Tech Stack:

• LayerNorm
• 线性层（MetricProj, ScoreHead）
• Softmax函数
• 余弦相似度
• 温度系数τ
• 缩放因子δ
• L2范数
• 加权融合（超参数α）

Strengths:

• 创新性地解决MoE专家同质化问题，实现功能专门化。
• 内容感知的多速率输入生成使专家获得最相关输入。
• 动态双向融合促进路径间协同，提升整体视频表示质量。
• 在多个基准上取得SOTA，验证了方法的有效性。

Limitations:

• 异构MoE和双向融合可能增加模型计算复杂度和参数量。
• 超参数α、τ、δ等需要调优，可能影响泛化性。
• 论文未详细讨论在长视频或复杂场景下的性能表现。

Relevance To Keywords:

• Unify Models: VidPrism通过异构MoE统一了空间和时间建模路径。
• World Models: 视频理解是构建世界模型的重要部分，VidPrism提升了视频表征能力。
• Representation Learning: 通过多速率采样和双向融合学习更全面的视频表示。
• Model-Based RL: 视频理解可为基于模型的强化学习提供环境感知。
• 原生多模态大模型: 基于VLM迁移，属于多模态大模型在视频领域的应用。
• 多模态大模型的理解和生成一体化: 本文聚焦理解任务，但框架可扩展至生成。
• 后训练: 图像到视频迁移属于后训练阶段，利用预训练VLM进行微调。

基于图像的推理 (Think-with-image reasoning) 正在成为大型视觉语言模型 (VLMs) 的一种新兴推理范式，但其安全性影响仍知之甚少。现有的系统已涵盖多种处理范式，包括直接响应生成、纯文本前置轮次、视觉状态操控以及显式外部图像工具调用。本文探究了这些被评估的范式中哪一种能提高多模态越狱鲁棒性，以及其背后的原因。在多个视觉语言模型中，显式图像工具交互在我们的实验中产生了最低的攻击成功率 (ASR)，相对于被评估模型的平均值，其越狱成功率降低了约 30%。这一发现起初令人惊讶：即使返回的图像工具输出被手动覆盖或本身看似不安全，ASR 仍然保持较低；然而，在纯文本前置轮次控制条件下，ASR 会恢复到接近直接回答的水平。这些结果表明，较低的 ASR 无法仅由良性返回图像的语义或文本图像工具轨迹来解释。为了解释这一现象，我们引入了一个图像工具安全向量框架 (Image-Tool Safety Vector Framework)，该框架将图像工具调用建模为隐藏表示向安全性相关方向的残差偏移。表示层面的分析及激活干预支持了这一解释。总体而言，我们的结果表明，显式图像工具交互是提高越狱鲁棒性的有前景的设计模式，同时也强调了针对特定推理流程进行安全评估的必要性。

Think-with-image reasoning is emerging as a new inference paradigm for large vision-language models, but its safety implications remain poorly understood. Existing systems already span multiple process designs, including direct response generation, text-only prior turn, visual-state manipulation, and explicit external image-tool invocation. In this paper, we ask which of these evaluated paradigms improves multimodal jailbreak robustness, and why. Across multiple vision-language models, explicit image-tool interaction yields the lowest attack success rates in our experiments, reducing jailbreak success by around 30% relative on average across the evaluated models. This finding is initially surprising: ASR remains low even when the returned image-tool output is manually overridden or itself unsafe-looking, but returns near direct-answering levels under text-only prior turn controls. These results indicate that the lower ASR is not explained by benign returned-image semantics or by the textual image-tool trace alone. To explain the pattern, we introduce an image-tool safety vector framework that models image-tool invocation as a residual shift in hidden representations toward a safety-relevant direction. Representation-level analyses and activation interventions support this account. Overall, our results suggest that explicit image-tool interaction is a promising design pattern for improving jailbreak robustness, while also motivating pipeline-specific safety evaluation.

评分理由: 论文核心聚焦 MLLM 安全与推理范式，故 MLLM 和多模态高度相关；虽比较不同范式涉及一体化思路，与 Unify Models 中度相关，但未涉及世界模型或模型强化学习，相关性低。作者列表中无指定专家。加权总分 52.0，高于动态及格分 26.5。

Multimodal Jailbreak Robustness, Think-with-image Reasoning, Image-tool Interaction, Vision-Language Models, Representation Shift, Safety Evaluation, Inference Paradigms

Chinese Title: 当“以图思考”遇上安全：什么决定了多模态越狱鲁棒性？

Summary: 本文研究多模态大语言模型（LVLM）在“以图思考”（Think-with-Image）推理范式下的安全性问题。作者比较了直接响应、纯文本前轮、模拟图像生成/编辑、视觉状态变体和显式图像工具交互等多种推理范式，发现显式图像工具交互能显著降低越狱攻击成功率（ASR），平均降低约30%。即使返回的图像内容被手动覆盖或本身不安全，该效果依然存在，但纯文本前轮控制下效果消失。为了解释这一现象，作者提出了“图像工具安全向量”框架，从表示层角度建模图像工具调用为隐藏状态的残差偏移，使安全行为更线性可读和可引导。通过表示层分析和激活干预实验支持了这一机制。研究结果表明，显式图像工具交互是一种有前景的越狱鲁棒性提升设计模式，并强调了针对不同推理管道进行安全评估的必要性。

Innovations:

• 首次系统比较了多种“以图思考”推理范式（直接响应、纯文本前轮、模拟图像生成/编辑、视觉状态变体、显式图像工具交互）对多模态越狱鲁棒性的影响。
• 发现显式图像工具交互能显著降低越狱攻击成功率（平均降低约30%），且该效果不依赖于返回图像的具体语义内容。
• 提出了“图像工具安全向量”框架，从表示层角度解释图像工具调用如何通过隐藏状态偏移提升安全性，并通过激活干预实验提供了机制证据。
• 揭示了推理过程的结构性变化（而非仅输入内容）对安全行为的关键影响，为多模态安全评估提供了新视角。

Methodology: 采用实验比较方法，固定安全查询（MM-SafetyBench），在不同推理范式下计算攻击成功率（ASR）。使用CoMT任务作为良性前缀，通过Visual Sketchpad（VSP）实现显式图像工具交互。评估模型包括Qwen3-VL、Gemma-3、Llama-4、Pixtral等家族。进行表示层分析（隐藏状态提取）和激活干预实验（如激活修补）以验证安全向量框架。使用LLM-as-judge评估器判断最终回答是否不安全。

Key Results:

• 显式图像工具交互在所有评估模型中取得最低攻击成功率，平均降低约30%。
• 即使返回图像被手动覆盖为不安全内容，ASR仍保持低位，但纯文本前轮控制下ASR回升至接近直接响应水平。
• 表示层分析表明，图像工具调用使隐藏状态向安全相关方向偏移，增强了安全行为的线性可分性和可引导性。
• 不同推理范式（如模拟图像生成/编辑、视觉状态变体）的ASR介于直接响应和显式图像工具交互之间。

Tech Stack:

• MM-SafetyBench（多模态安全基准）
• Visual Sketchpad (VSP)（图像工具）
• CoMT（Chain of Multi-modal Thought）任务
• LLM-as-judge评估器（基于大语言模型的自动评判）
• Qwen3-VL、Gemma-3、Llama-4、Pixtral等LVLM模型
• Stable Diffusion（用于生成模拟图像）
• 激活干预（activation intervention）技术
• 隐藏状态提取与表示分析

Strengths:

• 研究视角新颖，首次将推理范式本身作为实验变量，而非仅关注输入内容。
• 实验设计严谨，通过多种控制实验（如纯文本前轮、图像内容覆盖）排除了混淆因素。
• 提出了可解释的机制框架（图像工具安全向量），并通过表示层和干预实验提供了实证支持。
• 覆盖多个主流LVLM模型，结论具有一定泛化性。

Limitations:

• 实验仅基于MM-SafetyBench的一个子集（202个问题），样本量有限。
• 仅评估了特定类型的良性前缀（CoMT任务），其他类型的前缀可能产生不同效果。
• 图像工具交互的具体实现（Visual Sketchpad）可能引入特定偏差，其他工具实现需进一步验证。
• 未深入探讨图像工具调用如何与模型内部安全机制（如拒绝训练）交互。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究多模态大语言模型（LVLM）的安全推理范式，与原生多模态模型紧密相关。
• 世界模型：论文中的“以图思考”涉及中间视觉状态和工具调用，与世界模型中的内部模拟和推理有概念关联。
• 表征学习：论文提出的“图像工具安全向量”框架从隐藏表示层面分析安全行为，属于表征学习范畴。
• 强化学习：论文未直接使用强化学习，但后训练阶段的安全对齐（如RLHF）与论文讨论的越狱鲁棒性相关。
• 后训练：论文的机制分析可指导后训练阶段的安全优化策略。

从音频实时合成高保真 3D 角色动作是下一代交互式化身和虚拟助手的核心组件。然而，大多数现有方法仅限于对完整音频序列的离线处理，或受限于特定领域，往往难以有效同时处理语音和音乐。本文提出了一种新颖的框架，旨在从流式语音和音乐中生成连续、连贯的全身体动作，并实现低延迟。我们的方法核心在于一种统一的流式架构，能够从增量式音频输入中合成连续动作。我们采用了一种稳健的训练策略，强制模型具备强音频依赖性，使其能够无缝泛化于对话语音和节奏音乐之间，而无需显式的领域标签或模式切换。此外，我们还探索了使用强化学习（Reinforcement Learning）来优化在线生成的质量。进而，我们通过工具调用接口将反应式动画与意图驱动的行为相连接，允许上游大型语言模型（Large Language Models）注入显式的语义控制。通过将这种可控性与流式音频驱动的合成相结合，我们的框架提供了一种即插即用的解决方案，用于将语音代理转换为交互式类人化身。广泛的实验表明，我们的方法在运动质量和同步性方面优于最先进的实时基线，同时保持了实时部署所需的灵活性。我们的代码、预训练模型及视频可在 https://robinwitch.github.io/EchoAvatar-Page 上获取。

Real-time synthesis of high-fidelity 3D character motion from audio is a pivotal component for next-generation interactive avatars and virtual assistants. However, most existing approaches are limited to offline processing of complete audio sequences or are constrained to specific domains, rarely handling both speech and music effectively. In this paper, we introduce a novel framework designed to generate continuous, coherent full-body motion from streaming speech and music with low latency. Central to our approach is a unified streaming architecture capable of synthesizing continuous motion from incremental audio inputs. We employ a robust training strategy that enforces strong audio dependency, allowing the model to seamlessly generalize across conversational speech and rhythmic music without requiring explicit domain labels or mode switching. Additionally, we explored Reinforcement Learning to refine the quality of online generation. Furthermore, we bridge reactive animation with intent-driven behavior via a tool-call interface that allows upstream Large Language Models to inject explicit semantic control. By combining this controllability with stream audio-driven synthesis, our framework serves as a plug-and-play solution for transforming voice agents into interactive humanoid avatars. Extensive experiments demonstrate that our method outperforms state-of-the-art realtime baselines in motion quality and synchronization while maintaining the flexibility required for live deployment. Our code, pre-trained models, and videos are available at https://robinwitch.github.io/EchoAvatar-Page.

评分理由: 论文提出统一流式架构处理语音和音乐，与 Unify Models 高度相关；涉及音频到运动映射，MultiModal 相关性高；使用 RL 优化生成，model-based RL 中度相关；集成 LLM 进行控制，MLLM 中度相关；未涉及世界模型构建，World Models 相关性低。作者列表中不包含指定的专家。

Real-time Avatar Animation, Audio-driven Motion, Unified Streaming Architecture, Reinforcement Learning, Tool-call Interface, Multimodal Synthesis, 3D Character Motion

Chinese Title: EchoAvatar：基于音频流的实时生成式虚拟形象动画

Summary: 本文提出EchoAvatar，一个用于从流式音频实时生成高保真3D角色动画的统一框架。现有方法大多离线处理完整音频序列，或局限于语音或音乐单一领域。EchoAvatar采用因果注意力运动分词器，将连续运动离散化为令牌，避免卷积伪影；通过分层令牌损坏训练策略增强音频依赖，使模型无需领域标签即可统一学习对话手势和节奏舞蹈。此外，引入强化学习（GRPO/DPO）对齐以提升在线生成质量，并设计工具调用接口允许上游大语言模型注入显式语义控制。实验表明，该方法在运动质量和同步性上优于现有实时基线，支持流式输入输出，可作为即插即用模块集成到语音代理系统中。

Innovations:

• 提出统一流式架构，同时处理语音和音乐，无需领域切换或显式标签。
• 设计基于因果注意力的运动分词器，克服卷积方法表达力不足和重建伪影问题。
• 采用分层令牌损坏训练策略，增强音频条件作用，实现跨域协同学习。
• 探索强化学习（GRPO/DPO）用于在线生成质量对齐，提升感知质量。
• 引入工具调用接口，桥接反应式音频驱动动画与意图驱动的显式语义控制。

Methodology: 论文采用三阶段技术路线：首先，构建因果注意力运动分词器，使用因果掩码限制感受野，将连续运动参数（根速度、高度、6D旋转）离散化为令牌。其次，利用预训练LLM作为生成器，通过三阶段课程训练（包括分层令牌损坏）对齐音频-运动模态，实现统一学习。最后，应用强化学习（GRPO和DPO）对生成策略进行后训练对齐，提升零样本流式场景下的感知质量。系统支持流式音频输入，实时输出连续运动序列。

Key Results:

• 在运动质量和同步性上超越现有实时基线方法。
• 统一学习语音和音乐产生协同效应，提升各自领域的生成保真度。
• 强化学习（GRPO/DPO）显著改善感知质量，尤其在零样本流式场景中。
• 系统可作为即插即用模块，集成到语音代理和LLM驱动的交互系统中。

Tech Stack:

• 因果注意力机制（Causal Attention with Mask）
• 向量量化（Vector Quantization, VQ）
• 预训练大语言模型（LLM）
• 分层令牌损坏（Hierarchical Token Corruption）
• 组相对策略优化（Group Relative Policy Optimization, GRPO）
• 直接偏好优化（Direct Preference Optimization, DPO）
• 6D旋转表示（6D Rotation Representation）
• 根速度与高度参数化（Root Velocity & Height）

Strengths:

• 实现真正的流式低延迟生成，适合实时交互。
• 统一处理语音和音乐，无需模型切换，泛化性强。
• 因果注意力分词器在表达力和重建质量上优于卷积方法。
• 强化学习对齐有效提升在线生成的自然度和用户偏好。
• 工具调用接口赋予系统可控性，便于与LLM生态集成。

Limitations:

• 对音频特征的依赖可能限制在噪声环境下的鲁棒性。
• 强化学习训练过程复杂，需要大量偏好数据或奖励模型。
• 未明确讨论对多语言、口音或非典型音频输入的适应性。
• 生成的动画缺乏物理约束，可能出现穿模或不符合人体运动学的情况。

Relevance To Keywords:

• Unify Models: 论文提出统一框架处理语音和音乐，符合模型统一思想。
• World Models: 通过LLM生成运动可视为对音频驱动世界状态演化的建模。
• Representation Learning: 因果注意力运动分词器学习离散运动表征。
• Model-Based RL: 强化学习（GRPO/DPO）用于策略优化，属于后训练对齐。
• 原生多模态大模型: 论文使用预训练LLM但非原生多模态，需额外对齐音频和运动。
• 多模态大模型的理解和生成一体化: 系统同时理解音频并生成运动，但未实现端到端一体化。
• 表征学习: 运动分词器学习高效运动表征。
• 世界模型: 生成器可视为音频到运动的世界模型。
• 强化学习: 明确使用GRPO和DPO进行后训练。
• 后训练: 强化学习对齐属于后训练阶段。

半监督指称表达分割（SS-RES）旨在在有限标注下实现精确的像素级语言定位，但在利用未标注的图像 - 文本对时，却面临监督不足和伪标签不可靠的问题。本文提出学习标注（Learning to Label, L2L），这是一种强化自我演化框架，将伪标签构建视为一个可学习的决策过程。为了建立基础认知，我们利用多模态大语言模型（MLLM）提取语义 - 空间先验，这些先验被实例化为初始软分割提议，并与文本线索一同提升为可学习指导信号，从而引导一个层次化分割网络。为确保学习稳定，强化伪标签选择被构建为一个探索性决策过程，该过程基于多模态先验和模型预测，自适应地奖励高实用性的像素级监督。这一强化自我演化循环实现了分割模型与伪标签的联合优化，在稀疏监督下逐步增强标签的可靠性。在 RefCOCO、RefCOCO+ 和 RefCOCOg 上的大量实验表明，该方法优于现有方法，验证了其有效性和泛化能力。

Semi-supervised referring expression segmentation (SS-RES) aims to achieve precise pixel-level language grounding under limited annotation, yet suffers from limited supervision and unreliable pseudo-labels when exploiting unlabeled image-text pairs. In this work, we propose Learning to Label, a reinforced self-evolving framework (L2L) that casts pseudo-label construction as a learnable decision-making process. To build foundational understanding, we leverage a multimodal large language model to extract semantic-spatial priors, which are instantiated as initial soft segmentation proposals and elevated, together with textual cues, into learnable guidance signals that condition a hierarchical segmentation network. To ensure stable learning, reinforced pseudo-label selection is formulated as an exploratory decision process that adaptively rewards high-utility pixel-level supervision based on multimodal priors and model predictions. This reinforced self-evolving loop enables joint optimization of the segmentation model and pseudo-labels, progressively enhancing label reliability under sparse supervision. Extensive experiments on RefCOCO, RefCOCO+, and RefCOCOg demonstrate improvements over existing methods, validating its effectiveness and generalization.

评分理由: 论文核心在于半监督指称表达分割，利用 MLLM 提取先验并结合强化学习优化伪标签。MLLM 与 MultiModal 高度契合（图文任务 + 大模型）；model-based RL 部分相关（强化决策过程）；Unify Models 关联度低（非统一架构模型）；World Models 无关。作者列表中未包含指定专家，故无额外加分。

Semi-supervised referring expression segmentation, Reinforced self-evolving framework, Multimodal large language model, Pseudo-label selection, Hierarchical segmentation network, Semantic-spatial priors, Decision-making process

Chinese Title: 学习标注：一种用于半监督指代表达分割的强化自进化框架

Summary: 本文针对半监督指代表达分割（SS-RES）中标注稀疏、伪标签不可靠的问题，提出了一种强化自进化框架L2L。该框架将伪标签构建转化为可学习的决策过程：首先利用冻结的多模态大语言模型（MLLM）提取语义-空间先验，并通过SAM2生成软分割提议；然后设计自进化分割模块（SESM），将多模态先验与文本线索作为可学习引导信号，条件化分层分割网络；最后提出强化伪标签探索（RPLE），将伪标签选择建模为强化学习决策过程，基于多模态先验和模型预测自适应地奖励高效用像素级监督。通过弱到强一致性训练，分割模型与伪标签在闭环中共同进化，逐步提升标签可靠性。在RefCOCO、RefCOCO+和RefCOCOg数据集上的实验表明，该方法在不同标注比例下均显著优于现有方法，仅用0.1%标注数据即可与零样本方法竞争。

Innovations:

• 提出L2L框架，将伪标签构建从固定阈值截断升级为可学习的决策过程，实现分割模型与伪标签的闭环协同进化。
• 引入MLLM驱动的语义-空间先验，通过冻结MLLM生成粗粒度定位线索并提示SAM2获得软分割先验，保留不确定性信息。
• 设计强化伪标签探索（RPLE），将伪标签选择建模为强化学习决策过程，基于样本状态自适应地选择高效用像素区域，动态平衡精度与覆盖率。
• 提出自进化分割模块（SESM），通过分层、阶段自适应的门控机制将多模态先验注入分割网络，逐步将粗先验转化为精细预测。

Methodology: 采用弱到强一致性训练范式。首先，对每个未标注样本生成弱增强和强增强视图，并分别输入分割网络得到预测。利用冻结的MLLM生成语义-空间先验，再通过SAM2获得软分割提议。接着，通过不确定感知校准模块（SPM）融合先验与弱视图预测，得到更可靠的融合先验。然后，自进化分割模块（SESM）通过分层门控机制将融合先验和文本特征作为条件信号，引导分割网络逐步细化预测。最后，强化伪标签探索（RPLE）将当前样本的置信度、先验一致性等作为状态，通过强化学习决策是否接受每个像素的伪标签，并基于一致性损失进行训练。整个框架在少量标注数据和大量未标注数据上联合优化。

Key Results:

• 在RefCOCO、RefCOCO+和RefCOCOg三个基准数据集上，L2L在不同标注比例（如0.1%、1%、5%等）下均取得最优性能，显著超过现有半监督方法。
• 仅使用0.1%标注数据时，L2L的性能仍能与零样本方法（如GroundingDINO+SAM）竞争，验证了框架在极稀疏标注下的鲁棒性。
• 通过可视化分析（图1）揭示了MLLM先验与模型预测之间存在系统性置信度不匹配，证明了固定阈值伪标签的脆弱性，并展示了L2L的动态选择机制的有效性。

Tech Stack:

• 多模态大语言模型（MLLM）：用于提取语义-空间先验
• SAM2（Segment Anything Model 2）：用于生成软分割提议
• 强化学习（Reinforcement Learning）：用于伪标签选择决策
• 弱到强一致性训练（Weak-to-Strong Consistency）
• 分层分割网络（Hierarchical Segmentation Network）
• 门控机制（Gating Mechanism）
• 不确定感知校准（Uncertainty-aware Calibration）

Strengths:

• 创新性地将伪标签选择建模为强化学习决策过程，克服了固定阈值方法的脆弱性，实现了样本自适应的动态平衡。
• 有效融合MLLM和SAM2的外部先验与模型自身预测，提升了伪标签质量，尤其在模糊和遮挡场景下。
• 自进化闭环设计使分割模型和伪标签相互促进，在稀疏标注下仍能稳定学习。
• 实验全面，在多个数据集和不同标注比例下均取得显著提升，且代码开源。

Limitations:

• 依赖外部MLLM和SAM2模型，增加了计算开销和推理延迟。
• 强化学习训练过程可能不稳定，需要仔细调参。
• 仅在三个公开数据集上验证，未在长尾或领域迁移场景下测试，泛化性有待进一步验证。
• 未深入分析MLLM先验错误（如幻觉）对框架的影响及应对策略。

Relevance To Keywords:

• 原生多模态大模型：论文使用冻结的MLLM作为先验提取器，并非原生多模态模型训练，但体现了多模态大模型在下游任务中的应用。
• 多模态大模型的理解和生成一体化：论文主要利用MLLM的理解能力（语义-空间定位），未涉及生成一体化。
• 表征学习：分割网络通过自进化模块学习视觉-语言联合表征，属于表征学习范畴。
• 世界模型：SAM2可视为视觉世界模型的一部分，论文利用其生成结构化的区域先验，弱相关。
• 强化学习：RPLE模块将伪标签选择建模为强化学习决策过程，直接相关。
• 后训练：整个自进化框架可视为一种后训练策略，在少量标注数据上微调分割模型。

尽管视觉 - 语言 - 动作 (VLA) 模型已成为强大的通用策略，但它们对抗性补丁的显著脆弱性严重阻碍了其在安全关键领域中的部署。此外，现有的补丁攻击主要聚焦于白盒环境，严重过拟合于目标模型的具体动作输出空间，从而导致较差的跨架构迁移性。为克服这一限制，我们提出 VLA-Hijack，这是一种统一的对抗框架，通过利用本工作中识别出的一个根本性脆弱性来打破迁移性瓶颈：在规划任何运动之前，VLA 模型必须首先利用视觉信息在环境中定位其自身的机械臂。针对这一共享的视觉自定位过程，我们的方法同时优化注意力引导的本体感觉抑制（Attention-Guided Proprioceptive Suppression）以抑制真实机械臂的特征，以及多模态本体感觉注入（Multimodal Proprioceptive Injection）以将补丁建立为代理“幻影化身”。通过在语义概念锚定与视觉原型投影之间交替，VLA-Hijack 有效地切断了代理的真实化身与其控制策略之间的语义关系。在不同架构（OpenVLA、UniVLA 和 CronusVLA）上的广泛实验表明，VLA-Hijack 在白盒环境中实现了卓越的优化效率，并在跨架构和跨域黑盒迁移性方面达到了新的 SOTA。

While Vision-Language-Action (VLA) models have emerged as powerful generalist policies, their severe vulnerability to adversarial patches significantly hinders their deployment in safety-critical domains. Moreover, existing patch attacks primarily focus on white-box settings, heavily overfitting to the specific action output space of the target model, which results in poor cross-architecture transferability. To overcome this limitation, we propose VLA-Hijack, a unified adversarial framework that breaks the transferability bottleneck by exploiting a fundamental vulnerability identified in this work: before planning any motion, a VLA model must first use visual information to locate its own robotic arm within the environment. Targeting this shared visual self-localization process, our approach concurrently optimizes Attention-Guided Proprioceptive Suppression to inhibit the real robotic arm's features, and Multimodal Proprioceptive Injection to establish the patch as a surrogate "phantom embodiment". By alternating between semantic concept anchoring and visual prototype projection, VLA-Hijack effectively severs the semantic relationship between the agent's true embodiment and its control policy. Extensive experiments across diverse architectures (OpenVLA, UniVLA, and CronusVLA) demonstrate that VLA-Hijack achieves superior optimization efficiency in white-box settings and sets a new SOTA for cross-architecture and cross-domain black-box transferability.

评分理由: 论文主要关注 VLA 模型的安全性与对抗攻击，与关键词存在部分关联。'Unify Models' 相关度中等，因论文提出统一攻击框架且针对 UniVLA 模型，但核心贡献非模型统一架构；'World Models' 相关度低，未涉及环境动力学建模；'MLLM' 相关度较高，VLA 基于 MLLM 架构扩展；'MultiModal' 相关度高，VLA 本质是多模态融合；'model-based RL' 相关度低，论文聚焦策略漏洞而非模型基强化学习算法。加权总分 52.0，高于及格线 26.5。

Vision-Language-Action Models, Adversarial Patch Attack, Visual Proprioception Hijacking, Cross-Architecture Transferability, Unified Adversarial Framework, Attention-Guided Proprioceptive Suppression, Multimodal Proprioceptive Injection

Chinese Title: VLA-Hijack: 通过视觉本体感知劫持对视觉-语言-动作模型的可迁移补丁攻击

Summary: 本文提出VLA-Hijack，一种针对视觉-语言-动作（VLA）模型的对抗性补丁攻击框架。现有攻击主要针对动作输出空间，导致跨架构迁移性差。作者发现VLA模型在规划动作前必须通过视觉定位自身机械臂（视觉本体感知），这一共享机制是提升迁移性的关键。VLA-Hijack通过注意力引导的本体感知抑制（抑制真实机械臂特征）和多模态本体感知注入（将补丁建立为幻影本体），交替使用语义概念锚定和视觉原型投影，有效切断真实本体与控制策略的语义关系。在OpenVLA、UniVLA、CronusVLA等12个受害者模型上的实验表明，该方法在Real-to-Sim设置下平均失败率达63.68%，超越现有SOTA基线42.66%-45.41%，实现了跨架构和跨域黑盒迁移性。

Innovations:

• 揭示VLA模型依赖视觉本体感知的决策逻辑，并利用此机制显著提升攻击迁移性。
• 提出VLA-Hijack框架，通过注意力引导的本体感知抑制和多模态本体感知注入协同工作，实现本体感知身份重连。
• 设计动态调度策略，交替优化语义概念锚定和视觉原型投影，生成鲁棒的幻影本体特征。
• 在12个受害者模型上实现63.68%平均失败率，超越基线42.66%-45.41%，创下跨架构迁移性新SOTA。

Methodology: 论文采用两阶段优化循环生成对抗性补丁。第一阶段使用注意力引导的本体感知抑制（Attention-Guided Proprioceptive Suppression）损失，通过反向传播抑制真实机械臂在模型注意力图中的响应，创建“特征真空”。第二阶段使用多模态本体感知注入（Multimodal Proprioceptive Injection）损失，交替进行语义概念锚定（将补丁特征拉向机械臂语义概念）和视觉原型投影（将补丁特征对齐到机械臂视觉原型），使补丁成为幻影本体。整体优化目标L_total由两部分加权组合，通过梯度下降迭代更新补丁像素。

Key Results:

• 在Real-to-Sim设置下，VLA-Hijack在12个受害者模型上平均失败率为63.68%。
• 相比现有SOTA基线（UADA、UPA等），绝对提升42.66%至45.41%。
• 跨架构迁移性验证：在OpenVLA、UniVLA、CronusVLA三种不同动作空间设计的模型上均有效。
• 跨域迁移性验证：在仿真环境和真实场景图像上均表现良好。
• 可视化分析表明，VLA-Hijack成功抑制真实机械臂注意力，并将注意力完全转移到补丁上。

Tech Stack:

• VLA模型：OpenVLA、UniVLA、CronusVLA
• 对抗性补丁攻击（Patch Attack）
• 注意力机制（Attention Map）
• 语义概念锚定（Semantic Concept Anchoring）
• 视觉原型投影（Visual Prototype Projection）
• 梯度优化（Gradient-based Optimization）
• 二元掩码（Binary Mask）
• Real-to-Sim评估设置

Strengths:

• 提出新的攻击范式，从动作空间转向本体感知空间，从根本上解决迁移性瓶颈。
• 方法具有强可解释性，基于VLA模型固有的视觉本体感知决策逻辑。
• 实验全面，覆盖多种主流VLA架构和跨域场景，结果显著。
• 攻击效果稳定，补丁生成效率高，在白色盒和黑色盒设置下均表现优异。

Limitations:

• 仅针对视觉本体感知通道，未考虑其他感知模态（如触觉、深度）的潜在防御。
• 补丁具有可见性，可能被基于检测的防御机制识别。
• 实验主要在仿真环境（Real-to-Sim）进行，真实物理世界中的鲁棒性和泛化性有待验证。
• 未讨论对抗训练等防御措施对攻击的影响，缺乏防御-攻击对抗分析。

Relevance To Keywords:

• 多模态大模型：论文直接研究VLA模型（视觉-语言-动作），属于多模态大模型在机器人领域的应用。
• 表征学习：论文通过视觉本体感知表征的操纵实现攻击，涉及特征学习和语义对齐。
• 世界模型：VLA模型需要理解环境（世界模型）才能规划动作，攻击利用了这一理解过程。
• 强化学习：VLA模型的动作生成可视为策略网络，攻击干扰了策略决策。
• 后训练：论文未涉及后训练，但攻击可应用于已训练好的模型，属于推理阶段攻击。

上下文学习（ICL）使多模态大语言模型（MLLMs）能够基于少量标注样本对图像进行分类。然而，这些模型如何利用所提供的上下文仍不透明。尽管思维链提示（Chain-of-Thought）被广泛使用，但近期研究指出其可能无法反映真实的内部计算过程。本文在少样本上下文学习条件下，采用五种形式化严谨性递增的评估条件，涵盖从基线分类到描述逻辑（DL）公理生成的范围，系统评估了冻结的多模态大语言模型（MLLMs）的基于概念的可解释性。通过独立的“大语言模型作为评判者”（LLM-as-a-judge）管道评估四种最先进的多模态大语言模型（MLLMs），我们发现解释任务确实比单独预测更具挑战性。令人惊讶的是，强制模型生成形式化结构化的、基于概念的解释会单调降低预测准确率（从 93.8% 降至 90.1%），这与“显式推理普遍有助于提升性能”的假设相矛盾。然而，当模型成功表述出类别判别性视觉特征时，解释质量与正确预测高度相关。我们的发现表明，尽管多模态大语言模型（MLLMs）在视觉分类方面表现出色，但它们缺乏实现形式化、机器可验证的可解释性所需的特定指令微调。

In-context learning (ICL) enables multimodal large language models (MLLMs) to classify images from a few labelled examples. Yet, how these models use the provided context remains opaque. While Chain-of-Thought prompting is widely used, recent work argues that it may not reflect true internal computation. In this paper, we systematically evaluate the concept-based explainability of frozen MLLMs under few-shot ICL using five conditions of increasing formal rigour, ranging from baseline classification to Description Logics (DL) axiom generation. Evaluating four state-of-the-art MLLMs via an independent LLM-as-a-judge pipeline, we demonstrate that explaining is genuinely harder than predicting alone. Surprisingly, forcing models to generate formally structured, concept-based explanations degrades predictive accuracy monotonically (from 93.8% to 90.1%), contradicting the assumption that explicit reasoning universally aids performance. However, when models successfully articulate class-discriminative visual features, explanation quality strongly correlates with correct predictions. Our findings suggest that while MLLMs excel at visual classification, they lack the specific instruction-tuning required for formal, machine-verifiable explainability.

评分理由: 论文核心聚焦于 MLLMs 在少样本视觉分类中的概念解释性评估。MLLM 和 MultiModal 高度相关，因为研究对象即为多模态大模型。Unify Models 相关性中等，因为 MLLMs 本质上是统一视觉与语言的模型，但论文重点在于解释性而非模型统一架构。World Models 和 model-based RL 与论文内容（分类与解释性）无直接关联，故得分为 0。经检查，作者列表中不包含指定的专家。

MLLMs, In-context learning, Concept-based explanations, Visual classification, Few-shot learning, Explainability

Chinese Title: 解释比单独预测更难：评估多模态大语言模型作为上下文学习视觉分类器的基于概念的解释

Summary: 本文系统评估了冻结的多模态大语言模型（MLLMs）在少样本上下文学习（ICL）图像分类任务中的基于概念的解释能力。作者设计了五种形式化程度递增的解释条件：从基线分类、自然语言解释、特征列表、特征-值对规则到描述逻辑（DL）公理生成。使用四个最先进的MLLMs和一个独立的LLM-as-a-judge评估管道，对九种解释质量指标进行评测。实验表明，解释确实比预测更难：强制模型生成形式化结构化的解释会单调降低预测准确率（从93.8%降至90.1%），反驳了显式推理普遍提升性能的假设。然而，当模型成功表达类别判别性视觉特征时，解释质量与正确预测强相关。结论是MLLMs擅长视觉分类，但缺乏生成形式化、机器可验证解释所需的特定指令微调。

Innovations:

• 首次系统比较五种形式化程度递增的解释条件（从自由文本到描述逻辑公理）在少样本ICL图像分类中的表现。
• 提出可复现的实验协议，在四个数据集和四个MLLM上使用固定少样本样本实现跨模型和跨条件直接比较。
• 设计LLM-as-a-judge评估框架，包含九种解释质量指标（文本基础性、无幻觉、概念计数、可理解性、简洁性、特异性、局部判别性、指令遵循、逻辑连贯性）。
• 实证发现解释能力在不同MLLM间差异显著，且分类准确率不能反映解释质量。
• 揭示强制形式化解释会降低预测准确率，反驳了显式推理普遍有益的观点。

Methodology: 采用N-way K-shot ICL图像分类框架，要求模型在预测类别的同时生成五种不同复杂度的解释（E1-E5）。使用固定支持集和查询图像，所有模型保持冻结。通过LLM-as-a-judge（独立大语言模型）对生成的解释进行九维评分，同时记录分类准确率。实验涉及四个MLLM（如GPT-4V等）和四个图像分类数据集。

Key Results:

• 强制生成形式化解释（从E1到E5）导致分类准确率单调下降（93.8%→90.1%）。
• 当模型成功生成判别性视觉特征时，解释质量与正确预测强相关。
• 不同MLLM在解释能力上差异显著，准确率不能预测解释质量。
• 描述逻辑公理生成（E5）是最困难的条件，多数模型表现不佳。
• 自然语言解释（E2）在准确率和解释质量间取得较好平衡。

Tech Stack:

• 多模态大语言模型（MLLMs）：GPT-4V、Gemini、LLaVA等
• 上下文学习（ICL）
• 描述逻辑（Description Logics, DL）：TBox、ABox、公理
• LLM-as-a-judge评估管道
• 结构化输出格式（XML标签）
• 九种解释质量指标（文本基础性、无幻觉、概念计数等）
• 固定少样本支持集（K-shot）

Strengths:

• 系统性强，从简单到复杂逐步增加形式化约束，揭示解释与预测的权衡。
• 评估框架全面，包含九种指标覆盖解释的多个维度。
• 实验设计可复现，使用固定样本确保公平比较。
• 对当前MLLM的局限性有清晰洞察，为未来指令微调提供方向。
• 结合神经符号方法（DL）评估MLLM的推理能力。

Limitations:

• 仅评估冻结模型，未探索微调或提示工程对解释能力的影响。
• LLM-as-a-judge可能引入自身偏见，需人工验证。
• 数据集和模型数量有限，结论泛化性需更多实验支持。
• 解释质量指标定义依赖主观判断，可能不够精确。
• 未深入分析模型为何在形式化解释时准确率下降（如注意力机制或表示学习）。

Relevance To Keywords:

• Unify Models: 论文研究多模态大语言模型（MLLMs）的统一分类与解释能力。
• World Models: 解释涉及视觉特征提取和逻辑推理，与世界模型中的因果推理相关。
• Representation Learning: 评估模型从少样本中学习判别性视觉特征的能力。
• Model-Based RL: 描述逻辑公理生成可视为一种结构化知识表示，与模型基强化学习中的显式建模相关。
• 原生多模态大模型: 直接评估原生多模态模型（如GPT-4V）的ICL和解释能力。
• 多模态大模型的理解和生成一体化: 论文要求模型同时生成分类和解释，体现理解与生成的一体化。
• 表征学习: 特征列表和特征-值对条件测试模型对视觉表征的提取能力。
• 世界模型: 描述逻辑公理试图构建形式化的世界知识。
• 强化学习: 后训练阶段可借鉴本文评估框架优化模型的解释能力。

我们提出了 ABot-OCR，这是一种端到端视觉 - 语言模型，能够在单次前向传播中将页面图像直接转换为干净的 Markdown。通过这种方式，我们的方法完全消除了对脆弱模块化编排的需求。为了最大化解析保真度，我们开发了一个专用数据引擎，以提供大规模、结构一致性的监督。此外，我们提出了 Decoupled Heterogeneous Document Optimization（解耦异构文档优化），这是一种结构约束强化学习方法，旨在提升文本准确性，并在监督微调之外严格保证标记的良构性。广泛的评估展示了我们框架的优越性能。在 OmniDocBench v1.5 和 v1.6 基准上，ABot-OCR 在所有端到端系统中取得了 92.81 和 93.30 的最先进分数，显著缩小了相对于强大流水线基线的性能差距。最后，针对十种多样语言的全面跨语言文本识别进一步确认了 ABot-OCR 的鲁棒泛化能力。

We introduce ABot-OCR, an end-to-end vision-language model that transcribes a page image directly into clean Markdown in a single forward pass. By doing so, our approach completely eliminates the need for brittle modular orchestration. To maximize parsing fidelity, we develop a dedicated data engine to provide large-scale, structurally consistent supervision. Furthermore, we propose Decoupled Heterogeneous Document Optimization, a structure-constrained reinforcement learning method that sharpens textual accuracy and strictly enforces markup well-formedness beyond supervised fine-tuning alone. Extensive evaluations demonstrate the superior performance of our framework. On the OmniDocBench v1.5 and v1.6 benchmarks, ABot-OCR achieves state-of-the-art scores of 92.81 and 93.30 among all end-to-end systems, substantially narrowing the performance gap relative to strong pipeline baselines. Finally, comprehensive multilingual text recognition across ten diverse languages further confirms the robust generalizability of ABot-OCR.

评分理由: 论文提出 ABot-OCR，一个端到端的视觉语言模型，将图像直接转换为 Markdown。Unify Models 相关（端到端统一感知与生成，消除模块化编排，6.0）；World Models 无关（未涉及环境动力学建模，0.0）；MLLM 相关（视觉语言模型属于多模态大模型范畴，8.0）；MultiModal 相关（处理图像与文本，8.0）；model-based RL 部分相关（使用了强化学习，但未明确为基于模型的方法，3.0）。加权总分 50.0，高于动态及格分 26.5。作者列表中未包含指定的专家（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang）。

End-to-end vision-language model, Page image transcription, Clean Markdown generation, Reinforcement learning method, Structure-constrained optimization, Single forward pass, Document understanding benchmarks, Multilingual text recognition

Chinese Title: ABot-OCR 技术报告

Summary: 本文提出ABot-OCR，一个2B参数的端到端视觉语言模型，能够将文档图像直接转录为干净的Markdown格式，无需复杂的模块化流水线。为了最大化解析保真度，作者构建了专用数据引擎，包括层次一致性注释验证和大规模网络文档伪标签生成，确保训练数据的高质量和结构一致性。在训练策略上，采用渐进式三阶段训练：第一阶段通过文本检测、公式识别、表格识别和布局分析四个子任务建立模块化文档解析能力；第二阶段统一为端到端页面级Markdown生成；第三阶段引入解耦异构文档优化（DHDO），一种结构约束的强化学习方法，通过感知奖励和三种结构奖励，并采用解耦归一化避免优势坍塌，在监督微调之外进一步提升文本准确性和标记格式规范性。在OmniDocBench v1.5和v1.6基准上，ABot-OCR分别达到92.81和93.30的SOTA分数，显著缩小了与强流水线基线的差距。此外，在十种语言的文档图像上验证了其鲁棒的泛化能力。

Innovations:

• 提出层次一致性注释验证（Hierarchical-Consistency Annotation Verification），结合语言一致性、视觉一致性和VLM辅助评分（DPCS）进行多维度质量评估。
• 构建网络规模文档伪标签流水线（Web-Scale Document Pseudo-Labeling），利用模块化专家模型生成结构化伪标签，并通过DPCS统一质量控制。
• 设计渐进式三阶段训练策略，从模块化子任务到端到端解析，再到结构约束强化学习，逐步提升感知和结构能力。
• 提出解耦异构文档优化（DHDO），引入感知奖励和三种结构奖励，并采用感知条件激活和解耦归一化，避免多奖励优势坍塌，优于传统GRPO。

Methodology: 采用Qwen3-VL-2B-Instruct作为骨干模型。数据引擎包括：1）层次一致性注释验证：先进行语言一致性检查（如LaTeX语法、HTML结构），再进行视觉一致性检查（布局分析+专家识别器），最后用VLM推理器计算DPCS分数进行质量分级；2）网络文档伪标签：对爬取的文档进行布局分析、区域分类、专家模型标注，组装成页面级表示，再经DPCS筛选。训练策略：Stage1用四个子任务（文本检测、公式识别、表格识别、布局分析）进行交叉熵训练；Stage2用端到端Markdown生成进行交叉熵训练；Stage3用DHDO强化学习，奖励包括感知奖励（文本准确率）和结构奖励（布局、表格、公式结构），感知奖励超过阈值才激活结构奖励，各奖励独立归一化后聚合。

Key Results:

• 在OmniDocBench v1.5上达到92.81分，在v1.6上达到93.30分，均为所有端到端系统中的最佳成绩。
• 在十种语言（阿拉伯语、西班牙语、法语、俄语、德语、日语、韩语、葡萄牙语、泰语、越南语）的文档图像上验证了鲁棒的多语言文本识别能力。
• DHDO方法在文档解析任务上一致优于传统GRPO风格优化，证明了感知条件奖励和解耦归一化的有效性。

Tech Stack:

• Qwen3-VL-2B-Instruct（骨干模型）
• 层次一致性注释验证（语言检查、视觉检查、VLM推理）
• Document Parsing Consistency Score (DPCS)
• 模块化专家模型（布局分析、文本检测、公式识别、表格识别）
• 渐进式三阶段训练（交叉熵 + 强化学习）
• Decoupled Heterogeneous Document Optimization (DHDO)
• GRPO（作为对比基线）
• OmniDocBench v1.5/v1.6基准

Strengths:

• 端到端架构消除了传统流水线的脆弱性和模块间错误累积。
• 数据引擎通过多层次验证和伪标签生成大幅提升了训练数据的质量和覆盖度。
• 三阶段训练策略系统性地构建了感知和结构能力，DHDO进一步强化了结构约束。
• 在多个基准上达到SOTA，且在多语言场景下表现良好，泛化能力强。
• 代码和模型开源，便于复现和后续研究。

Limitations:

• 模型参数量为2B，可能对计算资源有一定要求，部署成本较高。
• 论文未详细讨论在极端复杂布局（如手写文档、低质量扫描件）上的表现。
• DHDO中的阈值设定和奖励权重可能需要针对不同任务进行调参，泛化性有待验证。
• 仅报告了OmniDocBench上的结果，缺乏与其他主流端到端模型（如GOT-OCR2）的详细对比分析。

Relevance To Keywords:

• 原生多模态大模型：ABot-OCR基于Qwen3-VL-2B-Instruct，是一个原生多模态视觉语言模型，直接处理图像和文本。
• 多模态大模型的理解和生成一体化：模型同时具备文档内容理解（感知）和结构化生成（Markdown输出）能力，实现理解与生成一体化。
• 表征学习：通过三阶段训练和DHDO强化学习，模型学习到文档的视觉和结构表征。
• 世界模型：文档解析可视为对文档世界（布局、语义、结构）的建模，模型隐式学习了文档的结构化世界知识。
• 强化学习：第三阶段采用结构约束的强化学习（DHDO），属于后训练阶段，显著提升了结构生成质量。
• 后训练：DHDO作为监督微调后的强化学习阶段，是典型的后训练方法。

在大语言模型浪潮的推动下，视频 - 语言模型（VLMs）已成为一项重要但具有挑战性的技术，旨在弥合视频与文本之间的鸿沟。尽管之前的 VLM 相关工作取得了显著进展，但它们几乎都隐含地假设所有文本均由特定模板预先定义。在实际应用场景中，这种严格的假设难以满足，原因如下：1) 预先定义所有文本极其耗时且费力；2) 这些预定义的文本输入过于受限且用户体验不佳，从而限制了其应用范围。观察发现，给定一个视频输入，具有相似语义但不同模板的文本会导致不同的性能表现。为此，本文提出了一种新颖的即插即用框架，适用于各种基于 VLM 的方法，旨在充分弥合视频与文本之间的鸿沟。具体而言，我们首先从原始文本生成正负文本，以针对特定的文本组件。随后，我们提出一种基于属性的文本推理策略，以挖掘生成文本的细粒度文本语义。最后，我们利用视频作为指导，通过设计自加权损失来进行跨模态桥接。大量实验表明，所提出的方法可作为即插即用模块，有效地提高最先进的 VLMs 的性能。

Driven by the wave of large language models, Video-Language Models (VLMs) have become a significant yet challenging technology to bridge the gap between videos and texts. Although previous VLM works have made significant progress, almost all of them implicitly assume that all the texts are predefined by the specific template. In real-world applications, such a strict assumption is impossible to satisfy since 1) predefining all the texts is extremely time-consuming and labor-intensive. 2) these predefined text inputs are too restrictive and user-unfriendly, limiting their applications. It is observed that given a video input, texts with similar semantics but different templates lead to various performances. To this end, in this paper, we propose a novel plug-and-play framework for various VLM-based methods to fully bridge videos and texts. Specifically, we first generate positive and negative texts from the original ones to target specific text components. Then, we propose an attribute-based text reasoning strategy to mine fine-grained textual semantics of generated texts. Finally, we utilize videos as guidance to conduct cross-modal bridging by designing a self-weighted loss. Extensive experiments show that the proposed method can serve as the plug-and-play module to effectively improve the performance of state-of-the-art VLMs.

评分理由: 论文核心在于视频语言模型（VLM）的文本输入灵活性，与 MultiModal 和 MLLM 高度相关（涉及视频与文本的多模态融合及大模型驱动）。Unify Models 有一定关联（统一了文本模板处理），但未涉及模型架构统一。World Models 和 model-based RL 与论文内容（无动力学建模或强化学习）几乎无关。加权总分为 50.0，高于动态及格分 26.5。

Video-Language Models, Text Input Flexibility, Plug-and-play Framework, Cross-modal Bridging, Attribute-based Reasoning, Multimodal Learning, Large Language Models

Chinese Title: 从语言输入视角重新思考视频语言模型

Summary: 本文针对视频语言模型（VLM）中文本输入模板固定、缺乏多样性的问题，提出了一种即插即用的框架。该框架首先利用大语言模型（LLM）从词级和结构级生成正负文本样本，以模拟真实场景中用户输入文本的多样性；然后设计属性文本推理策略，挖掘生成文本的细粒度语义；最后提出视频引导的自加权跨模态融合损失，自适应地整合不同文本成分。在视频问答、视频句子定位和视频文本检索三个下游任务上的实验表明，该方法能有效提升现有VLM模型的性能，且无需修改模型结构。论文揭示了文本模板变化对VLM性能的影响，并首次从文本输入增强角度解决VLM的鲁棒性问题。

Innovations:

• 首次从文本输入视角探索模板自由文本对VLM鲁棒性的影响，提出用户友好的任意形式文本输入方案。
• 设计多级文本增强模块，利用LLM从词级和结构级生成语义相似的正文本和语义不同的负文本。
• 提出属性文本推理策略，对生成文本进行细粒度语义挖掘，增强模型对文本成分的理解。
• 提出视频引导的自加权跨模态融合损失，通过自适应权重整合不同文本成分，实现视频与文本的充分对齐。
• 所提框架为即插即用模块，可无缝集成到现有VLM方法中，在三个下游任务上取得一致性能提升。

Methodology: 论文采用以下技术路线：1）利用大语言模型（如GPT系列）对原始文本进行词级替换和结构改写，生成正负文本样本；2）设计属性文本推理模块，通过分析文本中不同成分（如主语、谓语、宾语）的语义重要性，生成细粒度表示；3）提出视频引导的自加权损失函数，根据视频特征动态调整各文本成分的权重，实现跨模态对齐；4）在视频问答、视频句子定位、视频文本检索三个任务上，将所提框架作为插件集成到多个基线模型中进行评估。

Key Results:

• 所提框架在Charades-STA、ActivityNet Captions、MSRVTT等数据集上，显著提升了现有VLM模型（如VSLNet、CLIP4Clip等）在视频句子定位、视频问答和视频文本检索任务上的性能。
• 实验表明，文本模板变化会导致原有VLM模型性能下降，而所提方法能有效缓解这一问题，使模型对文本变体具有鲁棒性。
• 消融实验验证了多级文本增强、属性推理和自加权损失各模块的有效性。
• 在人工构建的文本变体测试集上，所提方法相比基线模型平均提升3-5个百分点。

Tech Stack:

• 大语言模型（LLM）：用于文本生成和改写，如GPT-4、开源LLM。
• 余弦相似度：用于评估词级语义变化。
• 自加权损失函数：基于视频特征动态调整文本成分权重。
• 跨模态融合：视频特征与文本特征的对齐方法。
• 视频特征提取：使用预训练视频编码器（如I3D、CLIP）。
• 文本特征提取：使用预训练文本编码器（如BERT、CLIP文本编码器）。

Strengths:

• 问题新颖：首次关注VLM中文本输入模板固定导致的鲁棒性问题，具有实际应用价值。
• 即插即用：所提框架不依赖特定模型结构，可轻松集成到现有VLM方法中。
• 方法全面：从文本增强、细粒度推理到跨模态对齐，形成完整解决方案。
• 实验充分：在三个主流任务、多个数据集上验证，并包含消融和鲁棒性分析。
• 利用LLM生成多样文本，模拟真实用户输入，增强模型泛化能力。

Limitations:

• 依赖LLM生成文本的质量和多样性，LLM可能引入偏差或错误。
• 计算开销：生成大量正负文本并进行属性推理会增加训练时间和资源消耗。
• 未考虑音频等其他模态信息，仅聚焦于视频和文本。
• 在极端复杂的视频场景（如长视频、多事件）中，文本增强可能不够充分。
• 未深入探讨世界模型、强化学习等关键词相关方向，与给定研究背景的部分关键词关联较弱。

Relevance To Keywords:

• Unify Models: 论文提出的即插即用框架可统一增强多种VLM模型，但未涉及模型统一化架构。
• World Models: 论文未涉及世界模型概念，主要关注文本输入增强。
• Representation Learning: 论文通过文本增强和跨模态对齐，学习更鲁棒的视频-文本联合表示，与表征学习高度相关。
• Model-Based RL: 论文未涉及强化学习或基于模型的RL。
• 原生多模态大模型: 论文使用LLM作为文本生成工具，但未构建原生多模态大模型，而是增强现有VLM。
• 多模态大模型的理解和生成一体化: 论文侧重于理解（视频-文本对齐），未涉及生成任务。
• 表征学习: 核心贡献在于学习对文本变体鲁棒的跨模态表征。
• 世界模型: 不相关。
• 强化学习: 不相关。
• 后训练: 论文方法可视为一种后训练增强策略，但未明确提及后训练范式。

通用医疗多模态大语言模型（MLLMs）的发展在构建支持临床诊断的对话助手方面展现出巨大潜力。然而，它们向眼科等高度专业化领域的适应仍探索不足，主要由于缺乏大规模、领域特定的指令微调数据。现有的面向对话代理的眼科数据集通常规模有限，且主要依赖来自既定公共基准的图像，这限制了眼科 MLLMs 的可扩展性以及其捕捉现实世界临床复杂性的能力。为填补这一空白，我们提出 OphIn-Engine，这是一个特定于眼科的指令数据策展管道，旨在从开放获取的眼科网络级视频中构建高质量指令数据。该管道整合了多模态转录以提取图像 - 转录对、视觉线索分离与评分以识别临床相关的视觉描述，以及带质量控制的指令合成以生成准确且多样的临床对话。利用该引擎，我们推出了 OphIn-500K，这是一个大规模多模态眼科指令微调数据集，包含超过 50 万条指令实例和来自超过 2.9 万个视频片段的超过 15.1 万张唯一图像，格式涵盖视觉问答（VQA）、多轮对话交互以及思维链（CoT）推理。基于此数据集，我们进一步开发了 OphIn-VL，这是一个具有先进视觉理解和对话能力的特定于眼科的 MLLM。综合实验和案例研究表明，OphIn-VL 相较于最先进的通用医疗及领域特定 MLLM 实现了卓越的性能。

The advancement of general medical Multimodal Large Language Models (MLLMs) has shown great potential for building conversational assistants to support clinical diagnosis. However, their adaptation to highly specialized domains such as ophthalmology remains underexplored, primarily due to the scarcity of large-scale, domain-specific instruction-tuning data. Existing ophthalmic datasets for conversational agents are often limited in scale and largely rely on images from established public benchmarks, limiting the scalability of ophthalmic MLLMs and their ability to capture real-world clinical complexity. To address this gap, we propose $\textbf{OphIn-Engine}$, an ophthalmology-specific instruction data curation pipeline that constructs high-quality instruction data from open-access ophthalmology web-scale videos. The pipeline integrates multimodal transcription for extracting image-transcript pairs, visual cue separation and scoring for identifying clinically relevant visual descriptions, and instruction synthesis with quality control for generating accurate and diverse clinical dialogues. Using this engine, we introduce $\textbf{OphIn-500K}$, a large-scale multimodal ophthalmology instruction-tuning dataset containing over 500,000 instruction instances and more than 151,000 unique images from over 29,000 video clips, formatted as visual question answering (VQA), multi-turn conversational interactions, and chain-of-thought (CoT) reasoning. Built upon this dataset, we further develop $\textbf{OphIn-VL}$, an ophthalmology-specific MLLM with advanced visual understanding and conversational capabilities. Comprehensive experiments and case studies demonstrate that OphIn-VL achieves superior performance compared with state-of-the-art general medical and domain-specific MLLMs.

评分理由: The paper focuses on MLLM and MultiModal technologies, scoring 10.0 for both. Unify Models is moderately relevant (5.0) as MLLM unifies vision and language, though the core contribution is data curation rather than model architecture unification. World Models and model-based RL are irrelevant (0.0) as the work involves supervised instruction tuning without reinforcement learning or world modeling. No expert authors from the specified list were found in the authorship.

Ophthalmic Multimodal Large Language Models, Instruction Data Curation, Web-Scale Visual Instructions, Visual Question Answering, Multi-turn Conversational Interactions, Chain-of-Thought Reasoning, OphIn-500K, OphIn-VL

Chinese Title: OphIn-500K：策划网络规模的视觉指令以扩展眼科多模态大语言模型

Summary: 本文针对眼科多模态大语言模型（MLLM）领域缺乏大规模、领域特定的指令微调数据的问题，提出了OphIn-Engine——一个自动化的眼科指令数据策展管道。该管道从开放获取的网络眼科视频中提取图像-文本对，通过多模态转录、视觉线索分离与评分、指令合成及质量控制四个模块，生成了包含超过50万条指令实例、15万张独特图像、覆盖1000多种视网膜病理和800多种解剖特征的大规模数据集OphIn-500K。基于该数据集，作者进一步训练了眼科专用MLLM——OphIn-VL。实验表明，OphIn-VL在眼科视觉理解和临床对话能力上显著优于现有的通用医学和领域专用MLLM。

Innovations:

• 提出OphIn-Engine自动化策展管道，从网络视频中生成高质量眼科指令数据，减少对静态公共基准的依赖。
• 构建OphIn-500K大规模眼科指令数据集，包含超过50万实例、15万独特图像，覆盖广泛病理和解剖特征。
• 开发OphIn-VL眼科专用MLLM，在视觉理解和临床对话上达到领先性能。
• 引入视觉线索分离与评分机制，自动过滤低质量音频转录，确保临床相关性。
• 采用多轮对话、链式推理等多种指令格式，增强模型交互能力。

Methodology: 论文采用四模块管道：1）多模态转录：从网络视频中通过DINO特征提取进行关键帧选择，使用Whisper进行音频转录，并进行去标识化处理；2）视觉线索分离与评分：利用LLM识别音频中临床相关的视觉描述，并基于视觉锚定评分过滤低质量实例；3）指令合成：将精炼后的实例转化为视觉问答（VQA）、多轮对话和链式推理（CoT）指令数据；4）后处理与质量控制：去除不合理、不一致或幻觉生成的内容。最终基于OphIn-500K微调视觉-语言骨干模型得到OphIn-VL。

Key Results:

• OphIn-500K包含536,132条指令实例和151,430张独特图像，来自超过29,000个视频片段。
• 覆盖超过1,000种视网膜病理条件和800种眼科解剖特征。
• OphIn-VL在眼科视觉理解和临床多轮对话任务上优于现有通用医学和领域专用MLLM。
• 通过消融实验验证了数据规模和质量对模型性能的显著提升作用。

Tech Stack:

• DINO（自监督视觉特征提取）
• Whisper（语音转录）
• 大语言模型（LLM）用于临床相关性评估和指令生成
• 余弦相似度用于视频片段分割
• 视觉锚定评分（Visual Anchoring Scoring）
• 视觉问答（VQA）、多轮对话、链式推理（CoT）数据格式

Strengths:

• 自动化管道可大规模扩展，降低人工标注成本。
• 数据来源为真实临床视频，更具临床复杂性和多样性。
• 数据集规模大、覆盖广，为眼科MLLM提供坚实基础。
• 模型在多项评估中表现优异，验证了数据有效性。
• 开源数据集和模型，促进领域研究。

Limitations:

• 依赖网络视频质量，可能存在噪声或非专业内容。
• 自动生成的指令可能仍包含少量幻觉或不一致。
• 仅覆盖三种成像模态（CFP、OCT、UWF），其他模态未涉及。
• 模型性能评估可能受限于现有基准的覆盖范围。
• 未探讨模型在真实临床部署中的鲁棒性和安全性。

Relevance To Keywords:

• 原生多模态大模型：论文构建眼科专用MLLM，属于多模态大模型领域。
• 表征学习：OphIn-Engine利用DINO进行视觉特征提取，属于表征学习。
• 后训练：模型基于OphIn-500K进行指令微调，属于后训练技术。
• 世界模型：论文未直接涉及世界模型，但链式推理可视为简单世界模型推理。
• 强化学习：论文未使用强化学习，但提及后训练与强化学习相关。

已有多种方法被提出，用于将视觉 - 语言模型（VLMs）适配到视频问答的专用领域，其中包括微调（fine-tuning）和上下文学习（in-context learning）。然而，如何在推理阶段仅依靠少量标记支持集获取任务特定知识，且无需微调，仍然是一个挑战。本文提出了一种仅通过推理时上下文注入（inference-time context injection）即可实现适配的方法。该方法首先构建一个反思性对话（Reflective Dialogue, RD）——即两个代理之间的多轮对话，其中教师代理（Teacher）提出每个支持问题并提供正确性反馈，而求解器代理（Solver）则进行回答，并为正确和错误的答案提供视觉定位（visual grounding）解释（或反思）。随后，该对话历史在推理阶段被用作上下文。在 EgoCross 基准上的实验表明，我们的方法优于基线零样本（zero-shot）设置以及直接传递支持集示例的标准上下文学习方法，在 CVPR 2026 EgoVis 研讨会举办的第 1 届跨域 EgoCross 挑战赛的开源赛道中荣获第 3 名，本文亦作为该挑战赛的技术报告。

Various approaches have been proposed to adapt Vision-Language Models (VLMs) to specialized domains for Video Question Answering, including fine-tuning and in-context learning. However, acquiring task-specific knowledge at the inference phase from only a small labeled support set without fine-tuning remains a challenge. In this paper, we propose a method that achieves adaptation solely through inference-time context injection. Our method first constructs a Reflective Dialogue (RD) -- a multi-turn conversation between two agents, in which Teacher poses each support question and delivers correctness feedback, and Solver answers and provides visual grounding explanations (or reflections) for both correct and incorrect answers. This dialogue history is then used as context at the inference phase. Experiments on the EgoCross benchmark demonstrate that our method outperforms both a baseline zero-shot setting and a standard in-context learning approach that passes support set examples directly, achieving 3rd place in the Open-source Track of the 1st Cross-Domain EgoCross Challenge at the CVPR 2026 EgoVis Workshop, for which this paper also serves as a technical report.

评分理由: Unify Models (5.0): 论文基于 VLMs 实现视觉与语言统一，但核心贡献在于对话适配机制；World Models (2.0): 论文未涉及环境动力学建模或世界模拟；MLLM (8.0): 方法基于视觉语言模型，属于多模态大模型范畴；MultiModal (8.0): 任务本质为视频与文本的多模态交互；model-based RL (2.0): 提及的代理为对话式 QA 代理，非强化学习策略优化代理。加权总分 50.0，高于动态及格分 26.5。

Video Question Answering, Vision-Language Models, Reflective Dialogue, Inference-time adaptation, Visual grounding, Teacher-Agent, Solver-Agent

Chinese Title: 教师与求解者智能体之间的反思性对话用于视频问答

Summary: 本文提出一种基于反思性对话（Reflective Dialogue, RD）的视频问答方法，旨在无需微调的情况下，仅通过推理阶段的上下文注入实现模型对特定领域的适应。该方法构建两个智能体（Teacher和Solver）之间的多轮对话：Teacher提出支持集中的问题并给出正确性反馈，Solver回答并提供视觉基础解释（反思）。该对话历史作为静态上下文在推理时预置到测试问题前。在EgoCross基准上的实验表明，该方法优于零样本基线以及标准上下文学习（直接提供支持集QA对），并在CVPR 2026 EgoVis Workshop的开放源代码赛道中获得第三名。论文同时作为该挑战的技术报告。

Innovations:

• 提出反思性对话（RD）作为上下文学习的上下文形式，将正确性反馈和视觉解释融入多轮对话中。
• 无需微调或每问题重试循环，仅通过预构建的静态对话历史实现领域适应。
• 利用问题类型分组构建对话，使上下文更具针对性。
• 结合正确与错误答案的对比性反思，提供更丰富的推理指导。

Methodology: 首先，使用LLM识别每个问题的问题类型（如动作时间定位、对象空间定位等）。然后，对于每个域和问题类型，构建反思性对话：Teacher提供视频帧和问题，Solver回答，Teacher根据正确性给出反馈（正确时要求解释视觉证据，错误时要求对比分析），Solver提供视觉基础描述。所有问题的对话顺序拼接成连续对话。推理时，根据测试问题的问题类型和域检索对应的反思性对话，将其作为上下文预置到测试问题前，并插入分隔句。

Key Results:

• 在EgoCross基准上，所提方法优于零样本基线（无上下文）和标准上下文学习（直接提供支持集QA对）。
• 在CVPR 2026 EgoVis Workshop的开放源代码赛道中获得第三名。
• 方法有效利用了支持集中的少量标注样本，无需微调即可提升跨域视频问答性能。

Tech Stack:

• 视觉语言模型（VLM）：如Flamingo等用于视频问答推理。
• 大语言模型（LLM）：用于问题类型识别。
• 多轮对话构建：Teacher和Solver智能体交互。
• 上下文学习（In-Context Learning, ICL）：将反思性对话作为上下文。
• EgoCross数据集：包含手术、工业、极限运动、动物四个专业领域。

Strengths:

• 无需微调，适用于专有模型或计算资源有限场景。
• 推理阶段无额外重试开销，效率高。
• 通过反思性对话提供丰富的视觉和推理上下文，优于简单QA对。
• 利用问题类型分组，使上下文更具领域和任务针对性。

Limitations:

• 依赖支持集的质量和数量，若支持集噪声大或分布不均可能影响效果。
• 问题类型识别依赖LLM，可能引入误差。
• 反思性对话长度可能随支持集增大而增长，影响推理效率。
• 方法仅在EgoCross上验证，泛化性需更多实验。

Relevance To Keywords:

• 原生多模态大模型：论文使用VLM进行视频问答，属于多模态大模型应用。
• 表征学习：反思性对话中的视觉基础解释涉及视觉表征的利用。
• 世界模型：视频问答需要理解场景动态，与世界模型相关。
• 强化学习：论文未涉及强化学习或后训练，相关性较弱。

大型语言模型（LLMs）能否从纯文本描述中构建内部空间世界模型仍存在争议，且此类能力是否跨语言迁移尚未得到系统研究。我们引入 MentalMap（多语言诊断基准），该基准包含六级能力层级（L0-L5），范围从原子空间事实延伸至生成式世界图构建，并设有四个诊断维度，分别探测参照系、阅读方向偏差、推理努力分配及幻觉。MentalMap 基于 100 个 ProcTHOR 家庭场景构建，涵盖八种类型学多样化的语言以及一种结构化文本控制，包含 39 个任务族，分布在 1,950 个评估单元中。通过对十三款不同规模和模型家族的 LLMs 进行评估，我们发现了一个通用的 L3 推理悬崖：一旦基线原子准确率超过 40%，没有任何模型能在视角推理上保留其 L0 性能的一半以上。这一悬崖现象在语言、规模及提示策略上均持续存在，而结构化输出失败及推理模式在不同模型间则存在显著差异。在相同的纯文本协议下进行的人类评估复现了相同的失败模式，表明瓶颈源于纯文本工作记忆约束，而非特定于当前的 LLM 架构。我们的研究将纯文本空间推理重新定义为多轴世界建模问题，并激励多模态推理及 scratchpad 增强推理成为未来的研究方向。

Whether large language models (LLMs) construct internal spatial world models from pure-text descriptions remains contested, and whether such capabilities transfer across languages has not been systematically studied. We introduce MentalMap, a multilingual diagnostic benchmark with a six-level capability hierarchy (L0-L5) spanning atomic spatial facts to generative world-graph construction, together with four diagnostic axes probing frame of reference, reading-direction bias, reasoning-effort allocation, and hallucination. MentalMap is built from 100 ProcTHOR household scenes, covers eight typologically diverse languages plus a structured-text control, and contains 39 task families across 1,950 evaluation cells. Evaluating thirteen LLMs across scales and model families, we identify a universal L3 reasoning cliff: no model retains even half of its L0 performance on viewpoint reasoning once baseline atomic accuracy exceeds 40%. The cliff persists across languages, scales, and prompting strategies, while structured-output failures and reasoning patterns vary substantially across models. Human evaluation under the identical pure-text protocol reproduces the same failure pattern, suggesting that the bottleneck arises from text-only working memory constraints rather than being specific to current LLM architectures. Our findings reframe pure-text spatial reasoning as a multi-axis world-modeling problem and motivate multimodal and scratchpad-augmented reasoning as future directions.

评分理由: 论文标题与摘要核心围绕'World Models'展开，直接探讨 LLMs 是否构建空间世界模型，故该项得满分。摘要结尾明确提到'multimodal'作为未来方向，故 MultiModal 相关性较高。MLLM 虽未直接研究但属于相关演进领域。Unify Models 为背景概念但非本文方法核心。model-based RL 在摘要中未提及，相关性最低。作者列表中未包含指定的专家，故未添加额外分数。

World Models, Spatial Reasoning, LLMs, Multilingual, Text-only, Diagnostic Benchmark, Multimodal, MentalMap

Chinese Title: LLMs是否从文本中构建世界模型？空间推理的多语言诊断

Summary: 本文提出MENTALMAP，一个多语言空间推理诊断基准，旨在回答大型语言模型（LLMs）是否从纯文本描述中构建内部空间世界模型，以及这种能力是否跨语言迁移。基准采用双轴设计：能力轴为六级阶梯（L0-L5），从原子空间事实逐步过渡到生成世界图输出；诊断轴包含四个正交镜头（参考框架、阅读方向偏差、推理努力分配、幻觉）。基于100个ProcTHOR家庭场景，覆盖8种类型多样的语言（英、中、日、韩、西、阿、泰、德）及结构化文本控制，共39个任务家族、1950个评估单元。评估了13个LLM（包括闭源前沿、开源7-10B家族、中等规模27-32B控制组及视觉语言消融），发现七个关键结果：能力阶梯非单调，在L3视角推理处存在普遍悬崖；悬崖具有子任务结构化特征；思维链提示并非通用助推器；生成世界图时节点识别与关系提取分离；L3悬崖在中等规模模型中依然存在；层次聚类从模型性能相关性中恢复出文字脚本类型学；人类实验在相同纯文本协议下复制了悬崖，证明其反映文本模态的工作记忆瓶颈。结论将纯文本空间推理重新定义为多轴世界建模问题，而非单一数字排行榜。

Innovations:

• 首次在单一基准中结合纯文本空间推理、多语言覆盖和生成世界图评估，填补了现有基准的三个空白（英语单语、单维度评估、表面与实质模糊）。
• 双轴设计：能力阶梯（L0-L5）与诊断镜头（参考框架、阅读方向、推理努力、幻觉）正交，系统性地分离了能力难度与诊断角度。
• 发现并验证了L3视角推理处的普遍性能悬崖，该悬崖将静态理解（回忆）与主动空间推理（构建）离散分开，且跨模型、跨语言一致存在。
• 揭示了思维链提示的非普遍有效性：对DeepSeek提升32个百分点，但对Qwen2.5-7B降低16个百分点，且对多数开源模型的严格JSON输出产生干扰。
• 通过人类实验在8种语言中复制了L3悬崖（L3=0%），直接证明该悬崖源于文本模态的工作记忆瓶颈，而非LLM或语言特定缺陷。

Methodology: 基于ProcTHOR家庭场景生成100个场景的文本描述，设计六级能力阶梯（L0原子事实、L1关系查询、L2多跳推理、L3视角变换、L4动态更新、L5生成世界图），并嵌入四个诊断镜头。将场景描述翻译为8种语言（英、中、日、韩、西、阿、泰、德）及结构化文本控制。评估13个LLM，包括闭源（GPT-4o、Claude等）、开源7-10B（Qwen2.5-7B、Llama-3.1-8B等）、中等规模27-32B控制组（Qwen2.5-32B、Gemma-3-27B）及视觉语言消融（Qwen2.5-VL）。使用严格通过率和部分信用图F1评分，并采用层次聚类分析多语言性能轮廓。进行人类实验（8种语言母语者）在相同纯文本协议下验证。

Key Results:

• F1: 能力阶梯非单调，L3视角推理处存在普遍悬崖：所有（模型，语言）单元在悬崖诊断区间（L0>40%）中，L3得分均低于L0原子性能的一半。
• F2: 悬崖具有子任务结构化特征：框架变换崩溃与布尔一致性探测猜测分离。
• F3: 思维链提示非通用助推器：对DeepSeek-V4-Flash提升32个百分点，但对Qwen2.5-7B降低16个百分点，且对多数开源模型的L5严格JSON输出产生破坏。
• F4: 生成世界图时，节点识别（物体存在）与关系提取（包含关系）分离；严格通过率与部分信用图F1给出不同的模型排名。
• F5: L3悬崖在中等规模模型（27-32B）中持续存在，而开源7-10B模型在L5上追赶闭源，表明微调机制而非参数规模驱动结构化输出能力。
• F6: 层次聚类从模型多语言性能相关性中恢复出拉丁/CJK/（阿拉伯、泰）文字脚本类型学，并将模型分为窄轮廓和宽轮廓两类。
• F7: 人类实验在8种语言中复制了L3悬崖（L3=0%），L4语言不变（约41%，标准差3.3个百分点），直接证明悬崖反映文本模态的工作记忆瓶颈。

Tech Stack:

• ProcTHOR场景生成器（用于生成100个家庭场景）
• JSON schema验证器（用于严格评估结构化输出）
• 图F1评分（部分信用指标，区分节点识别与关系提取）
• 层次聚类（用于分析多语言性能轮廓）
• 思维链提示（Chain-of-Thought）
• 严格通过率（Strict Pass Rate）
• 多语言翻译（8种语言，涵盖LTR和RTL书写系统）

Strengths:

• 多语言覆盖（8种类型多样语言）和双轴设计（能力阶梯+诊断镜头）系统性地揭示了纯文本空间推理的多维本质。
• 人类实验验证了L3悬崖的普遍性，排除了LLM特定缺陷，直接指向文本模态的工作记忆瓶颈。
• 提供了细粒度的评估指标（严格通过率与部分信用图F1），揭示了不同评分方式下的模型排名差异。
• 对思维链提示的非普遍有效性进行了实证分析，为提示工程提供了重要警示。
• 基准设计基于真实家庭场景（ProcTHOR），而非抽象网格，增强了生态效度。

Limitations:

• 仅关注纯文本模态，未涉及多模态输入（如视觉、触觉），而空间推理在现实世界中常依赖多模态信息。
• 场景局限于家庭环境（ProcTHOR），可能无法泛化到其他空间类型（如户外、工业环境）。
• 评估模型数量有限（13个），且未包括最新的长推理模型（如o1、DeepSeek-R1等）。
• 人类实验样本量可能较小，且未详细报告参与者数量及统计显著性。
• 未探索不同提示策略（如零样本、少样本）对L3悬崖的影响，仅比较了直接提示与思维链提示。

Relevance To Keywords:

• 世界模型：论文直接探讨LLMs是否从文本中构建内部空间世界模型，核心问题与世界模型概念高度相关。
• 表征学习：空间推理涉及从文本中学习并操作空间表征，论文通过能力阶梯和诊断镜头分析了表征的构建与变换。
• 多模态大模型：论文虽为纯文本，但明确指出多模态（如视觉）是自然的下一个探针，且视觉语言消融实验（Qwen2.5-VL）提供了初步对比。
• 模型后训练：论文发现微调机制（而非参数规模）驱动结构化输出能力（L5），与后训练策略（如指令微调、RLHF）直接相关。
• 强化学习：论文未直接涉及强化学习，但世界模型是模型基强化学习（Model-Based RL）的核心组件，论文的发现为RL中的空间推理提供了诊断工具。
• 原生多模态大模型：论文的纯文本诊断可视为多模态模型空间推理能力的基线，未来可扩展至原生多模态模型。
• 理解与生成一体化：论文的L5生成世界图任务要求模型同时理解场景并生成结构化输出，体现了理解与生成的融合。

图像输入使大视觉语言模型（LVLMs）能够感知细粒度视觉信息，但也引入了像素级攻击面，对抗性扰动可通过该攻击面引发不安全的模型行为。然而，大多数现有的防御机制是为传统计算机视觉场景设计的，因此往往忽略了 LVLMs 所需的跨模态对齐，导致性能下降。与此同时，针对 LVLMs 的有限防御通常需要大幅度的图像修改，并引入显著的计算开销，从而损害推理质量和效率。为了解决这些局限性，我们提出了一种轻量级、即插即用的防御框架——结构诱导引导中和（SIGN），该框架通过先验结构提取提高 LVLMs 兼容性，并通过动态引导中和实现高效的扰动抑制。大量实验表明，SIGN 仅使用 0.5% 的像素修改和每张图片 0.16 秒的时间，即可实现超过 87% 的防御成功率，同时几乎保留了原始视觉表征和正常任务性能。我们的工作提供了一种轻量级替代方案，以取代需要昂贵模型训练的防御机制，并展示了利用视觉编码器进行高效对抗性保护的潜力。我们的代码在 https://anonymous.4open.science/r/SIGN-BCB1 上开源。

Image inputs enable Large Vision Language Models (LVLMs) to perceive fine-grained visual information, but also introduce a pixel-level attack surface through which adversarial perturbations can elicit unsafe model behaviors. However, most existing defenses are designed for traditional computer vision settings and thus often overlook the cross-modal alignment required by LVLMs, leading to degraded performance. Meanwhile, the limited defenses tailored to LVLMs often require substantial image modifications and introduce considerable computational overhead, thereby compromising inference quality and efficiency. To address these limitations, we propose Structure-Induced Guided Neutralization (SIGN), a lightweight, plug-and-play defense framework that improves LVLM compatibility via Prior Structural Extraction and achieves efficient perturbation suppression via Dynamic Guided Neutralization. Extensive experiments show that SIGN achieves over 87\% defense success rate with only 0.5\% pixel modification and 0.16 seconds per image, while nearly preserving original visual representations and benign task performance. Our work offers a lightweight alternative to defenses that require costly model training and highlights the potential of exploiting a vision encoder for efficient adversarial protection. Our code is open source on https://anonymous.4open.science/r/SIGN-BCB1.

评分理由: The paper focuses on adversarial defense for Large Vision Language Models (LVLMs), which are inherently multimodal and fall under the MLLM category, justifying high scores for MLLM and MultiModal. Unify Models is moderately relevant as LVLMs unify vision and language, but the core contribution is defense rather than model unification architecture. World Models and model-based RL are unrelated to the content. None of the specified expert authors appear in the author list.

LVLMs, Adversarial Perturbations, Defense Framework, Visual Perturbation Neutralization, Structure-Guided, Vision Encoder, Lightweight

Chinese Title: 结构引导的视觉扰动中和：面向大型视觉语言模型的轻量级防御框架

Summary: 本文针对大型视觉语言模型（LVLMs）在图像输入中易受像素级对抗攻击的问题，提出了一种轻量级、即插即用的防御框架SIGN（Structure-Induced Guided Neutralization）。该方法分为两个阶段：首先，通过先验结构提取（Prior Structural Extraction）从LVLM的视觉编码器中估计出稳定的结构先验（Structure Prior），该先验捕捉了编码器在不同良性输入下共享的块级结构敏感性；其次，在动态引导中和（Dynamic Guided Neutralization）阶段，将结构先验投影到像素空间，并结合局部统计信息识别稀疏异常区域，通过稀疏像素级干预抑制对抗信号。实验表明，SIGN在仅修改0.5%像素、每张图像处理时间0.16秒的条件下，平均防御成功率超过87%，且几乎不损害良性任务的性能。该工作为无需昂贵模型训练的轻量级对抗防御提供了新思路。

Innovations:

• 揭示了LVLM视觉编码器中存在稳定的结构响应偏差（Structure Prior），可作为对抗防御的编码器级先验。
• 提出SIGN框架，利用结构先验引导稀疏像素级干预，实现高效对抗信号抑制，无需模型重训练。
• 设计了两阶段方法：先验结构提取（跨层跨样本聚合响应幅度）和动态引导中和（结合局部中位数参考与结构先验插值）。
• 在仅修改0.5%像素、处理时间低于0.2秒的条件下，达到87%以上防御成功率，且保持良性图像表示余弦相似度>0.99。
• 提供了一种轻量级、即插即用的防御方案，适用于多种LVLM架构和攻击类型。

Methodology: 论文采用以下技术路线：1）先验结构提取：从无标签图像集中，计算LVLM视觉编码器各层各块的L2范数响应，跨层跨样本平均得到块级结构轮廓，再按规范令牌顺序重排为二维先验图。2）动态引导中和：将先验图通过双线性插值映射到输入像素空间，得到像素级引导图；对每个像素，计算其邻域中位数作为局部参考，结合引导图权重计算异常分数；最后对异常分数高的像素进行稀疏修改（如置零或均值替换），抑制对抗扰动。实验采用六种LVLM和四种攻击方法进行验证。

Key Results:

• SIGN在六种LVLM（如LLaVA、InstructBLIP等）上平均防御成功率超过87%。
• 仅修改0.5%的像素，每张图像防御构建时间低于0.2秒（典型值0.16秒）。
• 良性图像经过SIGN后，视觉表示余弦相似度保持在0.99以上，几乎不影响原始语义。
• 结构先验在同一模型内高度稳定，跨样本变化小，可作为有效引导。
• 与现有防御方法（如区域掩码、扩散修复）相比，SIGN在效率和保真度上具有优势。

Tech Stack:

• LVLM视觉编码器（如CLIP ViT）
• L2范数（响应幅度聚合）
• 双线性插值（先验图到像素空间映射）
• 局部中位数滤波（异常检测参考）
• 稀疏像素修改（防御操作）
• 余弦相似度（表示保真度评估）
• 六种LVLM模型：LLaVA, InstructBLIP, Qwen-VL, CogVLM等
• 四种攻击方法：Jailbreak, LLM-DoS, 误分类等

Strengths:

• 轻量级：无需模型训练，即插即用，计算开销极低。
• 高效：仅修改极少量像素（0.5%），防御时间<0.2秒。
• 通用性：适用于多种LVLM架构和多种攻击类型。
• 保真度高：几乎不改变良性图像语义，保持视觉表示相似度>0.99。
• 创新性：首次利用编码器结构响应偏差作为先验引导防御。

Limitations:

• 依赖无标签图像集进行先验提取，可能在不同数据分布下先验稳定性需验证。
• 防御机制仅针对像素级扰动，对更复杂的结构化攻击（如补丁攻击）可能效果有限。
• 实验仅在固定分辨率或最小输入窗口下进行，动态分辨率模型需额外处理。
• 未考虑自适应攻击者可能绕过基于结构先验的防御。
• 论文未深入分析先验提取所需样本数量对性能的影响。

Relevance To Keywords:

• 与“原生多模态大模型”和“多模态大模型的理解和生成一体化”高度相关：论文聚焦LVLM的视觉对抗防御，直接涉及多模态大模型的安全与鲁棒性。
• 与“表征学习”相关：论文利用视觉编码器的表征（L2范数响应）提取结构先验，属于表征层面的分析。
• 与“世界模型”和“强化学习”相关性较弱：论文未涉及世界模型构建或强化学习训练，但防御框架可视为提升模型鲁棒性的后处理技术，与“后训练”概念有一定关联（无需重训练，但属于推理时防御）。
• 与“Model-Based RL”无直接关联。
• 总体而言，论文主要贡献在LVLM对抗防御领域，与多模态大模型的安全性和表征学习紧密相关，与世界模型和强化学习关联度低。

文本到图像（Text-to-Image）生成已从基础图像合成演变为专业创意工作流中常用的核心能力，在此背景下，简单的文本 - 图像对齐已无法满足用户对忠实于现实世界的重建和真实创意表达的迫切需求。然而，现有基准仍锚定在这些基础标准上，尚未捕捉到真实艺术实践中至关重要的细微能力，导致难以可靠地区分最先进的文本到图像（T2I）模型。为填补这一空白，我们提出了 Qwen-Image-Bench，这是一个以创作者为中心的基准，由专业艺术家共同设计，并基于真实世界创作场景构建。Qwen-Image-Bench 通过两个应用驱动维度丰富了传统评估：现实保真度（Real-world Fidelity）与创意生成（Creative Generation）。借鉴专业艺术工作流中固有的分阶段推理，我们将这五大支柱组织成自上而下的层级分类体系，进一步细分为 23 个二级子能力及 56 个三级可验证标准（rubrics）。为确保广泛覆盖，我们精心策划了 1000 个分层提示（stratified prompts），每个提示均在多个支柱上共同涵盖超过四个细粒度方面。我们基于 Qwen3.6-27B 训练了一个统一的评判模型 Q-Judger，该模型由来自全球艺术学院的 80 名专业标注者在盲标和三审协议下进行监督，对每张图像在所有 56 个可验证方面进行评分，从而生成细粒度、基于标准且完全可归因的诊断，而非单一的不透明分数。实证结果表明，Qwen-Image-Bench 能够可靠地区分领先的 T2I 模型，在现实保真度（Real-world Fidelity）和创意生成（Creative Generation）这两个应用驱动维度上实现了最大的区分度，而现有基准在此处几乎无法提供见解，同时也为生产级 T2I 开发提供了可信的优化信号。

Text-to-Image generation has evolved from basic image synthesis into a frequently used core capability in professional creative workflows, where simple text-image alignment can no longer satisfy users' pressing demands for faithful real-world reconstruction and genuine creative expression. Existing benchmarks, however, remain anchored in these foundational criteria and do not yet capture the nuanced capabilities that matter in authentic artistic practice, making it difficult to reliably distinguish state-of-the-art T2I models. To address the gap, we introduce Qwen-Image-Bench, a creator-centric benchmark co-designed with professional artists and grounded in real-world creation scenarios. Qwen-Image-Bench enriches conventional evaluation with two application-driven dimensions: Real-world Fidelity and Creative Generation. Drawing on the staged reasoning inherent in professional artistic workflows, we organize these five pillars into a top-down hierarchical taxonomy that further decomposes into 23 second-level sub-capabilities and 56 third-level verifiable rubrics. To ensure broad coverage, we curate 1000 stratified prompts with each prompt jointly exercising more than four fine-grained facets across multiple pillars. We train a unified judge model Q-Judger based on Qwen3.6-27B, supervised by 80 professional annotators from global art academies under blind labeling and triple-review protocols, that scores every image across all 56 verifiable facets, producing fine-grained, rubric-grounded, and fully attributable diagnostics rather than a single opaque score. Empirically, Qwen-Image-Bench reliably distinguishes leading T2I models, achieving the greatest separation on the two application-driven dimensions of Real-world Fidelity and Creative Generation where existing benchmarks provide little insight, while also providing a trustworthy optimization signal for production-level T2I development.

评分理由: The paper focuses on Text-to-Image evaluation, which is inherently Multimodal (8.0) and utilizes a Qwen-based judge model (MLLM, 7.0). It introduces a unified scoring framework (Unify Models, 6.0). However, it does not address World Models or Model-Based RL (1.0 each). Expert check: None of the target experts (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) are in the author list, so no bonus applies.

Text-to-Image Evaluation, Real-world Fidelity, Creative Generation, Unified Judge Model, Qwen-Image-Bench, Multimodal Benchmark, Professional Artistic Workflows

Chinese Title: Qwen-Image-Bench：从生成到创作——文本到图像评估的新范式

Summary: 本文针对现有文本到图像（T2I）评估基准在专业创作场景中的不足，提出Qwen-Image-Bench——一个以创作者为中心的评估基准。该基准由专业艺术家共同设计，在传统质量、美学和文本-图像对齐三个支柱基础上，新增真实世界保真度和创意生成两个应用驱动维度，形成5个一级支柱、23个二级子能力和56个三级可验证标准的层次化分类体系。基准包含1000个精心设计的双语提示（中英文各半，长短平衡），每个提示覆盖多个细粒度评估方面。为克服现有MLLM评判器的偏见，论文训练了统一的评判模型Q-Judger（基于Qwen3.6-27B），由80位来自艺术院校的专业标注员在盲标和三重审核协议下监督训练，对每个图像在所有56个方面进行细粒度评分。实验评估了18个主流T2I模型，结果表明GPT Image 2总分最高（64.7），而真实世界保真度和创意生成两个维度上模型间差异最大，揭示了当前模型在物理逻辑、解剖保真度等四个方面的系统性瓶颈。该基准为生产级T2I模型开发提供了可靠的优化信号。

Innovations:

• 提出创作者中心的评估框架，在传统三个支柱基础上新增真实世界保真度和创意生成两个应用驱动维度，更贴近专业创作需求。
• 构建了三级层次化分类体系（5个一级支柱、23个二级子能力、56个三级可验证标准），基于专业艺术工作流程的阶段性推理设计，系统性强且避免重叠。
• 设计了1000个双语、长短平衡的结构化提示，每个提示联合覆盖多个细粒度评估方面，实现更密集和均衡的维度覆盖。
• 训练了统一的评判模型Q-Judger（基于Qwen3.6-27B），由80位专业标注员在严格盲标和三重审核协议下监督，输出56维细粒度评分向量，避免单一MLLM评判器的系统性偏差，并提供可归因的诊断信息。
• 揭示了当前前沿T2I模型在物理逻辑、解剖保真度、动物和接触交互四个方面的系统性天花板，为模型改进指明方向。

Methodology: 论文采用以下技术路线：首先，与专业艺术家合作，基于真实创作场景设计评估维度，构建从L1到L3的层次化分类体系。其次，通过严格筛选和分层抽样，从大量候选提示中选出1000个双语提示，确保覆盖所有56个三级评估方面且长度和语言平衡。然后，收集18个主流T2I模型的生成图像，由80位专业标注员在盲标和三重审核协议下对每个图像在所有56个方面进行人工评分，形成监督数据。接着，基于Qwen3.6-27B训练统一的评判模型Q-Judger，使用人工标注数据微调，使其能够自动输出细粒度评分向量。最后，采用自底向上的聚合方式（从L3到L2再到L1和总分）计算各维度得分，并通过Spearman相关系数评估与人类专家判断的一致性。

Key Results:

• Q-Judger与人类专家判断的排名一致性达到Spearman ρ=0.92，显著降低评估成本。
• 在18个主流T2I模型中，GPT Image 2获得最高总分64.7，Qwen Image 2.0 Pro排名第五。
• 真实世界保真度和创意生成两个应用驱动维度上模型间方差最大，表明它们捕捉了现有基准无法区分的性能差距。
• 四个三级评估方面（物理逻辑、解剖保真度、动物、接触交互）成为当前所有模型的系统性天花板，即使最佳模型得分也低于44。
• 基准能够可靠区分前沿T2I模型，为生产级开发提供可信的优化信号。

Tech Stack:

• Qwen3.6-27B（作为评判模型的基础架构）
• CLIP及其变体（用于传统文本-图像对齐评估）
• VQA/VLM（视觉问答/视觉语言模型，用于自动化评估）
• 分层抽样与提示设计策略（确保覆盖56个三级评估方面）
• 盲标与三重审核协议（人工标注质量控制）
• Spearman等级相关系数（评估排名一致性）
• 自底向上聚合评分方法（从细粒度到总体得分）

Strengths:

• 与专业艺术家合作设计，评估维度紧密贴合真实创作需求，具有高生态效度。
• 层次化分类体系系统性强、覆盖全面，避免传统扁平分类的冗余和遗漏。
• 双语、长短平衡的提示集兼顾不同用户群体，提高评估鲁棒性。
• 训练专门的评判模型而非直接使用现成MLLM，减少系统性偏差，且输出细粒度诊断信息。
• 实验覆盖18个主流模型，揭示了前沿模型的性能瓶颈，具有实际指导意义。

Limitations:

• 评判模型Q-Judger基于Qwen3.6-27B，其性能受限于基础模型能力，可能无法完全捕捉所有艺术性细微差别。
• 人工标注成本高（80位专家、三重审核），虽然训练后自动评估成本降低，但初始构建成本较大。
• 基准仅包含1000个提示，虽然精心设计但可能仍无法覆盖所有创作场景。
• 评估主要针对静态图像生成，未涉及视频生成或多模态交互等新兴方向。
• 论文未详细讨论评判模型在不同语言和文化背景下的泛化能力。

Relevance To Keywords:

• 原生多模态大模型：论文使用Qwen3.6-27B作为评判模型，属于多模态大模型在评估中的应用，且基准本身涉及多模态理解（文本-图像对齐）。
• 多模态大模型的理解和生成一体化：基准评估的正是T2I生成模型，而评判模型Q-Judger需要同时理解文本和图像，体现了理解与生成的一体化需求。
• 表征学习：基准中的真实世界保真度维度要求模型学习物理、文化、事实等世界知识表征，与表征学习密切相关。
• 世界模型：真实世界保真度评估模型对物理逻辑、解剖结构、接触交互等世界知识的掌握，直接关联世界模型概念。
• 强化学习：论文提到后训练（post-training）和模型优化信号，基准可用于指导强化学习中的奖励模型设计。
• 后训练：基准为生产级T2I模型开发提供优化信号，可应用于模型的后训练阶段。

联邦学习（FL）与预训练视觉 - 语言模型（VLMs）的结合已成为一种有前景的范式，适用于各种下游任务。通过利用其强大的表示能力，近期研究在本地数据不足的情况下改进了任务适应，同时保持了泛化能力。然而，这些方法强调完全本地优化与简单的参数聚合，这在异质性和全数据联邦学习（FL）设置下会放大客户端间优化不一致性和客户端内过度专业化，导致难以平衡全局任务适应与泛化能力。为了解决这些挑战，我们提出了 FedDTL，一种新颖的联邦视觉 - 语言模型（VLM）框架，该框架在客户端与服务器之间解耦了图像编码器和文本编码器。通过解耦的编码器训练及服务器 - 客户端模态对齐，FedDTL 促进了连贯的全局语义更新，减少了客户端间优化不一致性，从而改进了全局任务适应。为了进一步缓解客户端内过度专业化，我们引入了两阶段本地微调：首先是一个监督微调阶段，可实现快速可靠的暖启动；随后是一个强化学习阶段，以增强泛化能力。在多个基准（包括标签偏移和特征偏移）上的广泛实验表明，FedDTL 在少样本和全数据模式下，针对各种联邦学习（FL）数据分布，实现了全局任务适应与泛化能力之间的有效平衡。

Federated Learning (FL) with pre-trained Vision-Language Models (VLMs) has emerged as a promising paradigm for various downstream tasks. By leveraging its strong representations, recent studies improve task adaptation under insufficient local data while preserving generalization. However, these methods emphasize fully local optimization with simple parameter aggregation,which can amplify inter-client optimization inconsistency and intra-client over-specialization under heterogeneous and full-data FL settings, making it difficult to balance global task adaptation and generalization. To address these challenges, we propose FedDTL, a novel federated VLM framework that decouples the image encoder and text encoder across clients and the server. Through decoupled encoder training with server-client modality alignment, FedDTL promotes coherent global semantic update and reduces inter-client optimization inconsistency, improving global task adaptation.To further mitigate intra-client over-specialization,we introduce a two-stage local fine-tuning, where a supervised fine-tuning stage enables rapid and reliable warm-start, followed by a reinforcement learning stage that enhances generalization. Extensive experiments on multiple benchmarks, including label skew and feature shift, demonstrate that FedDTL achieves an effective balance between global task adaptation and generalization under various FL data distributions in both few-shot and full-data regimes.

评分理由: 论文核心为联邦学习下的多模态大模型（VLM）微调，与 MLLM 和 MultiModal 高度契合；虽使用强化学习进行本地微调，但未明确体现 model-based RL 架构特征；联邦参数聚合虽涉及统一，但非背景定义的 Unify Models 架构统一；内容与 World Models 完全无关。

Federated Learning, Vision-Language Models, Decoupled Training, Local Reinforcement Fine-Tuning, Global Task Adaptation, Generalization, Server-Client Modality Alignment

Chinese Title: 联邦学习中解耦训练与本地强化微调

Summary: 本文针对联邦学习（FL）与预训练视觉语言模型（VLM）结合时面临的客户端间优化不一致和客户端内过专门化问题，提出FedDTL框架。该方法通过解耦图像编码器（本地训练）和文本编码器（服务器端训练），并利用模态对齐减少客户端间漂移，提升全局任务适应能力。同时，设计两阶段本地微调策略：先进行监督微调（SFT）实现快速任务适应，再引入基于GRPO的强化学习阶段抑制过专门化并增强泛化。实验在标签偏移和特征偏移场景下，涵盖少样本和全数据设置，结果表明FedDTL有效平衡了全局任务适应与泛化性能，优于现有联邦VLM基线方法。

Innovations:

• 提出解耦编码器训练方案：图像编码器本地优化保护隐私，文本编码器服务器端学习全局一致语义，通过模态对齐减少客户端间优化不一致。
• 设计两阶段本地微调：先SFT快速热启动，再GRPO强化学习增强泛化，缓解客户端内过专门化。
• 采用LoRA高效微调，降低计算开销，适用于少样本和全数据联邦场景。
• 在多种数据分布（标签偏移、特征偏移）和两种数据规模（少样本、全数据）下全面评估，证明方法平衡适应与泛化的有效性。

Methodology: 基于CLIP模型，使用LoRA对图像编码器和文本编码器进行参数高效微调。服务器端维护全局文本编码器，客户端本地训练图像编码器，并通过对比学习对齐视觉与文本表征。本地训练采用两阶段：第一阶段SFT使用交叉熵损失快速适应下游任务；第二阶段基于GRPO的强化学习，以模型输出概率分布构建奖励，优化策略以提升泛化。联邦通信中，客户端上传图像编码器的LoRA参数和压缩后的视觉嵌入，服务器聚合后广播。

Key Results:

• 在多个基准数据集上，FedDTL在标签偏移和特征偏移下均优于FedPGP、pFedDC等基线。
• 在少样本和全数据设置中，FedDTL均能有效平衡全局任务适应（准确率）与泛化（对未见类别或域的性能）。
• 消融实验验证了解耦训练和两阶段微调各自的有效性，RL阶段显著提升泛化能力。
• 与完全本地优化+参数平均的方法相比，FedDTL的客户端间表征一致性更高，客户端漂移更小。

Tech Stack:

• CLIP (Contrastive Language-Image Pre-training)
• LoRA (Low-Rank Adaptation)
• GRPO (Group Relative Policy Optimization)
• Supervised Fine-Tuning (SFT)
• Federated Learning (FedAvg)
• 对比学习（模态对齐）
• 参数高效微调 (PEFT)

Strengths:

• 创新性地将CLIP的模态解耦思想引入联邦学习，从架构层面缓解客户端漂移。
• 两阶段微调结合SFT的快速适应和RL的泛化优势，无需额外正则化或对齐损失。
• 在少样本和全数据两种实际场景下均验证有效性，实验设置全面。
• 使用LoRA保持计算高效，易于部署。

Limitations:

• 依赖预训练CLIP模型，若基础模型能力不足可能影响效果。
• 服务器端维护文本编码器并处理视觉嵌入，可能增加通信和计算开销（虽已压缩）。
• RL阶段需要设计合适的奖励函数，对超参数敏感，文中未详细讨论调参难度。
• 未考虑系统异构性（如客户端计算能力差异）对训练的影响。

Relevance To Keywords: 论文核心涉及多模态大模型（CLIP）、表征学习（模态对齐）、强化学习（GRPO）和后训练（微调），与关键词中的“原生多模态大模型”、“表征学习”、“强化学习”、“后训练”高度相关。但“世界模型”、“模型基RL”等概念未直接涉及，整体相关性中等偏上。

近年来，多说话人音视频生成（MTAVG）模型在唇同步（lip-sync）和视听对齐（audio-visual alignment）等基本指标上展现出优异的表现。然而，这些指标仍不足以评估场景级生成中的电影表现力（cinematic expressiveness）。在多角色场景中，生成模型必须超越视听真实性（audio-visual realism），以传达连贯的角色表现及其他更高层级的电影品质。为了填补这一空白，我们引入了 MTAVG-Bench 2.0，这是一个用于诊断多说话人音视频生成中电影表现力失败模式的评测基准。与先前主要关注基本多轮对话（multi-turn dialogue）质量的设置不同，MTAVG-Bench 2.0 针对短剧（short-drama）和场景级生成，并建立了涵盖表演、叙事、氛围和视听语言（audio-visual language）的高层级失败分类体系（taxonomy）。基于此分类体系，我们构建了超过 10,000 个问答评估实例，以及用于短剧级评估和失败模式时间定位（temporal localization）的子集，以系统性地评估多模态大语言模型（omni large language models）诊断高层级视听失败的能力。实验结果表明，商业多模态模型（如 Gemini）显著优于其他评估模型，但即使是最强的模型在我们的基准上仍难以处理复杂失败。这些结果表明，MTAVG-Bench 2.0 为电影多说话人音视频生成中的失败诊断提供了系统性的评测基准。

In recent years, Multi-Talker Audio-Video Generation (MTAVG) models have shown promising performance on fundamental metrics such as lip-sync and audio-visual alignment. However, these metrics remain insufficient for assessing cinematic expressiveness in scene-level generation. In multi-character scenes, generation models must go beyond audio-visual realism to convey coherent character performance and other higher-level cinematic qualities. To fill this gap, we introduce MTAVG-Bench 2.0, a benchmark for diagnosing failure modes of cinematic expressiveness in multi-talker audio-video generation. Unlike prior settings that mainly focus on the quality of basic multi-turn dialogue, MTAVG-Bench 2.0 targets short-drama and scene-level generation, and establishes a high-level failure taxonomy spanning acting, narrative, atmosphere, and audio-visual language. Based on this taxonomy, we construct more than 10,000 question-answering evaluation instances, together with subsets for short-drama-level assessment and temporal localization of failure modes, to systematically evaluate the ability of omni large language models to diagnose high-level audio-visual failures. Experimental results show that commercial omni models such as Gemini substantially outperform other evaluators, yet even the strongest models continue to struggle with complex failures in our benchmark. These results demonstrate that MTAVG-Bench 2.0 provides a systematic benchmark for failure diagnosis in cinematic multi-talker audio-video generation.

评分理由: The paper focuses on MultiModal audio-video generation (9.0) and utilizes MLLMs for evaluation (7.0). It touches on Unify Models by assessing omni models but does not propose unification architectures (3.0). It lacks direct connection to World Models (2.0) and Model-Based RL (1.0).

MTAVG-Bench, Audio-Video Generation, Cinematic Expressiveness, Failure Diagnosis, Multi-Talker, Omni LLMs, Benchmark Evaluation

Chinese Title: MTAVG-Bench 2.0：诊断多说话人音视频生成中电影表现力的失败模式

Summary: 本文针对多说话人音视频生成（MTAVG）场景，提出了一种用于诊断高层面电影表现力失败模式的基准MTAVG-Bench 2.0。现有评估主要关注唇形同步、音视频对齐等低层保真度，不足以衡量场景级生成中的角色表演、叙事连贯性、氛围营造和视听语言等电影品质。该基准基于短剧和场景级生成，构建了涵盖表演、叙事、氛围和视听语言的高层失败分类体系，并生成了超过10,000个问答评估实例，以及场景级评估和失败时间定位子集。实验表明，商业全能模型（如Gemini）表现最佳，但在复杂失败诊断上仍有明显不足，说明当前评估体系尚不能充分解决电影级多说话人生成的高层失败诊断问题。

Innovations:

• 将高层失败诊断形式化为多说话人音视频生成中场景级电影表现力的独立评估问题，超越传统低层保真度评估。
• 构建了包含表演、氛围、电影摄影三个维度的紧凑失败分类体系，并基于此生成超过10,000个评估实例。
• 设计了场景级评估和失败时间定位子集，支持细粒度、时间可定位的高层失败诊断。
• 系统评估了当前主流全能音视频理解模型，揭示了商业模型在复杂角色表演失败诊断上的局限性。

Methodology: 论文采用三阶段流水线构建基准：首先从经典电影场景中分解出层次化脚本提示，使用先进文本到音视频生成模型生成候选视频；然后由标注者识别高层失败证据，并映射到分类体系定义的失败模式；最后基于审查证据构建失败感知的诊断问答对，经过人工标注、专家讨论和验证，形成多样化的评估实例。评估时使用全能多模态大模型对问答实例进行诊断，比较不同模型的诊断准确率。

Key Results:

• 商业全能模型（如Gemini）在整体诊断性能上显著优于其他评估器。
• 即使最强的模型在处理涉及角色表演的复杂失败案例时仍存在明显局限。
• MTAVG-Bench 2.0提供了系统化的基准，能够有效揭示当前生成系统在电影表现力方面的不足。
• 高层失败诊断任务远未解决，需要更丰富的基准来评估场景级表现力。

Tech Stack:

• 文本到音视频生成模型（如JavisDiT、Seedance等）
• 全能多模态大模型（如Gemini、GPT-4V等）
• 层次化脚本提示构建
• 失败分类体系（表演、氛围、电影摄影）
• 问答对构建与人工验证
• 时间定位子集设计

Strengths:

• 首次系统性地将电影表现力失败诊断引入多说话人音视频生成评估，填补了现有基准的空白。
• 构建了大规模、多维度、时间可定位的评估数据集，支持细粒度分析。
• 实验覆盖了多种主流全能模型，结果具有参考价值。
• 分类体系简洁且具有操作性，便于推广和应用。

Limitations:

• 分类体系仅涵盖表演、氛围、电影摄影三个维度，可能未完全覆盖所有电影表现力方面。
• 评估实例基于生成模型输出，可能受生成模型本身质量限制。
• 人工标注和专家讨论过程可能存在主观性。
• 当前最强模型在复杂失败诊断上仍有不足，说明基准难度较高，但未提供改进方向。

Relevance To Keywords:

• Unify Models: 论文评估了多种全能多模态大模型（如Gemini），属于统一模型范畴，但论文本身是基准而非模型。
• World Models: 论文未直接涉及世界模型，但电影表现力诊断需要理解场景、角色交互等世界知识，间接相关。
• Representation Learning: 论文未直接研究表征学习，但评估任务依赖于模型对音视频的高层表征能力。
• Model-Based RL: 论文未涉及强化学习或基于模型的RL，相关性较低。

现实世界导航本质上由兴趣点（POIs）驱动，但到达精确的兴趣点仍是一个关键的“最后几米”挑战。现有的视觉 - 语言导航（VLN）POI 目标导航基准常因生成场景而存在粒度粗糙或显著的仿真到现实差距。为弥合这一差距，我们提出了 POINav-Bench，这是首个专为现实世界 POI 目标导航的闭环评估设计的基准。它包含 11 个利用 3D 高斯泼溅（3DGS）从真实世界采集数据重建的商业区，总面积达 126,398 平方米，涵盖 163 个不同的兴趣点。凭借可通行性感知标注和参考轨迹，POINav-Bench 能够在逼真的、富含兴趣点的现实世界环境中实现对导航智能体的高保真评估。在此基础上，我们提出了 POINav Brain-Action 框架，其中大脑模块执行基于兴趣点的推理，以指导动作模块预测连续航点以供现实世界执行。我们还整理了 POINav-Dataset，包含 7 万个现实世界的标识 - 入口对。实验表明，我们的框架为改进现实世界 POI 目标导航提供了一条可行路径。

Real-world navigation is fundamentally driven by Points of Interest (POIs), yet reaching a precise POI remains a critical "final-meters" challenge. Existing Vision-Language Navigation (VLN) benchmarks of POI-goal navigation often suffer from coarse granularity or significant sim-to-real gaps due to generated scene. To bridge this gap, we present POINav-Bench, the first benchmark designed for closed-loop evaluation of real-world POI-goal navigation. It comprises 11 commercial areas reconstructed from real-world captures using 3D Gaussian Splatting (3DGS), covering 126,398 $m^{2}$ in total and spanning 163 distinct POIs. With traversability-aware annotations and reference trajectories, POINav-Bench enables high-fidelity evaluation of navigation agents in realistic, POI-rich real-world environments. Building on this, we propose the POINav Brain-Action Framework where a Brain module performs POI-grounded reasoning to guide an Action module in predicting continuous waypoints for real-world execution. We further curate the POINav-Dataset, containing 70K real-world signage-entrance pairs. Experiments show that our framework provides a viable path toward refining real-world POI-goal navigation.

评分理由: The paper focuses on Vision-Language Navigation (VLN), making it highly relevant to MultiModal (8.0). The Brain-Action framework unifies reasoning and action, offering moderate relevance to Unify Models (4.0). MLLM is moderately related (4.0) due to language involvement, though not explicitly highlighted as a large multimodal model. World Models (3.0) and model-based RL (3.0) are less central as 3DGS is used for reconstruction rather than generative world modeling, and the focus is on benchmarking/framework rather than model-based RL algorithms. No expert authors from the provided list are found in the authorship.

Vision-Language Navigation, Points of Interest, 3D Gaussian Splatting, Brain-Action Framework, Real-world Benchmark, Final-meters Arrival, POI-grounded Reasoning

Chinese Title: POINav：在真实世界视觉-语言导航中基准测试与增强最后几米到达

Summary: 本文针对真实世界导航中“最后几米”的精确到达问题，提出了POINav生态系统。首先，构建了POINav-Bench，这是首个用于真实世界POI目标导航的闭环评估基准，包含11个商业区域（总面积126,398平方米，163个POI），通过3D高斯泼溅（3DGS）从2026年后的LiDAR和摄影测量数据重建，并集成到Isaac Sim中，弥合了模拟与现实的差距。其次，提出了POINav脑-动作框架，其中脑模块进行POI接地推理，动作模块预测连续路径点。同时，整理了包含70K真实世界标志-入口对的POINav-Dataset。实验表明该框架为精确实世界POI导航提供了可行路径。论文计划开源完整基准和数据集，推动视觉导航和机器人研究。

Innovations:

• 首次构建了基于真实世界3DGS重建的高保真POI目标导航闭环基准POINav-Bench，覆盖11个商业区域、163个POI，支持精细的最终米级评估。
• 提出了POINav脑-动作解耦框架，将导航分为POI接地推理（脑模块）和全局上下文动作查询（动作模块），避免了端到端模型中的误差累积。
• 整理了包含70K真实世界标志-入口对的POINav-Dataset，支持无需外部先验的鲁棒POI接地推理。
• 将3DGS资产集成到Isaac Sim中，提供物理精确的仿真环境，并计划开源整个生态系统以促进可重复性研究。

Methodology: 论文采用两阶段方法：首先，通过高精度LiDAR和摄影测量采集11个商业区域的真实数据，使用3DGS重建场景，手动标注POI入口（水平边界框）和可通行区域，并基于A*算法生成参考轨迹，构建闭环评估基准POINav-Bench。其次，提出POINav框架：脑模块利用连续空间条件机制先定位POI标志作为语义锚点，再回归目标入口；动作模块简化BridgeNav架构，预测连续路径点。训练使用70K真实样本的POINav-Dataset。评估在Isaac Sim中进行闭环仿真，以到达入口距离和碰撞情况作为成功标准。

Key Results:

• POINav-Bench覆盖11个商业区域，总面积126,398平方米，包含163个不同POI，每个POI有精确的入口边界框和可通行区域标注。
• POINav-Dataset包含70K真实世界标志-入口对，支持POI接地推理训练。
• 提出的脑-动作框架在POINav-Bench上实现了有效的闭环导航，能够精确定位POI入口并生成连续路径。
• 开源计划将提供完整的3DGS资产和数据集，促进社区在真实世界导航和机器人任务上的研究。

Tech Stack:

• 3D Gaussian Splatting (3DGS) 用于场景重建
• LiDAR 和摄影测量用于数据采集
• NVIDIA Isaac Sim 用于闭环仿真
• Qwen2.5-VL-3B 作为基础视觉语言模型
• BridgeNav 架构（简化版）用于动作模块
• A* 算法用于生成参考轨迹
• 连续空间条件机制用于POI接地推理

Strengths:

• 首次提供真实世界高保真3DGS重建的POI导航闭环基准，弥合了模拟与现实的差距。
• 脑-动作解耦框架避免了端到端模型中的误差累积，更符合实际导航的层次化决策。
• 大规模真实数据集（70K样本）支持鲁棒的POI接地推理。
• 开源计划将极大推动该领域的研究可重复性和进展。

Limitations:

• 基准仅覆盖11个商业区域，场景多样性有限，可能无法完全代表所有真实世界环境。
• 3DGS重建中移除了行人，但真实环境中动态障碍物（如行人、车辆）未考虑，评估可能过于理想化。
• POI入口标注依赖人工，扩展至更大规模时成本较高。
• 框架依赖预训练VLM（Qwen2.5-VL-3B），可能受限于模型能力。

Relevance To Keywords:

• Unify Models: 论文提出的脑-动作框架可视为统一模型的一种尝试，但未直接涉及多模态理解与生成一体化。
• World Models: 3DGS场景可视为世界模型的一种表示，但论文未使用世界模型进行规划。
• Representation Learning: 论文通过POI接地推理学习语义与几何的联合表示，与表征学习相关。
• Model-Based RL: 论文使用A*生成参考轨迹，但未明确采用强化学习或模型预测控制，相关性较弱。
• 原生多模态大模型: 论文基于Qwen2.5-VL-3B，属于多模态大模型，但未强调原生多模态。
• 后训练: 论文未涉及后训练技术。

视觉语言模型（VLMs）因高分辨率视觉标记而面临严重的内存与延迟瓶颈。尽管当前的标记缩减方法理论上能节省浮点运算次数（FLOPs），但事后剪枝会引入结构开销，无法实现相应的墙钟加速（wall-clock acceleration）。然而，强制采用连续紧凑路径可能导致几何迷失（geometric disorientation）及细粒度定位能力的丧失。为克服上述障碍，本文提出 CIVIC，一种路径一致紧凑视觉推理框架（path-consistent compact visual inference framework）。通过在视觉编码器（vision encoder）、投影层、大语言模型预填充（LLM prefill）及键值缓存（KV-cache）之间无缝维持紧凑序列表示，CIVIC 避免了非连续内存访问及局部解合并开销。在 Qwen3-VL 架构上的评估表明，CIVIC 成功将序列缩减转化为真实的物理硬件效率，将键值缓存（KV-cache）内存缩减至基线的约三分之一，并降低了端到端推理延迟。借助文本对齐的 KL 散度蒸馏（text-aligned KL distillation）与自适应空间保留下限（adaptive spatial retention floor），CIVIC 在严格的多模态推理与视觉定位基准上，实现了这些效率里程碑而未损害准确性。

Vision-Language Models (VLMs) face severe memory and latency bottlenecks due to high-resolution visual tokens. While current token reduction methods theoretically save FLOPs, post-hoc pruning introduces structural overhead, failing to yield proportional wall-clock acceleration. However, enforcing a contiguous compact pathway risks geometric disorientation and loss of fine-grained localization. To overcome these barriers, this paper introduces CIVIC, a path-consistent compact visual inference framework. By maintaining compact sequence representations seamlessly across the vision encoder, projection layer, LLM prefill, and KV-cache, CIVIC avoids non-contiguous memory access and localized unmerging overheads. Evaluated on the Qwen3-VL architecture, CIVIC successfully translates sequence reductions into genuine physical hardware efficiency, shrinking KV-cache memory to approximately one-third of the baseline and reducing end-to-end inference latency. Enabled by text-aligned KL distillation and an adaptive spatial retention floor, CIVIC achieves these efficiency milestones without degrading accuracy across rigorous multimodal reasoning and visual grounding benchmarks.

评分理由: 论文核心针对视觉语言模型（MLLM）的推理效率优化，因此 MLLM 和多模态（MultiModal）相关度高；未涉及世界模型（World Models）或模型强化学习（model-based RL），相关性极低；虽统一了紧凑推理路径，但未涉及模型架构统一，Unify Models 得分低。作者列表中未包含指定的 Yang Shi 等专家，故无加分。

Vision-Language Models, Sequence Compactness, Inference Efficiency, KV-cache, Multimodal Reasoning, Text-aligned KL Distillation, End-to-End

Chinese Title: CIVIC：面向高效视觉语言模型的端到端序列紧凑性

Summary: 本文针对视觉语言模型（VLM）因高分辨率视觉令牌导致的内存和延迟瓶颈问题，提出了一种路径一致的紧凑视觉推理框架CIVIC。现有令牌缩减方法虽理论上减少FLOPs，但后处理剪枝引入的结构开销无法转化为实际加速。CIVIC通过在视觉编码器、投影层、LLM预填充和KV缓存中保持紧凑序列表示，避免了非连续内存访问和局部解合并开销。该方法采用基于学习的锚点聚合将密集补丁转换为连续令牌，利用KV压缩注意力机制并配合自适应空间保留阈值以保持定位细节，通过文本对齐的KL蒸馏绕过结构训练边界，使紧凑嵌入直接替换LLM预填充中的密集占位符。在Qwen3-VL架构上的实验表明，CIVIC将KV缓存内存缩减至约三分之一，并显著降低端到端推理延迟，同时在多模态推理和视觉定位基准上保持精度。

Innovations:

• 识别出VLM推理中的压缩-实现差距：仅当序列紧凑性在视觉编码器、投影器和LLM预填充中保持一致时，理论FLOP减少才能转化为实际加速。
• 提出CIVIC框架，通过基于学习的锚点聚合、自适应空间保留阈值和文本对齐的KL蒸馏，实现端到端紧凑潜在表示，解决几何和训练瓶颈。
• 在Qwen3-VL上验证了稳定紧凑处理可显著降低延迟和KV缓存占用，同时保持细粒度多模态精度，消除运行时路由或密集恢复依赖。

Methodology: CIVIC采用路径一致的紧凑推理设计：首先通过可学习的紧凑锚点对密集补丁进行聚合（公式8），生成紧凑序列；然后在紧凑视觉编码器中使用KV压缩注意力（公式9），将注意力交互从Te×Te缩减为Me×S；接着通过紧凑多模态投影器将视觉令牌插入LLM预填充；最后利用文本对齐的KL蒸馏损失进行训练，使紧凑嵌入直接替代密集占位符。整体优化目标为最小化部署成本与蒸馏损失的组合（公式6）。

Key Results:

• 在Qwen3-VL架构上，CIVIC将KV缓存内存缩减至基线的大约三分之一。
• 端到端推理延迟显著降低，实现了理论FLOP减少向实际硬件效率的转化。
• 在多模态推理和视觉定位基准上，精度未出现下降，保持了细粒度定位能力。

Tech Stack:

• 基于学习的锚点聚合（learnable anchor-based aggregation）
• KV压缩注意力（KV-compressed attention）
• 自适应空间保留阈值（adaptive spatial retention floor）
• 文本对齐的KL蒸馏（text-aligned KL distillation）
• 层归一化（Layer Normalization）
• ℓ2归一化（ℓ2 normalization）
• Softmax注意力机制
• Qwen3-VL架构

Strengths:

• 提出端到端紧凑路径，避免了后处理剪枝的运行时开销，实现了真正的物理加速。
• 通过自适应空间保留阈值平衡了压缩率与细粒度定位精度。
• 文本对齐的KL蒸馏使得紧凑嵌入可直接用于LLM预填充，无需结构适配。
• 在主流VLM架构上验证了有效性，具有较好的通用性。

Limitations:

• 方法依赖于特定架构（Qwen3-VL）的评估，在其他VLM上的泛化性有待验证。
• 紧凑锚点的学习可能需要额外的训练数据或微调，增加了训练成本。
• 论文未讨论极端压缩率下的性能边界，可能在高压缩比时出现精度下降。
• 与强化学习、世界模型等关键词的直接关联较弱，主要聚焦于推理效率。

Relevance To Keywords: 论文与“原生多模态大模型”高度相关，直接针对视觉语言模型的高效推理；与“表征学习”相关，通过紧凑潜在表示实现压缩；与“后训练”相关，使用蒸馏进行训练；与“多模态大模型的理解和生成一体化”间接相关，因为效率提升有助于统一模型部署；与“世界模型”和“强化学习”关联较弱，论文未涉及环境交互或决策优化。

从科学文献中解析化学反应图具有挑战性，原因在于异构布局、交织的视觉元素以及难以整合识别与推理。现有的视觉语言模型虽推动了多模态理解的发展，但在复杂图表上仍表现不佳，难以在推理过程中保持空间一致性并整合多维信息。为解决这些问题，我们提出了 MACReD，这是一种分层多智能体框架，在统一的 VLM 指导架构下，协调用于分子感知、箭头理解、文本提取和反应重建的专用智能体。规划与感知层使用灵活、细粒度检测来处理视觉复杂性，而推理层则使用多图融合机制来整合异构线索，并强制执行化学一致的全局推理。在 RxnScribe 基准上的实验表明，MACReD 取得了最先进的性能，在硬匹配和软匹配准则下，F1 分数分别为 75.2% 和 84.6%，优于获得 69.1% 和 80.0% 的 RxnScribe 基线。这些结果展示了 MACReD 在多样图布局（包括多步反应和树状结构反应）上的鲁棒性。

Parsing chemical reaction diagrams from scientific literature is challenging due to heterogeneous layouts, intertwined visual elements, and the difficulty of integrating recognition and reasoning. Existing vision-language models advance multimodal understanding but still fail on complex diagrams, struggling to maintain spatial coherence and to integrate multidimensional information during reasoning. To address these issues, we propose MACReD, a hierarchical multi-agent framework that coordinates specialized agents for molecular perception, arrow understanding, text extraction, and reaction reconstruction within a unified VLM-guided architecture. The planning and perception layers use flexible, fine-grained detection to handle visual complexity, while the reasoning layer uses a multigraph fusion mechanism to integrate heterogeneous cues and enforce chemically consistent global reasoning. Experiments on the RxnScribe benchmark show that MACReD achieves state-of-the-art performance, with F1 scores of 75.2% and 84.6% under hard and soft match criteria, outperforming the RxnScribe baseline, which obtains 69.1% and 80.0%, respectively. These results demonstrate the robustness of MACReD across diverse diagram layouts, including multi-step and tree-structured reactions.

评分理由: 该论文提出了一种基于统一 VLM 引导架构的多智能体协作框架用于化学反应图解析。内容与 MultiModal（视觉 + 语言）和 MLLM（使用视觉语言模型）高度相关；架构描述中包含“统一”概念，与 Unify Models 有一定关联。但论文未涉及环境建模或强化学习，与 World Models 和 model-based RL 无关。作者列表中未包含指定的专家。

Multi-Agent, Reaction Diagram Parsing, Unified Architecture, Vision-Language Models, Multigraph Fusion, Chemical Reaction, Spatial Coherence

Chinese Title: MACReD：面向反应图解析的多智能体协作推理框架

Summary: 论文提出MACReD，一个层次化多智能体协作框架，用于从科学文献中解析化学反应图。针对现有方法在视觉复杂性、泛化能力不足以及感知与推理脱节等问题，MACReD将任务分解为规划层、感知层和推理层。规划层动态协调专用智能体；感知层使用分子定位、箭头理解和文本提取专用智能体生成结构化实体；推理层通过多图融合机制整合空间结构、化学语义约束和VLM生成的反应图，实现化学一致的全局推理。在RxnScribe基准上，MACReD在硬匹配和软匹配下F1分别达到75.2%和84.6%，超越基线RxnScribe（69.1%/80.0%），并在多步和树状结构反应图中表现出鲁棒性。

Innovations:

• 提出层次化多智能体协作框架，将复杂反应图解析分解为规划、感知、推理三层，实现灵活的任务分解与协调。
• 设计多图融合机制，综合空间结构、化学语义约束和VLM生成的反应图，确保化学一致的全局推理。
• 在感知层使用专用智能体分别处理分子、箭头和文本，减少异构视觉元素间的错误传播。
• 在RxnScribe基准上达到SOTA性能，并在多步和树状结构等复杂布局上展现强泛化能力。

Methodology: MACReD采用层次化多智能体架构：规划层（Planning Agent）根据输入查询和图像内容动态分解任务并协调专用智能体；感知层包含分子定位、箭头理解和文本提取三个专用智能体，分别输出结构化实体；推理层构建共享反应图，通过多图融合机制整合空间关系、化学约束（如原子守恒）和VLM诱导的反应图，最终重建完整反应。所有智能体基于VLM（如GPT-4V）并配有定制系统提示。

Key Results:

• 在RxnScribe基准上，硬匹配F1为75.2%，软匹配F1为84.6%，均优于基线RxnScribe（69.1%/80.0%）。
• 在多步和树状结构反应图上表现鲁棒，验证了框架对复杂布局的泛化能力。
• 代码已公开，便于复现和进一步研究。

Tech Stack:

• Vision Language Model (VLM) 如GPT-4V
• 多智能体协作框架
• 多图融合机制（Multigraph Fusion）
• 层次化任务分解（Planning, Perception, Reasoning）
• 原子守恒约束（化学一致性）
• 专用智能体：分子定位、箭头理解、文本提取

Strengths:

• 通过层次化多智能体设计有效解耦感知与推理，减少错误传播。
• 多图融合机制整合多源信息，提升化学一致性。
• 在标准基准上取得SOTA，且对复杂布局泛化性强。
• 代码开源，促进可复现性和后续研究。

Limitations:

• 依赖VLM（如GPT-4V）作为基础模型，可能受限于模型成本和API可用性。
• 实验仅在RxnScribe一个基准上进行，缺乏更多数据集验证。
• 原子守恒约束作为弱正则化，可能无法处理故意省略或错误标注的图。
• 多智能体协作增加系统复杂性和推理延迟。

Relevance To Keywords: 论文与“原生多模态大模型”和“多模态大模型的理解和生成一体化”高度相关，因为其核心使用VLM进行多模态理解并生成结构化反应信息。与“表征学习”相关，因为感知层提取分子、箭头等视觉表征。与“世界模型”和“模型-Based RL”相关性较弱，论文未涉及世界模型构建或强化学习。与“后训练”有一定关联，但论文未明确讨论后训练策略。总体而言，论文主要贡献在多智能体协作和VLM驱动的图解析，而非世界模型或强化学习。

视觉令牌剪枝通过移除冗余视觉令牌，降低了视觉 - 语言模型（VLMs）的计算成本。现有方法通常依赖 Gumbel-Softmax 来在训练期间近似离散选择。然而，优化是由替代梯度驱动的，而非真实的选取过程，导致令牌重要性学习不可靠。本文提出 DiffPrune，将剪枝重新表述为令牌信息的连续控制，而非离散选择学习。具体而言，我们引入一个信息调节器（Information Throttler），基于重要性得分使用方差保持噪声来调制每个令牌，其中较高的得分在训练期间导致较少的信息抑制。该设计直接作用于令牌表示，自然地为学习令牌重要性提供了完全可微的优化路径。在推理阶段，令牌通过基于学习到的得分进行硬阈值处理而被移除。在十个 VLM 基准上，DiffPrune 保留了 96.5% 的全模型准确率，同时将 LLM 预填充加速 2.85 倍，推理开销仅为 0.69 毫秒。

Visual token pruning reduces the computational cost of Vision-Language Models (VLMs) by removing redundant visual tokens. Existing methods typically rely on Gumbel-Softmax to approximate discrete selection during training. However, the optimization is driven by surrogate gradients rather than the true selection process, leading to unreliable learning of token importance. In this paper, we propose DiffPrune, which reformulates pruning as continuous control of token information instead of discrete selection learning. Specifically, we introduce an Information Throttler that modulates each token using variance-preserving noise conditioned on importance scores, where higher scores induce less information suppression during training. This design directly operates on token representations, naturally providing a fully differentiable optimization path for learning token importance. At inference, tokens are removed via hard thresholding on the learned scores. Across ten VLM benchmarks, DiffPrune retains 96.5% of full-model accuracy while accelerating LLM prefill by 2.85x, with only 0.69 ms of inference overhead.

评分理由: The paper focuses on token pruning for Vision-Language Models (VLMs), making it highly relevant to MultiModal and MLLM domains as VLMs are inherently multimodal large models. It moderately relates to Unify Models since VLMs unify vision and language modalities, though the core contribution is efficiency optimization rather than architectural unification. There is no relevance to World Models or Model-Based RL.

Vision-Language Models, Token Pruning, Fully Differentiable, Surrogate Gradients, Information Throttler, Model Efficiency, Inference Acceleration

Chinese Title: 超越代理梯度：面向视觉-语言模型的完全可微令牌剪枝

Summary: 本文提出DiffPrune，一种完全可微的视觉令牌剪枝框架，用于降低视觉-语言模型（VLM）的计算成本。现有方法依赖Gumbel-Softmax等代理梯度近似离散选择，导致优化不稳定。DiffPrune将剪枝重新定义为对令牌信息的连续控制，而非离散选择学习。其核心是信息节流器（Information Throttler），利用方差保持噪声根据重要性分数调制每个令牌，分数越高信息抑制越少，从而提供完全可微的优化路径。训练时，Soft Top-K头将分数转化为连续保留权重并约束总预算；推理时，通过硬阈值移除令牌。在十个VLM基准上，DiffPrune保留了全模型96.5%的准确率，同时将LLM预填充加速2.85倍，推理开销仅0.69毫秒。实验表明，DiffPrune的梯度方向一致性比Gumbel-Softmax高28.4倍，损失曲面更平滑。

Innovations:

• 提出完全可微的视觉令牌剪枝框架DiffPrune，避免使用代理梯度，实现从评分器到损失的完全可微优化路径。
• 引入信息节流器（Information Throttler），通过方差保持噪声（VP-Noise）连续调制令牌信息，替代离散的保留/丢弃操作。
• 设计Soft Top-K头，将重要性分数转化为连续保留权重并严格约束预算，训练时与硬Top-K行为对齐。
• 在多个VLM（LLaVA-1.5-7B、LLaVA-NEXT-7B、Qwen2.5-VL-7B）上验证，在激进剪枝下保持高任务性能，推理开销极低。

Methodology: DiffPrune包含四个组件：冻结的视觉编码器、可训练评分器Sθ、Soft Top-K映射ΦK、令牌级节流器T和仅训练去噪器Dϕ。训练时，评分器输出重要性分数，Soft Top-K将其转化为连续保留权重α（满足总预算K），节流器对每个令牌施加方差保持噪声（噪声强度与α负相关），去噪器重建表示后送入冻结LLM。推理时，替换为硬Top-K选择，移除去噪器。整个训练过程无离散操作，梯度通过连续函数反向传播。在DeiT-Base上进行探针实验，比较损失曲面和梯度方向一致性。

Key Results:

• 在DeiT-Base上，DiffPrune的梯度方向一致性比Gumbel-Softmax高28.4倍，损失曲面更平滑。
• 在十个VLM基准上，DiffPrune保留全模型96.5%的准确率，LLM预填充加速2.85倍。
• 推理开销仅0.69毫秒，几乎可忽略。
• 在LLaVA-1.5-7B、LLaVA-NEXT-7B、Qwen2.5-VL-7B上均保持高任务性能。

Tech Stack:

• Gumbel-Softmax（对比方法）
• Straight-Through Estimator (STE)（对比方法）
• 方差保持噪声（Variance-Preserving Noise, VP-Noise）
• Soft Top-K映射
• 去噪器（Denoiser）
• DeiT-Base（探针实验）
• LLaVA-1.5-7B、LLaVA-NEXT-7B、Qwen2.5-VL-7B（评估模型）
• 滤波归一化二维切片（损失曲面可视化）

Strengths:

• 完全可微的框架消除了代理梯度带来的优化偏差，梯度更稳定，损失曲面更平滑。
• 训练与推理行为一致（Soft Top-K与硬Top-K对应），无需额外松弛。
• 在多个主流VLM上验证，性能损失极小，加速显著，推理开销极低。
• 方法简洁，仅需训练评分器和去噪器，基座模型冻结，易于集成。

Limitations:

• 去噪器仅在训练时使用，推理时移除，可能引入训练-推理不一致（但实验表明影响小）。
• 方法依赖于固定的令牌预算K，未探索动态预算分配。
• 仅在视觉令牌剪枝上验证，未推广到文本令牌或跨模态剪枝。
• 对极端剪枝比例（如保留少于10%令牌）的性能未充分讨论。

Relevance To Keywords:

• 原生多模态大模型：论文针对视觉-语言模型（VLM）的推理效率优化，属于多模态大模型的关键技术。
• 多模态大模型的理解和生成一体化：剪枝技术可加速理解与生成任务，但论文主要关注理解任务（分类、问答等）。
• 表征学习：通过连续信息节流器学习令牌重要性，本质是学习更好的视觉表征。
• 世界模型：间接相关，高效剪枝有助于世界模型在长序列推理中的应用。
• 强化学习、后训练：论文方法属于后训练阶段（基座冻结），但未使用强化学习。

神经代理模型承诺在物理动力学计算中相比经典求解器提供巨大的加速，但在激波、前沿和接触等尖锐动力学事件上会无声地失效。我们提出用于物理动力学的混合神经世界模型：一种在物理状态空间中训练和部署多步长代理模型的方法，该方法涉及一个具有连续步长条件化的单个网络，通过与教科书式参考求解器进行直接监督训练，从而在一次前向传播中预测任意未来状态（在预测步长 T 处）。尽管训练数据、损失函数或架构的任何部分均未对间断位置进行监督，但训练好的代理模型隐式地编码了该信息，仅通过其前向传播即可恢复为每轨迹误差图。该误差图集中在激波、前沿和接触处，而在其他区域保持较小值。该误差图与标准无标签基线（包括深度集成、学习误差头、梯度幅度指示器和局部自适应共形预测）相当或更优，同时仅使用单个训练网络，且不需要校准集或控制方程知识。该方法支持两种操作模式。模式 1 单独运行代理模型以实现最大吞吐量，在偏微分方程（PDE）环境中，相对于教科书式求解器，相同硬件下的 CPU 加速比达到 26 倍至 72 倍。模式 2 利用误差图控制参考求解器的回退机制，推迟不确定轨迹，并在默认操作点处大致将代理模型的残差误差减半。该方法无需修改即可应用于反应 - 扩散、可压缩欧拉方程以及刚体碰撞动力学。

Neural surrogates promise large speedups over classical solvers for physical dynamics but fail silently at sharp dynamical events such as shocks, fronts, and contact. We present hybrid neural world models for physical dynamics: a recipe for training and deploying multi-horizon surrogates in physical state space, where a single network with continuous horizon conditioning is trained with direct supervision against textbook reference solvers to predict any future state at horizon T in one forward pass. Although no part of the training data, loss function, or architecture supervises discontinuity location, the trained surrogate encodes it implicitly, recoverable from its forward passes alone as a per-trajectory error map that concentrates on shocks, fronts, and contacts, and stays small elsewhere. The map is competitive with or better than standard label-free baselines including deep ensembles, learned error heads, gradient-magnitude indicators, and locally-adaptive conformal prediction, while using only a single trained network and requiring no calibration set or governing-equation knowledge. The recipe supports two operating points. Mode 1 runs the surrogate alone for maximum throughput, with same-hardware CPU speedups of 26x to 72x against textbook solvers on the PDE environments. Mode 2 uses the error map to gate a reference-solver fallback, deferring uncertain trajectories and roughly halving the surrogate's residual error at the default operating point. The recipe applies without modification across reaction-diffusion, compressible Euler, and rigid-body collision dynamics.

评分理由: World Models is highly relevant as the title and core focus is modeling physical dynamics (world) for prediction. model-based RL is moderately relevant because learning accurate dynamics models is a core component of MBRL, though the paper focuses on simulation acceleration. Unify Models is moderately relevant due to the hybrid approach combining neural networks with classical solvers. MLLM and MultiModal are irrelevant as the work involves physical simulation without language or multi-modal inputs. No expert authors from the specified list were found.

Hybrid Neural World Models, Physical Dynamics, Neural Surrogates, Reference Solvers, Error Map, Discontinuity Handling, Multi-horizon Prediction

Chinese Title: 混合神经世界模型

Summary: 本文提出了一种混合神经世界模型，用于物理动力学模拟。该模型训练一个多时间步预测的代理网络，通过连续时间步条件（FiLM）和直接监督回归，能够一步预测任意未来状态。训练后，模型可提取一个无需额外训练、校准集或方程知识的误差图，该图通过比较单步预测与两步链式预测的差异来定位不连续事件（如激波、前沿、接触）。基于此误差图，论文设计了两种部署模式：模式1仅使用代理模型，在CPU上获得26-72倍加速；模式2利用误差图门控参考求解器回退，将残差误差减半。该方法在反应扩散、可压缩欧拉和刚体碰撞三个物理系统上验证，无需修改即可适用。误差图在检测不连续区域方面优于深度集成、学习误差头等基线方法。

Innovations:

• 提出多时间步捷径代理模型的训练配方：连续时间步条件（FiLM）、直接监督回归和10% DAgger精炼，避免了自一致性损失在物理状态空间退化为恒等映射的问题。
• 设计推理时误差图，仅从训练好的代理模型计算，无需额外训练、校准集或方程知识，通过比较单步预测与半时间步链式预测的差异来定位不可靠区域。
• 提出两种部署模式：模式1纯代理模型实现高吞吐量，模式2利用误差图门控参考求解器回退，在默认操作点将残差误差减半。
• 在反应扩散、可压缩欧拉和刚体碰撞三种不同物理系统上验证，方法无需修改即可适用，展示了跨领域通用性。
• 误差图在检测不连续事件方面优于深度集成、学习误差头、梯度幅度指示器和局部自适应共形预测等无标签基线方法。

Methodology: 论文采用以下技术路线：1) 训练一个多时间步代理模型，使用U-Net（2D PDE）或残差MLP（低维状态）作为架构，通过FiLM嵌入连续时间步T，训练数据来自参考求解器的完整滚动，时间步从{2,4,8,16,32,64}均匀采样，损失函数为归一化状态空间的直接监督回归。2) 推理时计算误差图：比较单步预测fθ(s0,T)与两步链式预测fθ(fθ(s0,T/2),T/2)的差异，对空间状态逐像素计算通道范数。3) 部署时：模式1直接使用代理模型；模式2对每个轨迹计算误差图的空间均值，若超过阈值则回退到参考求解器，阈值由保持比例q（默认0.75）在验证集上确定。

Key Results:

• 模式1在CPU上对PDE环境获得26-72倍加速（相对于参考求解器）。
• 模式2在默认操作点（q=0.75）将代理模型的残差误差减半。
• 误差图在检测不连续事件（激波、前沿、接触）方面优于深度集成（K=3）、学习误差头、梯度幅度指示器和局部自适应共形预测等基线，AUROC值更高。
• 在反应扩散（Oregonator）、可压缩欧拉2D和刚体碰撞3D三个系统上均有效，无需修改。
• 训练时使用自一致性损失会导致模型退化为恒等映射，直接监督是必要的。

Tech Stack:

• U-Net（2D网格结构PDE）
• 残差MLP（低维状态向量）
• FiLM（特征线性调制）用于时间步条件嵌入
• DAgger（数据集聚合）精炼策略（10%）
• 直接监督回归损失（归一化状态空间）
• 误差图计算：单步与两步链式预测的差异
• 参考求解器：Oregonator反应扩散、可压缩欧拉2D、刚体碰撞3D
• 基线方法：深度集成、学习误差头、梯度幅度指示器、局部自适应共形预测

Strengths:

• 方法简洁通用：无需修改即可应用于PDE和ODE物理系统，架构无关。
• 误差图无需额外训练、校准集或方程知识，仅从训练好的代理模型计算，计算成本低。
• 两种部署模式灵活权衡速度与精度，用户可通过单一参数q控制。
• 在多个物理系统上验证，加速比显著（26-72倍），误差检测性能优于多种无标签基线。
• 理论分析提供了误差图在光滑区域上界的推导（附录A.3），解释了其工作原理。

Limitations:

• 误差图的理论上界是方向性的，仅保证光滑区域小，但在不连续处无下界，依赖经验验证。
• 方法假设训练数据覆盖了所有可能的时间步（几何级数），且半时间步必须在训练集中，限制了时间步选择。
• 模式2的轨迹级回退需要整个轨迹的误差图聚合，无法进行部分域回退（需边界耦合）。
• 代理模型在极端不连续事件上的误差可能仍然较大，模式2仅能通过回退缓解，不能完全消除。
• 实验仅在三个物理系统上验证，未涉及更复杂的高维或耦合系统。

Relevance To Keywords:

• 世界模型：论文直接提出“混合神经世界模型”，训练代理模型预测物理世界状态，属于世界模型范畴。
• 模型基强化学习：代理模型可加速环境模拟，误差图可用于信任感知决策，与模型基RL中的不确定性量化相关。
• 表征学习：代理模型通过FiLM学习时间步表征，误差图隐式编码了不连续事件的表征。
• 后训练：论文中的DAgger精炼和推理时误差图提取属于后训练阶段的技术。
• 原生多模态大模型/多模态大模型的理解和生成一体化：论文主要关注物理动力学，不涉及多模态，相关性较弱。
• Unify Models：论文未直接讨论统一模型，但混合神经-经典求解器可视为一种统一框架。
• 强化学习：论文未使用强化学习，但模式2的阈值设定可类比RL中的动作选择。

主动感知通过行动 - 感知循环将行为与学习联系起来：行动决定了用于更新内部感知预测模型的观测值，这些观测值随后引导后续行动。预测编码（Predictive-coding）框架为模拟这一过程提供了一种自然的方式，因为内部表征会持续更新以预测未来的观测值。在此，我们探讨探索性（exploratory）与利用性（exploitative）行为策略如何塑造这些内部预测表征。我们在一个树状迷宫中构建了一个在线学习智能体（agent），该智能体包含一个可控参数，用于调节探索性与利用性模式之间的平衡。该智能体根据其自身行为产生的经验，更新一个基于预测编码的感知模型。该模型同时预测未来的迷宫状态和奖励概率，使智能体能够在探索期间依据预期信息增益（expected information gain）选择行动，或在利用期间依据预测奖励选择行动。我们发现，所得到的内部预测表征强烈依赖于智能体的行为模式（behavioral regime）。探索性智能体发展出的表征具有更强的空间组织性，并在潜在空间（latent space）中更好地保持了迷宫转换的结构。相比之下，利用性智能体学习到的表征组织性较差。随后，我们在缺水小鼠（water-deprived mice）导航同一迷宫的自然轨迹上训练该预测模型，并将所得表征与从智能体轨迹上学到的表征进行比较。更具探索性的小鼠展现出与探索性智能体高度匹配的表征几何结构（representational geometries），而访问模式更受限的小鼠则类似于受奖励驱动的利用性智能体。综上所述，这些发现表明，探索使预测模型能够通过围绕空间位置和转换上下文组织潜在空间，在人工智能体和动物中形成泛化的内部表征。

Active sensing links behavior and learning through an action-perception loop: actions determine the observations used to update internal predictive models of perception, which subsequently guide the next actions. Predictive-coding frameworks provide a natural way to model this process, since internal representations are continuously updated to predict future observations. Here, we ask how exploratory and exploitative behavioral strategies shape these internal predictive representations. We build an online learning agent in a tree-like maze with a controllable parameter regulating the balance between exploratory and exploitative regimes. The agent updates a predictive-coding-based perception model from experience generated by its own behavior. The model predicts both future maze states and reward probability, allowing the agent to select actions either by expected information gain during exploration or by predicted reward during exploitation. We show that the resulting internal predictive representations depend strongly on the agent's behavioral regime. Exploratory agents develop representations that are more spatially organized and better preserve the structure of maze transitions in latent space. In contrast, exploitative agents learn less organized representations. We then train this predictive model on natural trajectories of water-deprived mice navigating the same maze and compare the resulting representations with those learned from agent trajectories. More exploratory mice show representational geometries that closely match those of exploratory agents, whereas mice with more restricted visitation patterns resemble reward-driven, exploitative agents. Together, these findings suggest that exploration enables predictive models to form generalized internal representations by organizing latent space around both spatial location and transition context in artificial agents and animals.

评分理由: 论文核心基于预测编码框架构建智能体，通过预测未来状态和奖励进行动作选择，高度契合 World Models 和 model-based RL 的定义，故得分较高（8.0 和 9.0）。论文未涉及大语言模型或多模态数据融合，因此 MLLM 和 MultiModal 相关性极低（0.0 和 1.0）。Unify Models 并非本文重点（未涉及多模型架构统一），故得分较低（2.0）。作者列表中未包含指定的 Yang Shi 等专家，无额外加分。加权总分 40.0，高于动态及格分 26.5。

Predictive Representations, Exploratory Behavior, Predictive Coding, Latent Space Geometry, Active Sensing, Model-Based Reinforcement Learning, Internal World Models, Exploitative Behavior

Chinese Title: 探索性经验塑造预测表征的几何结构

Summary: 本文研究主动感知中探索与利用行为策略如何影响内部预测表征的几何结构。作者构建了一个在线学习智能体，在二叉树迷宫中导航，使用基于预测编码的感知模型，该模型同时预测下一迷宫节点和奖励概率。智能体通过调节探索（基于预期信息增益）与利用（基于预测奖励）的平衡来生成不同行为轨迹。结果表明，纯探索的智能体形成空间组织良好、保留迷宫转移结构的潜在表征；而利用性智能体因经验受限导致表征组织性较差。进一步将模型训练于真实小鼠导航轨迹，发现探索性较强的小鼠产生与探索智能体相似的几何表征，而奖励驱动的小鼠则与利用智能体类似。结论：探索使预测模型能够通过围绕空间位置和转移上下文组织潜在空间，形成泛化的内部表征。

Innovations:

• 将行为采样策略作为实验变量，系统研究其对预测表征几何结构的影响
• 使用统一的预测编码模型同时支持信息驱动的探索和奖励驱动的利用，保持学习目标固定
• 在人工智能体与真实小鼠数据上验证了探索性经验与空间组织表征之间的因果关系
• 揭示了探索行为能够使潜在空间围绕空间位置和转移上下文进行组织，形成泛化表征

Methodology: 论文采用在线学习范式，智能体在二叉树迷宫中导航。核心模型为动作条件预测编码模型，包含先验网络（基于当前循环状态、节点和动作预测潜在状态）和后验网络（基于观测到的下一节点推断后验潜在状态）。循环状态通过GRU更新。解码器从潜在状态预测下一节点和奖励概率。动作选择：探索模式基于预期信息增益（EIG）采样；利用模式基于预测奖励构建价值图。通过调节利用模式概率控制探索-利用平衡。训练损失为下一节点和奖励的交叉熵。对小鼠轨迹，将相同预测模型训练于真实轨迹，并比较潜在表征几何。

Key Results:

• 纯探索智能体学习到准确的转移模型和空间组织的潜在几何，潜在轨迹平滑且反映迷宫结构
• 增加奖励驱动行为会削弱潜在表征的组织性，即使智能体仍能到达奖励
• 探索性小鼠的轨迹训练出的模型产生与探索智能体相似的几何表征，而奖励驱动小鼠则与利用智能体相似
• 探索行为使潜在空间围绕空间位置和转移上下文组织，形成泛化内部表征

Tech Stack:

• 预测编码（Predictive Coding）
• 门控循环单元（GRU）
• 交叉熵损失（Cross-Entropy Loss）
• 预期信息增益（Expected Information Gain）
• 价值图（Value Map）
• 潜在空间几何分析（Latent Space Geometry Analysis）
• 二叉树迷宫环境（Binary-Tree Maze）

Strengths:

• 通过控制行为策略变量，清晰分离了采样策略对表征的影响
• 模型设计统一，同时支持探索和利用，便于对比
• 结合人工智能体与真实动物数据，增强了结论的生态效度
• 揭示了行为-学习闭环中表征形成的机制，对认知地图理论有贡献

Limitations:

• 环境为简单二叉树迷宫，可能无法推广到更复杂或连续空间
• 模型假设确定性转移，未考虑随机性或部分可观测性
• 小鼠轨迹数据来自已有实验，未进行因果干预验证
• 仅分析了潜在表征的几何结构，未深入探讨其神经生物学对应

Relevance To Keywords:

• Unify Models: 论文使用统一的预测编码模型整合感知、预测和动作选择，符合统一模型思想
• World Models: 智能体学习环境转移和奖励预测，本质是学习世界模型
• Representation Learning: 核心研究行为如何塑造预测表征的几何结构，属于表征学习范畴
• Model-Based RL: 智能体利用预测模型进行规划（价值图）和信息增益计算，属于模型基强化学习
• 原生多模态大模型/多模态大模型的理解和生成一体化: 论文虽未直接涉及多模态，但其预测编码框架可扩展至多模态预测，且强调表征的生成与理解统一

基础模型为可迁移的遥感表示提供了一种有前景的途径，但许多当前方法依赖于规模庞大的预训练数据集和固定的传感器配置，限制了其在生态和环境应用中的适用性，因为在这些应用中，观测数据往往因平台、空间与光谱分辨率以及可用模态的不同而存在差异。我们提出 FLORO，一种多模态地理空间基础模型，旨在从规模较小但高度多样化的遥感语料库中学习可迁移表示。FLORO 基于掩码自编码（Masked Autoencoding）在 Sentinel-1、Sentinel-2、SkySAT 影像、高程数据以及无人机衍生数据的异质组合上进行预训练。为适应传感器变异性，FLORO 引入了可用性感知输入（availability-aware inputs），用于指示每个样本中存在的光谱波段及辅助模态，从而在不同异质传感器配置之间实现统一输入空间。我们在 PANGAEA 基准上，基于冻结编码器协议（frozen-encoder protocol）评估了 FLORO，涵盖场景分类、分割和回归任务。尽管相较于竞争性的基础模型，FLORO 是在规模更小的语料库上进行预训练的，但它仍实现了强大且稳定的迁移能力，涵盖了光学、光学 -SAR 以及光学 - 高程基准，这些基准涉及中分辨率卫星、机载以及超高分辨率无人机影像。FLORO 在六个 PANGAEA 基准上的平均分割性能位居第二，仅落后于最近引入的一个预训练图像数量多两个数量级以上的基础模型；在场景分类任务中保持竞争力，在回归任务中表现稳健；定性结果显示，在洪水、城市、生物量及树冠高度预测场景中，空间结构的保留效果有所改善。在 EuroSAT-MS 上的另一项独立控制实验中，地理位置编码（geo-positional encoding）相较于绝对位置编码（absolute positional encoding）进一步提升了分类性能。

Foundation models offer a promising route to transferable remote sensing representations, but many current approaches depend on very large pretraining datasets and fixed sensor configurations, limiting their suitability for ecological and environmental applications, where observations often vary across platforms, spatial and spectral resolutions, and available modalities. We introduce FLORO, a multimodal geospatial foundation model designed to learn transferable representations from a small but highly diverse remote sensing corpus. FLORO is pretrained using masked autoencoding on a heterogeneous combination of Sentinel-1, Sentinel-2, SkySAT imagery, elevation, and UAV-derived data. To accommodate sensor variability, FLORO incorporates availability-aware inputs that indicate which spectral bands and auxiliary modalities are present in each sample, enabling a unified input space across heterogeneous sensor configurations. We evaluated FLORO on the PANGAEA benchmark under a frozen-encoder protocol across scene classification, segmentation, and regression tasks. Despite being pretrained on a smaller corpus than competing foundation models, FLORO achieved strong and stable transfer across optical, optical-SAR, and optical-elevation benchmarks spanning medium-resolution satellite, airborne, and ultra-high-resolution UAV imagery. FLORO obtained the second-best average segmentation performance across six PANGAEA benchmarks, trailing only a recently introduced foundation model pretrained on over two orders of magnitude more images, remained competitive on scene classification, and was robust in regression tasks, while qualitative results showed improved preservation of spatial structure in flood, urban, biomass, and canopy-height prediction settings. In a separate controlled experiment on EuroSAT-MS, geo-positional encoding further improved classification relative to absolute positional encoding.

评分理由: The paper introduces FLORO, a multimodal geospatial foundation model, making 'MultiModal' highly relevant (9.0). It unifies heterogeneous sensor inputs into a unified space, moderately aligning with 'Unify Models' (5.0). However, the work focuses on representation learning for remote sensing without language models, reinforcement learning, or world model architectures, resulting in low scores for 'MLLM', 'World Models', and 'model-based RL' (1.0-2.0). No specified expert authors are present.

Multimodal Geospatial Foundation Model, Transferable Representations, Remote Sensing, Heterogeneous Sensors, Masked Autoencoding, PANGAEA Benchmark

Chinese Title: FLORO：面向生态遥感的跨传感器与跨尺度的多模态地理空间基础模型

Summary: 论文提出FLORO，一个多模态地理空间基础模型，旨在从少量但高度多样化的遥感数据中学习可迁移的表征。FLORO采用掩码自编码（MAE）预训练，融合了Sentinel-1、Sentinel-2、SkySAT影像、高程数据及无人机产品等异构数据。为应对传感器差异，模型引入可用性感知输入，显式编码各样本中存在的光谱波段和辅助模态，从而在统一输入空间中处理异构传感器配置。在PANGAEA基准测试中，FLORO在冻结编码器协议下评估了场景分类、分割和回归任务。尽管预训练语料库远小于竞争模型，FLORO在光学、光学-SAR和光学-高程等多种基准上取得了稳定且优异的迁移性能，在六项分割基准中平均性能排名第二，仅次于预训练图像数量多两个数量级的基础模型；在场景分类中保持竞争力，在回归任务中表现稳健。定性结果显示，在洪水、城市、生物量和冠层高度预测中，FLORO更好地保留了空间结构。此外，在EuroSAT-MS上的控制实验表明，地理空间位置编码相比绝对位置编码进一步提升了分类性能。总体而言，FLORO表明较小但异构的预训练语料库仍能支持可迁移的地理空间表征，为生态与环境监测提供了实用框架。

Innovations:

• 提出可用性感知的多模态输入建模，显式编码每个样本中可用的光谱波段和辅助模态，实现异构传感器配置下的统一输入空间。
• 构建跨尺度多模态预训练语料库，融合卫星（Sentinel-1/2、SkySAT）、航空（高程模型）和无人机（多光谱、RGB、结构产品）数据，覆盖多种空间分辨率和传感器特性。
• 引入地理空间位置编码（geo-positional encoding），在控制实验中证明其相比绝对位置编码能提升下游分类性能。
• 在冻结编码器协议下进行标准化基准评估，证明较小但多样化的预训练语料库仍能实现强迁移性能，挑战了“规模至上”的范式。

Methodology: FLORO基于掩码自编码（MAE）和多模态Transformer架构。预训练阶段，模型从异构遥感数据中随机掩码部分图像块，通过编码器-解码器结构重建缺失内容。编码器采用可用性感知输入：每个输入token附带一个可用性向量，指示该样本中哪些光谱波段和辅助模态（如SAR、高程）存在，从而允许模型处理不同传感器组合。预训练数据包括Sentinel-1 GRD SAR、Sentinel-2 L2A表面反射率、SkySAT表面反射率与数字地形模型、无人机多光谱/ RGB正射影像及数字表面模型。下游评估采用冻结编码器协议，在PANGAEA基准上测试场景分类、语义分割和回归任务，并额外在EuroSAT-MS上进行地理空间位置编码消融实验。

Key Results:

• 在PANGAEA六项分割基准中，FLORO平均性能排名第二，仅次于预训练图像数量多两个数量级的基础模型。
• 在场景分类任务中，FLORO保持竞争力，与大规模预训练模型差距较小。
• 在回归任务（如生物量、冠层高度预测）中表现稳健，定性结果显示出更好的空间结构保留。
• 在EuroSAT-MS控制实验中，地理空间位置编码相比绝对位置编码显著提升了分类准确率。
• 尽管预训练语料库较小，FLORO在光学、光学-SAR和光学-高程等多种传感器组合的迁移任务中均取得稳定性能。

Tech Stack:

• 掩码自编码（Masked Autoencoder, MAE）
• 多模态Transformer架构
• 可用性感知输入编码（Availability-aware input）
• 地理空间位置编码（Geo-positional encoding）
• Sentinel-1 GRD SAR数据
• Sentinel-2 L2A表面反射率数据
• SkySAT影像及数字地形模型
• 无人机多光谱/RGB正射影像及数字表面模型
• PANGAEA基准测试（场景分类、分割、回归）
• EuroSAT-MS数据集（消融实验）

Strengths:

• 提出可用性感知机制，灵活处理异构传感器输入，实用性强。
• 预训练语料库虽小但高度多样化，证明了数据多样性比单纯规模更重要。
• 在冻结编码器协议下进行标准化评估，结果可复现且具有可比性。
• 涵盖多种下游任务（分类、分割、回归），验证了模型的广泛适用性。
• 地理空间位置编码的消融实验提供了有价值的洞察。

Limitations:

• 预训练语料库规模较小，可能限制了在某些任务上的性能上限。
• 未详细讨论模型的计算成本和训练效率。
• 评估仅在PANGAEA基准上进行，缺乏在更多真实生态监测场景中的验证。
• 可用性感知输入的设计可能增加模型复杂度，且对缺失模态的处理策略有待进一步探索。
• 未与更多近期大规模基础模型（如Prithvi、SatMAE等）进行直接比较。

Relevance To Keywords:

• 表征学习：FLORO通过掩码自编码学习可迁移的表征，核心是表征学习。
• 多模态大模型：模型融合光学、SAR、高程、无人机等多模态数据，属于多模态大模型范畴。
• 世界模型：地理空间基础模型可视为对地球表面状态的部分建模，与“世界模型”概念相关（虽未明确提及）。
• 模型-Based RL：论文未涉及强化学习，相关性较弱。
• 原生多模态大模型：FLORO从预训练阶段即处理多模态输入，符合原生多模态设计。
• 多模态大模型的理解和生成一体化：MAE同时涉及理解（编码）和生成（解码重建），但论文重点在理解表征。
• 后训练：论文采用冻结编码器评估，未涉及后训练（如指令微调或RLHF），相关性较低。

随着文本到视频（T2V）生成模型的持续演进，视频评估的复杂性要求在多个维度上进行细粒度的评估。为此，近期研究致力于开发多维视频奖励模型（MVRMs），该模型通过分解评估过程，以更好地契合人类视觉感知的多维度特性。然而，训练有效的 MVRMs 从根本上受到视频数据复杂性质的挑战。本文识别出一种关键现象，称为“维度异质性”（Dimensional Heterogeneity）：训练样本的可靠性在不同评估维度上可能存在显著差异，即一个样本可能为某一目标提供可靠的监督，却可能对另一目标诱导较高的监督风险。因此，基于全局标量指标进行过滤的主流数据为中心方法对于 T2V 任务而言是不适定的。为此，我们提出一个解耦影响框架，该框架能够高效估计维度特定的监督风险。基于此框架，我们提出了两种维度解耦精炼策略：维度解耦剪枝（Dimension-Disentangled Pruning），用于移除极端高风险样本；以及维度解耦重加权（Dimension-Disentangled Reweighting），用于软性降低高风险监督的权重。大量实验表明，我们的解耦策略显著优于全局过滤基线，生成的奖励模型与真实值（ground truth）具有更优的对齐效果。

As Text-to-Video (T2V) generation models continue to evolve, the complexity of video evaluation necessitates a fine-grained assessment across various axes. To address this, recent works have focused on developing Multidimensional Video Reward Models (MVRMs), which decompose the evaluation process to better align with the multifaceted nature of human visual perception. However, training effective MVRMs is fundamentally challenged by the complex nature of video data. In this work, we identify a critical phenomenon termed Dimensional Heterogeneity: the reliability of a training sample can vary substantially across evaluation dimensions, meaning that a sample may provide reliable supervision for one objective while inducing high supervision risk for another. Consequently, prevailing data-centric methods that filter based on global scalar metrics are ill-posed for T2V tasks. To address this, we propose a disentangled influence framework that that efficiently estimates dimension-specific supervision risk. Leveraging this framework, we introduce two dimension-disentangled refinement strategies: Dimension-Disentangled Pruning, which removes extreme high-risk samples, and Dimension-Disentangled Reweighting, which softly down-weights high-risk supervision. Extensive experiments demonstrate that our disentangled strategies significantly outperform global filtering baselines, yielding reward models with superior alignment to ground truth.

评分理由: 论文核心在于优化文本到视频（T2V）生成的多维视频奖励模型（MVRMs），通过解耦影响函数解决维度异质性。与 MultiModal 高度相关（T2V 涉及文本与视频多模态），与 MLLM 和 model-based RL 有一定关联（属于多模态 AI 与强化学习奖励建模范畴），但与 Unify Models 和 World Models 主题关联较弱。作者列表中不包含指定的 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 专家。加权总分为 38.0，高于动态及格分 26.5。

Multidimensional Video Reward Models, Text-to-Video Generation, Disentangled Influence Functions, Dimensional Heterogeneity, Supervision Risk, Dimension-Disentangled Pruning, Dimension-Disentangled Reweighting

Chinese Title: 通过解耦影响函数优化多维视频奖励模型

Summary: 本文针对文本到视频生成模型中多维奖励模型（MVRM）训练数据质量不均的问题，首次发现并定义了“维度异质性”现象：同一训练样本在不同评估维度上的监督可靠性可能差异显著。现有基于全局标量指标的数据过滤方法无法捕捉这种维度特异性风险。为此，作者提出解耦影响函数框架，通过对角投影高效估计每个维度的监督风险，并设计了两种维度解耦的数据精炼策略：维度解耦剪枝（DDP）和维度解耦重加权（DDR）。实验表明，所提方法显著优于全局过滤基线，使奖励模型与人类判断的对齐度大幅提升。

Innovations:

• 首次系统发现并命名视频奖励模型训练中的“维度异质性”现象，揭示全局数据质量假设的局限性。
• 提出解耦影响函数框架，将标量影响分解为维度间交互矩阵，实现维度特异性监督风险的精确估计。
• 设计两种基于维度特异性风险信号的策略：硬剪枝（DDP）和软重加权（DDR），在鲁棒性与数据利用率之间提供灵活权衡。
• 将影响函数从单目标场景拓展至多维度奖励模型，填补了该领域数据精炼方法的研究空白。

Methodology: 首先，理论推导解耦影响函数，将标准标量影响分解为K×K维度的交互矩阵，并利用对角投影提取维度特异性自影响作为监督风险代理。然后，基于TracIn近似高效计算梯度，避免显式Hessian求逆。最后，根据维度特异性风险信号实施两种策略：DDP对极端高风险样本进行硬过滤，DDR对高风险样本进行软降权。在多个视频奖励模型数据集上进行对比实验，验证方法有效性。

Key Results:

• 可视化分析显示不同维度（如视觉质量与动态程度）的自影响分布几乎不相关，证实维度异质性存在。
• 维度解耦剪枝（DDP）和维度解耦重加权（DDR）均显著优于基于全局标量过滤的基线方法。
• 所提方法使奖励模型与人类判断的对齐度（如Spearman相关系数）提升，且在不同维度上表现更均衡。

Tech Stack:

• 影响函数（Influence Functions）
• TracIn近似（TracIn）
• Hessian矩阵正定性假设
• 梯度线性分解
• 对角投影（Diagonal Projection）
• 自影响（Self-Influence）
• 维度特异性损失函数
• 硬剪枝（Hard Pruning）与软重加权（Soft Reweighting）

Strengths:

• 问题定义清晰，发现并命名了视频奖励模型训练中的关键现象“维度异质性”。
• 理论推导严谨，将标量影响函数自然扩展为矩阵形式，数学基础扎实。
• 方法实用性强，采用TracIn近似避免计算瓶颈，适合大规模训练。
• 两种策略提供不同鲁棒性-数据利用率权衡，适应不同场景需求。
• 实验充分，可视化与定量结果均支持方法有效性。

Limitations:

• 解耦影响矩阵的计算仍依赖于梯度存储和近似，可能引入近似误差。
• 仅验证了在视频奖励模型上的效果，未在更广泛的多任务学习或多目标优化场景中测试。
• 维度特异性风险信号（自影响）可能无法完美区分标签噪声与困难样本，两种策略仍需手动选择。
• 未讨论跨维度交互（非对角项）的潜在利用价值，仅聚焦于对角项。

Relevance To Keywords:

• 多模态大模型：论文针对视频生成模型中的多维奖励模型，属于多模态理解与生成评估范畴。
• 表征学习：通过解耦影响函数，学习各维度特异性表征，提升奖励模型质量。
• 强化学习：奖励模型是RLHF的核心组件，论文直接优化奖励模型训练数据，间接提升RLHF效果。
• 后训练：论文聚焦于奖励模型的后训练数据精炼阶段，属于后训练优化技术。

笑声是一种复杂的社会信号，传达的交际意图超越了单纯的娱乐。尽管先前工作专注于孤立的分析任务，但在现实场景中对笑声的全面理解仍研究不足。因此，我们引入了 SMILE-Next，这是一个用于现实场景笑声理解的数据集，包含多模态文本表示和问答标注，涵盖三个任务：笑声检测、笑声类型分类和笑声推理。基于 SMILE-Next，我们的目标是开发一个面向笑声的专用大语言模型，能够实现对现实语境中笑声的精细理解。为此，我们提出了两个关键组件：面向笑声的 Self-Instruct 和混合笑专家（MoLE）框架。面向笑声的 Self-Instruct 通过自动合成多样化的以笑声为中心的指令，增强了跨任务和领域的泛化能力。MoLE 引入了一种任务自适应专家路由机制，动态选择针对每个笑声相关任务的专用专家，从而提升特定任务的性能和效率。实验结果表明，我们提出的组件的组合显著优于多模态大语言模型（LLM）基线，推动了稳健的现实场景笑声理解。项目页面位于：https://mok0102.github.io/smile-next/。

Laughter is a complex social signal that conveys communicative intent beyond amusement. While prior work has focused on isolated laughter analysis tasks, a comprehensive understanding of laughter in real-world scenarios remains underexplored. Therefore, we introduce SMILE-Next, a dataset for real-world laughter understanding with multimodal textual representations and question-answer annotations across three tasks: laughter detection, laughter type classification, and laughter reasoning. Building upon SMILE-Next, we aim to develop a laughter-specialized large language model capable of nuanced understanding of laughter in real-world contexts. To this end, we propose two key components: laughter-specific Self-Instruct and the Mixture-of-Laugh-Experts (MoLE) framework. Laughter-specific Self-Instruct enhances generalization across tasks and domains by automatically synthesizing diverse laughter-centric instructions. MoLE introduces a task-adaptive expert routing mechanism that dynamically selects specialized experts tailored to each laughter-related task, improving task-specific performance and efficiency. Experimental results show that the combination of our proposed components substantially outperforms multimodal LLM baselines, advancing robust real-world laughter understanding. Project page is at: https://mok0102.github.io/smile-next/.

评分理由: 论文提出基于 MoLE 框架统一检测、分类和推理任务，与 Unify Models 中度相关；涉及多模态文本表示及多模态大模型基线，与 MultiModal 和 MLLM 相关；但无环境建模或强化学习内容，与 World Models 和 model-based RL 无关。加权总分为 36.0，超过动态及格分 26.5。

Laughter Detection, Laughter Classification, Laughter Reasoning, Large Language Models, Multimodal Textual Representations, Mixture-of-Laugh-Experts, Self-Instruct, SMILE-Next Dataset

Chinese Title: SMILE-Next：教会大型语言模型检测、分类和推理笑声

Summary: 论文针对现实场景中笑声理解的复杂性，提出了SMILE-Next数据集，包含多模态文本表示和问答标注，涵盖笑声检测、笑声类型分类和笑声推理三个任务。基于该数据集，作者开发了一个笑声专家大语言模型，通过两个关键组件提升性能：笑声特定自指令（Laughter-specific Self-Instruct）自动合成多样化笑声指令以增强泛化能力；混合笑声专家（Mixture-of-Laugh-Experts, MoLE）框架引入任务自适应专家路由机制，动态选择针对不同笑声任务的专家。实验表明，结合这两个组件的方法显著优于多模态大语言模型基线，推动了现实世界中鲁棒的笑声理解。

Innovations:

• 构建了SMILE-Next数据集，覆盖多种社交场景（脱口秀、情景喜剧、双人对话），包含三个互补任务：检测、分类和推理。
• 提出笑声特定自指令（Laughter-specific Self-Instruct）方法，自动生成多样化的笑声相关指令，提升模型跨任务和跨领域的泛化能力。
• 提出混合笑声专家（MoLE）框架，基于LoRA的任务自适应专家路由机制，动态选择适合特定笑声任务的专家，提高任务性能和效率。
• 采用多模态文本化方法，将视频和语音信号转换为文本描述，利用大语言模型的推理能力解耦笑声的复杂因素。

Methodology: 论文采用以下技术路线：1）数据构建：从多种社交场景收集视频，通过人工标注生成问答对，涵盖检测、分类和推理任务。2）多模态文本化：使用现成模型将视频和语音属性转换为文本描述（如面部表情、韵律等）。3）模型训练：基于大语言模型，结合LoRA微调，引入MoLE框架（多个专家模块，每个专家对应特定任务，通过路由网络动态选择）。4）自指令生成：利用种子指令和LLM自动合成新的笑声相关指令，扩充训练数据。5）评估：在SMILE-Next数据集上对比多模态LLM基线，进行消融实验。

Key Results:

• 结合笑声特定自指令和MoLE的模型在笑声检测、类型分类和推理任务上均显著优于多模态LLM基线。
• 文本化多模态信息是鲁棒笑声理解的关键，相比直接处理原始视频更有效。
• MoLE框架通过任务自适应专家路由提升了任务特定性能和效率。
• 自指令生成有效缓解了数据覆盖不足的问题，增强了模型泛化能力。

Tech Stack:

• 大语言模型（LLM）
• LoRA（Low-Rank Adaptation）
• Mixture-of-Experts (MoE) 架构
• 自指令生成（Self-Instruct）
• 多模态文本化（使用现成模型提取面部表情、韵律等文本描述）
• 分类任务（二分类、多分类）
• 自由文本生成（推理任务）

Strengths:

• 数据集覆盖多种真实社交场景，任务设计全面（检测、分类、推理），有助于推动笑声理解的综合性研究。
• 提出的自指令和MoLE方法具有通用性，可迁移到其他社交信号理解任务。
• 文本化策略有效利用LLM的常识推理能力，避免多模态特征融合的复杂性。
• 实验充分，消融分析验证了各组件的有效性。

Limitations:

• 数据集规模相对较小（总计6386个样本），可能限制模型在更广泛场景的泛化。
• 文本化依赖现成模型，这些模型可能引入噪声或遗漏关键多模态信息。
• MoLE框架增加了模型复杂度和训练开销。
• 仅关注笑声，未涉及其他社交信号（如表情、手势）的联合理解。

Relevance To Keywords: 论文主要聚焦于笑声理解，与关键词中的“Unify Models”、“World Models”、“Representation Learning”、“Model-Based RL”、“原生多模态大模型”、“多模态大模型的理解和生成一体化”、“表征学习”、“世界模型”、“强化学习”、“后训练”相关性较弱。但论文采用了多模态文本化表征（表征学习）、自指令生成（类似后训练数据增强）、MoLE（模型架构创新）等思想，与表征学习和后训练有一定关联，但整体不属于世界模型或强化学习范畴。

端到端漫画生成（End-to-end manga generation）是一项结构化的视觉叙事任务，涉及故事分解、重复角色与场景定位、页面布局设计、面板渲染、页面构图及文字排版。然而，现有的生成模型通常直接进行页面合成，将这些因素纠缠于单一视觉输出中，从而限制了对布局几何、视觉参考以及跨面板一致性的精确控制。为了解决这些局限性，我们提出了 MangaFlow，这是一个面向可控长篇幅漫画生成的智能体框架（agentic framework），它将漫画创作分解为规划、定位、布局构建、参考条件渲染、构图及文本放置。通过将布局和视觉参考视为显式中间变量，MangaFlow 既支持简单的文本到漫画（text-to-manga）生成，也支持更精确的用户控制漫画创作。该设计将布局、视觉资产和文字排版暴露为可编辑的中间控制，以便细化面板几何、视觉参考及文本放置。为了支持长篇幅的一致性，MangaFlow 引入了故事部分记忆（story section memory），将章节描述与相应的角色、场景及对象引用相链接，以便在面板间复用。此外，我们还提出一个元基准（meta-benchmark），用于评估布局可控性、视觉一致性及生成质量。实验表明，与直接生成基线相比，MangaFlow 在布局遵循性和跨面板一致性方面有所提升，同时支持灵活的人工控制。

End-to-end manga generation is a structured visual storytelling task that requires story decomposition, recurring character and scene grounding, page layout design, panel rendering, page composition, and lettering. However, existing generative models often perform direct page synthesis, entangling these factors in a single visual output and limiting precise control over layout geometry, visual references, and cross-panel consistency. To address these limitations, we propose MangaFlow, an agentic framework for controllable long-form manga generation that decomposes manga creation into planning, grounding, layout construction, reference-conditioned rendering, composition, and text placement. By treating layout and visual references as explicit intermediate variables, MangaFlow enables both simple text-to-manga generation and more precise user-controlled manga creation. This design exposes layout, visual assets, and lettering as editable intermediate controls for refining panel geometry, references, and text placement. To support long-form consistency, MangaFlow introduces a story section memory that links section descriptions with corresponding character, scene, and object references for reuse across panels. We further present a meta-benchmark for evaluating layout controllability, visual consistency, and generation quality. Experiments show that MangaFlow improves layout adherence and cross-panel consistency over direct generation baselines while supporting flexible human control.

评分理由: 论文核心为多模态文本到图像生成（MultiModal），相关性最高；框架整合了多个生成步骤，与 Unify Models 和 MLLM 中度相关；未涉及世界模型或强化学习机制，评分较低；作者列表中未包含 Yang Shi 等指定专家，故无额外加分。加权总分为 36.0，高于动态及格分 26.5。

End-to-End, Agentic Framework, Controllable Story, Manga Generation, Layout Design, Visual Consistency, Story Decomposition

Chinese Title: MangaFlow: 一种面向可控故事到漫画生成的端到端智能体框架

Summary: 本文提出MangaFlow，一种端到端的智能体框架，用于可控的长篇漫画生成。现有生成模型通常直接合成页面，将布局、角色一致性、场景一致性等因素纠缠在单一视觉输出中，缺乏对布局几何、视觉参考和跨面板一致性的精确控制。MangaFlow将漫画创作分解为故事规划、场景记忆构建、显式布局控制、参考条件面板渲染、页面合成和文字放置六个阶段，将布局和视觉参考作为显式中间变量，支持简单文本到漫画生成以及更精确的用户控制。框架引入故事章节记忆，将章节描述与对应的角色、场景和物体参考绑定，实现跨面板复用。此外，作者提出MangaGen-MetaBench元基准测试，用于评估布局可控性、视觉一致性和生成质量。实验表明，MangaFlow在布局遵循度和跨面板一致性上优于直接生成基线，并支持灵活的人机交互控制。

Innovations:

• 首次提出端到端智能体框架MangaFlow，将漫画生成分解为可编辑的中间步骤，支持显式布局控制和参考条件渲染。
• 引入故事章节记忆机制，将章节描述与角色、场景、物体参考绑定，实现跨面板的视觉一致性。
• 提出MangaGen-MetaBench元基准测试，专门评估漫画生成中的布局可控性、一致性、生成质量和文字放置。
• 支持三种布局来源（手动指定、参考漫画布局提取、自动生成），将布局作为一等结构变量。
• 实现可编辑的中间资产（布局、视觉参考、文字），允许用户在各阶段进行精细化调整。

Methodology: MangaFlow采用智能体流水线架构，包含以下主要技术路线：1）故事规划：利用LLM将输入故事分解为页面、面板和故事章节，每个章节维护独立记忆；2）显式布局控制：布局智能体生成或检索页面布局，支持手动、参考和自动三种模式，并通过布局校正保证面板计数和几何正确性；3）参考条件面板渲染：面板智能体结合章节记忆、布局和面板级描述构建提示，使用扩散模型（如Stable Diffusion）进行参考条件生成；4）页面合成与文字放置：将渲染面板按布局合成，文字智能体添加对话气泡、叙述框等。框架整体基于LLM（如GPT-4）进行任务分解和协调，利用视觉生成模型（如ControlNet、IP-Adapter）实现参考条件控制。

Key Results:

• MangaFlow在布局遵循度上显著优于直接生成基线，能够准确按照用户指定的面板数量和几何形状生成。
• 跨面板一致性（角色、场景、物体）得到明显提升，减少了角色漂移和场景不一致问题。
• 支持用户提供的角色参考图、场景参考图和布局参考图，实现可控的漫画生成。
• MangaGen-MetaBench提供了有效的评估协议，暴露了直接生成方法在布局和一致性上的局限性。
• 生成的漫画页面在阅读顺序、文字放置和叙事流畅性上符合标准漫画格式。

Tech Stack:

• LLM（如GPT-4）用于故事规划、布局生成、面板提示构建和文字放置
• 扩散模型（如Stable Diffusion）用于面板图像渲染
• ControlNet用于布局条件控制
• IP-Adapter用于参考图像条件生成
• 故事章节记忆（结构化文本+视觉参考）
• 布局表示：矩形或多边形面板区域集合
• 元基准测试MangaGen-MetaBench（包含布局控制、章节引导等子任务）

Strengths:

• 首次将智能体框架应用于端到端漫画生成，实现了可编辑的中间控制，提升了用户可控性。
• 故事章节记忆机制有效解决了长故事中的角色和场景一致性难题。
• 显式布局控制使得布局成为可编辑的结构变量，符合漫画创作的实际流程。
• 提供了专门的元基准测试，填补了漫画生成评估的空白。
• 实验验证了框架在布局遵循度和一致性上的优势，并展示了灵活的人机交互能力。

Limitations:

• 依赖LLM和扩散模型，生成质量和一致性受底层模型能力限制。
• 故事章节记忆的构建需要准确的章节划分，复杂叙事可能难以自动分解。
• 布局校正和文字放置仍可能产生不自然的结果，需要进一步优化。
• 元基准测试规模有限，尚未覆盖所有漫画风格和复杂场景。
• 框架计算开销较大，端到端生成需要多步推理和多次图像生成。

Relevance To Keywords: 论文研究漫画生成，与给定的研究关键词（Unify Models, World Models, Representation Learning, Model-Based RL, 原生多模态大模型，多模态大模型的理解和生成一体化，表征学习，世界模型，强化学习，后训练）相关性较低。论文主要关注智能体框架、布局控制、视觉一致性，而非多模态大模型的理解与生成一体化、世界模型或强化学习。不过，其使用的LLM和扩散模型属于多模态生成技术，但并未涉及表征学习或世界模型的核心概念。

生成游戏并不等同于制作一款可玩的游戏。尽管代码生成领域取得了进展，现有方法仍将游戏生成视为从提示到产物的单次转换，使得交互层面的失败未被检测。我们认为，评估和改进游戏生成需要一个玩家，并研究了图形用户界面（GUI）代理在这一过程中的两种角色：(1) 作为客观评估者，为此我们引入了 PlaytestArena，这是一个新的评估环境，将涵盖八个类别的 200 个基于浏览器的游戏生成任务与预期游戏内行为的评价标准配对，由一个在浏览器中加载每个构建版本并进行游玩的 GUI 代理进行裁定；(2) 作为主观测试者，为此我们提出了 Play2Code，其中游戏代理与 GUI 代理在共享内存中持续循环运作，将游戏生成转化为编码与游玩之间的对话。我们的实验表明，即使前沿模型也难以直接生成可玩的游戏，而 Play2Code 达到了 66.8% 的评分标准通过率，分别比单次生成和代理编码基线提高了 37.1 和 14.6 个百分点。进一步分析表明，GUI 测试者的反馈比人类报告更具可追溯性，但在某些方面具有独特性，类似于人类测试者，从而确立了游戏测试作为交互式代码生成关键测试平台的作用。我们的项目网站位于 https://continual-game-generation.vercel.app/。

Generating a game is not the same as making one that can be played. Despite advances in code generation, existing approaches treat game generation as one-shot translation from prompt to artifact, leaving interaction-level failures undetected. We argue that evaluating and improving game generation requires a player, and study two roles for graphical user interface (GUI) agents in this process: (1) as an objective evaluator, for which we introduce PlaytestArena, a new evaluation environment that pairs 200 browser-based game generation tasks across eight genres with rubrics of expected in-play behaviors, adjudicated by a GUI agent that loads each build in a browser and plays it; and (2) as a subjective playtester, for which we propose Play2Code, where a game agent and a GUI agent operate in a sustained loop with shared memory, turning game generation into a dialogue between coding and playing. Our experiments show that even frontier models struggle to generate playable games directly, while Play2Code achieves a 66.8\% rubric pass-rate, improving over single-pass and agentic-coding baselines by 37.1 and 14.6 points respectively. Further analysis shows that GUI playtester feedback is more traceable than a human report, yet idiosyncratic in ways reminiscent of human testers, establishing game playtesting as a critical testbed for interactive code generation. Our project website is available at https://continual-game-generation.vercel.app/.

评分理由: 论文核心在于 GUI 代理与游戏生成的闭环，使用了前沿模型（MLLM）处理视觉界面（MultiModal），因此这两项得分为 5.0。然而，论文未涉及世界模型（World Models）的架构设计或基于模型的强化学习（model-based RL）技术，相关性较低（2.0）。虽然存在编码与游戏的循环，但未达到模型统一（Unify Models）的架构层面，故得分为 3.0。经核对，作者列表中不包含 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 等专家。

GUI Agents, Game Generation, Play2Code, PlaytestArena, Iterative Generation, Coding-Playing Loop, Frontier Models

Chinese Title: 面向持续游戏生成的图形用户界面代理

Summary: 本文针对现有游戏生成方法仅关注一次性代码生成而忽略交互层面缺陷的问题，提出利用图形用户界面（GUI）代理作为游戏生成中的评估者和测试者。首先，构建了PlaytestArena评估环境，包含200个跨8种类型的浏览器游戏生成任务，每个任务配有预期游戏行为的评分标准，由GUI代理加载游戏并实际游玩来评判。其次，提出了Play2Code系统，将游戏生成与测试循环结合：游戏代理和GUI代理在共享内存和运行时环境中持续交互，根据游玩反馈迭代改进游戏。实验表明，即使前沿模型也难以直接生成可玩游戏，而Play2Code的评分通过率达到66.8%，比单次生成和智能体编码基线分别提升37.1和14.6个百分点。进一步分析显示，GUI测试者的反馈具有可追溯性，同时表现出类似人类测试者的特性。

Innovations:

• 提出将GUI代理作为游戏生成的客观评估者，构建了PlaytestArena基准，包含200个游戏任务及可执行的评分标准，由代理实际游玩来评判。
• 提出Play2Code系统，将游戏生成与GUI代理测试形成持续循环，通过共享内存和运行时实现迭代优化。
• 验证了GUI代理具备人类测试者所需的观察、推理和行动能力，在20个游戏测试中接近人类水平。
• 揭示了GUI代理反馈的可追溯性和类似人类的特性，为交互式代码生成提供了新的测试平台。

Methodology: 论文采用实证研究方法。首先通过小规模测试（20个游戏、约120个关卡）验证GUI代理能否执行游戏测试，对比三个代理后端（GPT-5.4、Claude Sonnet 4.6、Kimi K2.5）与人类玩家的通过率。然后构建PlaytestArena：收集200个游戏主题，由人类专家编写生成提示和评分标准（共1548条标准），使用GUI代理加载生成的HTML/CSS/JS游戏并游玩，逐条评判通过与否。最后提出Play2Code系统：游戏代理和GUI代理在共享内存中循环交互，GUI代理提供游玩观察和反馈，游戏代理据此修改代码，迭代多轮。实验使用三个前沿模型作为后端，比较单次生成、智能体编码和Play2Code的评分通过率。

Key Results:

• GUI代理在20个游戏测试中，GPT-5.4的pass@20达到0.82，接近人类参考的0.92。
• PlaytestArena包含200个游戏，平均每个游戏7.7条评分标准，覆盖机制、控制、进度、视觉反馈等维度。
• Play2Code在三个前沿模型上平均评分通过率为66.8%，比单次生成基线（29.7%）提升37.1个百分点，比智能体编码基线（52.2%）提升14.6个百分点。
• 评分通过率随迭代轮次单调上升。
• GUI代理的反馈比人类报告更具可追溯性，同时表现出类似人类的特性（如对某些交互的偏好）。

Tech Stack:

• GUI代理：GPT-5.4、Claude Sonnet 4.6、Kimi K2.5
• 游戏生成：HTML/CSS/JS代码生成（基于LLM）
• 评估方法：基于评分标准的通过率计算
• 系统架构：共享内存、运行时环境、循环交互机制
• 人类评估：盲人标注者进行32个游戏的逐条标准判断

Strengths:

• 提出了新颖的持续游戏生成范式，将测试反馈融入生成过程，解决了传统一次性生成的缺陷。
• 构建了首个公开的、可复现的浏览器游戏生成基准PlaytestArena，包含详细评分标准。
• 实验设计严谨，对比了多种基线，验证了GUI代理作为测试者的有效性。
• 深入分析了GUI代理反馈的特性，为未来研究提供了洞察。

Limitations:

• 游戏类型限于浏览器游戏，未涵盖更复杂的游戏引擎或3D游戏。
• GUI代理的评估可能受限于其感知和推理能力，与人类测试者仍有差距。
• Play2Code的迭代成本较高，需要多次调用LLM和GUI代理。
• 评分标准由人类专家编写，可能存在主观偏差，且未完全覆盖所有可能的游戏行为。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但GUI代理作为多模态模型（视觉+语言+动作）的应用，可视为统一模型在游戏测试中的实例。
• World Models: 游戏生成和测试需要理解游戏世界的动态规则，GUI代理通过观察和交互隐式构建世界模型，但论文未明确使用世界模型框架。
• Representation Learning: 论文未涉及表征学习，但GUI代理的视觉感知和状态描述可视为一种表征学习应用。
• Model-Based RL: Play2Code的迭代优化过程类似于基于模型的强化学习中的规划与执行循环，但论文未使用RL算法，而是基于LLM的推理。
• 原生多模态大模型: 论文使用的GPT-5.4、Claude Sonnet 4.6等均为多模态大模型，直接处理视觉和文本输入，符合原生多模态特性。
• 多模态大模型的理解和生成一体化: GUI代理同时进行理解（观察游戏画面）和生成（输出动作），游戏代理进行代码生成，体现了理解和生成的一体化。
• 后训练: 论文未涉及模型后训练，但Play2Code的迭代过程可视为一种在线适应或提示优化，与后训练概念有间接关联。

目标检测是计算机视觉中的一项重要任务，旨在通过给定的类别列表或查询图像检测感兴趣的目标。在这项工作中，我们提出了一种新的语言 - 视觉互补开放集目标检测（LV-OSD）问题，即使用灵活的基于文本的和/或基于图像的提示来指定所需的目标类别。这种设定在实际应用中更为常见且实用。为此，我们设计了一个双分支检测框架 LVDor，该框架可同时接受文本和图像提示。具体来说，我们首先为每个类别构建包含各种文本描述和图像样本的多模态提示（MPr）。随后，为了弥合输入图像、文本提示和图像提示之间的语义鸿沟，我们设计了一个目标导向提示动态加权（TPDW）模块。在目标图像先验信息的引导下，该模块动态生成与目标语义最匹配的文本和图像提示，实现精确对齐，有效减少两个模态之间的差异，从而适应 LV-OSD 设定。我们还提出了一种简单的提示随机掩码（PRM）机制，用于在训练中模拟测试时文本和/或图像提示的任意组合。广泛的实验结果验证了我们问题设定的合理性及方法的有效性。提示与代码将公开发布。

Object detection is an important task in computer vision, which aims to detect the objects of interest. through the given category list or query images. In this work, we propose a new problem of language-visual-complementary open-set object detection (LV-OSD), i.e., using the flexible text-based and/or image-based prompts to specify the desired object categories. This setting is more common and practical in real-world applications. For this purpose, we design a dual-branch detection framework, LVDor, which can simultaneously accept both text and image prompts. Specifically, we first build the Multi-modal Prompts (MPr) containing various text descriptions and image samples for each category. Subsequently, to bridge the semantic gap among the input image, text prompts, and image prompts, we design a Target-guided Prompt Dynamic Weighting (TPDW) module. Guided by the prior information of the target image, this module dynamically produces the text and image prompts that best align with the target semantics, achieving precise alignment and effectively reducing the discrepancy between the two modalities, thereby accommodating the LV-OSD setting. We also propose a simple Prompt Random Masking (PRM) mechanism during training to simulate the arbitrary combination of text and/or image prompts in testing. Extensive experimental results verify our problem formulation's reasonability and our method's effectiveness. Prompts and code will be released publicly.

评分理由: The paper is highly relevant to 'MultiModal' (10.0) as it integrates language and vision for detection. It unifies these modalities in a dual-branch framework, moderately relating to 'Unify Models' (5.0). It uses text prompts but does not center on MLLM architecture (2.0). There is no connection to 'World Models' or 'model-based RL' (0.0). None of the specified expert authors are present in the author list.

Open-Set Object Detection, Language-Vision Complementary, Multi-modal Prompts, Dual-Branch Framework, Prompt Dynamic Weighting, Text and Image Prompts, Computer Vision

Chinese Title: LV-OSD：语言-视觉互补的开放集目标检测

Summary: 本文提出了一种新的语言-视觉互补开放集目标检测（LV-OSD）问题，允许在推理时灵活使用文本提示、图像提示或两者的任意组合来指定目标类别，更贴近实际应用。为此，作者设计了双分支检测框架LVDor，该框架同时接受文本和图像提示。首先，利用大语言模型（LLM）为每个类别生成多种文本描述，并收集代表性图像构建多模态提示集（MPr）。然后，提出目标引导的提示动态加权（TPDW）模块，根据输入图像的先验信息动态选择与目标语义最对齐的文本和图像提示，实现精确对齐并减少模态差异。此外，训练时采用提示随机掩码（PRM）机制模拟测试时文本/图像提示的任意组合。实验表明，该方法在OV-LVIS和跨数据集评估（Object365）上达到SOTA性能，验证了问题设定的合理性和方法的有效性。

Innovations:

• 首次提出语言-视觉互补开放集目标检测（LV-OSD）问题，支持文本、图像、融合及灵活组合四种提示模式，更符合实际应用需求。
• 设计双分支检测框架LVDor，同时处理文本和图像提示，利用冻结的CLIP编码器提取特征，降低训练复杂度。
• 提出目标引导的提示动态加权（TPDW）模块，根据输入图像自适应选择并加权多模态提示，抑制同类别内的语义噪声，实现精准对齐。
• 引入提示随机掩码（PRM）训练策略，模拟测试时文本/图像提示的任意组合，增强模型对异构提示场景的鲁棒性。

Methodology: 论文采用双分支检测框架LVDor。文本分支：使用大语言模型（LLM）为每个类别生成多种类网络标题的描述，通过冻结的CLIP文本编码器提取嵌入。图像分支：从互联网收集每个类别的多样图像，通过冻结的CLIP图像编码器提取特征。构建多模态提示集（MPr）后，设计目标引导的提示动态加权（TPDW）模块，以输入图像为条件，动态计算每个提示的权重并融合，实现语义对齐。训练时采用提示随机掩码（PRM）随机丢弃部分模态的提示，模拟灵活组合。检测头基于DETR结构，仅训练检测头部分，保持CLIP编码器冻结。

Key Results:

• 在OV-LVIS数据集上，LVDor在开放词汇目标检测任务中达到SOTA性能。
• 在跨数据集评估（Object365）上，方法展现出强鲁棒性和泛化能力。
• 消融实验验证了TPDW和PRM模块的有效性，以及多模态提示互补的优势。
• 实验表明，训练-测试模态不匹配会导致性能下降，而LVDor通过动态加权和随机掩码有效缓解了模态差距。

Tech Stack:

• 大语言模型（LLM）用于生成文本描述
• CLIP（Contrastive Language-Image Pre-training）文本编码器和图像编码器（冻结）
• 目标引导的提示动态加权（TPDW）模块（基于注意力或相似度计算）
• 提示随机掩码（PRM）训练策略
• DETR（Detection Transformer）检测头
• 开放集目标检测（Open-Set Object Detection）
• 多模态融合技术

Strengths:

• 问题设定新颖且实用，支持灵活的提示组合，适应真实场景中不同类别信息可用性差异。
• 利用冻结的CLIP模型，避免大规模重新训练，计算效率高。
• TPDW模块实现目标感知的提示选择，有效抑制语义噪声，提升检测精度。
• PRM机制简单有效，增强模型对异构提示的泛化能力。
• 在多个基准上取得SOTA结果，验证了方法的有效性。

Limitations:

• 依赖预训练的CLIP模型，其性能上限可能限制检测能力。
• TPDW模块需要计算所有提示与输入图像的相似度，当类别数或提示数量很大时可能增加推理开销。
• 当前方法主要针对目标检测任务，未探索在其他视觉任务（如分割、跟踪）上的扩展性。
• 对罕见类别或极端视觉差异的鲁棒性有待进一步验证。

Relevance To Keywords:

• 原生多模态大模型：论文使用CLIP作为多模态骨干，符合原生多模态大模型的概念。
• 多模态大模型的理解和生成一体化：论文侧重于多模态理解（目标检测），未涉及生成，但提示动态加权体现了多模态融合理解。
• 表征学习：CLIP的视觉-语言表征学习是基础，TPDW进一步学习目标引导的表征对齐。
• 世界模型：论文未直接涉及世界模型，但开放集检测可视为对世界知识（类别）的泛化，间接相关。
• 强化学习、后训练：论文未使用强化学习或后训练技术，相关性较弱。
• Unify Models：LVDor统一了文本和图像提示的检测框架，体现了模型统一的思想。
• Model-Based RL：不相关。

半月板损伤的临床诊断要求放射科医生整合体积 MRI 证据与患者临床背景（例如性别、年龄、BMI），并生成结构化诊断报告。现有的膝关节 MRI 基准数据集通常为单模态，且依赖粗粒度标签，限制了其评估整体临床推理的能力。我们引入 MeniOmni，这是一个用于半月板损伤评估的结构化多模态基准，包含 746 项多中心 MRI 研究，具备三平面体积输入、临床先验（Clinical Priors）以及专家标注的临床文本。MeniOmni 支持两项任务：（1）细粒度 Stoller 严重程度分级和（2）诊断报告生成。我们进一步提出风险感知序数评估和一种语义一致性度量（Meni-Score），以更好地反映临床相关性。基线实验表明，整合临床先验可提高分级性能并减少严重错误，凸显了多模态上下文在更安全评估中的价值。代码和数据可在 https://github.com/ShuruiXu/MeniOmni 获取。

Clinical diagnosis of meniscus injuries requires radiologists to integrate volumetric MRI evidence with patient context (e.g., sex, age, BMI) and to produce structured diagnostic reports. Existing knee MRI benchmarks are typically unimodal and rely on coarse labels, limiting their ability to evaluate holistic clinical reasoning. We introduce MeniOmni, a structured multimodal benchmark for meniscus injury assessment, consisting of 746 multi-center MRI studies with tri-planar volumetric inputs, Clinical Priors, and expert-annotated clinical text. MeniOmni supports two tasks: (1) fine-grained Stoller severity grading and (2) diagnostic report generation. We further propose risk-aware ordinal evaluation and a semantic consistency metric (Meni-Score) to better reflect clinical relevance. Baseline experiments show that incorporating Clinical Priors improves grading performance and reduces severe errors, highlighting the value of multimodal context for safer assessment. Code and data are available at https://github.com/ShuruiXu/MeniOmni.

评分理由: 论文核心贡献在于构建医学影像的多模态基准测试（MultiModal 高度相关），涉及多模态输入与文本生成（MLLM 中度相关）。论文未涉及模型统一架构（Unify Models 低相关）、世界模型（World Models 低相关）或强化学习（model-based RL 低相关）。作者列表中未包含指定的专家（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang）。

Multimodal Benchmark, Meniscus Injury Assessment, Clinical Priors, Diagnostic Report Generation, Volumetric MRI, Severity Grading, Structured Output

Chinese Title: MeniOmni：面向整体半月板损伤评估的结构化多模态基准

Summary: 本文提出了MeniOmni，一个用于半月板损伤评估的结构化多模态基准数据集。该基准包含来自多中心的746例MRI研究，整合了三平面体积MRI、结构化临床先验（年龄、性别、BMI）以及专家注释的临床文本（形态学描述和诊断结论）。MeniOmni支持两个任务：细粒度Stoller严重程度分级（0-3级）和诊断报告生成。为更贴合临床需求，论文提出了风险感知序数评估指标和语义一致性度量（Meni-Score）。基线实验表明，引入临床先验可提升分级性能并减少严重错误，验证了多模态上下文对安全评估的价值。数据集和代码已开源。

Innovations:

• 首次构建整合体积MRI、结构化临床先验和诊断文本的多模态半月板损伤基准，填补了骨科多模态数据集的空白。
• 提出内容自适应体积采样算法，通过图像质量、解剖复杂度和空间先验优化MRI切片选择，减少冗余。
• 设计双任务评估协议（细粒度分级+报告生成），并引入风险感知序数评估和语义一致性度量（Meni-Score），更贴合临床实际。
• 提出三流视觉编码策略，利用共享权重的视频编码器独立处理正交平面，并通过视图标识符绑定解剖语义。
• 将临床先验序列化为自然语言提示，统一多模态输入格式，使模型能利用生理风险因素校准诊断。

Methodology: 论文采用以下技术路线：1）数据采集与标准化：从三个临床中心收集746例MRI，使用三个标准序列（矢状PD-FS、冠状T2、轴向PD），由两位放射科医师独立标注Stoller分级。2）内容自适应体积采样：结合图像质量（标准差、拉普拉斯方差、熵）、解剖复杂度（SAM-Med2D置信度）和空间高斯先验，每视图选取16个关键切片组成视频序列。3）临床先验序列化：将年龄、性别、BMI转换为自然语言提示。4）三流视觉编码：使用共享权重的视频编码器分别处理三个平面，输出带视图标识符的视觉令牌序列。5）任务设计：分级任务将视觉流与临床先验拼接输入LLM，生成结构化分级输出；报告生成任务仅使用视觉流，评估语义生成能力。

Key Results:

• 基线实验表明，整合临床先验（年龄、性别、BMI）可显著提升Stoller分级准确率，并减少严重错误（如将3级误判为0级）。
• 提出的风险感知序数评估指标能更好反映临床相关性，优于传统准确率。
• Meni-Score语义一致性度量在报告生成任务中比n-gram指标更贴近专家评估。
• 多模态融合相比纯视觉模型在分级任务上平均提升约5-8%的准确率。
• 三流视觉编码策略优于单流或简单拼接，能更好保留解剖几何信息。

Tech Stack:

• SAM-Med2D（ViT-B）用于解剖复杂度计算
• 视频编码器（如Video-Swin Transformer或3D CNN）
• 大语言模型（LLM）用于多模态融合与生成
• 内容自适应采样算法（公式1-2）：标准差、拉普拉斯方差、香农熵、高斯空间权重
• Stoller分级系统（0-3级）
• 风险感知序数评估（ordinal evaluation）
• Meni-Score语义一致性度量
• PyTorch深度学习框架

Strengths:

• 数据集规模适中（746例），来自多中心，具有较好的代表性。
• 首次将临床先验（年龄、性别、BMI）作为结构化模态纳入基准，贴近真实临床流程。
• 提出内容自适应采样算法，有效减少MRI体积冗余，提升计算效率。
• 双任务设计（分级+报告生成）全面评估模型的多模态理解与生成能力。
• 评估指标创新，风险感知序数评估和Meni-Score更符合临床安全需求。
• 开源代码和数据集，促进可重复研究。

Limitations:

• 数据集规模相对较小（746例），可能限制深度学习模型的泛化能力。
• 仅包含三个临床中心，地域和人群多样性有限。
• 临床先验仅包含年龄、性别、BMI，未纳入更多风险因素（如既往手术史、活动水平等）。
• 报告生成任务仅使用视觉流，未利用临床先验，可能低估多模态优势。
• 基线模型未涵盖最新多模态大模型（如GPT-4V、Gemini等），对比不够全面。
• 内容自适应采样依赖SAM-Med2D，该模型在低对比度切片上可能失效。

Relevance To Keywords:

• 原生多模态大模型：论文构建的多模态基准直接服务于原生多模态大模型的训练与评估，支持视觉+文本+表格的联合输入。
• 多模态大模型的理解和生成一体化：MeniOmni同时支持分级（理解）和报告生成（生成），契合一体化目标。
• 表征学习：内容自适应采样和视频编码器涉及视觉表征学习，临床先验序列化涉及跨模态表征对齐。
• 世界模型：半月板损伤评估需要理解解剖结构、病理演变和患者背景，可视为医学世界模型的子任务。
• 强化学习/后训练：论文未直接涉及，但提出的风险感知序数评估可指导强化学习中的奖励设计，后训练阶段可基于Meni-Score进行微调。
• Model-Based RL：与本文直接相关性较弱，但多模态融合可辅助构建更准确的诊断模型，间接支持基于模型的决策。

基于视觉 - 语言模型 (VLMs) 的多标签识别 (MLR) 旨在利用其预训练知识更好地适应复杂的识别场景，从而增强模型的鲁棒性。然而，对于需要联邦学习的现实去中心化应用，将 VLMs 适配到每个拥有私有和异构数据的客户端可能导致模型过拟合虚假的标签相关性，从而在遇到新样本时触发无关类别。为了解决这一问题，我们重新审视了基于因果模型的 MLR 联邦学习，其中我们采用前门调整机制，并通过放大真实标签共现的中间变量来解耦 MLR 建模过程。基于上述分析，我们提出了 FedMPT，这是首个专门针对联邦多标签识别设计的方法。FedMPT 的核心思想是利用可泛化的条件来引导联邦多标签识别，以缓解错误的标签激活。为此，FedMPT 引入一个由大语言模型 (LLM) 驱动的管道，以揭示支配标签依赖关系的潜在条件。此外，我们在条件增强的提示词与图像块之间引入最优传输，以揭示多个区域级语义。最后，我们通过精心设计的门控机制，从不同条件生成协同预测。在多个基准数据集上的实验表明，所提方法取得了具有竞争力的结果，并在不同设置下优于 SOTA 方法。

Multi-Label Recognition (MLR) based on Vision-Language Models (VLMs) aims to leverage their pre-trained knowledge to better adapt complex recognition scenarios, thereby enhancing model robustness. However, for realistic decentralized applications requiring federated learning, adapting VLMs to each client that possesses private and heterogeneous data can cause the model to overfit spurious label correlations, consequently triggering irrelevant categories when encountering new samples. To tackle this problem, we reconsider the federated learning for MLR with a causal model, in which we adopt a front-door adjustment and decouple the MLR modeling process by intermediate variables that magnify the oracle label co-occurrence. Guided by our analysis, we propose our FedMPT, the first method specifically designed for federated MLR. The core idea of FedMPT is to leverage generalizable conditions to steer federated MLR to mitigate erroneous label activations. To achieve this, FedMPT introduces an Large Language Model (LLM)-driven pipeline to decipher the underlying conditions that govern label dependencies. Furthermore, we introduce an optimal transport between the condition-enriched prompts and the image patches to uncover multiple region-level semantics. Finally, we generate synergistic predictions from different conditions with a crafted gating mechanism. Experiments on multiple benchmark datasets show that our proposed approach achieves competitive results and outperforms SOTA methods under varied settings.

评分理由: 论文核心为联邦学习下的多标签识别与视觉语言模型微调。'MultiModal'高度相关（视觉 - 语言），'MLLM'中度相关（使用 VLM/LLM 技术），'Unify Models'中度相关（模态统一背景）。'World Models'和'model-based RL'完全无关（无环境建模或强化学习内容）。未发现指定专家作者，无加分。加权总分 32.0，高于动态及格分 26.5。

Federated Learning, Multi-label Recognition, Vision-Language Models, Prompt Tuning, Causal Model, Optimal Transport, Gating Mechanism

Chinese Title: FedMPT: 视觉-语言模型的联邦多标签提示调优

Summary: 本文针对联邦学习场景下的多标签识别（MLR）问题，提出了一种名为FedMPT的新型框架。现有方法在联邦学习中容易过拟合客户端私有数据中的虚假标签相关性，导致泛化性能下降。作者从因果角度出发，采用前门调整策略，通过中间变量解耦MLR建模过程，放大真实标签共现。FedMPT的核心思想是利用可泛化的条件来引导联邦MLR，减少错误标签激活。具体地，引入大语言模型（LLM）驱动的管道生成通用抽象条件模板，并通过最优传输将条件增强的提示与图像块对齐，挖掘多区域语义。最后，设计自适应门控机制融合不同条件的预测。在多个基准数据集上的实验表明，FedMPT在多种联邦设置下均优于现有方法，展现出显著的鲁棒性。

Innovations:

• 首次专门针对联邦多标签识别问题提出解决方案，揭示了现有方法在非独立同分布数据下的脆弱性。
• 从因果视角（结构因果模型）分析联邦MLR的难点，归因于对局部分布和标签相关性的过拟合，并采用前门调整策略进行干预。
• 提出LLM驱动的条件生成管道，自动生成通用抽象条件模板，用于软提示学习。
• 引入最优传输机制，将条件增强的提示与图像块对齐，实现多区域语义挖掘。
• 设计自适应门控机制，动态调整不同条件在客户端中的贡献，实现协同预测。

Methodology: 论文采用结构因果建模（SCM）分析联邦MLR问题，提出前门调整解耦建模过程。技术路线包括：1）利用大语言模型生成通用条件模板；2）将条件嵌入提示中进行软提示学习；3）通过最优传输将条件提示与图像块对齐，得到条件特定的预测；4）设计门控机制融合多条件预测；5）采用非对称损失（ASL）优化，并通过FedAvg聚合客户端参数。

Key Results:

• 在多个基准数据集上，FedMPT在多种联邦设置下均达到最先进性能，显著优于现有方法。
• 随着数据异质性增加，现有方法性能急剧下降，而FedMPT表现出较强的鲁棒性。
• 可视化结果表明，FedMPT能有效缓解虚假标签相关性（如猫-椅子），正确激活相关类别。
• 消融实验验证了LLM条件生成、最优传输对齐和门控机制的有效性。

Tech Stack:

• 视觉-语言模型（VLM）：CLIP
• 大语言模型（LLM）用于条件生成
• 最优传输（Optimal Transport）
• 软提示学习（Soft Prompt Tuning）
• 非对称损失（Asymmetric Loss, ASL）
• 联邦平均（FedAvg）
• 结构因果模型（SCM）
• 前门调整（Front-door Adjustment）
• 门控机制（Gating Mechanism）

Strengths:

• 首次将联邦学习与多标签识别结合，填补了该领域空白。
• 因果分析为问题提供了理论依据，方法设计有坚实的理论基础。
• LLM驱动的条件生成自动化程度高，无需人工设计条件。
• 最优传输对齐能够捕捉细粒度区域语义，提升多标签识别精度。
• 门控机制自适应调整条件贡献，适应不同客户端分布。
• 实验充分，在多个基准和异质性设置下验证了鲁棒性。

Limitations:

• 依赖大语言模型生成条件，可能引入额外计算开销和延迟。
• 联邦通信轮次和客户端参与率等超参数需要调优，未提供自适应策略。
• 实验仅在三个基准数据集上进行，泛化性有待更多场景验证。
• 未讨论隐私保护细节（如差分隐私），可能在实际部署中需额外考虑。

Relevance To Keywords:

• Unify Models: 论文使用统一的视觉-语言模型（CLIP）进行多模态理解，但未涉及生成一体化。
• World Models: 论文未直接涉及世界模型或环境建模。
• Representation Learning: 论文通过提示调优和最优传输学习更好的多标签表示，与表征学习相关。
• Model-Based RL: 论文未涉及强化学习或基于模型的RL。
• 原生多模态大模型: 论文基于CLIP，属于多模态大模型，但未涉及原生多模态（如从头训练）。
• 多模态大模型的理解和生成一体化: 论文仅关注理解（识别），未涉及生成。
• 后训练: 论文的提示调优属于后训练范式，与后训练相关。

从稀疏观测中预测空间变化的房间脉冲响应（RIR）对于沉浸式空间音频渲染而言是一个关键但极具挑战性的逆问题。在这项工作中，我们提出了 EIGENET，一种用于少样本新视角 RIR 预测的几何感知多模态框架。其核心是一个跨视角交替注意力 Transformer，该网络迭代地细化局部视角内的声学结构以及全局视角间的空间关系。实验验证表明，该架构能够充分利用多视角多模态上下文，同时在执行 RIR 预测时进行时空推理。受声学射线追踪启发，我们设计了一个几何感知调制模块，以建立几何特征与 RIR 功率谱之间的联系。与此同时，引入一个辅助损失，将单目标波形预测转化为多任务学习框架。通过消融实验，我们证明该设计无论底层骨干网络如何均能带来一致的性能提升，从而确认了其在 RIR 预测任务中的基础效用及架构无关的泛化能力。在模拟和真实世界基准上评估，EIGENET 在少样本新视角 RIR 预测及模拟到真实泛化方面均实现了最先进的性能。代码和检查点可在 https://github.com/FEAfeatherTHER/EigeNet 上获取。

Predicting spatially varying Room Impulse Response (RIR) from sparse observations is a critical but highly challenging inverse problem for immersive spatial audio rendering. In this work, we present EIGENET, a geometry-informed multi-modal framework for few-shot novel view RIR prediction. At its core is a Cross-view Alternate-attention Transformer that iteratively refines local intra-view acoustic structures and global cross-view spatial relationships. We empirically demonstrate that this architecture is capable of making full use of the multi-view multi-modal context while performing spatial-temporal reasoning for RIR prediction. Inspired by acoustic ray tracing, we design a geometry-informed modulation block to formulate the connection between geometric features and RIR power spectrum. In the mean time, an auxiliary loss is introduced to transform the single-target waveform prediction into a multi-task learning framework. Through ablation studies, we demonstrate that this design yields consistent performance gains regardless of the underlying backbone, thereby confirming its foundational utility and architecture-agnostic generalizability for RIR prediction task. Evaluated on both simulated and real-world benchmarks, EIGENET achieves both state-of-the-art performance in few-shot novel view RIR prediction and sim-to-real generalization. Codes and checkpoints are available on https://github.com/FEAfeatherTHER/EigeNet.

评分理由: The paper presents a geometry-informed multi-modal framework for RIR prediction, strongly aligning with 'MultiModal' (9.0). It does not address Large Language Models ('MLLM', 2.0), World Models for planning ('World Models', 2.0), or Reinforcement Learning ('model-based RL', 0.0). It unifies geometry and audio modalities ('Unify Models', 3.0). Total weighted score is 32.0, exceeding the dynamic pass score of 26.5. No expert authors from the specified list were found in the author list.

Geometry-Informed, Multi-Modal Learning, Few-shot Novel View, RIR Prediction, Cross-view Alternate-attention Transformer, Spatial-temporal Reasoning, Acoustic Ray Tracing, Sim-to-real Generalization

Chinese Title: EigeNet：几何信息引导的多模态学习用于少样本新视角房间脉冲响应预测

Summary: 本文提出EIGENET，一个几何信息引导的多模态框架，用于从稀疏观测中预测新视角的房间脉冲响应（RIR）。核心是交叉视图交替注意力变换器（CVAT），它交替进行局部视图内注意力和全局跨视图注意力，以充分利用多视图多模态上下文进行时空推理。受声学射线追踪启发，设计了几何信息调制模块，将几何特征与RIR功率谱显式关联。同时引入辅助损失，将单目标波形预测转变为多任务学习框架。在模拟和真实基准上评估，EIGENET在少样本新视角RIR预测和仿真到真实泛化方面均达到最先进性能。

Innovations:

• 首次将交叉视图交替注意力变换器（CVAT）引入少样本新视角RIR预测任务，并解释了其相对于自注意力和交叉注意力在多视图多模态上下文中的效率优势。
• 设计了几何信息调制模块，基于声学射线追踪原理显式建模几何特征与RIR功率谱之间的物理关系，增强物理可解释性。
• 引入辅助损失，将单目标RIR预测转变为多模态多任务学习范式，提升了跨房间泛化能力和物理合理性。
• 通过消融实验证明调制模块和辅助损失具有架构无关的通用性，能在不同骨干网络上带来一致性能提升。

Methodology: 采用编码器-变换器-解码器架构。几何编码器将全景深度图和位置坐标编码为几何令牌；声学编码器使用Descript-Audio-Codec提取参考RIR的连续潜在表示作为声学令牌，目标视图RIR使用正弦编码。几何信息调制模块以几何令牌为条件调制目标声学令牌并回归多倍频程功率谱。随后将几何令牌与声学令牌拼接，输入CVAT（交替进行帧内自注意力和全局自注意力）进行时空推理。最后解码目标声学令牌为波形。训练中使用RIR波形损失和功率谱辅助损失。

Key Results:

• 在AcousticRooms和Hearing-Anything-Anywhere数据集上达到最先进性能。
• 相比现有方法（Few-shot RIR、xRIR、FLAC），在少样本设置下表现出更强的鲁棒性和泛化能力。
• 消融实验表明CVAT优于标准自注意力和交叉注意力；调制模块和辅助损失在不同骨干网络上均带来一致增益。
• 在仿真到真实场景的泛化中表现优异。

Tech Stack:

• Cross-view Alternate-attention Transformer (CVAT)
• Descript-Audio-Codec (DAC) 作为声学令牌提取器
• Vision Transformer (ViT) 用于几何编码
• 位置编码与多层感知机 (MLP)
• 正弦编码 (sinusoidal encoding) 用于目标视图RIR
• 多倍频程功率谱回归
• 多任务学习 (波形损失 + 功率谱辅助损失)

Strengths:

• 创新性地将交替注意力机制从视觉领域迁移到音频多模态任务，并给出理论解释。
• 物理启发的几何信息调制模块增强了模型的可解释性和泛化能力。
• 多任务学习框架有效提升了预测质量，且具有架构通用性。
• 在多个基准上达到SOTA，包括仿真到真实的泛化。

Limitations:

• 依赖预训练的DAC模型，可能存在领域偏移，尽管实验表明重建质量高。
• 仅考虑了全景深度图作为几何信息，未利用更丰富的几何表示（如网格、语义）。
• 方法在极稀疏参考（如1个参考）下的性能可能仍有提升空间。
• 未讨论计算复杂度与实时性，可能不适用于低延迟应用。

Relevance To Keywords:

• Unify Models / 原生多模态大模型: 论文提出的多模态框架融合了视觉（深度图）和听觉（RIR）模态，与多模态大模型方向相关。
• World Models / 世界模型: RIR预测是构建沉浸式虚拟世界的关键组件，有助于世界模型中的听觉场景理解。
• Representation Learning / 表征学习: 通过交替注意力学习多视图多模态的联合表征，属于表征学习范畴。
• Model-Based RL / 基于模型的强化学习: 虽然论文未直接涉及RL，但RIR预测可作为环境模型的一部分用于模拟交互。
• 后训练: 论文使用预训练的DAC和ViT，并在此基础上进行训练，涉及后训练策略。

可验证奖励的强化学习（RLVR）已成为提升大语言模型（LLM）推理的关键技术，但其数据效率低下仍是主要瓶颈。现有方法仅部分解决了这一问题，每种方法至少缺失子集级覆盖、验证器信号利用或可解释性之一。为填补这一空白，我们提出了 IRDS（可解释的 RLVR 数据选择），该方法基于稀疏自编码器（SAE）聚类基础选择 RLVR 训练实例，使得选择本身可在可识别的问题模式上进行审计。为了选择模型既失败但仍能从中学习的实例，我们在 SAE 基础上引入了验证器耦合覆盖目标，并通过贪心对数行列式最大化求解。在三个指令微调模型和六个数学推理基准上的实验表明，IRDS 实现了最高的整体准确率，在两个 Qwen 模型上超过最强基线 +3.9/+4.0 个百分点，在 Llama-3.1-8B 上超过 +0.5 个百分点，同时计算成本比基于轨迹的基线低一个数量级。

Reinforcement learning with verifiable rewards (RLVR) has become a key technique for en- hancing LLM reasoning, yet its data ineffi- ciency remains a major bottleneck. Existing methods address this problem only partially, each missing at least one of subset-level cov- erage, verifier signal use, or interpretability. To address this gap, we present IRDS (Inter- pretable RLVR Data Selection), which selects RLVR training instances on a sparse autoen- coder (SAE) cluster basis so the selection itself is auditable on recognizable problem motifs. To select instances the model both fails on and can still learn from, we introduce a verifier- coupled coverage objective on the SAE basis and solve it by greedy log-determinant max- imization. Experiments on three instruction- tuned models and six math reasoning bench- marks show that IRDS achieves the highest overall accuracy, exceeding the strongest base- line by +3.9/+4.0 pp on the two Qwen models and by +0.5 pp on Llama-3.1-8B, while run- ning an order of magnitude cheaper than the trajectory-based baseline.

评分理由: 论文核心涉及 RLVR 数据选择与稀疏自编码器，与 MLLM 和 model-based RL 有一定关联（涉及 LLM 与 RL），但与 World Models、MultiModal 及 Unify Models 关联度较低。未发现指定专家。加权总分 30.0，高于动态及格分 26.5。

RLVR, Data Selection, Sparse Autoencoder, LLM Reasoning, Interpretability, Verifier, Math Benchmarks, Instruction-tuned

Chinese Title: IRDS：基于验证器耦合稀疏自编码器覆盖的可解释RLVR数据选择

Summary: 本文提出IRDS（可解释RLVR数据选择）方法，旨在解决强化学习与可验证奖励（RLVR）中的数据效率瓶颈。现有方法在子集覆盖、验证器信号利用和可解释性方面存在不足。IRDS基于稀疏自编码器（SAE）的聚类坐标表示训练实例，使选择过程在可识别的问题模式上可审计。通过引入验证器耦合的覆盖目标（包括困难度权重和可训练性权重），并采用贪心对数行列式最大化来选取非冗余、失败相关且可训练的子集。在三个指令微调模型和六个数学推理基准上的实验表明，IRDS在整体准确率上达到最高，超过最强基线3.9/4.0个百分点（Qwen模型）和0.5个百分点（Llama-3.1-8B），且选择成本比基于轨迹的基线低一个数量级。

Innovations:

• 首次将稀疏自编码器聚类基用于RLVR数据选择，使选择过程在可识别的问题模式上可审计。
• 设计了验证器耦合的覆盖目标，同时考虑失败相关性、可训练性和非冗余性，通过贪心对数行列式最大化求解。
• 提出困难度权重和可训练性权重，分别处理模型失败和梯度消失问题，并组合成验证器耦合度量。
• 在三个模型和六个基准上取得最佳整体准确率，选择成本比轨迹基线低一个数量级。

Methodology: 首先，在基础模型的最终层激活上训练BatchTopK稀疏自编码器（SAE），将相关潜在变量聚类为256个语义簇，每个实例用簇激活质量表示。然后，从验证器成功计数导出困难度权重（单调递减）和可训练性权重（单峰分布），构建验证器耦合的协方差矩阵，通过岭正则化和特征值裁剪得到度量矩阵。可选地，将残差梯度块附加到设计向量中。最后，采用贪心对数行列式最大化（D-optimal设计）选择非冗余子集，并在所选子集上使用GRPO进行RLVR训练。

Key Results:

• IRDS在三个指令微调模型（Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct）和六个数学推理基准（MATH-500、AIME2024、AMC2023、OlympiadBench、MinervaMath、GSM8K）上取得最高整体准确率。
• 在Qwen2.5-7B上超过最强基线+3.9个百分点，在Qwen2.5-14B上+4.0个百分点，在Llama-3.1-8B上+0.5个百分点。
• 选择成本比基于轨迹的基线（如DeepScaler）低一个数量级。
• SAE聚类坐标提供了可解释的问题模式（如几何、除数计数等），便于审计。

Tech Stack:

• BatchTopK稀疏自编码器（SAE）
• 贪心对数行列式最大化（D-optimal设计）
• GRPO（Group Relative Policy Optimization）
• Beta分布后验与digamma函数
• 岭正则化与特征值裁剪
• 球形K-means聚类
• 残差梯度块（可选）

Strengths:

• 同时解决了失败相关性、可训练性和非冗余性三个关键问题。
• 基于SAE的表示具有可解释性，便于审计和调试。
• 在多个模型和基准上取得显著性能提升，且选择成本低。
• 方法通用，可应用于不同基础模型和RLVR框架。

Limitations:

• SAE训练需要额外的计算资源和激活数据，可能增加前期成本。
• 聚类数量F=256为固定值，可能不适用于所有数据集。
• 方法依赖于基础模型的初始策略，对于不同初始策略可能需要重新训练SAE。
• 仅针对数学推理任务验证，在其他领域（如代码、科学）的泛化性未知。

Relevance To Keywords:

• 强化学习：IRDS直接针对RLVR（强化学习与可验证奖励）中的数据选择问题，与强化学习后训练高度相关。
• 表征学习：使用稀疏自编码器进行表征学习，将实例映射到可解释的聚类坐标。
• 世界模型：虽然论文未直接涉及世界模型，但RLVR中的可验证奖励可视为一种简单世界模型，IRDS通过验证器信号改进数据选择。
• 多模态大模型：论文实验基于文本数学推理，但方法可扩展到多模态场景（如视觉数学问题），SAE可处理多模态激活。
• 后训练：IRDS是后训练阶段的数据选择方法，与后训练（如RLVR）紧密相关。

预测细胞在发育信号或遗传扰动下如何改变其转录状态，是计算机生物学（in-silico biology）及 AI 虚拟细胞计划（AI Virtual Cell program）的计算核心。现有方法要么拟合忽略时间维度的静态对照 - 处理映射，要么在每个数据集上独立求解多步常微分方程（ODE）/ 薛定谔桥（Schrödinger-bridge）问题。我们引入 Chreode，这是一种一步细胞世界模型，通过结构化残差转换算子预测基于动作条件的细胞状态转换。它将分布演化从推理阶段转移到训练阶段，从而实现单次生成，同时保留受 Waddington 启发的分解，包括下坡景观流、旋转切向动力学和随机扩散。该模型在涵盖 7 个数据集的 240 万细胞小鼠胚胎图谱上，使用共享的 scVI 编码器和基于 DiT 的动力学骨干进行预训练。作为微调初始化，Chreode 在 Weinreb 造血和 Veres 胰岛分化上的目标级 Sinkhorn 距离优于匹配的从头训练模型、PI-SDE 和 PRESCIENT。作为 GEARS 的可迁移基因状态嵌入，预训练的动力学表示将 Norman Perturb-seq 上共享词汇 DE20 均方误差从 0.2121 降低至 0.1858，实现了 12.4% 的相对改进，且不改变 GEARS 的训练流程。我们将这种向扰动预测的迁移解释为证据，表明预训练的发育轨迹动力学编码了可迁移至 CRISPR 诱导状态转换的分化原语，因为两者都涉及共享潜在几何中的细胞状态转换。预训练的骨干还在 Weinreb 上产生零样本克隆命运评分，与强大的动态最优传输（dynamic-OT）基线具有竞争力。

Predicting how a cell will change its transcriptional state under a developmental signal or a genetic perturbation is the computational core of in-silico biology and the AI Virtual Cell program. Existing approaches either fit static control-to-treated maps that discard time, or solve multi-step ODE / Schrödinger-bridge problems on each dataset independently. We introduce Chreode, a one-step cell world model that predicts action-conditioned cell-state transitions through a structured residual transition operator. It shifts distributional evolution from inference time to training time, enabling single-pass generation while preserving a Waddington-inspired decomposition into downhill landscape flow, rotational in-tangent dynamics, and stochastic spread. The model is pretrained with a shared scVI encoder and a DiT-based dynamics backbone on a 2.4M-cell mouse embryonic atlas spanning 7 datasets. As a fine-tuning initialization, Chreode improves per-target Sinkhorn distance on Weinreb hematopoiesis and Veres islet differentiation over matched scratch models, PI-SDE, and PRESCIENT. As a transferable gene-state embedding for GEARS, the pretrained dynamics representation reduces shared-vocabulary DE20 mean squared error on Norman Perturb-seq from 0.2121 to 0.1858, a 12.4% relative improvement, without changing the GEARS training procedure. We interpret this transfer to perturbation prediction as evidence that pretrained developmental-trajectory dynamics encode differentiation primitives transferable to CRISPR-induced state shifts, since both involve cell-state transitions in a shared latent geometry. The pretrained backbone additionally produces zero-shot clonal fate scores on Weinreb that are competitive with strong dynamic-OT baselines.

评分理由: 论文核心提出'细胞世界模型'（Cell World Model），直接对应 World Models 关键词，评分为 10 分；模型整合了 scVI 编码器和 DiT 动力学骨干，实现了表征与动力学的统一建模，故 Unify Models 评分为 5 分；论文专注于单细胞基因组数据的动力学预测，不涉及语言模型、多模态融合或强化学习控制，因此 MLLM、MultiModal 和 model-based RL 评分为 0 分。作者列表中未包含指定的五位专家。加权总分为 30.0，高于动态及格分 26.5。

Cell World Model, One-Step Temporal Dynamics, Perturbation Prediction, scVI Encoder, DiT-based Dynamics, Single-cell Genomics, Transfer Learning

Chinese Title: Chreode：一种用于单步时间动态与扰动预测的细胞世界模型

Summary: 本文提出Chreode，一种单步细胞世界模型，用于预测细胞在发育信号或遗传扰动下的转录状态变化。现有方法要么丢弃时间信息拟合静态对照-处理映射，要么在每个数据集上独立求解多步ODE/Schrödinger桥问题。Chreode通过结构化残差转移算子实现动作条件化的细胞状态转移，将分布演化从推理时间转移到训练时间，实现单步生成。其残差分解为Waddington景观的下坡流、切向旋转动力学和随机扩散。模型使用共享scVI编码器和DiT动力学骨干在包含7个数据集、240万细胞的鼠胚图谱上预训练。作为微调初始化，Chreode在Weinreb造血和Veres胰岛分化任务上优于PI-SDE和PRESCIENT；作为基因状态嵌入注入GEARS，在Norman Perturb-seq上将DE20均方误差从0.2121降至0.1858（相对提升12.4%）。预训练骨干还能零样本生成与动态OT基线竞争的克隆命运分数。

Innovations:

• 提出单步细胞世界模型，通过训练时推前分布演化实现单次前向传播预测未来状态，避免多步ODE/SDE积分。
• 设计Waddington风格残差转移算子，显式分解为势能梯度、反对称旋转流和随机扩散，融入生物学先验。
• 构建两阶段预训练流程：共享scVI编码器+DiT动力学骨干，在240万细胞鼠胚图谱上无OT监督预训练。
• 提供两种迁移模式：作为微调初始化提升时间转移预测性能；作为基因状态嵌入提升GEARS扰动预测精度。
• 零样本克隆命运评分达到与动态OT基线相当的水平，证明预训练动力学表征可迁移至CRISPR诱导的状态变化。

Methodology: Chreode采用两阶段预训练：首先使用scVI编码器将跨物种正交基因词汇表（16,520基因）的转录组映射到共享潜在空间；然后使用DiT（扩散Transformer）动力学骨干在240万细胞鼠胚图谱上训练，损失函数采用群体级漂移场损失（基于MMD和Sinkhorn Wasserstein-2距离）。模型核心为单步残差转移算子：ẑ_{t+Δ} = z_t + α(Δ)R_θ，其中R_θ包含势能梯度项-∇_zU_θ、反对称旋转项S_θ z_t（通过P_θ Q_θ^T - Q_θ P_θ^T参数化）和随机扩散项σ_θ⊙ε，时间门控α(Δ)=1-e^{-Δ/τ_0}。微调时冻结编码器，仅更新动力学骨干；作为嵌入时提取预训练骨干的中间表示注入GEARS。

Key Results:

• 在Weinreb造血数据集上，微调后的Chreode在d4和d6时间点的Sinkhorn W2距离优于匹配的随机初始化模型、PI-SDE和PRESCIENT。
• 在Veres胰岛分化数据集上，Chreode在所有目标时间点t1-t7均优于基线。
• 在Norman Perturb-seq上，将预训练动力学表示作为基因状态嵌入注入GEARS，DE20均方误差从0.2121降至0.1858（相对提升12.4%）。
• 零样本克隆命运评分在Weinreb上与moscot、WOT、scDiffEq等动态OT基线竞争。
• 预训练模型在88个时间点、7个数据集上训练，无需任何最优传输监督。

Tech Stack:

• scVI（单细胞变分推断编码器）
• DiT（扩散Transformer）
• Waddington残差分解（势能梯度、反对称旋转、随机扩散）
• 群体级漂移场损失（基于MMD和Sinkhorn Wasserstein-2距离）
• 时间门控函数α(Δ)=1-e^{-Δ/τ_0}
• 反对称算子参数化：S_θ = P_θ Q_θ^T - Q_θ P_θ^T
• PyTorch（推断）
• GEARS（图神经网络扰动预测器）

Strengths:

• 单步推理大幅降低计算成本，适合大规模虚拟筛选（10^8查询量级）。
• 显式融入Waddington生物学先验，使模型具有可解释的动力学分解。
• 两阶段预训练策略实现跨数据集、跨物种迁移，提升下游任务性能。
• 提供两种迁移模式（微调与嵌入注入），灵活适配不同任务。
• 在多个公开基准上取得显著改进，且无需OT监督。

Limitations:

• 模型依赖scVI编码器，潜在空间质量影响整体性能。
• 预训练数据仅包含鼠胚图谱，跨物种迁移至人类数据需进一步验证。
• 未与闭源大模型（如AlphaCell、X-Cell）直接比较，性能优势局限于开源基线。
• 单步残差假设可能无法捕捉长期复杂动力学（如多稳态切换）。
• 扰动预测迁移仅通过嵌入注入GEARS，未提出独立扰动编码器。

Relevance To Keywords:

• 世界模型：论文明确提出细胞世界模型，类比强化学习中的世界模型，预测状态-动作-转移，与关键词“世界模型”高度相关。
• 表征学习：scVI编码器和DiT动力学骨干学习潜在表征，并通过迁移学习验证表征有效性，与“表征学习”相关。
• 模型基强化学习：论文引用世界模型在RL中的类比，但未涉及规划或策略优化，相关性较弱。
• 原生多模态大模型、多模态大模型的理解和生成一体化：论文专注于单细胞转录组数据，不涉及多模态，相关性低。
• 后训练：论文使用预训练+微调范式，属于后训练范畴，但未强调后训练技术本身。
• 强化学习：仅类比，未实际应用RL算法，相关性低。

点云质量在三维采集、重建、渲染及感知中起着关键作用，然而现有的点云质量评估（PCQA）研究仍主要集中于标量分数预测。在实际检测场景中，质量评估通常涉及识别缺陷、表征主导问题类型、评估下游可用性并提供基于证据的描述，而这些内容并未被当前基准明确评估。我们引入了 PointQ-Bench，这是一个旨在将 PCQA 从标量评分扩展至全面质量理解的基准。PointQ-Bench 包含 3,083 个点云，涵盖真实扫描、模拟失真及 AI 生成内容，覆盖八种主要问题类型。每个样本均标注了平均意见分数（MOS）、质量等级、问题标签、基于专家的描述以及 12,332 对问答。该基准支持三个感知导向任务：异常感知、缺陷诊断和可用性分级，以及一个认知导向任务：开放式质量报告。为了评估自由形式的质量描述，我们进一步提出了 SSFRQ-5D，这是一种通过人机一致性分析验证的五维评估协议。在 14 个视觉 - 语言模型和传统 PCQA 基线上的广泛实验揭示了一致的感知 - 诊断差距：尽管当前模型在粗粒度缺陷感知方面展现出新兴能力，但在基于实证的诊断和质量校准方面表现困难。性能强大的 2D 多模态大语言模型（MLLMs）通常优于现有的 3D 视觉语言模型（VLMs），而额外视图或点级输入的益处是非均匀的，随任务、数据源和模型而异，特别是在边界模糊条件下。总体而言，PointQ-Bench 提供了一个诊断测试平台，用于推进可靠且可解释的点云质量理解。

Point cloud quality plays a critical role in 3D acquisition, reconstruction, rendering, and perception, yet existing point cloud quality assessment (PCQA) research remains largely centered on scalar score prediction. In practical inspection scenarios, quality assessment often involves identifying defects, characterizing dominant issue types, assessing downstream usability, and providing evidence-supported descriptions, which are not explicitly evaluated by current benchmarks. We introduce PointQ-Bench, a benchmark designed to extend PCQA from scalar scoring toward comprehensive quality understanding. PointQ-Bench consists of 3,083 point clouds spanning authentic scans, simulated distortions, and AI-generated content, covering eight major issue types. Each sample is annotated with mean opinion scores (MOS), quality levels, issue tags, expert-grounded descriptions, and 12,332 question-answer pairs. The benchmark supports three perception-oriented tasks: anomaly sensing, defect diagnosis, and usability grading, as well as a cognition-oriented task of open-ended quality reporting. To evaluate free-form quality descriptions, we further propose SSFRQ-5D, a five-dimensional evaluation protocol validated through human-AI agreement analysis. Extensive experiments on 14 vision-language models and traditional PCQA baselines reveal a consistent perception-diagnosis gap: while current models exhibit emerging abilities in coarse defect perception, they struggle with grounded diagnosis and quality calibration. Strong 2D MLLMs generally outperform existing 3D VLMs, and the benefit of additional views or point-level inputs is non-uniform, varying across tasks, data sources, and models, particularly under boundary-ambiguous conditions. Overall, PointQ-Bench provides a diagnostic testbed for advancing reliable and interpretable point cloud quality understanding.

评分理由: 论文核心在于点云质量评估基准（PointQ-Bench）的构建，涉及视觉语言模型（MLLM）在点云与文本多模态任务上的评估，因此 MLLM 和多模态相关性较高。论文未提出统一模型架构、世界模型或涉及强化学习，故相关度低。

Point Cloud Quality Assessment, Benchmark, Diagnostic, Vision-Language Models, Multimodal, Defect Diagnosis, Anomaly Sensing

Chinese Title: PointQ-Bench：面向诊断与可解释点云质量评估的基准测试

Summary: 本文提出PointQ-Bench，首个超越标量分数预测的点云质量理解基准。该基准包含3,083个点云，涵盖真实扫描、模拟失真和AI生成内容，标注了平均意见分数、质量等级、缺陷标签、专家描述及12,332个问答对。基准支持异常感知、缺陷诊断、可用性分级三个感知任务以及开放质量报告这一认知任务。为评估自由形式的质量描述，作者提出SSFRQ-5D五维评估协议，并通过人机一致性分析验证。在14个视觉语言模型和传统PCQA基线上的实验表明：当前模型在粗粒度缺陷感知上具备初步能力，但在接地诊断和质量校准上存在明显不足；2D多模态大模型普遍优于3D视觉语言模型，且额外视图或点云输入的收益因任务、数据源和模型而异，尤其在边界模糊条件下。PointQ-Bench为推进可靠且可解释的点云质量理解提供了诊断性测试平台。

Innovations:

• 首次提出面向点云质量理解的基准PointQ-Bench，超越传统标量MOS预测，涵盖异常感知、缺陷诊断、可用性分级和开放质量报告等多任务。
• 构建包含3,083个点云、12,332个问答对的大规模数据集，覆盖真实扫描、模拟失真和AI生成三种来源及八种主要缺陷类型。
• 提出SSFRQ-5D五维评估协议，用于标准化开放质量描述的评价，并通过人机一致性分析验证其有效性。
• 系统基准测试14个前沿模型，揭示当前模型在接地诊断和质量校准上的瓶颈，以及2D MLLMs与3D VLMs的性能差异。

Methodology: 论文采用数据驱动的方法构建基准。首先收集三种来源（真实扫描、模拟失真、AI生成）的点云数据，组织为八种缺陷类型。然后通过专家标注获取MOS、质量等级、缺陷标签、专家描述和问答对。设计三个感知任务（异常感知、缺陷诊断、可用性分级）和一个认知任务（开放质量报告），并采用多模板问题设计。对于开放报告，提出SSFRQ-5D五维评估协议（包括感知、诊断、可用性、解释、整体），通过人机一致性分析验证自动评估的可靠性。最后在14个模型（包括专有MLLMs、开源MLLMs、原生3D VLMs和传统PCQA基线）上进行实验，分析不同任务、数据源和模型下的表现。

Key Results:

• 当前模型在粗粒度缺陷感知上表现出初步能力，但在接地诊断和质量校准上存在明显瓶颈。
• 强2D多模态大模型普遍优于现有3D视觉语言模型。
• 额外视图或点云输入的收益非均匀，取决于任务、数据源和模型，尤其在边界模糊条件下。
• SSFRQ-5D评估协议与专家评估具有良好的一致性，验证了自动评估的可靠性。

Tech Stack:

• 点云质量评估（PCQA）方法：MS-GraphSIM、PCQM、MPED等全参考方法；IT-PCQA、GPA-Net、COPP-Net等无参考方法。
• 多模态大模型：14个视觉语言模型（包括专有和开源MLLMs、3D VLMs）。
• 评估协议：SSFRQ-5D五维评估（感知、诊断、可用性、解释、整体）。
• 数据集构建：专家标注、多模板问答设计、边界样本保留策略。
• 统计分析：人机一致性分析（如Kappa系数或相关分析）。

Strengths:

• 首次系统性地将点云质量评估从标量分数扩展到多维质量理解，填补了现有基准的空白。
• 数据集规模大、来源多样、标注丰富，支持多种任务，具有较高的实用价值。
• 提出SSFRQ-5D评估协议，解决了开放质量描述的可比较性问题，并通过实验验证其有效性。
• 广泛的模型基准测试揭示了当前模型的局限性和不同模态模型的差异，为未来研究提供了方向。

Limitations:

• 数据集规模（3,083个点云）相对于某些大规模基准仍较小，可能限制模型泛化能力。
• SSFRQ-5D评估协议虽然有效，但可能无法完全捕捉质量描述的所有细微差异。
• 实验主要基于现有模型，未提出新的点云质量理解模型，属于分析性工作。
• 对AI生成内容的覆盖可能不够全面，随着生成技术发展需持续更新。

Relevance To Keywords:

• 原生多模态大模型：论文基准测试了多个多模态大模型（MLLMs），包括2D和3D版本，与原生多模态大模型研究高度相关。
• 多模态大模型的理解和生成一体化：论文中的开放质量报告任务涉及生成式描述，与理解-生成一体化方向相关。
• 表征学习：点云质量评估依赖于有效的点云表征，论文中模型使用的投影、点级输入等涉及表征学习。
• 世界模型：点云质量评估可视为对3D世界感知质量的评估，与世界模型中对环境建模的质量要求间接相关。
• 强化学习、后训练：论文未直接涉及强化学习或后训练，但质量评估可作为奖励信号用于强化学习或模型微调，具有潜在关联。
• Model-Based RL、Representation Learning：论文未直接涉及，但点云质量评估可服务于基于模型的强化学习中的感知模块。

可验证奖励的强化学习（RLVR）在无标注轨迹的情况下训练推理模型，依靠分组 rollout 使策略暴露于替代推理路径，并由验证器对其进行评分。因此，Rollout 多样性已成为 RLVR 中的核心瓶颈，大多数现有方法通过调整温度、前缀或 rollout 选择来扩大探索范围。我们识别出一个结构上独特但被忽视的位置以扩大这种多样性：推理标记后的第一个 token。策略的 first-token 分布表现出尖锐峰值但正确性解耦的现象，且该 first-token 位置可以扩大 rollout 组覆盖的区域，而无需改变正确性信号。我们引入 REFT（基于 First-Token 多样化的 Rollout 探索），这是 RLVR 管道的一个轻量级添加，它从策略自身的 top-N 候选中均匀采样 first token 并均匀分配 rollout，其余组件保持不变。在生成的多样化 rollout 上训练，REFT 在四个基础模型（0.5B-7B）和三种难度设置下，相较于 DAPO 和 GRPO 基线，在综合 Pass@1、Pass@8 和 Pass@64 指标上均有所提升。

Reinforcement Learning with Verifiable Rewards (RLVR) trains reasoning models without labeled trajectories, relying on grouped rollouts to expose the policy to alternative reasoning paths and a verifier to score them. Rollout diversity has accordingly emerged as a central bottleneck in RLVR, with most existing methods broadening exploration through temperature, prefix, or rollout-selection adjustments. We identify a structurally distinguished but overlooked position for broadening this diversity: the first token after the reasoning marker. The policy's first-token distribution exhibits a sharply peaked yet correctness-decoupled phenomenon, and this first token position can broaden the regions a rollout group covers without altering the correctness signal. We introduce REFT (Rollout Exploration with First-Token Diversification), a light addition to the RLVR pipeline that samples first tokens uniformly from the policy's own top-$N$ candidates and allocates rollouts evenly, leaving every other component unchanged. Trained on the resulting diversified rollouts, REFT improves aggregate Pass@1, Pass@8, and Pass@64 over DAPO and GRPO baselines across four base models (0.5B-7B) and three difficulty regimes.

评分理由: 论文核心为 RLVR（可验证奖励强化学习）中的 rollout 多样性优化，提出 REFT 方法。Unify Models、World Models 及 MultiModal 相关性低，因论文未涉及模型统一、环境世界建模或多模态内容。MLLM 相关性中等偏高，因核心模型为大语言模型（虽未明确多模态）；model-based RL 相关性中等偏高，因任务属于强化学习范畴（尽管 RLVR 通常归类为无模型方法，但与 RL 紧密相关）。未检测到指定专家作者，无额外加分。加权总分为 28.0，高于动态及格分 26.5。

RLVR, First-Token Diversification, Rollout Diversity, REFT, Reasoning Models, Verifier, Pass@1

Chinese Title: 轨迹展开的起点：面向RLVR的低负载、高杠杆首令牌多样化策略

Summary: 本文针对强化学习与可验证奖励（RLVR）中轨迹多样性不足的问题，提出了一种轻量级方法REFT（Rollout Exploration with First-Token Diversification）。研究发现，在推理标记后的第一个生成令牌（首令牌）处，模型概率分布极为尖锐，但正确率却几乎平坦，即低概率首令牌仍能产生正确轨迹。首令牌虽语义负载低，却具有高杠杆效应：改变首令牌会改变后续所有令牌的条件分布，从而引导出不同的推理路径。REFT方法从策略自身的top-N候选首令牌中均匀采样，并将轨迹预算均匀分配，其余部分保持不变。在四个基础模型（0.5B-7B）和三个难度级别的数学基准上，REFT在Pass@1、Pass@8和Pass@64上均优于DAPO和GRPO基线。实验表明，REFT通过增加训练时的轨迹多样性和答案覆盖，减少了全错组和首令牌过度归因问题。

Innovations:

• 识别出首令牌位置是RLVR中一个被忽视但高杠杆的多样化切入点，该位置概率与正确性解耦。
• 提出REFT方法，通过均匀采样策略自身的top-N首令牌来保证首令牌覆盖，不改变后续解码和RL目标。
• 证明首令牌的多样化能有效增加后续连续区域的语义多样性，且不同首令牌的贡献互补。
• 揭示GRPO等分组RL方法会放大首令牌偏差，导致过度归因，REFT通过均匀分配缓解此问题。

Methodology: 论文首先通过诊断实验（使用Qwen2.5-3B-Instruct在GSM8K上）分析首令牌的概率分布与正确率关系，发现概率尖锐但正确率平坦。然后设计REFT方法：对每个提示，从策略的top-N有效首令牌中均匀采样K个，并将轨迹预算均匀分配，所有后续令牌使用原解码器生成。在训练中，REFT替换标准采样中的首令牌选择，其余组件（验证器、奖励、优势估计、RL目标、总轨迹数）不变。实验在四个基础模型（0.5B-7B）上使用GRPO和DAPO目标，在多个数学基准上评估Pass@k指标。

Key Results:

• 首令牌位置概率分布尖锐（top-1平均概率0.57），但正确率在top-20内几乎平坦（rank-1: 75.29%, rank-20: 70.40%）。
• 均匀采样top-20首令牌产生的后续连续区域语义多样性显著高于标准采样和固定首令牌采样。
• REFT在Pass@1、Pass@8、Pass@64上一致优于GRPO和DAPO基线，覆盖四个基础模型和三个难度级别。
• REFT减少了全错组比例，降低了首令牌的过度归因，增加了训练时的答案覆盖。

Tech Stack:

• GRPO (Group Relative Policy Optimization)
• DAPO (Dynamic Sampling Policy Optimization)
• PPO (Proximal Policy Optimization) 风格裁剪目标
• 组归一化优势估计 (Group-normalized advantage)
• 语义多样性度量 (基于嵌入的余弦相似度)
• 温度采样 (Temperature sampling)
• top-N候选采样 (Top-N candidate sampling)

Strengths:

• 方法轻量，仅修改首令牌采样，不改变RL算法本身，易于集成到现有RLVR流程。
• 诊断实验清晰揭示了首令牌的“低负载、高杠杆”特性，具有理论洞察。
• 实验覆盖多个模型规模和难度，结果具有泛化性。
• 缓解了分组RL中首令牌偏差和过度归因问题，提升了训练信号质量。

Limitations:

• 仅适用于具有显式推理标记（如<think>）的模型，对于无标记的模型可能需要调整。
• top-N的选择（如N=20）可能依赖任务和模型，需要调参。
• 论文主要聚焦数学推理，在其他领域（如代码、科学推理）的效果未验证。
• 未与更复杂的多样化方法（如熵树、轨迹分支）进行直接比较，仅对比了温度调整等简单基线。

Relevance To Keywords:

• 强化学习 (RLVR): 论文核心是改进RLVR中的轨迹多样化，直接相关。
• 世界模型: 论文未涉及世界模型，但RLVR可视为训练推理模型的一种方法，间接相关。
• 表征学习: 论文未直接讨论表征学习，但首令牌的多样化可能影响隐层表征分布。
• 模型基强化学习: 论文使用无模型RL（GRPO/DAPO），不涉及模型基方法。
• 原生多模态大模型: 论文实验基于语言模型，未涉及多模态，但方法可扩展至多模态。
• 多模态大模型的理解和生成一体化: 论文聚焦推理生成，与理解生成一体化有一定关联。
• 后训练: RLVR属于后训练阶段，论文方法直接应用于后训练。

用于工具使用型 LLM 代理的多轨迹推理（即生成多个推理尝试并在其中进行选择）得益于跨尝试的知识转移，从而使后续尝试能够避免早期尝试的误区。现有的跨轨迹记忆方法（轨迹级反思、原子事实提取、原始观测注入）均在单一任务和单一推理策略下进行评估，因此尚不清楚报告的增益是反映了记忆抽象本身的特性，还是反映了推理方法的特性。我们提出一个统一框架，沿两个维度分解记忆——转移范围（在扩展内 vs. 跨轨迹）以及转移内容的抽象——并在三种推理策略（best-of-N、beam search、蒙特卡洛树搜索 MCTS）下评估四种方法，该方法应用于涵盖 SQL、知识图谱 (Knowledge Graph) 和 CLI 环境的四个工具使用基准，且采用无验证器设置，以匹配实际代理的部署模式。实验矩阵表明推理方法是一个混淆因子：相同的记忆方法在相同示例下，在不同推理策略下会产生统计上显著不同的结果。反思仅在蒙特卡洛树搜索（MCTS）下达到显著性水平（在 best-of-N 下则不然）；扩展内注入（基于先前兄弟节点的结果对每个候选者进行条件化）仅有助于多样性匮乏的 beam search；而原子事实提取对精度无影响，但在具有可重用环境结构的任务上可将轨迹缩短 19%-26%。

Multi-trajectory inference for tool-use LLM agents - generating multiple reasoning attempts and selecting among them - benefits from transferring knowledge across attempts so that later ones avoid the pitfalls of earlier ones. Existing cross-trajectory memory methods (trajectory-level reflection, atomic fact extraction, raw observation injection) are each evaluated under a single inference strategy on a single task, making it unclear whether reported gains reflect properties of the memory abstraction or of the inference method. We propose a unified framework that decomposes memory along two axes -- the scope of transfer (within an expansion vs. across trajectories) and the abstraction of the transferred content -- and evaluate four methods under three inference strategies (best-of-N, beam search, MCTS) on four tool-use benchmarks spanning SQL, knowledge-graph, and CLI environments, in a verifier-free setting that matches the deployment regime of practical agents. The experiment matrix identifies the inference method as a confound: the same memory method produces statistically distinct results under different inference strategies on the same examples. Reflection reaches significance only under MCTS (not under best-of-N); within-expansion injection (conditioning each candidate on prior siblings' outcomes) helps only diversity-starved beam search; and atomic fact extraction is accuracy-neutral but shortens trajectories by 19-26% on tasks with reusable environmental structure.

评分理由: The paper proposes a unified framework for evaluating memory in LLM agent inference, aligning moderately with 'Unify Models' due to the methodological unification. It focuses on text-based tool use, limiting relevance to 'MLLM' and 'MultiModal' as no multi-modal inputs are involved. No world model learning is performed, scoring low on 'World Models'. The use of MCTS and beam search relates to planning in 'model-based RL', though it lacks explicit environment model learning.

Multi-trajectory inference, Tool-use LLM agents, Unified framework, Memory methods, Inference strategies, MCTS, Atomic fact extraction, Reflection

Chinese Title: 记忆何时有助于工具使用LLM代理的多轨迹推理？

Summary: 本文研究在工具使用LLM代理的多轨迹推理中，跨轨迹记忆（如反射、事实提取、原始观察注入）何时能提升性能。现有方法在不同推理策略和任务上评估不一致，难以区分记忆抽象与推理方法的影响。作者提出一个统一框架，将记忆分解为两个维度：转移范围（同层扩展内 vs. 跨轨迹）和抽象层次（原始、反射、事实提取），并推导出四种具体记忆方法。在无验证器（verifier-free）的部署设置下，对三种推理策略（best-of-N、波束搜索、MCTS）和四个工具使用基准（SQL、知识图谱、CLI）进行系统实验。主要发现：记忆的准确率效果依赖于推理策略——反射仅在MCTS下显著，跨兄弟注入仅帮助波束搜索；事实提取在准确率上中性但能缩短轨迹长度19-26%。研究揭示了推理方法作为混淆变量的重要性。

Innovations:

• 提出统一的记忆框架，按范围（同层扩展内 vs. 跨轨迹）和抽象层次（原始、反射、事实提取）分解记忆，并推导出四种具体方法（包括新方法Raw Sibling）。
• 在无验证器的部署设置下进行系统实证研究，覆盖记忆×推理×任务共12个实验单元（排除结构不可行组合），首次控制推理策略作为混淆变量。
• 发现三个关键结论：记忆的准确率效果依赖于推理策略；在MCTS下反射与原始观察注入的准确率无显著差异；事实提取在准确率中性但能提升效率。
• 识别推理方法作为混淆变量：相同记忆方法在不同推理策略下产生统计显著不同的结果。

Methodology: 论文采用实验矩阵方法，将四种记忆方法（No Memory、Raw Sibling、Reflection、LiTS-Fact）与三种推理策略（best-of-N、beam search、MCTS）组合，在四个工具使用基准（SQL、知识图谱QA、CLI等）上评估。排除结构不可行组合（如best-of-N不支持同层扩展记忆）。所有实验在无验证器设置下进行（任务验证器仅在评估时使用），匹配实际部署条件。使用统计显著性检验比较不同配置的准确率和轨迹长度。

Key Results:

• 反射（Reflection）仅在MCTS下显著提升准确率，在best-of-N下无显著效果。
• 跨兄弟原始注入（Raw Sibling）仅帮助多样性匮乏的波束搜索，对MCTS无显著帮助。
• 在较难的知识图谱QA基准上，MCTS下反射与原始兄弟注入的准确率统计上无显著差异。
• 事实提取（LiTS-Fact）在准确率上中性，但在具有可重用环境结构的任务上缩短轨迹长度19-26%。
• 相同记忆方法在不同推理策略下产生统计显著不同的结果，证明推理方法是混淆变量。

Tech Stack:

• LLM（大语言模型）作为基础策略
• MCTS（蒙特卡洛树搜索）
• Beam Search（波束搜索）
• Best-of-N采样
• 反射（Reflexion/LATS风格）
• 原子事实提取（基于mem0的嵌入相似度去重）
• SQL、SPARQL、CLI工具环境
• 统计显著性检验

Strengths:

• 系统性地比较了不同记忆抽象和范围，填补了现有研究缺乏统一比较的空白。
• 实验设计考虑了推理策略作为混淆变量，揭示了记忆效果的条件依赖性。
• 采用无验证器的部署设置，更贴近实际工具使用代理的应用场景。
• 覆盖多种工具环境（SQL、知识图谱、CLI），增强了结论的泛化性。

Limitations:

• 仅研究单任务实例内的跨轨迹记忆，未涉及跨任务记忆（如ExpeL、mem0）。
• 工具使用环境限定为可序列化或不可序列化，未涵盖更复杂的动态环境。
• 事实提取方法使用全量注入而非检索，可能受限于上下文窗口。
• 未探索记忆与在线学习（如强化学习）的结合，仅关注推理时记忆。

Relevance To Keywords:

• Unify Models: 论文研究LLM代理的推理与记忆，与统一模型框架间接相关。
• World Models: 工具使用代理与外部环境交互，记忆可视为环境知识的部分建模，相关。
• Representation Learning: 事实提取涉及从观察中学习结构化表示，相关。
• Model-Based RL: MCTS和记忆可视为基于模型推理的变体，但论文未涉及RL训练，相关性中等。
• 原生多模态大模型: 论文仅涉及文本/代码工具，未涉及多模态，相关性低。
• 后训练: 论文聚焦推理时记忆，不涉及模型后训练，相关性低。

大型语言模型（LLMs）在生成用于基于深度强化学习（DRL）的建筑能源管理的奖励函数方面展现出有前景的能力。然而，它们在异质性人口群体中可能展现或加剧居住者舒适度差异的潜力尚未得到探索。本文提出了 OccuReward 框架，旨在探究基于大型语言模型（LLMs）的奖励设计如何影响人口公平性。本文的贡献主要体现在三个方面：一是引入舒适度公平指数（CEI）作为一种新颖的反馈信号；二是提出了一种迭代式、公平感知的大型语言模型奖励塑造方法；三是分析了在这些精炼目标下深度强化学习（DRL）代理的性能。本研究利用来自 ASHRAE 全球热舒适数据库 II（13,440 个投票）的四个基于经验的居住者配置文件，在 CityLearn v2 平台上部署了一个软演员 - 评论家（SAC）代理。我们的方法采用 Gemini API 生成奖励函数逻辑和权重，而非执行每步推理，整个过程跨越三个精炼轮次。15 次实验运行的结果表明，老年女性居住者在初始轮次中一贯体验到最低的满意度。至第 3 轮，公平感知的大型语言模型精炼激活了特定的奖励组件，使得年轻男性（+17.6%）、中年女性（+28.2%）、健康敏感型（+53.8%）和老年女性（+567%）的满意度得到提升，同时能源成本降低了 3.2%。我们的发现表明，尽管奖励层面的干预显著改善了公平性，但基于人工智能的控制器中的人口差异依然存在，这亟需进一步研究建筑系统中的算法公平性。

Large language models (LLMs) have demonstrated promising capability in generating reward functions for deep reinforcement learning (DRL)-based building energy management. However, their potential to exhibit or exacerbate disparities in occupant comfort across heterogeneous demographic populations remains unexplored. We present OccuReward, a framework investigating how LLM-mediated reward design affects demographic equity. Our contribution is three-fold: the introduction of the Comfort Equity Index (CEI) as a novel feedback signal; a methodology for iterative, equity-aware LLM reward shaping; and a performance analysis of DRL agents under these refined objectives. Utilizing four empirically grounded occupant profiles from the ASHRAE Global Thermal Comfort Database II (13,440 votes), we deploy a Soft Actor-Critic agent in CityLearn v2. Our approach employs the Gemini API to generate reward function logic and weights--rather than performing per-step inference--across three refinement rounds. Results across 15 experimental runs reveal that elderly female occupants consistently experience the lowest satisfaction in initial rounds. By Round 3, equity-aware LLM refinement activates specific reward components that improve satisfaction for Young Males (+17.6%), Mid-aged Females (+28.2%), Health Sensitive (+53.8%), and Elderly Females (+567%), while simultaneously reducing energy costs by 3.2%. Our findings highlight that while reward-level intervention significantly improves equity, demographic disparities in AI-driven controllers persist, necessitating further research into algorithmic fairness in building systems.

评分理由: 论文核心在于利用 LLM 进行奖励塑造以解决建筑能源管理中的公平性问题。虽然使用了 Gemini API（属于 MLLM 范畴），评分为 6.0；但未涉及模型架构统一（Unify Models）、世界模型学习（World Models）或多模态数据融合（MultiModal），故相关度低（2.0）。算法采用 SAC 属于模型自由强化学习，非模型强化学习（model-based RL），故相关度低（2.0）。加权总分为 28.0，高于动态及格分 26.5。作者列表中不包含指定的专家。

LLM-Guided, Reward Shaping, Demographic Equity, Grid-Interactive Buildings, Comfort Equity Index, Deep Reinforcement Learning, Soft Actor-Critic

Chinese Title: OccuReward：基于大语言模型的以 occupant 为中心的奖励塑造方法，实现电网交互建筑中的人口公平性

Summary: 本文提出 OccuReward 框架，首次研究大语言模型（LLM）在深度强化学习（DRL）建筑能源管理奖励函数设计中对不同人口群体舒适度公平性的影响。利用 ASHRAE 全球热舒适数据库 II 中的 13,440 条真实投票构建了四个具有不同热偏好的人口档案（年轻男性、中年女性、健康敏感人群、老年女性），并引入舒适公平指数（CEI）作为反馈信号。采用 Soft Actor-Critic 智能体在 CityLearn v2 环境中进行实验，通过 Gemini API 生成奖励函数逻辑和权重，经过三轮迭代优化。结果表明，初始轮次中老年女性满意度最低，第三轮公平感知优化后老年女性满意度提升 567%，所有群体满意度均超过 0.5，同时能源成本降低 3.2%。研究揭示了奖励层面的公平干预虽有效，但人口差异仍存在，需进一步研究算法公平性。

Innovations:

• 首次提出舒适公平指数（CEI），基于 Jain 公平指数改进，用于量化建筑热舒适分布的不公平程度。
• 提出迭代式 LLM-in-the-loop 奖励塑造方法，通过 CEI 反馈引导 LLM 调整奖励权重，实现公平性优化。
• 基于 ASHRAE 数据库构建四个经验性人口档案（含年龄、性别、健康状态），为公平性评估提供真实数据基础。
• 发现公平感知奖励优化不仅能提升弱势群体满意度，还能同时降低能源成本，揭示 LLM 发现的高效权衡空间。
• 系统分析了奖励层面干预的局限性，指出即使 CEI 显著改善，老年女性仍为最差群体，需进一步研究设定点层面的公平控制。

Methodology: 首先从 ASHRAE 全球热舒适数据库 II 中筛选 13,440 条有效记录，根据年龄、性别和热舒适数据构建四个 occupant 档案，定义舒适温度范围为舒适投票（≥4）的空气温度四分位距，并赋予灵活性参数。然后定义舒适满意度函数（基于温度距离和灵活性）和 CEI（1 - Jain 公平指数）。实验使用 CityLearn v2.1.2 的 5 栋住宅区场景，Soft Actor-Critic 智能体（MLP 2×256，lr=3e-4，batch=256，50,000 时间步），每轮 5 个随机种子。通过 Gemini 1.5 Flash API 进行三轮奖励函数生成：第一轮仅能源目标，第二轮仅能源 KPI 反馈，第三轮加入 CEI 和每档案满意度反馈。奖励形式为加权和：R = -Σ w_i · KPI_i。分析权重演变和每档案满意度变化。

Key Results:

• 初始两轮（仅能源目标）中，老年女性满意度仅 0.12，CEI 为 0.19，其他群体满意度较高（0.65-0.85）。
• 第三轮公平感知优化后，老年女性满意度提升至 0.80（+567%），年轻男性 +17.6%，中年女性 +28.2%，健康敏感 +53.8%，所有群体均超过 0.5。
• 能源成本从 1.218 降至 1.179（降低 3.2%），同时 CEI 从 0.19 降至 0.0082。
• LLM 在第三轮调整了奖励权重，增加了太阳能和储能利用的权重，从而在维持较高室内温度的同时降低能源成本。
• 尽管公平性大幅改善，老年女性仍为最差群体（0.80 vs 其他 1.00），表明奖励层面干预不足以完全消除人口差异。

Tech Stack:

• ASHRARE Global Thermal Comfort Database II（13,440 条投票数据）
• CityLearn v2.1.2（建筑能源管理模拟环境）
• Soft Actor-Critic (SAC) 算法（Stable-Baselines3 实现）
• Gemini 1.5 Flash API（用于生成奖励函数逻辑和权重）
• Jain 公平指数（用于构造 CEI）
• Python（奖励函数编写与实验运行）
• MLP 2×256 网络结构，学习率 3e-4，batch size 256，50,000 时间步

Strengths:

• 首次将人口公平性引入 LLM 奖励设计领域，填补了建筑 AI 中算法公平性研究的空白。
• 基于真实大规模热舒适数据库构建 occupant 档案，具有实证基础。
• 提出 CEI 作为可量化的公平性反馈信号，便于迭代优化。
• 实验设计严谨，使用多随机种子和三轮对比，结果可靠。
• 发现公平性与能源效率可协同优化，具有实际应用价值。

Limitations:

• 老年女性样本量较小（n=298），可能影响档案代表性。
• 未包含老年男性档案，人口覆盖不完整。
• 仅使用单一 LLM（Gemini 1.5 Flash），未比较不同 LLM 的效果。
• 实验仅在 CityLearn 模拟环境中进行，未在真实建筑中验证。
• 奖励层面干预未能完全消除人口差异，需进一步研究设定点层面的公平控制。
• 未考虑 occupant 行为动态变化（如自适应行为）。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：论文使用 LLM（Gemini）作为奖励工程师，但未涉及多模态，相关性较弱。
• World Models / 表征学习：论文未涉及世界模型或表征学习，相关性低。
• Model-Based RL / 强化学习：论文使用 Model-Free RL（SAC），但属于强化学习应用，有一定相关性。
• 后训练：论文中 LLM 的奖励生成属于后训练阶段的 prompt 工程，但未涉及模型微调，相关性一般。

大型语言模型（LLMs）在一般语言理解和推理方面表现出卓越的能力。然而，它们在空间推理方面一贯表现不佳，这严重限制了其应用，特别是在具身智能（embodied intelligence）领域。受层次强化学习（hierarchical reinforcement learning）成功的启发，本文提出了一种用于 LLM 空间推理的层次任务分解新方法。我们的方法通过识别关键中间状态并生成简化子环境，引导 LLM 将复杂任务分解为可管理的子任务。然而，我们发现由于缺乏足够的空间先验（spatial prior），LLMs 往往无法推导出最优中间状态，导致次优的任务分解。为了解决这一局限性并增强其规划能力，我们提出了蒙特卡洛树搜索（MCTS）引导的组相对策略优化（M-GRPO），其中我们通过结合 LLM 的先验预测概率及其认知不确定性（epistemic uncertainty）来重新制定 UCT 公式。此外，我们实现了一个更精细的优势函数（advantage function），使模型能够学习最优路径规划。实验结果表明，我们的方法显著提高了 LLM 在空间任务（包括导航、规划和策略游戏）上的性能，达到了最先进的结果（state-of-the-art）。这项工作为 LLM 在现实世界中的应用铺平了道路。

LLMs have shown remarkable proficiency in general language understanding and reasoning. However, they consistently underperform in spatial reasoning that severely limits their application, particularly in embodied intelligence. Inspired by the success of hierarchical reinforcement learning, this paper introduces a novel method for hierarchical task decomposition in LLM spatial reasoning. Our approach guides LLMs to decompose complex tasks into manageable sub-tasks by identifying key intermediate states and generating simplified sub-environments. However, we identify that LLMs often fail to derive optimal intermediate states due to their insufficient spatial prior, leading to sub-optimal task decomposition. To address this limitation and enhance its planning capability, we propose the MCTS-Guided Group Relative Policy Optimization (M-GRPO), where we reformulate the UCT formula by incorporating the LLM's prior predictive probabilities alongside its epistemic uncertainty. Furthermore, we implement a more fine-grained advantage function, enabling the model to learn optimal path planning. Experimental results demonstrate that our method substantially improves LLM performance on spatial tasks, including navigation, planning, and strategic games, achieving state-of-the-art results. This work paves the way for LLMs in real-world applications.

评分理由: 论文核心在于利用层次化分解和强化学习（MCTS、GRPO）提升 LLM 的空间推理能力。与 Unify Models 和 World Models 关联度低，未涉及模型统一或生成式世界模型构建；与 MultiModal 关联度低，摘要未明确提及多模态输入；与 MLLM 关联度中等，属于 LLM 应用范畴；与 model-based RL 关联度较高，使用了 MCTS 搜索和策略优化，符合强化学习规划特征。加权总分为 28.0，高于动态及格分 26.5。作者列表中未包含指定的专家名单。

LLM Spatial Reasoning, Hierarchical Decomposition, MCTS, Policy Optimization, Task Decomposition, Strategic Games, Navigation Planning

Chinese Title: 解构空间复杂性：面向大语言模型空间推理的层次化分解方法

Summary: 大语言模型（LLM）在通用语言理解与推理方面表现出色，但在空间推理任务（如导航、规划、策略游戏）中持续表现不佳，严重限制了其在具身智能中的应用。受层次强化学习成功经验的启发，本文提出了一种新颖的层次化任务分解方法（HSRL），引导LLM通过识别关键中间状态并生成简化的子环境，将复杂空间任务分解为可管理的子任务。然而，LLM因缺乏充分的空间先验知识，往往无法推导出最优中间状态，导致次优分解。为解决此问题并增强其规划能力，作者提出了MCTS引导的组相对策略优化（M-GRPO），通过重新设计UCT公式，融入LLM的先验预测概率及其认知不确定性，并实现更细粒度的优势函数，使模型能够学习最优路径规划。实验结果表明，该方法在导航、规划和策略游戏等空间任务上显著提升了LLM性能，达到了最先进水平，为LLM在真实世界中的应用铺平了道路。

Innovations:

• 提出基于状态和环境分解的层次化推理框架（HSRL），区别于传统基于语言分解的方法，专门针对连续空间问题设计。
• 开发M-GRPO微调算法，将蒙特卡洛树搜索（MCTS）与组相对策略优化（GRPO）结合，通过修改UCT公式引入LLM先验置信度和认知不确定性，提升探索效率。
• 设计细粒度节点级优势函数，替代传统整条轨迹的粗粒度优势，实现更精确的信用分配，使模型能学习最优子目标序列。
• 仅需少量数据即可实现多级规划任务的灵活应用，并展现出强泛化能力。

Methodology: 本文采用两阶段方法：首先构建HSRL层次化框架，高层规划器（LLM）生成中间状态序列，环境处理器为每个子任务构建局部子环境，低层动作生成器在子环境中生成精确动作序列；若子任务不可解则动态扩展。其次，针对高层规划器生成次优中间状态的问题，提出M-GRPO在线微调算法：将中间状态生成建模为树搜索，利用LLM生成似然构建先验偏好，并基于困惑度定义不确定性探索因子，改进UCT选择公式；同时计算每个中间状态相对于其兄弟节点的细粒度优势值，用于策略梯度更新。训练过程迭代进行，直至满足终止条件。

Key Results:

• 在大型导航、物体规划和策略游戏基准测试上，HSRL+M-GRPO达到了最先进的性能。
• 相比标准CoT推理、ToT、ProgPrompt等方法，HSRL显著提升了空间推理成功率与规划最优性。
• M-GRPO有效解决了LLM因空间先验不足导致的次优分解问题，提高了中间状态序列的质量。
• 方法仅需少量训练数据，且能泛化到不同任务模态。

Tech Stack:

• 层次强化学习（Hierarchical Reinforcement Learning）
• 蒙特卡洛树搜索（MCTS）
• 组相对策略优化（GRPO）
• 上置信界算法（UCT）
• 困惑度（Perplexity）作为不确定性度量
• 平均对数似然（Average Log-Likelihood）
• 温度参数（Temperature τ）
• 优势函数（Advantage Function）

Strengths:

• 创新性地将层次分解从语言层面扩展到状态和环境层面，更适合连续空间推理。
• M-GRPO融合了MCTS的探索能力和GRPO的在线学习能力，且通过引入LLM内部置信度和不确定性改进了UCT，避免了高奖励但低置信度路径的干扰。
• 细粒度优势函数解决了长轨迹信用分配难题，提升了训练效率。
• 实验验证充分，在多个空间推理任务上取得SOTA，且数据效率高。

Limitations:

• 方法依赖LLM初始的空间推理能力，若基础模型过弱，高层规划器可能仍难以生成合理中间状态。
• MCTS树搜索和多次模拟可能带来较高的计算开销，实时性受限。
• 动态扩展子环境机制在最坏情况下会退化为原始全规模问题，可能无法完全避免复杂度爆炸。
• 论文未详细讨论在真实机器人环境中的部署挑战（如传感器噪声、动态障碍物）。

Relevance To Keywords:

• 多模态大模型：论文聚焦LLM的空间推理，属于多模态大模型在具身智能中的应用。
• 世界模型：层次化分解和子环境构建隐含了对环境结构的建模，与世界模型思想相关。
• 表征学习：LLM通过生成中间状态和子环境进行表征抽象，但未明确讨论表征学习。
• 模型强化学习：M-GRPO将MCTS与策略优化结合，属于模型强化学习范畴。
• 后训练：M-GRPO是一种在线微调（后训练）方法，用于提升LLM的规划能力。

由视觉 - 语言模型 (VLMs) 驱动的移动图形用户界面 (GUI) 代理将屏幕视为渲染的像素，并基于所见选择操作，因此它们无法可靠地区分可信界面元素与用户生成内容。我们提出了 MIRAGE（移动真实对抗性图形用户界面示例注入），这是一种通过将攻击者控制的文本置入普通用户生成内容区域，从而将良性移动截图转换为提示注入样本的流程，且无需修改代理、应用程序或操作系统。MIRAGE 分为三个阶段：Localizer（定位器）识别截图上的用户可控区域，Generator（生成器）合成上下文感知载荷并以应用程序的原生风格渲染它们，Curator（策展人）调节真实性并在应用程序、区域类型和攻击意图之间平衡样本。一个关键挑战在于，注入的截图必须在视觉上与真实用户内容无法区分，同时仍能误导代理；我们通过分离控制覆盖范围、真实性和分布平衡的阶段来解决这一问题。在一个涵盖十个应用程序和十一种攻击意图的 1,111 样本基准测试上，所有五个被评估的 VLM 代理均存在漏洞，攻击成功率为 23%-30%，且 MIRAGE 在人类真实性评分上高于最强的先前攻击（5 分制下分别为 3.02 和 2.52）。我们进一步发现，单样本真实性与攻击成功率不相关，因此仅靠视觉质量过滤无法可靠地防御此类威胁。

Mobile graphical user interface (GUI) agents driven by vision-language models (VLMs) perceive the screen as rendered pixels and choose actions from what they see, so they cannot reliably separate trusted interface elements from user-generated content. We present MIRAGE (Mobile Injection of Realistic Adversarial GUI Examples), a pipeline that turns benign mobile screenshots into prompt-injection samples by placing attacker-controlled text into ordinary user-generated content regions, without modifying the agent, the application, or the operating system. MIRAGE operates in three stages: a Localizer identifies user-controllable regions on the screenshot, a Generator synthesises context-aware payloads and renders them in the application's native style, and a Curator moderates realism and balances the samples across applications, region types, and attack intents. A key challenge is that an injected screenshot must stay visually indistinguishable from genuine user content while still diverting the agent; we address this by separating the stages that control reach, realism, and distributional balance. On a 1,111-sample benchmark spanning ten applications and eleven attack intents, all five evaluated VLM agents are vulnerable, with attack success rates of 23%-30%, and MIRAGE scores higher on human realism ratings than the strongest prior attack (3.02 versus 2.52 out of 5). We further find that per-sample realism and attack success are uncorrelated, so visual-quality filtering alone cannot reliably defend against this threat.

评分理由: 论文主要研究针对移动 GUI 代理（基于视觉语言模型）的安全攻击（提示注入），核心内容聚焦于安全性而非模型架构统一或强化学习算法。因此与 Unify Models、World Models 和 model-based RL 相关性极低（0 分）。由于代理基于 VLM（视觉语言模型）且涉及视觉与语言交互，与 MLLM 和 MultiModal 高度相关（7 分）。作者列表中未包含指定的专家。

Mobile GUI Agents, Prompt Injection, User-Generated Content, Vision-Language Models, Adversarial Attack, Context-Aware, Security Vulnerability

Chinese Title: MIRAGE：基于用户生成内容的上下文感知提示注入攻击移动GUI代理

Summary: 本文提出MIRAGE，一种针对移动GUI代理的视觉通道提示注入攻击方法。移动GUI代理通过视觉语言模型（VLM）将屏幕视为渲染像素，无法可靠区分可信界面元素与用户生成内容。MIRAGE通过三阶段流水线将良性移动截图转化为提示注入样本：定位器（Localizer）识别用户可控区域，生成器（Generator）合成上下文感知的恶意载荷并以应用原生风格渲染，策展器（Curator）审核真实感并平衡样本分布。在涵盖10个应用、11种攻击意图的1111个样本基准上，五种VLM代理均易受攻击，攻击成功率23%-30%，且MIRAGE的人类真实感评分（3.02/5）高于先前最强攻击（2.52/5）。研究发现样本真实感与攻击成功率无相关性（ρ=-0.03），因此视觉质量过滤无法可靠防御此类威胁。

Innovations:

• 首次针对移动GUI代理的视觉通道提出运行时提示注入威胁模型，攻击者仅控制用户生成内容区域，无需修改代理、应用或操作系统。
• 提出MIRAGE三阶段流水线（定位器、生成器、策展器），自动从良性截图中合成视觉逼真、上下文感知的注入样本，无需每应用代码或代理微调。
• 发现视觉真实感与攻击成功率无相关性（ρ=-0.03），表明视觉质量过滤无法可靠防御此类攻击。
• 攻击成功率主要由攻击意图驱动，而非模型身份或视觉真实感，意图在代理间形成三个稳定的利用层次。

Methodology: MIRAGE采用三阶段流水线：1）定位器（Localizer）通过多阶段VLM预测与OCR引导迭代收紧用户可控区域边界，并丢弃非用户可控区域；2）生成器（Generator）为每个区域和攻击意图生成上下文感知的恶意载荷，并以应用原生风格渲染；3）策展器（Curator）通过VLM后渲染审核与重试修正过滤伪影，并平衡数据集在应用、区域类型和攻击意图上的分布。评估使用五个VLM骨干模型（GPT-4o-mini等），在10个移动应用的353个独特（截图，用户目标）对上生成1111个攻击实例，测量攻击成功率（ASR）和人类真实感评分。

Key Results:

• 五种VLM代理均易受攻击，ASR范围23.0%-30.2%，GPT-4o-mini上最高（30.2%）。
• 跨应用鲁棒性良好，所有设置和攻击意图下ASR超过19%。
• MIRAGE的人类真实感评分（3.02/5）高于先前最强攻击（2.52/5）。
• 视觉真实感与攻击成功率无相关性（Spearman ρ=-0.03）。
• 攻击成功率主要由攻击意图驱动，意图形成三个利用层次（高、中、低）。

Tech Stack:

• 视觉语言模型（VLM）：Qwen-VL系列、GPT-4o-mini等
• 光学字符识别（OCR）：EasyOCR
• 自修正模式（self-refinement pattern）：Madaan et al. (2023)
• 攻击意图分类：11种意图（如点击、滑动、文本输入等）
• 评估指标：攻击成功率（ASR）、人类真实感评分（1-5 Likert量表）
• 统计方法：Spearman相关系数

Strengths:

• 威胁模型现实：仅通过用户生成内容区域注入，无需修改系统组件，符合实际攻击场景。
• 自动化程度高：三阶段流水线无需人工干预，可大规模生成多样化攻击样本。
• 评估全面：覆盖5种VLM、10个应用、11种攻击意图，样本量1111个。
• 发现重要机制：视觉真实感与攻击成功率无相关性，为防御设计提供关键洞察。

Limitations:

• 仅评估通用VLM作为GUI代理骨干，未测试原生GUI代理（如UI-TARS），因需要本地GPU。
• 攻击仅针对截图输入，未考虑动态交互或实时屏幕变化。
• 真实感评分基于人类评估，可能存在主观偏差。
• 未提出具体防御措施，仅指出视觉过滤无效。

Relevance To Keywords:

• 论文研究背景关键词涉及多模态大模型、世界模型、表征学习等，但本文主要关注移动GUI代理的安全漏洞（提示注入攻击），与这些关键词的直接相关性较低。
• 论文使用视觉语言模型（VLM）作为代理骨干，属于多模态大模型的应用，但未涉及理解与生成一体化、世界模型或强化学习。
• 论文的威胁模型和攻击方法可视为对多模态大模型安全性的研究，但与表征学习、后训练等主题关联较弱。

人工智能智能体在生物数据分析中日益有用，但现有的基准测试主要测试广泛的生物知识、可执行工作流或局部分析步骤，而非基于空间测量数据的端到端科学推理。我们引入 SpatialBench-Long，这是一个长时程空间生物学基准，其中智能体必须从原始或近原始数据和校准的实验上下文中推导生物学主张，且无需预设方法。SpatialBench-Long 包含 24 项评估，涵盖原发性胰腺导管腺癌 (PDAC)、工程化胶质母细胞瘤类器官和体内肿瘤、Cas9 谱系追踪肺腺癌，以及小鼠视神经衰老/干预系统，涉及 CosMx、Visium、Xenium、多重误差鲁棒荧光原位杂交 (MERFISH)、单细胞 RNA 测序 (scRNA-seq)、Slide-seq、Slide-tags、组织学和谱系记录数据。候选主张通过复现、独立科学家审查和轨迹检查进行强化。最终答案基于受控词汇和符号进行确定性评分，配套评分标准捕捉通过关键分析瓶颈的进展。在 SpatialBench-Long 基准测试中，三个模型 - 工具对在 72 次运行中的 8 次 (11.1%) 并列：Gemini 3.5 Flash / Pi terminal coding harness、GPT-5.5 / Pi，以及 GPT-5.5 / OpenAI Codex。SpatialBench-Long 测试智能体是否能超越执行程序化分析，从而从复杂空间测量中得出准确科学结论。

AI agents are increasingly useful for biological data analysis, but existing benchmarks mostly test broad biological knowledge, executable workflows, or localized analysis steps rather than end-to-end scientific reasoning over spatial measurements. We introduce SpatialBench-Long, a benchmark for long-horizon spatial biology in which agents must recover biological claims from raw or near-raw data and calibrated experimental context without prescribed methods. SpatialBench-Long contains 24 evaluations across primary pancreatic ductal adenocarcinoma (PDAC), engineered glioblastoma organoids and in vivo tumors, Cas9 lineage-traced lung adenocarcinoma, and mouse optic nerve aging/intervention systems, spanning CosMx, Visium, Xenium, multiplexed error-robust fluorescence in situ hybridization (MERFISH), single-cell RNA sequencing (scRNA-seq), Slide-seq, Slide-tags, histology, and lineage-recording data. Candidate claims are hardened through reproduction, independent scientist review, and trajectory inspection. Final answers are graded deterministically over controlled vocabularies and symbols with companion rubrics capturing progress through key analysis chokepoints. Across the SpatialBench-Long benchmark, three model-harness pairs tie at 8/72 runs (11.1\%): Gemini 3.5 Flash / Pi terminal coding harness, GPT-5.5 / Pi, and GPT-5.5 / OpenAI Codex. SpatialBench-Long tests whether agents can move beyond executing procedural analysis to deriving accurate scientific conclusions from complex spatial measurements.

评分理由: The paper introduces SpatialBench-Long, a benchmark for long-horizon spatial biology reasoning. It moderately relates to MLLM (4.0) and MultiModal (6.0) as it utilizes MLLMs (Gemini, GPT) and processes multimodal spatial data (imaging + sequencing). However, it does not propose unified models, world model architectures, or model-based RL algorithms, resulting in low scores for those keywords (1.0, 2.0, 1.0 respectively). The total weighted score is (1+2+4+6+1)*2.0 = 28.0, which exceeds the dynamic passing score of 26.5. None of the specified expert authors (Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang) appear in the author list.

Spatial Biology, Long-Horizon Reasoning, Benchmarking, AI Agents, Spatial Measurements, Scientific Claims, Verifiable Evaluation

Chinese Title: 长时程空间生物学的可验证基准测试

Summary: 本文提出SpatialBench-Long基准，用于评估AI代理从原始空间生物学数据中恢复复杂科学结论的能力。现有基准多测试广泛生物学知识、可执行工作流或局部分析步骤，缺乏端到端科学推理评估。该基准包含24个评估任务，覆盖胰腺导管腺癌、胶质母细胞瘤类器官、Cas9谱系追踪肺腺癌、小鼠视神经衰老/干预等系统，涉及CosMx、Visium、Xenium、MERFISH、scRNA-seq、Slide-seq、Slide-tags、组织学、谱系记录等多种数据模态。候选结论通过复现、独立科学家审查和轨迹检查强化，最终答案通过受控词汇和符号进行确定性评分，并辅以关键分析瓶颈的轨迹诊断。实验结果显示，Gemini 3.5 Flash/Pi、GPT-5.5/Pi和GPT-5.5/OpenAI Codex三个模型-工具组合在72次运行中各通过8次（11.1%），表明当前系统成功率低但非零，需进一步诊断分析。

Innovations:

• 首次提出端到端长时程空间生物学推理基准，要求AI代理从原始数据恢复科学结论而非执行局部步骤。
• 采用可验证的确定性评分与轨迹诊断相结合，通过受控词汇和符号实现客观评分，同时利用隐藏的瓶颈轨迹提供部分进展信息。
• 通过独立复现、随机专家审查和多模型轨迹检查来强化候选结论，排除不可复现的论文声明，确保基准可靠性。
• 覆盖多种空间生物学数据模态（空间转录组学、组织学、谱系记录等）和多个疾病系统，评估跨模态推理能力。
• 引入基于LLM的轨迹评分器，分析模型在关键分析决策点（如选择正确生物学比较、识别相关空间区域）的表现，提供诊断信号。

Methodology: 论文采用以下方法：1）从已发表研究中选取候选结论，通过独立复现、随机专家审查和多模型轨迹检查筛选出可复现的结论作为评估任务。2）为每个任务提供实验背景、原始或近原始数据、科学问题，并去除原始研究标识信息以防止记忆。3）设计确定性评分函数，基于受控生物学词汇、有序关系或方向标签对最终科学结论进行二进制通过/失败评分。4）构建隐藏的轨迹诊断瓶颈（如数据整合、区域分割、生物学比较选择等），由LLM评分器对模型轨迹进行评分，作为辅助诊断。5）在多个前沿模型（Gemini、GPT系列）和工具（Pi终端编码工具、OpenAI Codex）上运行基准，统计通过率和成本、回合数等指标。

Key Results:

• 在72次运行中，Gemini 3.5 Flash/Pi、GPT-5.5/Pi和GPT-5.5/OpenAI Codex各通过8次，通过率均为11.1%。
• 当前系统成功率低但非零，表明AI代理在长时程空间生物学推理上仍面临挑战。
• 轨迹诊断显示模型常在关键瓶颈处失败，如仅考虑单层原发肿瘤、选择错误方向等，但部分进展可被检测。
• 基准包含24个评估任务，覆盖4个研究系统（PDAC、GBM、肺腺癌、视神经）和9种数据模态。
• 通过独立复现和审查，排除了多个不可复现的候选结论，确保了基准的可靠性。

Tech Stack:

• 数据模态：CosMx、Visium FFPE、Xenium、MERFISH、scRNA-seq、Slide-seq、Slide-tags、H&E/trichrome组织学、Cas9谱系记录
• 模型：Gemini 3.5 Flash、GPT-5.5
• 工具：Pi terminal coding harness、OpenAI Codex
• 评分方法：确定性函数（基于受控词汇和符号）、LLM轨迹评分器（基于瓶颈rubric）
• 分析技术：空间差异表达、细胞邻域/生态位分析、参考映射、组织学-转录组对齐、等位基因距离计算

Strengths:

• 填补了现有基准在端到端科学推理评估上的空白，聚焦于从原始数据恢复结论而非局部步骤。
• 通过严格的复现和审查流程确保结论可复现，避免依赖不可靠的论文声明。
• 采用确定性评分与轨迹诊断结合，既提供客观通过率，又提供部分进展信息，有助于分析失败原因。
• 覆盖多种数据模态和疾病系统，评估跨模态推理和实验设计理解能力。
• 公开了评估任务和瓶颈rubric，便于后续基准更新和模型改进。

Limitations:

• 当前通过率极低（11.1%），可能反映任务难度过高或评分标准过于严格，需进一步校准。
• 确定性评分可能遗漏模型产生的有效但未预见的科学结论，导致假阴性。
• 轨迹诊断依赖LLM评分器，可能引入主观偏差或提示敏感性。
• 基准规模较小（24个评估），可能不足以全面代表空间生物学推理的多样性。
• 未评估模型在开放探索场景下的表现，仅针对预设结论的恢复。

Relevance To Keywords:

• 与“原生多模态大模型”和“多模态大模型的理解和生成一体化”有一定相关性：基准评估AI代理处理多模态空间生物学数据（转录组、组织学、谱系等）的能力，涉及跨模态理解和推理。
• 与“表征学习”和“世界模型”相关性较弱：基准不直接研究表征学习或世界模型构建，但评估的推理过程可能隐含对数据内在结构的表征。
• 与“强化学习”和“后训练”相关性低：基准未涉及强化学习或后训练技术，仅测试现有模型的推理能力。
• 总体而言，该论文主要贡献在AI代理评估领域，与关键词中的多模态大模型评估有间接关联，但非核心主题。

语音语言模型（SpeechLMs）通过将大型语言模型（LLMs）扩展至语音模态，取得了显著进展。然而，SpeechLM 评估仍主要集中于英语，限制了对多语言语音能力的可靠评估。通过 ASR（自动语音识别）、翻译、归一化和 TTS（文本转语音）进行直接的基准迁移可能会破坏语言特定的指令、答案约束和口语形式；对于音频理解而言，迁移源语言音频也无法保留目标语言说话人的属性、口音和副语言特征。为了解决这些局限性，我们提出了两种人机协作基准构建框架：一种是将源语言 SpokenQA 基准迁移至目标语言 SpokenQA 基准，另一种是利用转录文本和说话人元数据将目标语言 ASR 语料库转换为音频理解基准。利用这些框架，我们构建并公开发布了三个韩语语音基准：KVoiceBench 和 KOpenAudioBench 用于韩语 SpokenQA，以及 KMMAU 用于韩语音频理解，共计 12,345 个样本。我们评估了八个近期的 SpeechLMs，发现英韩性能差距在不同模型和任务族之间存在显著差异，且 SpokenQA 和音频理解的排名出现分歧，揭示了仅基于英语评估所无法发现的互补性弱点。

Speech language models (SpeechLMs) have achieved substantial progress by extending large language models (LLMs) to the speech modality. However, SpeechLM evaluation remains heavily centered on English, limiting reliable assessment of multilingual speech capabilities. Straightforward benchmark transfer through ASR, translation, normalization, and TTS can corrupt language-specific instructions, answer constraints, and spoken forms; for audio understanding, transferring source-language audio also fails to preserve target-language speaker attributes, accents, and paralinguistic properties. To address these limitations, we propose two human-agent benchmark-construction frameworks: one transfers source-language SpokenQA benchmarks into target-language SpokenQA benchmarks, and the other converts target-language ASR corpora into audio understanding benchmarks using transcriptions and speaker metadata. Using these frameworks, we construct and publicly release three Korean speech benchmarks: KVoiceBench and KOpenAudioBench for Korean SpokenQA, and KMMAU for Korean audio understanding, comprising 12,345 samples in total. We evaluate eight recent SpeechLMs and find that English-Korean performance gaps vary substantially across models and task families, and that SpokenQA and audio understanding rankings diverge, revealing complementary weaknesses invisible to English-only evaluation.

评分理由: 论文核心在于语音语言模型（SpeechLMs）的韩语基准测试与评估，而非模型架构的统一或强化学习算法。因此，'Unify Models'、'World Models' 及 'model-based RL' 相关性极低（1-2 分）。'MultiModal' 相关性较高（6 分），因 SpeechLMs 本质涉及语音与文本的多模态融合。'MLLM' 相关性中等（4 分），SpeechLM 属于多模态大模型范畴，但论文侧重基准构建而非模型架构创新。作者列表中未包含指定的 Yang Shi 等专家，故无额外加分。

SpeechLMs, Korean Speech Benchmarks, SpokenQA, Audio Understanding, Agent-Driven Framework, Multilingual Evaluation, Speech Language Models

Chinese Title: KVoiceBench、KOpenAudioBench和KMMAU：基于智能体驱动的韩语语音基准用于评估语音语言模型

Summary: 本文针对语音语言模型（SpeechLM）评估过度集中于英语的问题，提出了两种人机协作的基准构建框架：一种将源语言的口语问答（SpokenQA）基准迁移至目标语言，另一种利用目标语言的ASR语料库构建音频理解基准。基于这些框架，作者构建并公开了三个韩语语音基准：KVoiceBench（7,306样本）、KOpenAudioBench（2,835样本）和KMMAU（2,204样本），总计12,345样本。通过评估八个最新的语音语言模型，发现英语-韩语性能差距在不同模型和任务族间差异显著，且口语问答与音频理解的排名不一致，揭示了仅依赖英语评估无法发现的互补性弱点。该工作为多语言语音模型评估提供了可复现的基准构建方法。

Innovations:

• 提出可复现的人机协作框架，用于将源语言SpokenQA基准迁移至目标语言，包含地面真值修正、超翻译、语音友好归一化和TTS合成四个阶段。
• 提出利用目标语言ASR语料库构建音频理解基准的框架，通过规则生成、LLM生成和人工标注覆盖声学属性、词汇、语义和整体能力。
• 构建并公开了三个韩语语音基准（KVoiceBench、KOpenAudioBench、KMMAU），附带可审计的规则手册，便于其他目标语言复用。
• 通过评估八个最新SpeechLM，揭示了英语-韩语性能差距的非均匀性以及SpokenQA与音频理解排名的不一致性，证明仅英语评估的局限性。

Methodology: 采用两阶段人机协作框架：1）SpokenQA迁移：先通过两个LLM智能体（GPT-5.4和Gemini Pro）进行地面真值修正，再使用规则手册驱动的超翻译处理语言特异性问题，接着进行语音友好归一化，最后用TTS合成语音。2）音频理解构建：从韩语ASR语料库（KSS、KMSAV、Seoul Corpus）出发，根据能力类型选择方法：声学属性用规则从说话人元数据生成，词汇问题用规则从转录生成，语义理解用LLM生成问题并人工审核，整体能力用完全人工标注。

Key Results:

• 在10,719个源样本中，有578个（5.4%）在整理过程中被拒绝。
• 地面真值修正阶段发现221个错误，其中Web Questions错误率最高（13.4%）。
• 评估八个SpeechLM发现，韩语SpokenQA性能相比英语显著下降，但不同模型和任务族下降幅度不同。
• 音频理解与SpokenQA的排名模式不同，表明两者探测互补能力。

Tech Stack:

• GPT-5.4（OpenAI, 2026）作为评审智能体
• Gemini Pro（Gemini Team et al., 2024）作为元评审智能体
• TTS合成技术
• 规则手册驱动的超翻译方法
• 文本归一化（规则和神经方法）
• 韩语ASR语料库：KSS、KMSAV、Seoul Corpus

Strengths:

• 解决了直接翻译和TTS级联带来的语言特异性问题（如大小写、数字归一化错误）。
• 框架具有可复现性和可审计性，规则手册便于其他语言社区复用。
• 同时覆盖SpokenQA和音频理解两个互补维度，评估更全面。
• 公开了大规模韩语语音基准，填补了非英语SpeechLM评估的空白。

Limitations:

• 框架依赖LLM智能体进行修正和生成，可能引入自身偏差。
• TTS合成语音与自然语音存在差异，可能影响评估的生态效度。
• 仅针对韩语，框架在其他语言上的泛化性需进一步验证。
• 音频理解基准构建依赖已有ASR语料库，覆盖的声学场景和说话人多样性有限。

Relevance To Keywords:

• 原生多模态大模型：论文评估的SpeechLM属于多模态大模型（语音+文本），基准构建方法可推广至其他模态。
• 多模态大模型的理解和生成一体化：SpokenQA和音频理解评估了模型的理解能力，但未涉及生成；框架可扩展至生成评估。
• 表征学习：基准构建涉及语音表征的评估，但未直接研究表征学习方法。
• 世界模型：论文未涉及世界模型，但语音理解中的场景和声学属性与物理世界相关。
• 强化学习/后训练：论文未涉及训练方法，仅关注评估基准。

文献提出了各种针对经验风险最小化（Empirical Risk Minimization）的鲁棒替代方案，以应对分布偏移、标签噪声和有限样本退化等失效模式。例如分布鲁棒优化（Distributionally Robust Optimization）、标签平滑、邻域风险最小化（Vicinal Risk Minimization）以及 Mixup。然而，此类方法通常孤立地开发，迫使从业者预先选定单一的失效模式，即使对于该任务而言主导模式尚不明确。为解决这一问题，我们沿三个共同设计轴对现有方法进行了组织，并推导出一种可行的训练程序，该程序将鲁棒学习分解为顺序阶段（参考分布增强（Reference Distribution Enrichment）、输入空间扰动（Input-Space Perturbation）、标签空间扰动（Label-Space Perturbation）和样本级聚合（Sample-Level Aggregation）），每个阶段均可选择一种立场（悲观、中性或乐观）。这形成了一个统一的设计空间，在该空间中，联合超参数优化（Joint Hyperparameter Optimization）可以组合并配置适合当前任务的鲁棒性策略。在表格数据、图像和奖励建模基准上，联合超参数优化在各设置中与最佳单方法基线相当，为那些预先不知道哪种失效模式主导其任务的从业者提供了可靠的默认选项。

The literature has proposed various robust alternatives to empirical risk minimisation to address failure modes such as distribution shift, label noise and finite-sample degeneracies. Examples include distributionally robust optimization, label smoothing, vicinal risk minimization, and Mixup. However, such approaches are typically developed in isolation, forcing practitioners to commit a priori to a single failure mode even when the dominant mode for the task is unclear. To address this, we organize a broad class of existing methods along three common design axes and derive a tractable training procedure that decomposes robust learning into sequential stages (reference distribution enrichment, input-space perturbation, label-space perturbation, and sample-level aggregation), each with a choice of stance (pessimistic, neutral, or optimistic). This results in a unified design space in which joint hyperparameter optimization can compose and configure robustness strategies suited to the task at hand. Across tabular, image, and reward modeling benchmarks, joint hyperparameter optimization is competitive with the best single-method baseline in each setting, offering a reliable default for practitioners who do not know a priori which failure mode dominates their task.

评分理由: 1. Unify Models (8.0): 论文标题明确包含'Unification'，摘要中提出将多种鲁棒方法组织成统一的'设计空间'，高度契合'统一模型/方法'的核心思想。2. World Models (1.0): 论文未涉及世界模型、环境动力学建模或生成式世界模型相关内容。3. MLLM (1.0): 论文未提及多模态大语言模型、理解与生成一体化等核心内容。4. MultiModal (2.0): 论文在表格和图像数据上进行了实验，但重点在于鲁棒性而非多模态表征融合，相关性较弱。5. model-based RL (2.0): 论文提及'奖励建模'作为基准任务之一，属于 RL 相关领域，但方法论属于监督学习鲁棒优化，并非模型强化学习，相关性较低。加权总分 = (8+1+1+2+2)*2 = 28.0，高于动态及格分 26.5。

Robust Supervised Learning, Unification, Distributionally Robust Optimization, Hyperparameter Optimization, Reward Modeling, Failure Modes, Design Space

Chinese Title: 鲁棒监督学习的统一与优化

Summary: 本文针对监督学习中存在的多种失效模式（如分布偏移、标签噪声、有限样本退化）提出了一个统一的鲁棒学习框架。现有方法如分布鲁棒优化、标签平滑、邻域风险最小化和Mixup等通常针对单一失效模式设计，迫使实践者事先承诺一种模式，而实际任务中主导模式往往未知。作者将多种方法分解为三个正交的设计轴：参考分布、模糊集和去模糊原则，并推导出一个可分解的训练流程，将鲁棒学习分为参考分布丰富化、输入空间扰动、标签空间扰动和样本级聚合四个顺序阶段，每个阶段可选择悲观、中性或乐观立场。该框架将所有设计选择暴露为连续超参数，使得联合超参数优化能够自动组合和配置适合任务的鲁棒策略。在表格、图像和奖励建模基准上，联合优化与每个设置中最佳单一方法基线相当，为未知主导失效模式的实践者提供了可靠的默认方案。

Innovations:

• 提出了一个统一的三轴框架（参考分布、模糊集、去模糊原则），能够恢复多种现有鲁棒学习方法作为特例。
• 给出了线性模型下VRM、Mixup和W-DRO到修改后ERM目标的闭式约简，揭示了这些机制之间的定性关系。
• 推导了一个可分解的训练流程，将所有设计选择作为连续超参数暴露，支持联合超参数优化和端到端反向传播训练。
• 在表格、图像和奖励建模任务上验证了联合优化能够匹配或超越最佳单一方法，尤其在奖励建模中提升显著。

Methodology: 论文首先形式化定义了鲁棒监督学习的统一目标函数，包含参考分布Pref、模糊集U(Pref)和去模糊原则Φ三个组件。然后通过将模糊集分解为输入空间、标签空间和采样分布的结构化形式，推导出顺序训练流程：参考分布丰富化（如VRM、Mixup）、输入空间扰动（如对抗训练）、标签空间扰动（如标签平滑）、样本级聚合（如DRO/DFO）。每个阶段对应一个超参数，使得整个空间可通过超参数优化进行搜索。作者还针对线性模型和平方损失给出了几种方法的闭式正则化形式，以揭示其本质。实验部分在表格数据（UCI）、图像数据（CIFAR-10/100）和奖励建模（人类偏好数据）上比较了联合优化与各单一方法基线的性能。

Key Results:

• 联合超参数优化在多个基准上能够匹配或超越最佳单一方法，表明其作为默认策略的有效性。
• 在奖励建模任务中，联合优化带来的提升最为显著，因为该任务同时存在有限样本、标签噪声和分布偏移。
• 线性模型的理论分析表明，VRM、Mixup和W-DRO分别对应不同的正则化形式：VRM引入特征协方差正则化，Mixup引入特征-标签协方差正则化，W-DRO引入与决策边界距离相关的正则化。
• 在CIFAR-10/100上，联合优化在分布偏移场景下优于标准ERM和单一鲁棒方法。

Tech Stack:

• Wasserstein距离（W_p）用于定义模糊集
• KL散度用于定义模糊集
• 邻域风险最小化（VRM）
• Mixup数据增强
• 分布鲁棒优化（DRO）
• 分布有利优化（DFO）
• 标签平滑（Label Smoothing）
• 标签松弛（Label Relaxation）
• 对抗训练（Adversarial Training）
• 超参数优化（Hyperparameter Optimization）
• 反向传播（Backpropagation）
• 线性模型与平方损失闭式推导

Strengths:

• 提供了一个统一的视角，将多种看似不相关的鲁棒学习方法纳入同一框架，便于系统比较和组合。
• 训练流程可分解且所有设计选择连续化，使得自动超参数优化成为可能，降低了实践者的调参负担。
• 理论分析揭示了不同方法在简单模型下的本质联系，有助于理解其作用机制。
• 实验覆盖了多种数据类型和任务，验证了框架的通用性和实用性。

Limitations:

• 框架主要针对监督学习，未直接扩展到强化学习或世界模型等更复杂的设置。
• 理论分析限于线性模型和平方损失，对于非线性模型和更复杂损失函数的推广尚不明确。
• 联合超参数优化虽然有效，但计算成本可能较高，尤其是在大规模数据集上。
• 对于某些特定失效模式（如对抗性攻击），单一方法可能仍优于联合优化，框架的默认性并非绝对最优。

Relevance To Keywords: 论文主题为鲁棒监督学习，与关键词中的“Unify Models”高度相关，因为它统一了多种鲁棒学习方法。与“World Models”、“Model-Based RL”、“强化学习”等关键词的关联较弱，但鲁棒性在模型部署和后训练中具有潜在重要性。与“原生多模态大模型”、“多模态大模型的理解和生成一体化”无直接关系，但鲁棒训练技术可迁移至多模态场景。总体相关性中等，主要贡献在于统一框架而非特定于多模态或世界模型。

代理型大语言模型（Agentic LLMs）正日益被用于解决现实世界任务，其方式包括基于目标推理、调用工具以及与外部环境交互。强化学习（Reinforcement Learning, RL）为改进这些行为提供了自然框架，且近期智能体强化学习方法在各个领域均取得了显著成果。然而，智能体强化学习的训练动态仍知之甚少，这限制了我们诊断不稳定性并设计更有效训练算法的能力。在这项工作中，我们识别出智能体强化学习中一个此前未被充分探索的现象，我们将其称为周期性熵爆发（cyclical entropy eruption）。不同于单轮推理强化学习（其中熵通常会坍塌并保持低位），智能体强化学习训练表现出独特的反复循环模式：剧烈的熵爆发与随后的逐渐消退。我们将此动态分解为三个阶段，并对每个阶段分别提供理论与实证分析，解释了其周期性振荡背后的机制。我们进一步表明，退化模式（如句子重复和幻觉），一旦在爆发期间被习得，便可在跨周期中持续存在并累积。受这些发现启发，我们提出 SEAL（Separation-Enhanced Agent Learning），这是一种轻量级辅助损失，它在表示空间中分离正确与错误轨迹，直接针对熵爆发的根本原因。在多个基准测试、模型及强化学习算法上的实验表明，SEAL 能够稳定训练过程，并取得更强的下游智能体性能。

Agentic large language models are increasingly used to solve real-world tasks by reasoning over goals, invoking tools, and interacting with external environments. Reinforcement learning provides a natural framework for improving these behaviors, and recent agent RL methods have achieved strong results across domains. However, the training dynamics of agent RL remain poorly understood, limiting our ability to diagnose instabilities and design more effective training algorithms. In this work, we identify a previously underexplored phenomenon in agent RL, which we term cyclical entropy eruption. Unlike single-turn reasoning RL, where entropy typically collapses and stays low, agent RL training exhibits unique recurring cycles of sharp entropy eruption and gradual subsidence. We decompose this dynamic into three phases and provide theoretical and empirical analyses of each, explaining the mechanisms underlying its cyclical oscillation. We further show that degenerate patterns such as sentence duplication and hallucination, once acquired during eruption, can persist and accumulate across cycles. Motivated by these findings, we propose SEAL (Separation-Enhanced Agent Learning), a lightweight auxiliary loss that separates correct and incorrect trajectories in representation space, directly targeting the root cause of entropy eruption. Experiments across multiple benchmarks, models, and RL algorithms demonstrate that SEAL stabilizes training and yields stronger downstream agent performance.

评分理由: 论文聚焦于智能体强化学习的熵动力学与训练稳定性（SEAL 方法），与 MLLM（大语言模型智能体）及 model-based RL（强化学习范畴）存在一定关联，相关性中等；未涉及模型统一、世界模型构建或多模态处理，相关性较低。作者名单中未发现指定专家。加权总分 28.0，超过动态及格分 26.5。

Cyclical Entropy Eruption, Entropy Dynamics, Agent Reinforcement Learning, Agentic Large Language Models, SEAL, Representation Space, Training Stability, Auxiliary Loss

Chinese Title: 周期性熵爆发：智能体强化学习中的熵动态

Summary: 本文研究了智能体强化学习（Agent RL）中一种此前未被充分探索的现象——周期性熵爆发（Cyclical Entropy Eruption）。与单轮推理RL中熵通常下降并保持低位不同，智能体RL训练中熵会反复出现急剧爆发和逐渐消退的循环。作者将这一动态分解为三个阶段：熵下降、熵爆发和熵消退，并提供了理论和实证分析，解释了其循环振荡机制。研究发现，爆发期间获得的退化模式（如句子重复、幻觉）会在循环中持续累积。基于此，作者提出SEAL（Separation-Enhanced Agent Learning），一种轻量级辅助损失函数，通过在表示空间中分离正确与错误轨迹来减少梯度干扰，从而抑制熵爆发。实验表明，SEAL在多个基准、模型和RL算法上稳定了训练并提升了智能体性能。

Innovations:

• 首次识别并命名了智能体RL中的周期性熵爆发现象，揭示了其与单轮推理RL的定性差异。
• 将熵动态分解为三个相位（熵下降、熵爆发、熵消退），并提供了每个相位的理论解释和实证证据。
• 提出SEAL损失函数，通过分离正确与错误轨迹的表示空间来缓解梯度干扰，直接针对熵爆发的根本原因。
• 证明了熵爆发期间产生的退化模式（如句子重复、幻觉）会在训练循环中持续累积，影响最终性能。
• 在多个基准（AlfWorld、WebShop）、多种模型（Qwen2.5、Llama）和多种RL算法（GRPO、GIGPO）上验证了SEAL的有效性，包括在Llama上从训练崩溃恢复至79.69%成功率。

Methodology: 本文采用理论分析与实证研究相结合的方法。首先通过实验观察智能体RL训练中的熵动态，发现周期性爆发现象。然后利用信息论和梯度分析，将熵动态分解为三个相位，并给出每个相位的数学解释（如引理3.1关于格式门控学习主导早期训练）。接着，通过分析表示相似性导致梯度干扰的机制，提出SEAL损失函数，该损失在原始RL目标基础上增加一个辅助项，鼓励正确与错误轨迹在表示空间中分离。最后在AlfWorld、WebShop等任务上，使用GRPO和GIGPO算法，对Qwen2.5、Llama等模型进行训练，对比有无SEAL的性能和熵稳定性。

Key Results:

• 智能体RL训练中熵呈现周期性爆发和消退，而非单调下降。
• 早期训练中格式有效性快速提升，但语义学习受限于格式瓶颈。
• 熵爆发阶段，表示相似性导致梯度干扰，抑制正确轨迹似然，引发句子重复和幻觉。
• 熵消退阶段，多样性增加降低表示相似性，使正确轨迹重新获得梯度优势。
• SEAL损失有效稳定熵动态，提升AlfWorld准确率2.81%，WebShop成功率3.13%。
• 在Llama模型上，GRPO训练原本崩溃（0%成功率），添加SEAL后恢复至79.69%。

Tech Stack:

• GRPO (Group Relative Policy Optimization)
• GIGPO (Group-Interleaved Group Policy Optimization)
• AlfWorld (文本家居任务基准)
• WebShop (网页购物任务基准)
• Qwen2.5-7B, Llama系列模型
• 表示相似性分析（如余弦相似度）
• 辅助损失函数（SEAL）
• 信息论中的熵计算
• 格式有效性指标 (fmt) 和语义正确性指标 (sem)

Strengths:

• 发现了智能体RL中独特且重要的训练动态现象，填补了该领域理解空白。
• 提供了从现象到机制的完整分析链条，包括理论引理和实证验证。
• 提出的SEAL方法简单有效，且不增加推理成本，具有实用价值。
• 实验覆盖多个模型、任务和算法，结果具有泛化性。
• 论文结构清晰，从问题发现到解决方案逻辑连贯。

Limitations:

• 理论分析主要基于格式-语义因子分解的简化假设，可能不完全适用于复杂奖励设置。
• SEAL损失需要额外计算表示空间距离，可能增加少量训练开销。
• 实验仅在文本环境（AlfWorld、WebShop）上验证，未涉及多模态或具身环境。
• 对熵爆发周期长度的预测或控制缺乏深入探讨。
• 未与更复杂的正则化方法（如KL散度约束）进行系统比较。

Relevance To Keywords:

• Unify Models: 论文研究的是智能体强化学习，与统一模型概念间接相关，但未直接涉及多模态统一。
• World Models: 论文未涉及世界模型，相关性低。
• Representation Learning: 论文核心机制涉及表示空间中的相似性分析，SEAL直接优化表示分离，与表征学习高度相关。
• Model-Based RL: 论文使用无模型RL（GRPO/GIGPO），未涉及基于模型的RL，相关性低。
• 原生多模态大模型: 论文实验使用文本模型（Qwen、Llama），未涉及多模态，相关性低。
• 多模态大模型的理解和生成一体化: 论文关注文本智能体，不涉及多模态，相关性低。
• 表征学习: 同上，与表征学习高度相关。
• 世界模型: 低相关。
• 强化学习: 论文核心是强化学习训练动态，高度相关。
• 后训练: 论文中的RL训练属于后训练阶段，高度相关。

通过行为克隆学习视觉运动策略通常涉及模仿由人类操作员收集的专家演示。然而，自然的人类演示固有地包含高频噪声，例如间歇性抖动、停顿及动作抖动。训练策略直接模仿这些原始轨迹不可避免地会导致模型继承这些次优行为。这种问题在基于扩散的策略中尤为突出，其中迭代去噪步骤可能会无意中放大高频伪影，以牺牲有意义的细粒度细节为代价。为了解决这些局限性，我们提出了一种新颖的基于频率的算法，能够实现隐式频谱操纵和平滑动作生成。我们的方法，频率引导算子（Frequency Guidance Operator, FGO），通过逐步驱动噪声样本经过具有扩展频谱带的中间子频率流形，来引导扩散策略的生成过程。在 5 个基准上的 15 个机器人操作任务上验证，FGO 在增强动作平滑度和时间一致性方面表现卓越，同时保留了成功任务执行所需的细节。项目网站：https://henrywjl.github.io/frequency-guidance-operator/

Learning visuomotor policies via behavior cloning typically involves mimicking expert demonstrations collected by human operators. However, natural human demonstrations inherently contain high-frequency noise, such as intermittent jerks, pauses, and action jitter. Training policies to directly imitate these raw trajectories inevitably causes the model to inherit these suboptimal behaviors. This pathology is particularly pronounced in diffusion-based policies, where iterative denoising steps can inadvertently amplify high-frequency artifacts at the expense of meaningful fine-grained details. To address these limitations, we present a novel frequency-based algorithm that enables implicit spectral maneuvering and smooth action generation. Our method, Frequency Guidance Operator (FGO), steers the generation process of diffusion polices by progressively driving the noisy samples through intermediate sub-frequency manifolds with expanding spectral bands. Validated on 15 robotic manipulation tasks from 5 benchmarks, FGO achieves superior performance in enhancing action smoothness and temporal consistency while preserving the details necessary for successful task execution. Project website: https://henrywjl.github.io/frequency-guidance-operator/

评分理由: The paper focuses on frequency-guided diffusion policies for robotic manipulation. It shows low relevance to Unify Models, World Models, and MLLM (2.0) as it does not address model unification, environment modeling, or language processing. MultiModal relevance is moderate (4.0) due to visuomotor (vision-action) integration. Model-based RL relevance is moderate (4.0) as diffusion policies model action distributions within an RL context, though it primarily uses behavior cloning. Total weighted score is 28.0, exceeding the dynamic pass score of 26.5. No expert authors from the specified list are found.

Frequency Guidance Operator, Action Diffusion, Sub-Frequency Manifold, Visuomotor Policies, Behavior Cloning, Robotic Manipulation, High-Frequency Noise, Diffusion Policies

Chinese Title: 基于频率引导的子频流形遍历动作扩散

Summary: 本文提出了一种名为频率引导算子（FGO）的新型扩散策略引导机制，旨在解决行为克隆中人类演示数据包含高频噪声（如间歇性抖动、暂停和动作抖动）导致策略模型继承次优行为的问题。标准扩散策略在逆去噪过程中会无意放大高频伪影，而FGO通过隐式频谱操控实现平滑动作生成。该方法在训练阶段学习从噪声到不同截止频率的子频数据流形的多频带映射，在推理阶段通过线性组合基础频率和中间频率的噪声预测向量场，逐步将样本从低频流形推向全频流形，从而抑制高频噪声并保留细节。在15个机器人操作任务（5个基准）上的实验表明，FGO在成功率和动作平滑性上均优于现有方法，并提供了充分的消融研究验证设计有效性。

Innovations:

• 提出频率引导算子（FGO），一种在扩散逆过程中隐式施加频谱层次结构的引导机制，通过逐步遍历子频流形抑制高频噪声。
• 设计多频带映射训练策略，使模型学习从噪声到不同截止频率子频流形的条件预测，并引入基础频率采样概率pbase确保稳定基线。
• 提出k-f耦合（KFC）采样策略，在训练时根据噪声水平动态调整频率上限，避免模型在高噪声阶段浪费容量学习高频映射。
• 在推理阶段采用线性调度方案，同时增加截止频率fk和引导权重ωk，实现从低频到全频的平滑过渡。

Methodology: 论文采用扩散策略框架，结合离散余弦变换（DCT）进行频域分析。训练时，对干净动作序列应用低通滤波器得到子频序列，并扩展噪声预测器以条件化截止频率f；采用k-f耦合采样策略，根据扩散步k动态调整频率上限。推理时，对当前噪声动作分别应用基础频率和中间频率的低通滤波，得到两个子频输入，分别预测噪声后线性组合，组合权重和截止频率均按线性调度递增。通过逐步引导样本从低频流形过渡到全频流形，实现高频噪声抑制。

Key Results:

• 在15个机器人操作任务（包含4个模拟环境和1个真实环境）上，FGO在成功率和动作平滑性上均优于3D扩散策略（DP3）、DiT-Policy和FreqPolicy等基线。
• 消融实验验证了基础频率采样概率pbase和k-f耦合采样的有效性，以及频率调度和权重调度的必要性。
• FGO生成的动作轨迹具有更高的时间一致性和更低的抖动，同时保留了任务执行所需的细节。

Tech Stack:

• 扩散策略（Diffusion Policy）
• 离散余弦变换（DCT）及其逆变换（IDCT）
• 低通滤波器（Low-pass filter）
• U-Net骨干网络（DP3）
• 扩散Transformer（DiT）
• 噪声预测器（ϵθ）
• 线性调度（Linear schedule）
• k-f耦合采样（KFC Sampling）

Strengths:

• 创新性地将频域分析与扩散过程结合，提出显式的频率引导机制，有效抑制高频噪声而不损失细节。
• 方法通用性强，可集成到现有扩散策略架构（如DP3、DiT）中，提升性能。
• 实验充分，涵盖多个模拟和真实场景，消融研究深入，验证了各设计组件的贡献。
• 理论动机清晰，利用扩散过程的粗到细频谱特性，与人类决策过程类比合理。

Limitations:

• 推理时采用直接低通滤波近似子频噪声状态，可能引入轻微偏离流形的误差，论文虽验证了鲁棒性但未提供理论保证。
• 方法依赖于DCT变换，对于非平稳或长序列动作可能效果受限。
• 需要额外超参数（fbase, fmax, pbase, β等），调参成本较高。
• 仅在机器人操作任务上验证，未在更广泛的生成任务（如视频、音频）上测试。

Relevance To Keywords:

• Unify Models: 论文提出的FGO是一种通用引导机制，可集成到不同扩散策略架构中，体现了模型统一的思想。
• World Models: 扩散策略本身可视为学习动作生成的世界模型，FGO通过频域引导改进了该模型的生成质量。
• Representation Learning: 论文通过频域分解学习多频带表示，隐式地学习了动作的层次化表征。
• Model-Based RL: 行为克隆属于模仿学习，与基于模型的强化学习相关，FGO提升了策略的平滑性和鲁棒性。
• 原生多模态大模型: 论文涉及视觉（点云/图像）和动作模态，但未直接涉及多模态大模型，相关性较弱。
• 多模态大模型的理解和生成一体化: 论文聚焦动作生成，未涉及理解任务，相关性一般。
• 后训练: 论文方法属于训练和推理阶段改进，与后训练（如微调）概念有一定关联但非直接。

视觉 - 语言分割模型最近通过利用自然语言中表达的高层语义对象类别取得了优异的性能。然而，这种语义依赖限制了它们推理内在视觉属性（如形状、几何或纹理）的能力，而这些属性在许多实际应用中也至关重要。本文引入了语义无关且形状感知（Semantic-Agnostic and Shape-Aware, SANSA）分割，这是一种新的范式，要求分割模型仅基于非语义文本描述进行操作。为此，我们提出了两种生成 SANSA 分割提示的策略，分别基于词典约束或示例引导，两者均生成语义无关的文本描述。随后，这些提示在语义无关监督下用于微调分割模型。实验表明，与预训练的最先进模型相比，在 SANSA 提示上微调可使该新分割任务的 mIoU 提升高达 20%，同时在标准语义提示上保持强大性能。这些结果突显了低层和中层视觉推理对于提高视觉 - 语言分割模型的泛化性和可控性的重要性。

Vision-language segmentation models have recently achieved strong performance by leveraging high-level semantic object categories expressed in natural language. However, this semantic dependence limits their ability to reason about intrinsic visual properties such as shape, geometry, or texture, which are essential in many real-world applications. In this work, we introduce Semantic-Agnostic aNd Shape-Aware (SANSA) segmentation, a new paradigm that requires segmentation models to operate solely from non-semantic textual descriptions. To this end, we propose two strategies to generate SANSA segmentation prompts based on either dictionary constraints or example guidance, both generating semantic-agnostic textual descriptions. These prompts are then used to finetune segmentation models under semantic-agnostic supervision. Experiments show that finetuning on SANSA prompts yields up to a 20% mIoU improvement on this new segmentation task, compared to pretrained state-of-the-art models, while maintaining strong performance on standard semantic prompts. These results highlight the importance of low- and mid-level visual reasoning for improving the generalization and controllability of vision-language segmentation models.

评分理由: The paper focuses on vision-language segmentation, making MultiModal highly relevant (8.0) due to the integration of vision and language. MLLM is moderately related (3.0) as it involves vision-language models but specifically targets segmentation rather than large language model generation. Unify Models is low (2.0) as it proposes a specific segmentation paradigm (SANSA) rather than unifying multiple model architectures. World Models (1.0) and model-based RL (0.0) are largely unrelated as the paper does not involve environment dynamics or reinforcement learning. No expert authors from the target list were found in the author list.

Vision-language segmentation, Semantic-agnostic, Shape-aware, SANSA, Textual descriptions, Finetuning, Visual reasoning, Generalization

Chinese Title: 走向语义无关和形状感知的视觉语言分割模型

Summary: 本文提出了一种新的分割范式——语义无关且形状感知（SANSA）分割，要求模型仅基于物体的视觉属性（如形状、颜色、纹理）进行分割，而不依赖语义类别。现有视觉语言模型（VLM）如LISA在非语义查询上表现不佳，因为它们主要学习语义对齐。为此，作者设计了两种自动生成语义无关提示的策略：基于字典约束的DISP和基于示例引导的EXSP，并使用LLM后处理或LLM-as-a-judge过滤确保语义无关性。利用这些提示对LISA 7B模型进行LoRA微调，在COCO子集上实验表明，SANSA分割任务中mIoU提升高达20%，同时模型在标准语义提示上保持良好性能。该工作强调了低层和中层视觉推理对提升VLM泛化能力和可控性的重要性。

Innovations:

• 首次提出语义无关且形状感知（SANSA）分割范式，要求模型基于非语义视觉属性进行分割。
• 提出两种自动生成语义无关分割提示的策略：DISP（基于预定义字典约束）和EXSP（基于正负例引导）。
• 引入LLM后处理和LLM-as-a-judge过滤机制，确保生成的描述不包含语义信息。
• 通过微调LISA模型，在SANSA任务上实现显著性能提升（mIoU提升20%），同时保持语义分割能力。

Methodology: 首先，使用InternVL 2.5作为描述VLM，对目标物体进行裁剪（仅保留物体掩码区域），并输入提示生成语义无关描述。DISP策略强制VLM从预定义字典（包含颜色、形状、纹理等非语义词汇）中生成描述，再通过Mistral 7B LLM进行自然语言重述。EXSP策略提供正负例引导，允许更自由的描述，但使用LLM-as-a-judge（InternVL 2.5）过滤含语义的描述。然后，将生成的SANSA提示与原始图像输入LISA 7B分割VLM，采用LoRA微调LLaVA多模态模型和视觉解码器，损失函数为加权BCE和Dice损失（λ1=0.25, λ2=1）。

Key Results:

• 微调后的SANSA模型在语义无关分割任务上相比预训练LISA模型mIoU提升高达20%。
• 模型在标准语义提示上的分割性能未下降，保持了原有能力。
• LLM-as-a-judge过滤有效去除了EXSP描述中的语义词汇，提升了测试集质量。
• DISP和EXSP两种策略均能生成有效的语义无关提示，其中EXSP更具自然性。

Tech Stack:

• InternVL 2.5（描述VLM）
• Mistral 7B（LLM后处理）
• LISA 7B（分割VLM，基于LLaVA）
• LoRA（低秩适配微调）
• BCE损失（二元交叉熵）
• Dice损失
• Vision Transformer (ViT)
• Transformer架构

Strengths:

• 提出了一个新颖且实用的分割范式，填补了VLM在非语义视觉推理方面的空白。
• 自动生成提示的策略避免了人工标注，可扩展至大规模数据集。
• 微调方法轻量（LoRA），且能保持原有语义能力，具备实际部署价值。
• 实验设计清晰，对比了预训练模型和微调模型，验证了方法的有效性。

Limitations:

• 描述VLM（InternVL 2.5）仍可能产生语义偏差，尽管通过裁剪和过滤缓解，但无法完全消除。
• 仅基于LISA 7B模型进行实验，未验证在其他VLM（如GSVA、SegLLM）上的泛化性。
• 训练数据仅使用COCO子集（10k图像），规模有限，可能影响模型在复杂场景下的表现。
• 未探索不同字典大小或示例数量对生成质量的影响，策略参数未充分优化。

Relevance To Keywords:

• 原生多模态大模型：论文直接研究视觉语言模型（VLM），属于原生多模态大模型范畴。
• 多模态大模型的理解和生成一体化：LISA模型同时具备理解（文本引导分割）和生成（分割掩码）能力，本文微调进一步强化了理解非语义属性的能力。
• 表征学习：SANSA范式强调形状、纹理等低层视觉表征的学习，与表征学习密切相关。
• 世界模型：通过非语义属性推理，模型可学习物体在视觉世界中的几何和物理属性，有助于构建更鲁棒的世界模型。
• 强化学习/后训练：论文未直接涉及强化学习或后训练技术，但微调过程可视为一种后训练策略，相关性较弱。

文本驱动图像编辑进展迅速，但可靠地定位这些操作需要基于大规模像素标注数据集训练的图像操作定位（IML）模型，且目前尚无低成本方式规模化获取此类训练数据。我们观察到这些数据其实已隐藏其中：公开编辑数据集包含数百万个结构相同的（原始，编辑）对，可作为 IML 训练样本，仅缺少像素级掩码。自动恢复这些掩码并非易事：像素差分会被所有像素上的扩散诱导扰动所掩盖，而仅基于指令的定位仅能定位提示中描述的内容，遗漏了意外的编辑器附带效应。我们提出 SIGMA（语义差异指令定位掩码标注器），它在视觉基础模型骨干网络中执行语义特征差分，并通过双向跨模态精炼将指令衍生的空间先验注入该视觉流，当编辑器忠实实现用户意图时，放大意图编辑区域的差异信号。SIGMA 采用两个互补阶段进行训练：阶段 I 基于修复掩码进行监督；阶段 II 通过 VAE 往返噪声校准、EMA 自训练以及编辑噪声解耦损失来弥合扩散域偏移。SIGMA 在五个基准测试上优于现有的自动掩码生成器（F1 提升 12.20%，IoU 提升 11.16%）。当应用于公开编辑语料库时，它生成一个约 110 万样本的 IML 训练集，在五个数据集上使六种不同的检测器 F1 提升 18.34%，将此前未使用的编辑数据转化为 IML 的模型无关监督资源。一旦论文被接受，我们将发布完整代码库。

Text-driven image editing has advanced rapidly, but reliably localizing these manipulations requires image manipulation localization (IML) models trained on large pixel-annotated datasets, and there is still no low-cost way to obtain such training data at scale. We observe that these data already exist in disguise: public editing datasets contain millions of structurally identical (original, edited) pairs to IML training samples, lacking only pixel-level masks. Recovering these masks automatically is non-trivial: pixel differencing is overwhelmed by diffusion-induced perturbations across all pixels, and instruction-only grounding localizes only what the prompt describes, missing unintended editor side-effects. We propose SIGMA (Semantic-difference Instruction-Grounding Mask Annotator), which performs semantic-feature differencing in a vision foundation backbone and injects an instruction-derived spatial prior into this visual stream via bidirectional cross-modal refinement, amplifying the difference signal at intended-edit regions when the editor faithfully realizes user intent. SIGMA is trained in two complementary stages: Stage I supervises on inpainting masks; Stage II closes the diffusion-domain shift via VAE-roundtrip noise calibration, EMA self-training, and an edit-noise disentanglement loss. SIGMA outperforms existing automatic mask generators on five benchmarks (+12.20% F1, +11.16% IoU). When applied to public editing corpora, it produces a ~1.1M IML training set that improves six diverse detectors by +18.34% F1 across five datasets, turning previously unused editing data into a model-agnostic supervisory resource for IML. We'll release the full codebase as soon as the paper is accepted.

评分理由: 论文核心为文本驱动图像操作定位，与 MultiModal 高度相关（8 分）。SIGMA 统一了语义差异与指令定位，与 Unify Models 中度相关（3 分）。涉及多模态交互但未明确使用 LLM，与 MLLM 关联一般（3 分）。无世界模型或强化学习相关内容，故 World Models 和 model-based RL 得分为 0 分。作者列表中未包含指定专家，无额外加分。加权总分 28.0，高于动态及格分 26.5。

Text-driven Image Manipulation, Mask Annotation, Semantic Differencing, Instruction Grounding, Vision Foundation, Cross-modal Refinement, Image Editing Localization

Chinese Title: SIGMA: 基于语义差异与指令引导的掩码标注器用于文本驱动图像篡改定位

Summary: 本文针对文本驱动图像编辑的快速发展带来的篡改定位需求，提出了一种自动生成像素级掩码的标注器SIGMA。现有编辑数据集包含大量（原始，编辑）图像对但缺乏掩码，而像素级差分和指令接地方法均无法有效处理扩散模型引入的全像素扰动。SIGMA采用双分支架构：语义分支在冻结的DINOv2特征空间进行多尺度语义差异计算，指令分支通过解析编辑指令生成空间先验，并通过双向跨模态精炼模块融合两者。训练分两阶段：第一阶段利用修复掩码进行监督预训练，第二阶段通过VAE往返噪声校准、EMA自训练和编辑-噪声特征解耦损失适应扩散域。SIGMA在五个基准上F1提升12.20%，IoU提升11.16%，并利用公共编辑数据集构建了约110万样本的IML训练集，使六个检测器在五个数据集上F1平均提升18.34%。

Innovations:

• 将可扩展的IML标注重新定义为语义变化定位，指出像素差分和指令接地互补但单独不足。
• 提出SIGMA双分支框架，融合语义特征差分与解析指令接地，通过双向跨模态精炼实现互补。
• 设计两阶段训练策略：第一阶段监督预训练，第二阶段通过VAE往返校准、EMA自训练和编辑-噪声解耦损失克服域偏移。
• 利用SIGMA从公共编辑语料库构建百万级IML数据集，无需重新生成或人工标注，显著提升下游检测器性能。

Methodology: SIGMA包含四个核心组件：语义差分分支使用冻结DINOv2编码器提取多层级特征，通过多级差分模块和差分精炼块（DRB）生成视觉证据；指令接地分支通过语义变换解析器（STP）提取（原始概念、编辑概念、操作）三元组，利用LangSAM生成概念注意力图，再经动作条件空间融合（ACSF）得到意图图；双向跨模态精炼（BCMR）模块以非对称顺序堆叠交叉注意力，使语义分支先关注先验，指令分支再更新先验；最后通过掩码解码器预测二值掩码。训练采用两阶段：第一阶段在修复数据上监督学习，第二阶段在未标注编辑对上使用VAE往返零编辑校准、EMA自训练和编辑-噪声特征解耦损失。

Key Results:

• SIGMA在五个基准数据集上相比现有自动掩码生成器F1提升12.20%，IoU提升11.16%。
• 利用SIGMA从公共编辑语料库生成约110万IML训练样本，使六个不同检测器在五个数据集上F1平均提升18.34%。
• 消融实验验证了语义差分分支、指令接地分支和BCMR模块各自的有效性。
• 两阶段训练策略显著降低了扩散域中的假阳性。

Tech Stack:

• DINOv2-Base（冻结编码器）
• Qwen2.5-0.5B（语义变换解析器，上下文提示）
• GroundingDINO + SAM2.1（LangSAM）
• Transformer（差分精炼块中的自注意力和跨层注意力）
• VAE往返噪声校准
• 指数移动平均（EMA）自训练
• 编辑-噪声特征解耦损失
• 双线性插值、1×1卷积、ReLU、GELU激活

Strengths:

• 提出了一种新颖的自动标注范式，将编辑数据转化为IML训练资源，解决了数据瓶颈。
• 双分支设计有效融合了视觉差异和语言先验，克服了单一方法的缺陷。
• 两阶段训练策略巧妙利用修复数据预训练并适应扩散域，无需目标域标注。
• 实验充分，在多个基准和下游检测器上取得显著提升，具有实用价值。
• 代码将开源，促进可重复研究。

Limitations:

• 依赖指令解析器（Qwen2.5-0.5B）和视觉接地模型（LangSAM），其错误可能传播。
• 对于全局编辑（如风格迁移）指令先验较弱，主要依赖语义分支。
• 训练两阶段需要修复数据（如inpainting masks），可能不完全覆盖所有编辑类型。
• 计算开销：DINOv2、LangSAM和Transformer模块可能影响大规模部署效率。
• 仅针对文本驱动编辑，不涵盖其他类型篡改（如拼接、复制移动）。

Relevance To Keywords: 论文主要聚焦图像篡改定位，与给定关键词（统一模型、世界模型、表征学习、基于模型的强化学习、原生多模态大模型、多模态理解与生成一体化等）的直接相关性较低。但其中使用的DINOv2属于表征学习，指令解析和视觉接地涉及多模态理解，两阶段训练中的自训练和特征解耦与后训练思想有间接关联。整体而言，论文更偏向视觉取证和自动标注，而非多模态大模型或世界模型的核心方向。