我们提出世界 - 语言 - 动作 (WLA) 模型作为一类新的具身基础模型。WLA 将文本指令、图像和机器人状态作为输入，联合预测文本子任务、子目标图像和机器人动作，融合了类似世界 - 动作模型 (WAM) 中的 world modeling interface（世界建模接口）以从大量 egocentric videos（第一人称视角视频）中学习，以及类似 vision-language-action（VLA）模型中的 language reasoning（语言推理）能力以解决复杂的 long-horizon tasks（长周期任务）。WLA 的核心是一个 autoregressive（AR）Transformer 骨干，而不是像 WAM 那样的 bidirectional diffusion Transformer，用于预测 next state（下一状态），该状态包含 semantic-level（语义级）textual intention（文本意图）和互补的 fine-grained（细粒度）physical dynamics（物理动力学）。物理动力学基于专用的 World Expert（世界专家）通过 world modeling objective（世界建模目标）进行监督，并被利用来简化 Action Expert（动作专家）的状态 - 动作相关性表征。WLA 利用 meta-queries（元查询）使 world prediction（世界预测）隐式地影响 action generation（动作生成），以便前者在推理过程中可以被禁用。world prediction（世界预测）也可以被激活，以实现 test-time scaling（推理时扩展），从而改善机器人控制。我们的 WLA-0 原型，拥有 2B active parameters（20 亿激活参数），在 NVIDIA RTX 5090 上实现每次推理 40 毫秒。在 simulated（仿真）和 real-world（真实世界）环境中的评估表明，WLA-0 实现了 state-of-the-art（最先进的）多任务和 long-horizon（长周期）学习能力，例如在 RoboTwin2.0 Clean 上成功率为 92.94%，在 RMBench 上成功率为 56.5%。WLA-0 也有望直接从 cross-embodiment robot videos（跨具身机器人视频）中学习 novel tasks（新任务），而无需 action annotations（动作标注）。

We propose world-language-action (WLA) models as a new class of embodied foundation models. WLA takes textual instructions, images, and robot states as inputs to jointly predict textual subtasks, subgoal images, and robot actions, conjoining the \emph{world modeling interface} to learn from extensive egocentric videos as in the world-action model (WAM) and the \emph{language reasoning} capacities to solve complex long-horizon tasks as in vision-language-action (VLA) models. At the core of WLA lies an \emph{autoregressive (AR)} Transformer backbone, instead of a bidirectional diffusion Transformer as in WAMs, to predict the \emph{next state}, comprising the \emph{semantic-level} textual intention and complementary \emph{fine-grained} physical dynamics. The physical dynamics are supervised by the world modeling objective based on a dedicated World Expert, and are leveraged to ease the characterization of the state-action correlation for the Action Expert. WLA leverages meta-queries to make the world prediction \emph{implicitly} impact the action generation so that the former can be disabled during inference. The world prediction can also be activated to enable test-time scaling for improved robot control. Our WLA-0 prototype, with 2B active parameters, achieves 40 ms per inference on an NVIDIA RTX 5090. Evaluations across simulated and real-world environments demonstrate that WLA-0 achieves state-of-the-art multi-task and long-horizon learning abilities, e.g., 92.94\% success rate on RoboTwin2.0 Clean and 56.5\% success rate on RMBench. WLA-0 also holds the promise to learn novel tasks directly from \emph{cross-embodiment robot videos} without action annotations.

评分理由: 论文核心提出 WLA 模型统一世界建模、语言推理与动作合成，因此与 Unify Models、World Models、MultiModal 高度相关（9 分）；作为多模态基础模型，涉及视觉与语言处理，与 MLLM、Visual Encoder 中度相关（8/6 分）；基于状态预测的动作生成机制契合 model-based RL 理念（7 分）；Tokenizer 未作为核心创新提及（3 分）。作者列表中不包含指定的五位专家。

World-Language-Action Model, Unified World Modeling, Autoregressive Transformer, Embodied Foundation Models, Language Reasoning, Action Synthesis, Multi-modal Input

Chinese Title: 世界-语言-动作模型：统一世界建模、语言推理与动作合成

Summary: 本文提出世界-语言-动作（WLA）模型，一种新型具身基础模型。WLA以自回归Transformer为骨干，同时预测文本子任务、子目标图像和机器人动作，融合了世界-动作模型（WAM）的世界建模接口和视觉-语言-动作模型（VLA）的语言推理能力。其核心创新在于将下一状态分解为高层文本意图和低层物理动态，通过引入世界专家（World Expert）以端到端方式学习物理动态，并利用元查询（meta-queries）隐式影响动作生成，推理时可关闭世界专家以降低延迟。WLA-0原型仅2B激活参数，在RTX 5090上推理延迟约40ms，在RoboTwin 2.0和RMBench等模拟及真实环境任务中达到或超越当前最优水平，并支持从跨本体机器人视频中学习新任务。

Innovations:

• 提出将下一状态分解为高层文本意图和低层物理动态的双重表示，统一了语言推理与世界建模。
• 采用自回归Transformer骨干替代传统WAM中的双向扩散Transformer，实现文本生成与物理动态预测的联合。
• 引入世界专家（World Expert）和元查询（meta-queries）架构，实现端到端的隐式物理动态学习，推理时可丢弃世界专家以降低延迟。
• 支持测试时缩放（test-time scaling），通过激活世界预测进一步提升机器人控制性能。
• 能够从无动作标注的跨本体机器人视频中学习新任务，具备跨本体泛化能力。

Methodology: WLA采用自回归Transformer骨干网络，输入文本指令、图像和机器人状态，输出文本子任务、子目标图像和动作。通过元查询从骨干网络提取物理动态表示，世界专家基于该表示和当前状态预测未来视觉状态（VAE特征），动作专家则利用物理动态表示生成动作。训练时联合优化语言交叉熵损失、世界建模流匹配损失和动作流匹配损失。推理时世界专家可被禁用，仅保留骨干和动作专家以提升速度。

Key Results:

• WLA-0在RoboTwin 2.0 Clean上成功率达92.94%，在RMBench上成功率达56.5%，均为当前最优。
• 在Stack Cup真实任务中，WLA-0完成时间仅为基线WAM的一半，显示低延迟优势。
• 仅2B激活参数，无需具身预训练，推理延迟约40ms（RTX 5090）。
• 支持从无动作标注的跨本体视频中学习新任务，展现良好的可操控性和泛化性。

Tech Stack:

• 自回归Transformer（AR Transformer）
• 流匹配（Flow Matching）损失
• VAE（变分自编码器）特征表示
• 元查询（Meta-Queries）
• 扩散Transformer（Diffusion Transformer，如SANA-600M）
• 视觉-语言模型（VLM）初始化骨干
• 交叉熵损失

Strengths:

• 统一了世界建模、语言推理和动作合成，兼具WAM和VLA的优势。
• 端到端训练，避免了两阶段流水线的次优问题。
• 推理效率高（40ms），适合实时控制。
• 支持测试时缩放，可进一步提升性能。
• 在长时域、记忆依赖任务上表现突出，具备错误纠正能力。

Limitations:

• 世界专家仅预测单帧未来图像，可能丢失时序动态细节。
• 依赖预训练VLM，对语言理解能力的上限受限于所选VLM。
• 实验规模有限（2B参数），更大规模模型的效果尚未验证。
• 真实环境评估场景较少，泛化到更复杂动态环境的能力有待进一步验证。

Relevance To Keywords: 论文紧密围绕所给关键词：提出统一模型（Unify Models）框架，融合世界模型（World Models）与语言推理；采用表征学习（Representation Learning）中的VAE和元查询；属于模型基强化学习（Model-Based RL）范式；利用原生多模态大模型（VLM）作为骨干，实现理解与生成一体化（多模态大模型的理解和生成一体化）；后训练（Post-training）方面，通过联合训练实现端到端优化。

尽管视觉 - 语言模型（VLMs）展现出强大的视觉推理能力，但其空间推理能力仍主要局限于观测到的图像和基于文本的思维链。当仅有限的自我中心观测可用时，它们往往难以推断未观测到的布局，保持跨视图一致性，并从替代视角进行推理。在这项工作中，我们将此问题视为基于想象的思考，其中 VLMs 在推理过程中通过与世界模拟器交互主动获取想象的视觉证据。我们提出 Astra，一个代理式空间推理框架，该框架赋予 VLMs 动作条件化的视觉想象能力。具体而言，Astra 将 Astra-VL（一个强化学习（RL）训练的 VLM 策略）与 Astra-WM（一个基于 Bagel 的世界模拟器）相结合，后者根据上下文图像和自然语言相机运动生成新视角观测。为提供可靠的想象证据，Astra-WM 通过视图一致性调优进行训练，以提高不同视角之间姿态和内容的一致性。在强化学习（RL）阶段，我们提出一个世界模拟器闭环两阶段强化学习（RL）课程，以稳定工具使用探索，并提升模型仅在想象观测优于直接回答时才调用模拟器的能力。实验表明，世界模拟器和代理策略都是必要的：Astra-WM 在 MMSI-Bench 上将经模拟器增强的 Gemini-3-Flash 从 45.1 提升至 49.5，而 Astra-VL 在 MMSI-Bench 上将 Qwen3-VL 骨干模型从 29.8 提升至 38.8，在 MindCube 上从 36.8 提升至 42.7。这些结果表明，想象观测可以提供有用的空间证据，但有效的世界模型增强推理需要学习何时、何地以及如何想象。

While Vision-Language Models (VLMs) have shown strong visual reasoning capabilities, their spatial reasoning abilities remain largely constrained to the observed images and text-oriented chain-of-thought. They often struggle to infer unobserved layouts, maintain cross-view consistency, and reason from alternative viewpoints when only limited egocentric observations are available. In this work, we study this problem as thinking with imagination, where a VLM actively acquires imagined visual evidence by interacting with a world simulator during reasoning. We propose Astra, an agentic spatial reasoning framework that empowers VLMs with action-conditioned visual imagination. Specifically, Astra couples Astra-VL, an RL-trained VLM policy, with Astra-WM, a Bagel-based world simulator that generates novel-view observations from context images and natural-language camera motions. To provide reliable imagined evidence, Astra-WM is trained with view consistency tuning to improve pose and content consistency across views. In the RL stage, we propose a world-simulator-in-the-loop two-phase RL curriculum to stabilize tool-use exploration and advance the model's ability to invoke the simulator only when imagined observations improve over direct answering. Experiments demonstrate that both the world simulator and the agentic policy are necessary: Astra-WM improves simulator-augmented Gemini-3-Flash on MMSI-Bench from 45.1 to 49.5, while Astra-VL improves the Qwen3-VL backbone from 29.8 to 38.8 on MMSI-Bench and from 36.8 to 42.7 on MindCube. These results show that imagined observations can provide useful spatial evidence, but effective world-model-augmented reasoning requires learning when, where, and how to imagine.

评分理由: 论文核心在于将视觉语言模型（MLLM）与世界模型（World Models）结合，通过强化学习（model-based RL）实现具身空间推理，因此后三者得分较高（8-9 分）。'Unify Models'体现在 VLM 与模拟器的耦合架构中，得分为 7。'MultiModal'和'Visual Encoder'作为基础组件存在，但未作为主要创新点，得分中等（6-9 分）。'Tokenizer'在摘要中未提及，相关性最低（2 分）。

Agentic Visual Spatial Reasoning, World Simulators, Vision-Language Models, Imagination, Reinforcement Learning, Multi-modal, Consistency Tuning, Novel-view Synthesis

Chinese Title: 思考与想象：基于世界模拟器的智能视觉空间推理

Summary: 本文研究视觉语言模型（VLM）在空间推理中的局限性，即它们通常只能基于给定的图像进行推理，难以推断未观察到的布局、保持跨视角一致性或从替代视角推理。为此，作者提出Astra框架，将VLM与动作条件的世界模拟器相结合，使VLM能够主动通过调用模拟器获取想象的新视角观察，从而进行交互式空间推理。Astra包含两个核心组件：Astra-WM，一个基于Bagel的世界模拟器，通过视图一致性微调生成空间一致的想象图像；Astra-VL，一个基于Qwen3-VL的智能策略模型，通过世界模拟器在环的两阶段强化学习课程训练，学会何时、何处以及如何调用模拟器。实验表明，世界模拟器的质量和策略学习均至关重要：Astra-WM将Gemini-3-Flash在MMSI-Bench上的性能从45.1提升至49.5，Astra-VL将Qwen3-VL在MMSI-Bench上从29.8提升至38.8，在MindCube上从36.8提升至42.7。结果表明，有效的想象不仅依赖于生成器，更依赖于学习到的交互策略。

Innovations:

• 提出Astra框架，将VLM与动作条件的世界模拟器结合，实现交互式空间推理，使VLM能主动获取想象证据。
• 设计视图一致性微调（View Consistency Tuning）训练世界模拟器Astra-WM，确保生成图像在姿态和内容上与请求的相机运动一致。
• 提出世界模拟器在环的两阶段强化学习课程（two-phase RL curriculum），第一阶段学习有效调用模拟器，第二阶段鼓励选择性想象，避免过度依赖工具。
• 构建空间QA数据语料库，用于训练Astra-VL的策略，并设计姿态一致性和内容一致性评估指标验证模拟器质量。
• 将空间推理从内部重建问题转化为交互式证据获取问题，并验证了模拟器质量和策略学习对最终性能的协同作用。

Methodology: 论文采用以下技术路线：首先，基于Bagel模型构建世界模拟器Astra-WM，通过视图一致性微调（包括姿态一致性和内容一致性损失）训练，使其能根据自然语言相机运动指令生成空间一致的想象视图。其次，基于Qwen3-VL构建智能策略模型Astra-VL，使用世界模拟器在环的两阶段强化学习课程训练：第一阶段通过监督学习使模型学会有效调用模拟器，第二阶段通过强化学习（如PPO）鼓励模型在调用模拟器比直接回答更有用时才进行想象。同时，构建空间QA数据语料库，包含多视角图像、问题、答案以及模拟器调用轨迹，用于训练和评估。最终，在MMSI-Bench和MindCube等基准上评估整体框架性能。

Key Results:

• Astra-WM显著提升了模拟器质量：在姿态一致性评估中，Astra-WM生成的图像更符合请求的相机运动；在内容一致性评估中，场景内容和空间布局保持更好。
• 使用Astra-WM增强Gemini-3-Flash，在MMSI-Bench上从45.1提升至49.5，验证了高质量世界模拟器的必要性。
• 直接连接Qwen3-VL与模拟器会导致性能下降，而经过RL训练的Astra-VL将Qwen3-VL在MMSI-Bench上从29.8提升至38.8，在MindCube上从36.8提升至42.7。
• 两阶段RL课程有效：第一阶段使模型学会有效调用，第二阶段使模型学会选择性调用，避免无效想象。
• 消融实验表明，模拟器质量和策略学习缺一不可，两者协同才能实现有效想象。

Tech Stack:

• Bagel（基于扩散模型的图像生成器）
• Qwen3-VL（视觉语言模型）
• Gemini-3-Flash（闭源VLM）
• 视图一致性微调（View Consistency Tuning）
• 强化学习（PPO或类似算法）
• 两阶段RL课程（two-phase RL curriculum）
• 自然语言相机运动指令（camera-motion instruction）
• 姿态一致性评估（pose-consistency evaluation）
• 内容一致性评估（content-consistency evaluation）
• MMSI-Bench、MindCube（空间推理基准）

Strengths:

• 创新性地将空间推理建模为交互式证据获取过程，而非静态推理，更接近人类认知。
• 同时优化了世界模拟器质量和策略学习，揭示了二者协同的重要性。
• 两阶段RL课程设计合理，有效避免了工具滥用和无效想象。
• 实验设计全面，包括模拟器质量评估、消融实验和跨模型迁移验证。
• 开源项目页面和代码（推测）便于复现和后续研究。

Limitations:

• 世界模拟器仍可能生成不完美的图像，尤其在复杂场景或大角度旋转时，可能误导推理。
• 当前相机运动词汇表有限（仅5种运动类型），可能不足以覆盖所有空间推理需求。
• RL训练依赖模拟器在环，计算成本较高，且需要精心设计奖励函数。
• 仅在两个基准上评估，泛化性有待更多场景验证。
• 未讨论模拟器调用次数对推理效率的影响，可能在实际应用中产生延迟。

Relevance To Keywords:

• 世界模型（World Models）：Astra-WM作为世界模拟器，生成动作条件的新视角，体现了世界模型在推理中的应用。
• 强化学习（Reinforcement Learning）：Astra-VL通过RL训练学会何时调用模拟器，属于后训练阶段。
• 后训练（Post-training）：RL训练是在预训练VLM基础上进行的后训练，提升空间推理能力。
• 表征学习（Representation Learning）：视图一致性微调使模拟器学习到空间一致的视觉表征。
• 多模态大模型的理解和生成一体化：Astra结合了VLM的理解能力和生成模型的想象能力，实现一体化推理。
• 原生多模态大模型：Qwen3-VL作为原生多模态模型，被扩展为智能体。
• Model-Based RL：使用世界模拟器作为环境模型，进行基于模型的强化学习。

视觉 - 语言 - 行动 (VLA) 策略在长周期和高不确定性控制中仍显脆弱，因为单次动作解码提供的推理时间内的斟酌能力有限。显式思维链可以增加推理深度，但会引入令牌延迟以及间接的文本到动作接口。我们提出 MPCoT，一种基于奖励的多路径潜在推理框架，该框架初始化 M 个假设，在 K 个权重共享的步骤中对它们进行精炼，并在动作解码前对其进行软聚合。一个仅用于训练的路径偏好目标通过专家动作一致性、基于世界模型/视觉语言模型 (VLM) 的进展以及成功反馈来评估候选动作分支，从而使潜在路径评分器与下游执行质量对齐。MPCoT 保留了原始的 8 步动作接口，生成零推理令牌，并提供可配置的推理控制参数 (K, M)。在 LIBERO 和 CALVIN 数据集上采用匹配的实验协议，MPCoT 提升了长周期性能，消融实验证实了深度 - 宽度效应、置信度加权聚合以及基于奖励的路径监督的有效性。

Vision-Language-Action (VLA) policies remain brittle in long-horizon and high-uncertainty control, where one-pass action decoding provides limited inference-time deliberation. Explicit chain-of-thought can increase reasoning depth, but introduces token latency and an indirect text-to-action interface. We propose MPCoT, a reward-guided multi-path latent reasoning framework that initializes $M$ hypotheses, refines them for K weight-tied steps, and softly aggregates them before action decoding. A training-only path-preference objective evaluates candidate action branches with expert-action consistency, world-model/VLM-based progress, and success feedback to align the latent path scorer with downstream execution quality. MPCoT preserves the original 8-step action interface, generates zero reasoning tokens, and exposes configurable inference controls (K,M). Under matched protocols on LIBERO and CALVIN, MPCoT improves long-horizon performance, with ablations confirming depth-width effects, confidence-weighted aggregation, and reward-guided path supervision.

评分理由: 论文提出 MPCoT 框架，针对 VLA 策略在长视距控制中的脆弱性问题。'World Models' 和 'MultiModal' 评分最高，因摘要明确提及 world-model 评估且 VLA 属多模态任务；'model-based RL' 评分高，因多路径假设推理具有模型基规划特征；'MLLM' 评分较高，因依赖 VLM 骨干；'Unify Models' 评分中等，因统一了推理与动作流程；'Visual Encoder' 评分中等，为必要组件；'Tokenizer' 评分较低，仅涉及 token 接口设计。作者名单未包含指定专家。

MPCoT, Reward-Guided, Multi-Path, Latent Reasoning, Vision-Language-Action, Long-Horizon, World-Model, Test-Time

Chinese Title: MPCoT: 奖励引导的多路径潜在推理用于测试时可扩展的视觉-语言-动作模型

Summary: 本文提出MPCoT，一种奖励引导的多路径潜在推理框架，旨在提升视觉-语言-动作（VLA）策略在长时域和高不确定性控制中的表现。传统VLA采用一次性动作解码，缺乏推理时间；显式思维链虽增加推理深度，但引入令牌延迟和间接文本-动作接口。MPCoT在连续潜在空间中初始化M个假设，通过K个权重共享步骤进行细化，然后软聚合所有分支后再解码动作。训练时引入路径偏好目标，结合专家动作一致性、世界模型/VLM进度评估和成功反馈，使潜在路径评分器与下游执行质量对齐。MPCoT保持原始8步动作接口，不生成任何推理令牌，并提供可配置的推理控制（K, M）。在LIBERO和CALVIN基准上的实验表明，MPCoT显著提升了长时域任务成功率，消融实验证实了深度-宽度效应、置信加权聚合和奖励引导路径监督的有效性。

Innovations:

• 将VLA推理问题重新定义为测试时计算资源分配问题，在显式推理与浅层一次性控制之间寻求平衡。
• 提出循环多路径潜在推理模块，具有显式深度（K）和宽度（M）控制，不产生推理令牌，且保持原始动作接口不变。
• 引入奖励引导的路径偏好学习机制，利用动作一致性、世界模型/VLM进度和成功反馈训练路径评分器，使其在推理时无需奖励即可选择高质量路径。
• 在LIBERO和CALVIN上验证了深度与宽度的互补性、置信加权聚合的有效性以及奖励监督路径学习的优势。

Methodology: 基于OpenVLA-OFT骨干网络，插入潜在推理模块Rθ。首先通过视觉编码器、语言编码器和多模态融合得到潜在上下文ct，然后初始化M个潜在假设（使用可学习假设码和训练时扰动）。每个假设通过权重共享的残差MLP（Fθ）进行K步细化，更新时始终以ct为条件。训练时，每个细化后的分支解码为候选动作，并由固定世界模型/VLM评估器计算进度奖励，结合专家动作一致性和成功标签得到复合奖励，进而计算优势并训练路径评分器hω。推理时，评分器输出软权重，对M个分支进行置信加权聚合，再由不变的动作头解码为8步动作块。训练目标包括行为克隆、路径偏好损失和多样性正则化，并采用计算丢弃（compute dropout）采样子配置。

Key Results:

• 在LIBERO和CALVIN基准上，MPCoT（K=5, M=4）相比基线OpenVLA-OFT显著提升了长时域任务成功率。
• 消融实验表明，深度K和宽度M具有互补效应：增加深度可修正单路径错误，增加宽度可覆盖多种假设，两者结合效果最佳。
• 置信加权聚合优于平均聚合或硬选择，奖励引导的路径偏好学习显著提高了路径一致性（scorer偏好路径与最高回报路径的匹配度）。
• MPCoT仅增加约2.7%的参数，推理延迟随K×M线性增长，但无额外奖励查询或VLM调用。

Tech Stack:

• OpenVLA-OFT（骨干网络，8步动作块接口）
• 潜在推理模块：权重共享残差MLP（Fθ）
• 路径评分器：两层MLP（hω）
• 可学习假设码（embedding）
• 行为克隆（Behavior Cloning）损失
• 奖励引导路径偏好学习（advantage-weighted path selection）
• 多样性正则化（diversity regularizer）
• 计算丢弃（compute dropout）训练策略
• 世界模型/VLM进度评估器（训练时使用）

Strengths:

• 保持原始VLA动作接口不变，无需修改骨干网络或解码器，易于集成。
• 零推理令牌，避免显式CoT的延迟和间接性，推理高效。
• 提供可配置的深度和宽度控制，允许在测试时根据计算预算灵活调整。
• 训练后推理完全无需奖励、世界模型或VLM查询，仅依赖学习到的评分器。
• 在多个基准上验证了有效性，消融实验充分，分析深入。

Limitations:

• 推理延迟随K×M线性增长，在实时性要求高的场景可能受限。
• 训练时依赖世界模型/VLM评估器提供进度奖励，该评估器的质量直接影响路径偏好学习效果。
• 仅在仿真基准（LIBERO、CALVIN）上验证，未在真实机器人上测试。
• 假设码和扰动机制可能增加训练复杂度，且对超参数敏感。
• 论文未讨论与更先进骨干（如π0、UnifiedVLA）的兼容性，仅基于OpenVLA-OFT。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文提出的MPCoT框架与多模态大模型（VLA）紧密结合，利用世界模型/VLM作为训练时的进度评估器，属于世界模型的应用。潜在推理模块涉及表征学习（潜在空间中的假设初始化与细化）。奖励引导的路径偏好学习可视为一种基于模型的强化学习（使用世界模型提供奖励信号）。后训练方面，MPCoT在预训练VLA骨干上插入轻量模块进行端到端训练，属于后训练微调。
• 原生多模态大模型，多模态大模型的理解和生成一体化: VLA本身是视觉-语言-动作的多模态模型，MPCoT增强了其推理能力，但未改变多模态融合架构，属于对现有模型的增强。

尽管 vision-language models (视觉 - 语言模型) 在通用多模态理解方面表现出色，但它们仍难以应对 visual spatial planning (视觉空间规划)。我们将此归因于 perception-reasoning modality gap (感知 - 推理模态鸿沟)：visual planning (视觉规划) 要求模型从像素中推断 latent state structures (潜在状态结构)，随后基于恢复的结构进行推理以生成 valid actions (有效动作)，而 symbolic planning (符号规划) 则直接利用 explicit objects and constraints (显式对象和约束)。这造成了 visual state recovery (视觉状态恢复) 与 multi-step planning (多步规划) 的双重瓶颈。为解决这一问题，我们提出了 MGSD，一种 two-stage modality-gap-aware self-distillation framework (两阶段模态感知自蒸馏框架)。首先，cold-start grounding stage (冷启动定位阶段) 为 visual student (视觉学生模型) 配备可靠的状态表示，minimizing early perception noise (最小化早期感知噪声)。其次，privileged teacher (特权教师) 通过 on-policy distillation (策略内蒸馏) 转移规划能力，利用 explicit symbolic states (显式符号状态) 监督 student's own visual rollout prefixes (学生自身的视觉展开前缀)。关键在于，symbolic data (符号数据) 仅在训练期间严格使用，inference (推理) 过程则完全基于视觉。在 visual planning benchmarks (视觉规划基准) 上的实验表明，MGSD 在 4B 和 8B backbones (骨干网络) 上一致地提高了 visual planning (视觉规划) 性能，macro average (宏平均) 分别提升了 19.3% 和 18.4%。所得模型缩小了与 symbolic-input upper bounds (符号输入上界) 之间的差距，而 ablations (消融实验) 和 diagnostics (诊断) 证实 improvement (改进) 源于 visual state recovery (视觉状态恢复) 与 optimal-path reasoning (最优路径推理)。这些结果表明，modality-gap-aware self-distillation (模态感知自蒸馏) 不仅改进了模型感知 actionable states (可操作状态) 的方式，也改进了其在 inferred structure (推断结构) 上的规划方式。代码可在 https://github.com/Oranger-l/MGSD 获取。

While vision-language models excel at general multimodal understanding, they still struggle with visual spatial planning. We attribute this to a perception-reasoning modality gap: visual planning requires models to infer latent state structures from pixels and then reason over the recovered structure to produce valid actions, whereas symbolic planning directly leverages explicit objects and constraints. This creates dual bottlenecks in visual state recovery and multi-step planning. To address this, we propose MGSD, a two-stage modality-gap-aware self-distillation framework. First, a cold-start grounding stage equips the visual student with reliable state representations, minimizing early perception noise. Second, a privileged teacher transfers planning capabilities via on-policy distillation, using explicit symbolic states to supervise the student's own visual rollout prefixes. Crucially, symbolic data is used strictly during training, leaving inference purely visual. Experiments on visual planning benchmarks show that MGSD consistently improves visual planning across both 4B and 8B backbones, raising the macro average by 19.3% and 18.4%, respectively. The resulting models narrow the gap to symbolic-input upper bounds, while ablations and diagnostics confirm that the improvement comes from both visual state recovery and optimal-path reasoning. These results suggest that modality-gap-aware self-distillation improves not only how models perceive actionable states, but also how they plan over the inferred structure. Code is available at https://github.com/Oranger-l/MGSD.

评分理由: 论文核心在于解决视觉空间规划中的模态鸿沟，通过自蒸馏框架统一视觉感知与符号推理。MLLM 和 MultiModal 高度相关（基于视觉语言模型及视觉 - 符号模态交互）；World Models 和 model-based RL 高度相关（涉及状态恢复、rollout 及规划）；Visual Encoder 是视觉学生模型的基础组件（高相关）；Unify Models 中等相关（能力统一而非架构统一）；Tokenizer 未作为核心贡献提及（低相关）。作者列表中不包含指定的 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 专家，故无加分。加权总分 69.0，远超动态及格分 27.8。

Visual Spatial Planning, Modality-Gap-Aware Self-Distillation, Symbolic State, Visual State Recovery, Vision-Language Models, Perception-Reasoning Gap, Multi-step Planning

Chinese Title: 从符号状态学习视觉空间规划：基于模态差距感知的自蒸馏方法

Summary: 本文针对视觉语言模型在视觉空间规划任务中表现不佳的问题，提出其根源在于感知-推理模态差距：视觉规划需要模型从像素中推断潜在状态结构并推理，而符号规划直接利用显式对象和约束。为弥合这一差距，作者提出了MGSD框架，包含两个阶段：冷启动感知对齐阶段，通过监督微调使视觉学生模型获得可靠的状态表示；特权教师阶段，利用显式符号状态对学生自身的视觉滚动前缀进行在线策略蒸馏，传递规划能力。训练时使用符号数据，推理时仅需视觉输入。在多个视觉规划基准上，MGSD在4B和8B骨干模型上分别将宏平均提升19.3%和18.4%，缩小了与符号输入上限的差距。消融实验和诊断分析表明，改进源于更好的视觉状态恢复和最优路径推理。

Innovations:

• 将视觉空间规划形式化为视觉与符号表示之间的感知-推理模态差距，并明确分解为视觉状态恢复和多步规划两个瓶颈。
• 提出MGSD两阶段框架：冷启动感知SFT用于可靠状态接地，符号引导的在线策略自蒸馏用于在视觉学生自身轨迹上转移规划行为。
• 利用符号状态作为特权训练监督，但推理时完全依赖视觉输入，无需符号信息或人工推理链。
• 通过反向KL散度优化学生滚动轨迹，实现模态差距感知的蒸馏，同时改善感知和推理能力。

Methodology: MGSD采用两阶段训练策略。第一阶段：感知导向的监督微调（SFT），使用从符号环境注释自动生成的结构化感知问题（如物体位置、障碍物等）训练视觉模型，使其可靠地恢复状态变量。第二阶段：符号引导的在线策略自蒸馏（OPSD），视觉学生从图像和问题生成推理滚动，冻结的符号教师基于符号状态、参考动作计划和学生前缀提供逐token的上下文蒸馏信号，优化反向KL散度目标。推理时丢弃教师，学生仅从视觉输入进行空间规划。

Key Results:

• 在视觉规划基准上，MGSD在4B骨干模型上将宏平均从11.2提升至30.5，在8B骨干模型上从17.2提升至35.6。
• 缩小了与符号输入上限的差距，表明模态差距得到有效缓解。
• 消融实验证实两个训练阶段均不可或缺，诊断分析表明改进来自更好的视觉状态恢复和更强的最优路径推理。

Tech Stack:

• 视觉语言模型（VLM）骨干：4B和8B规模
• 监督微调（SFT）
• 在线策略自蒸馏（OPSD）
• 反向KL散度（Reverse-KL）
• 符号状态表示（显式对象、约束、转换）
• 自动生成感知问题（从符号环境注释）
• 逐token上下文蒸馏信号

Strengths:

• 清晰定义了视觉空间规划中的模态差距，并提供了系统性的解决方案。
• 两阶段设计合理：先对齐感知，再蒸馏推理，避免了早期噪声干扰。
• 利用符号状态作为特权信息，但推理时无需符号输入，保持了实际可用性。
• 实验充分，在多个骨干和基准上取得显著提升，并进行了详细的消融和诊断分析。
• 代码开源，便于复现和进一步研究。

Limitations:

• 依赖训练时符号状态的可用性，对于无法获得符号状态的环境（如真实世界图像）可能不适用。
• 冷启动SFT需要自动生成感知问题，其质量可能影响后续蒸馏效果。
• 在线策略蒸馏的计算成本较高，需要教师模型在每步滚动中提供反馈。
• 实验仅在网格导航、路径查找和物体交互等特定规划任务上验证，泛化性有待进一步检验。

Relevance To Keywords:

• Unify Models: 论文使用统一的VLM骨干，通过蒸馏将符号规划能力融入视觉模型，体现了多模态模型的统一。
• World Models: 视觉状态恢复可视为构建世界模型的一部分，符号状态提供了显式的世界表示。
• Representation Learning: 冷启动SFT学习从像素到符号状态的映射，属于表征学习。
• Model-Based RL: 规划任务本身可视为基于模型的控制，蒸馏过程类似于从符号教师学习规划策略。
• 原生多模态大模型: 工作基于VLM，旨在提升其视觉空间规划能力，属于多模态大模型后训练。
• 多模态大模型的理解和生成一体化: 模型需要理解图像并生成动作序列，体现了理解与生成的结合。
• 表征学习: 同上。
• 世界模型: 同上。
• 强化学习: 在线策略蒸馏与强化学习中的策略优化有相似之处，但并非标准RL。
• 后训练: 两阶段训练属于后训练阶段，提升模型特定能力。

端到端自动驾驶模型往往难以在多模态机动生成与实时推理约束之间取得平衡。尽管扩散模型能够成功捕捉多样的驾驶行为，但其迭代去噪过程产生的延迟对于安全关键部署而言是不可接受的。为此，我们提出 CLEAR（认知与潜在评估自适应路由）框架，该框架结合了超快速生成规划与深度语义推理。CLEAR 采用 Drive-JEPA 作为视觉编码器，并在 VAE 潜在空间中用单步条件漂移取代多步去噪链，同时引入一个条件系数以平衡多样性与专家精度。与此同时，我们在驾驶问答对上对 Qwen 3.5 0.8B 进行全微调，以提取场景感知隐藏状态。这些状态同时指导一个自适应调度器（从预定义的离散方案集中选择条件系数 α 和样本数 N）和一个交叉注意力评分器（从候选轨迹中选择最优轨迹）。在 NAVSIM v1 基准测试上，CLEAR 实现了 93.7 的最先进 PDMS 得分。我们的结果表明，无需密集几何标注或迭代采样，即可高效执行高保真、多模态规划。

End-to-end autonomous driving models often struggle to balance multi-modal maneuver generation with real-time inference constraints. While diffusion models successfully capture diverse driving behaviors, their iterative denoising process incurs unacceptable latency for safety-critical deployment. To address this, we propose CLEAR (Cognition and Latent Evaluation for Adaptive Routing), a framework that combines ultra-fast generative planning with deep semantic reasoning. CLEAR employs Drive-JEPA as the visual encoder and replaces the multi-step denoising chain with a single-step conditional drift in a VAE latent space, introducing a conditioning coefficient to balance diversity and expert precision. Meanwhile, we fully fine-tune Qwen~3.5~0.8B on driving QA pairs to extract scene-aware hidden states. These states guide both an Adaptive Scheduler, which selects the conditioning coefficient $α$ and sample count $N$ from a discrete set of predefined schemes, and a cross-attention scorer that selects the optimal trajectory from candidates. On the NAVSIM v1 benchmark, CLEAR achieves a state-of-the-art PDMS of 93.7. Our results demonstrate that high-fidelity, multi-modal planning can be executed efficiently without dense geometric annotations or iterative sampling.

评分理由: 关键词相关性分析：Visual Encoder (9.0) 和 MLLM (9.0) 是论文核心技术 (Drive-JEPA, Qwen 3.5)；MultiModal (8.0) 体现于视觉与语言融合；World Models (6.0) 因 VAE 潜在规划概念相关但未明确标注；Unify Models (7.0) 体现在感知与生成统一；Tokenizer (2.0) 隐含存在但未作为重点；model-based RL (3.0) 涉及模型规划但未涉及强化学习。加权总分 66.0，高于动态及格分 27.8。作者列表中未包含指定专家，无额外加分。

End-to-end Autonomous Driving, Drive-JEPA, VAE Latent Space, Qwen 3.5, Adaptive Routing, Generative Planning, Multi-modal Reasoning

Chinese Title: CLEAR: 端到端自动驾驶中的认知与潜在评估自适应路由

Summary: 端到端自动驾驶模型常面临多模态轨迹生成与实时推理的权衡。扩散模型虽能捕捉多样驾驶行为，但其迭代去噪过程导致延迟过高。为此，本文提出CLEAR框架，结合超快生成规划与深度语义推理。CLEAR采用Drive-JEPA作为视觉编码器，将多步去噪替换为VAE潜在空间中的单步条件漂移，引入调节系数α平衡多样性与专家精度。同时，微调Qwen 3.5 0.8B模型提取场景感知的隐藏状态，用于指导自适应调度器（选择α和采样数N）和交叉注意力评分器（选择最优轨迹）。在NAVSIM v1基准上，CLEAR达到93.7的PDMS，证明无需密集几何标注或迭代采样即可实现高效、高保真的多模态规划。

Innovations:

• 单步条件漂移生成：在VAE潜在空间中实现单步条件漂移，替代多步去噪，以99 FPS生成多样轨迹候选，同时保持多模态性。
• LLM驱动的自适应调度与评分：利用微调后的Qwen 3.5 0.8B的隐藏状态，自适应选择调节系数α和采样数N，并通过交叉注意力评分器评估候选轨迹，替代启发式代价函数。
• 状态最优闭环性能：在NAVSIM上取得93.7 PDMS，超越依赖密集3D感知标注的方法，仅使用Drive-JEPA视觉特征和紧凑LLM的认知QA对。

Methodology: CLEAR采用冻结的Drive-JEPA视觉编码器提取几何特征，微调的Qwen 3.5 0.8B作为语义特征提取器。自适应调度器通过TransformerDecoder将LLM隐藏状态映射到离散采样方案（α, N）的类别分布，使用交叉熵损失训练。CLEAR解码器基于MLP-Mixer架构，通过可学习场景查询压缩视觉特征，利用自适应层归一化（adaLN）注入α，在VAE潜在空间执行单步条件漂移（结合多吸引子与样本间排斥），并通过预拟合的PCA投影输出物理轨迹。交叉注意力评分器以MLP-Mixer输出为查询、LLM隐藏状态为记忆，通过TransformerDecoder输出分数，使用铰链排名损失和MSE损失训练。

Key Results:

• 在NAVSIM v1基准上，CLEAR达到PDMS 93.7，超越现有方法。
• 生成速度高达99 FPS，满足实时控制预算。
• 无需密集几何标注或大规模MLLM，仅使用Drive-JEPA和0.8B LLM即可实现SOTA性能。

Tech Stack:

• Drive-JEPA（视觉编码器）
• Qwen 3.5 0.8B（语言模型）
• VAE（变分自编码器）
• PCA（主成分分析）
• MLP-Mixer（解码器架构）
• Adaptive Layer Normalization (adaLN)
• TransformerDecoder（调度器与评分器）
• 交叉注意力机制
• 铰链排名损失 (Hinge Ranking Loss)
• 均方误差损失 (MSE Loss)
• Winner-Take-All损失
• 条件漂移 (Conditional Drift)

Strengths:

• 高效性：单步生成替代多步去噪，实现99 FPS，满足实时性要求。
• 多模态性：通过多吸引子与样本间排斥机制，生成多样且合理的轨迹候选。
• 认知融合：利用LLM隐藏状态进行自适应调度和评分，无需LLM直接输出文本，避免格式不稳定和延迟。
• 无需密集标注：仅使用视觉特征和QA对，不依赖3D感知标注，降低数据需求。
• 闭环性能优异：在NAVSIM上取得SOTA PDMS 93.7。

Limitations:

• 依赖特定LLM（Qwen 3.5 0.8B），可能在其他LLM上需要重新微调。
• 自适应调度器训练需要预计算最优方案标签（通过PDMS评分器），计算开销较大。
• 未详细讨论极端场景（如恶劣天气、传感器故障）下的鲁棒性。
• PCA投影约束可能限制轨迹多样性，尤其在非典型驾驶场景中。

Relevance To Keywords:

• Unify Models: CLEAR将视觉编码、生成规划、LLM推理统一为端到端架构，符合统一模型思想。
• World Models: Drive-JEPA作为世界模型的一种（预测潜在空间演化），用于提取场景结构。
• Representation Learning: 使用JEPA和VAE进行表征学习，抑制噪声并保留驾驶相关结构。
• Model-Based RL: 论文未直接涉及强化学习，但生成规划可视为基于模型的控制，与模型基RL相关。
• 原生多模态大模型: 使用Qwen 3.5作为多模态大模型（视觉+语言），但仅提取隐藏状态而非生成文本。
• 多模态大模型的理解和生成一体化: 论文将LLM用于理解（语义特征提取）而非生成，未实现一体化。
• 表征学习: 核心贡献之一，通过VAE和JEPA学习有效表征。
• 世界模型: Drive-JEPA本质是世界模型，用于预测场景演变。
• 强化学习: 未使用强化学习训练，但自适应调度可视为一种元学习。
• 后训练: 论文对Qwen 3.5进行了微调（后训练），但未涉及大规模后训练方法。

文本引导图像编辑借助扩散模型（Diffusion Models）和统一多模态基础模型（Unified Multimodal Foundation Models）取得了快速进展。然而，大多数现有方法仍局限于单轮设置，忽略了更现实的多轮上下文编辑（Multi-turn In-context Editing）场景，即用户通过一系列指令迭代精炼图像。在此设置下，模型必须在遵循每条新指令的同时保留累积的会话级约束，这面临着两种耦合的失败模式：长上下文稀释（Long-context Dilution），即稀疏的文本约束难以从不断增长的交错图像 - 文本历史中恢复；以及状态污染（State Contamination），即早期的编辑错误会损害后续生成。我们引入 Edit-R2，一种针对统一多模态模型的新型强化学习后训练框架。Edit-R2 重构操作性会话意图，从而有效地将分散的历史约束整合为每次编辑轮次前的显式推理轨迹。它进一步通过一个统一目标实现了推理与生成的多轮强化学习（RL），该目标联合优化离散文本空间中的意图重建生成与连续潜在空间中的流匹配（Flow-matching）图像生成；同时，轨迹过滤机制能够抑制受损的轨迹（rollouts），从而在状态污染下稳定训练。为了支持系统评估，我们引入 MICE-Bench，这是一个用于多轮上下文编辑的大规模基准，包含针对累积会话约束的指令遵循（IF）、内容一致性（CC）和全局感知（GA）等自动度量指标。实验表明，Edit-R2 显著提升了多轮上下文编辑性能，并在与强基线的对比中达到了具有竞争力的表现。

Text-guided image editing has advanced rapidly with diffusion models and unified multimodal foundation models. However, most existing methods remain confined to single-turn settings, overlooking the more realistic scenario of multi-turn in-context editing, where users iteratively refine an image through a sequence of instructions. In this setting, a model must follow each new instruction while preserving accumulated session-level constraints, challenged by two coupled failure modes: long-context dilution, where sparse textual constraints become difficult to recover from growing interleaved image-text histories, and state contamination, where earlier editing mistakes degrade subsequent generations. We introduce Edit-R2, a novel reinforcement learning post-training framework for unified multimodal models. Edit-R2 reconstructs the operative session intent, which effectively consolidates scattered historical constraints into an explicit reasoning trace before each editing turn. It further enables multi-turn RL over both reasoning and generation through a unified objective that jointly optimizes intent reconstruction generation in discrete text space and flow-matching image generation in continuous latent space, while a trajectory filtering mechanism suppresses corrupted rollouts to stabilize training under state contamination. To support systematic evaluation, we introduce MICE-Bench, a large-scale benchmark for multi-turn in-context editing with automated metrics for instruction following (IF), content consistency (CC), and global awareness (GA) over accumulated session constraints. Experiments show that Edit-R2 substantially improves multi-turn in-context editing and achieves competitive performance compared against strong baselines.

评分理由: 论文核心聚焦于统一多模态模型（Unify Models, MLLM, MultiModal）的多轮图像编辑，因此相关度高。虽涉及强化学习（model-based RL），但摘要侧重于训练框架与意图重构，而非显式环境模型学习，故评分中等。Tokenizer 与 Visual Encoder 为底层组件非核心创新，World Models 为背景概念，故评分较低。

Multi-Turn Image Editing, Reinforcement Learning, Unified Multimodal Models, Intent Reconstruction, Text-Guided Editing, Session Constraints, Flow-Matching

Chinese Title: Edit-R2：面向多轮图像编辑的上下文感知强化学习

Summary: 本文针对多轮上下文图像编辑（multi-turn in-context editing）这一实际但未被充分研究的场景，提出了一种新的强化学习后训练框架Edit-R2。该框架基于统一多模态模型BAGEL，通过上下文链式思维（IC-CoT）在每轮编辑前重建当前会话的活跃意图，将分散的历史约束压缩为显式推理轨迹，缓解长上下文稀释问题。同时，Edit-R2在离散文本空间（意图重建）和连续潜空间（流匹配图像生成）上联合优化，并引入轨迹过滤机制抑制被污染轨迹对训练的干扰。为支持系统评估，作者构建了大规模基准MICE-Bench，包含内容记忆和内容理解两类任务，并引入全局感知（GA）指标量化会话级约束的遵从度。实验表明，Edit-R2在MICE-Bench上显著优于现有开源模型，在指令跟随（IF）和全局感知（GA）上分别提升18%和18%，与闭源模型性能相当。

Innovations:

• 首次将多轮上下文图像编辑形式化为会话级强化学习问题，并构建了大规模自动化基准MICE-Bench，包含内容记忆和内容理解两类任务。
• 提出全局感知（GA）指标，专门量化模型对会话级累积约束的遵从度，填补了现有评估指标的空白。
• 设计上下文链式思维（IC-CoT）机制，在每轮编辑前显式重建会话意图，有效缓解长上下文稀释和状态污染问题。
• 实现离散文本空间（意图重建）与连续潜空间（图像生成）的联合强化学习优化，通过统一目标函数协同提升推理与生成能力。
• 引入轨迹过滤机制，在训练中剔除被早期错误污染的轨迹，稳定多轮强化学习训练过程。

Methodology: 本文采用以下技术路线：（1）将多轮上下文图像编辑建模为有限时域马尔可夫决策过程（MDP），状态包含历史图像和指令，动作是生成图像，奖励由指令跟随、内容一致性和全局感知指标构成。（2）基于统一多模态模型BAGEL，在每轮编辑前通过上下文链式思维（IC-CoT）生成显式意图重建文本，作为后续图像生成的稳定条件。（3）采用强化学习（类似GRPO）联合优化意图重建（离散文本空间）和流匹配图像生成（连续潜空间），奖励信号来自自动化评估指标。（4）设计轨迹过滤机制，根据每轮编辑的奖励分数筛选高质量轨迹，避免被污染轨迹主导训练。训练数据来自MICE-Bench的720个三回合编辑实例。

Key Results:

• Edit-R2在MICE-Bench上相比基线BAGEL在指令跟随（IF）上提升18%，在全局感知（GA）上提升18%。
• 在内容理解任务中，Edit-R2正确解析跨轮指代（如代词“its”），而基线模型失败。
• 在内容记忆任务中，Edit-R2能保持会话级约束（如所有新增物体为紫色）贯穿整个会话，GA得分始终为1.0。
• 与闭源模型（如GPT-Image-1）相比，Edit-R2在多项指标上达到或接近竞争性能。
• 消融实验验证了IC-CoT、联合优化和轨迹过滤各模块的有效性。

Tech Stack:

• 统一多模态模型：BAGEL（基于流匹配的图像生成与理解一体化模型）
• 强化学习算法：类GRPO（Group Relative Policy Optimization），用于离散和连续空间的联合优化
• 意图重建：上下文链式思维（In-Context Chain-of-Thought, IC-CoT）
• 图像生成：流匹配（Flow Matching）
• 基准构建：EdiVal-Agent管道（VLM提取物体清单、GroundingDINO过滤幻觉、LLM生成指令）
• 评估指标：指令跟随（IF）、内容一致性（CC）、全局感知（GA）
• 轨迹过滤：基于奖励分数的筛选机制

Strengths:

• 问题定义新颖且实用：多轮上下文编辑更贴近真实用户交互场景，现有工作极少涉及。
• 方法设计系统：从意图重建、联合优化到轨迹过滤，形成完整闭环，有效解决长上下文和状态污染两大核心挑战。
• 基准构建严谨：MICE-Bench包含自动化生成管道和专用指标（GA），可扩展性强，便于后续研究。
• 实验充分：在多个维度与开源和闭源模型对比，消融实验验证各组件贡献。
• 技术贡献明确：首次将强化学习引入多轮上下文图像编辑，并实现离散-连续空间的联合优化。

Limitations:

• 基准规模有限：MICE-Bench仅包含720个三回合编辑实例，可能不足以覆盖复杂多轮交互模式。
• 依赖统一模型架构：Edit-R2基于BAGEL，其泛化性到其他架构（如自回归模型）未验证。
• 奖励设计依赖自动化指标：IF、CC、GA等指标可能无法完全捕捉人类编辑偏好，存在评估偏差。
• 训练计算成本高：多轮强化学习需要多次采样和评估，训练开销较大。
• 未探讨更长的会话（如超过3轮）或更复杂的约束类型（如否定、条件约束）。

Relevance To Keywords:

• Unify Models: 论文基于统一多模态模型BAGEL，该模型同时支持图像理解和生成，符合统一模型趋势。
• World Models: 论文未直接涉及世界模型，但意图重建可视为对会话状态的隐式建模，与表征学习相关。
• Representation Learning: IC-CoT将分散的历史约束压缩为显式推理轨迹，属于表征学习的一种形式。
• Model-Based RL: 论文采用强化学习但未显式构建环境模型，属于无模型RL，与Model-Based RL相关性较弱。
• 原生多模态大模型: BAGEL是原生多模态大模型，论文在其基础上进行后训练，直接相关。
• 多模态大模型的理解和生成一体化: 论文联合优化意图重建（理解）和图像生成，体现一体化思想。
• 表征学习: 意图重建本质上是学习会话状态的紧凑表征。
• 世界模型: 不直接相关。
• 强化学习: 核心方法，将多轮编辑建模为MDP并使用RL优化。
• 后训练: 论文标题明确为RL后训练框架，在预训练模型基础上进行强化学习微调。

开发能够处理交错多模态输入的统一视频生成与编辑模型是一个具有前景但充满挑战的前沿领域。现有的统一框架主要依赖大规模模型（通常为 13B 参数或更多），并通过连接序列令牌将源视频条件纳入编辑过程。这种连接方式不可避免地使序列长度加倍，导致 self-attention（自注意力）机制的计算复杂度变为原来的四倍，并引入难以承受的开销。为了解决这些瓶颈，我们提出了 LoomVideo，这是一种高度高效的 5B 参数统一架构，适用于视频生成与编辑。LoomVideo 使用多模态大语言模型（Multimodal Large Language Model, MLLM）替换了标准文本编码器，并采用 Deepstack 注入机制来对齐多层 MLLM 特征与扩散变换器（Diffusion Transformer, DiT）。至关重要的是，我们提出了一种零开销的 Scale-and-Add（缩放与添加）条件化方法用于视频编辑。该方法通过对干净的源视频潜在向量进行缩放并直接添加到带噪声的目标潜在向量中，优雅地消除了对令牌连接的需求，大幅降低了计算成本，同时保持了对复杂、非刚性编辑的鲁棒能力。此外，Negative Temporal RoPE（负向时间旋转位置编码）策略被无缝集成，以处理多个参考图像。广泛的实验表明，我们紧凑的 5B 模型在综合基准上实现了 state-of-the-art（最先进）或极具竞争力的性能，在电子商务和时尚生成场景中表现出卓越的优越性。得益于零开销条件化机制，LoomVideo 相比同等能力的模型在推理速度上实现了至少 5.41 倍的加速，为高度实用且高效的 video foundation models（视频基础模型）铺平了道路。

Developing unified video generation and editing models capable of interpreting interleaved multimodal inputs is a promising yet challenging frontier field. Existing unified frameworks predominantly rely on massive models (typically 13B parameters or more) and incorporate source video conditions for editing by concatenating sequence tokens. This concatenation inevitably doubles the sequence length, quadrupling the computational complexity of the self-attention mechanism and introducing prohibitive overhead. To address these bottlenecks, we present LoomVideo, a highly efficient 5B-parameter unified architecture for both video generation and editing. LoomVideo replaces the standard text encoder with a Multimodal Large Language Model (MLLM) and employs Deepstack injection mechanism to align multi-layer MLLM features with the Diffusion Transformer (DiT). Crucially, we introduce a zero-overhead Scale-and-Add conditioning approach for video editing. By scaling and directly adding the clean source video latent to the noised target latent, this elegant design eliminates the need for token concatenation, drastically reducing computational cost while maintaining robust capabilities for complex, non-rigid edits. Furthermore, a Negative Temporal RoPE strategy is seamlessly integrated to handle multiple reference images. Extensive experiments demonstrate that our compact 5B model achieves state-of-the-art or highly competitive performance across comprehensive benchmarks, exhibiting exceptional superiority in e-commerce and fashion generation scenarios. Benefiting from the zero-overhead conditioning mechanism, LoomVideo achieves at least a 5.41x acceleration in inference speed compared to models of similar capabilities, paving the way for highly practical and efficient video foundation models.

评分理由: 论文标题与摘要均强调统一多模态输入的视频生成与编辑（Unify Models, MultiModal），并核心依赖 MLLM（MLLM），故相关度最高。Tokenizer 与 Visual Encoder 虽在架构中存在，但非主要创新贡献，故给中等分。World Models 概念略有重叠但非本文重点，model-based RL 完全无关。作者列表中未包含指定专家。

Unifying Multimodal Inputs, Video Generation, Video Editing, MLLM, Diffusion Transformer, Zero-overhead Conditioning, Scale-and-Add, 5B-parameter

Chinese Title: LoomVideo：统一多模态输入的视频生成与编辑

Summary: 本文提出LoomVideo，一个高效统一的5B参数视频生成与编辑架构。现有统一框架通常依赖13B以上大模型，并通过拼接源视频令牌与目标令牌实现编辑，导致序列长度翻倍、自注意力计算复杂度翻四倍。LoomVideo用多模态大语言模型（MLLM）替代标准文本编码器，并设计Deepstack注入机制，将MLLM每层特征通过交叉注意力注入扩散Transformer对应层，增强语义对齐。针对编辑任务，提出零开销的Scale-and-Add条件方法：直接缩放并添加干净源视频潜变量到噪声目标潜变量，避免令牌拼接，大幅降低计算成本。同时采用负时间RoPE策略处理多参考图像。三阶段渐进训练（低分辨率语义对齐、高分辨率多任务、参考图像与高级指令）结合强化学习后训练，使紧凑模型在多个基准上达到或超越SOTA，尤其在电商和时尚生成场景表现优异，推理速度相比同类模型加速至少5.41倍。

Innovations:

• 提出Deepstack注入机制：提取MLLM每一层隐藏状态，通过MLP投影后注入DiT对应层的交叉注意力，实现深层语义对齐。
• 提出零开销Scale-and-Add条件方法：将干净源视频潜变量按当前时间步缩放后直接加到噪声目标潜变量上，完全避免令牌拼接，显著降低计算复杂度。
• 采用负时间RoPE索引策略处理多参考图像，有效区分参考输入与视频帧，保持时空动态一致性。
• 设计三阶段渐进训练策略（低分辨率语义对齐→高分辨率多任务→参考图像与高级指令），结合强化学习后训练，提升指令遵循能力和生成保真度。
• 在5B参数规模下实现统一视频生成与编辑，推理速度相比同类13B模型加速至少5.41倍，并在电商和时尚场景中展现卓越性能。

Methodology: LoomVideo基于Wan 2.2 TI2V模型（5B参数），将T5文本编码器替换为Qwen3-VL（8B MLLM）。采用Deepstack注入：从MLLM每层提取特征，经共享MLP投影后作为交叉注意力的K/V注入DiT对应层。编辑时使用Scale-and-Add：将干净源视频潜变量乘以当前时间步系数后直接加到噪声目标潜变量上。多参考图像使用负时间RoPE索引。训练分三阶段：Stage1低分辨率（256×256）对齐MLLM与DiT；Stage2高分辨率（512×512）同时训练生成/重建/编辑；Stage3引入参考图像和复杂指令。后训练采用强化学习（具体方法未详述，但提及提升指令遵循和生成保真度）。

Key Results:

• 在多个视频生成与编辑基准上达到或超越SOTA性能。
• 在电商和时尚产品场景的参考图像引导视频编辑与可控生成中表现突出。
• 推理速度相比同类拼接式统一模型加速至少5.41倍。
• 5B参数模型能完成此前需13B模型的任务，实现高效统一。
• 成功处理复杂非刚性编辑（如改变人类动作、相机角度）。

Tech Stack:

• Diffusion Transformer (DiT)
• Multimodal Large Language Model (MLLM): Qwen3-VL
• Cross-attention机制
• Scale-and-Add条件注入
• Negative Temporal RoPE (旋转位置编码)
• 三阶段渐进训练策略
• 强化学习后训练 (Reinforcement Learning Post-training)
• Wan 2.2 Text-Image-to-Video (TI2V) 基础模型

Strengths:

• 参数规模紧凑（5B），计算效率高，推理速度快。
• 零开销编辑条件设计，避免序列长度翻倍，显著降低训练和推理成本。
• Deepstack注入充分利用MLLM多层语义，提升多模态对齐质量。
• 支持多种任务：文本到视频、指令编辑、参考图像引导生成与编辑、多图像到视频。
• 在电商和时尚等实际场景中展现优异性能，具有实用价值。

Limitations:

• 论文未详细说明强化学习后训练的具体算法和超参数，可复现性受限。
• 仅与同类统一模型对比，未与专用视频编辑模型（如InsViE、Ditto）进行充分比较。
• Scale-and-Add条件可能对某些极端非刚性编辑（如大幅改变场景结构）效果有限，论文未深入分析边界情况。
• 依赖8B MLLM（Qwen3-VL），整体模型参数量实际为5B+8B，但论文称5B参数可能仅指DiT部分，需明确。
• 未讨论模型在长视频生成或高分辨率（如1080p）下的性能。

Relevance To Keywords:

• Unify Models: 高度相关，论文提出统一视频生成与编辑的单一架构。
• World Models: 部分相关，视频生成可视为学习世界动态，但论文未明确强调世界模型概念。
• Representation Learning: 相关，Deepstack注入和MLLM特征提取涉及多层级表征学习。
• Model-Based RL: 弱相关，后训练使用强化学习，但非基于模型的RL。
• 原生多模态大模型: 高度相关，使用MLLM处理多模态输入，实现理解与生成一体化。
• 多模态大模型的理解和生成一体化: 高度相关，LoomVideo将MLLM理解能力与DiT生成能力深度融合。
• 表征学习: 相关，MLLM多层特征注入可视为跨模态表征对齐。
• 世界模型: 部分相关，视频生成需建模时空动态，但论文未直接探讨世界模型。
• 强化学习: 相关，后训练阶段采用强化学习提升指令遵循。
• 后训练: 高度相关，论文明确使用强化学习后训练作为最终优化步骤。

视觉 - 语言 - 动作 (VLA) 模型利用预训练视觉 - 语言模型 (VLMs) 丰富的世界知识，从而实现指令跟随式机器人操作。然而，VLM 语义空间与具身控制策略之间的结构不匹配往往阻碍了精确感知 - 动作映射的学习。为应对这一挑战，我们提出 AffordanceVLA，这是一个统一的框架，通过引入结构化功能预测作为面向任务的中间表示，以建立更精确且稳健的感知 - 动作映射。具体而言，我们通过三个互补组件逐步建模操作先验：1) Which2Act，通过视觉潜变量预测实现以对象为中心的视觉定位，以抑制干扰；2) Where2Act，通过功能图估计实现 2D 交互定位；3) How2Act，通过 3D 几何推理指导操作策略。这些功能提示提供了空间锚定、语义条件化且与动作耦合的中间表示，从而自然地桥接了视觉、语言与动作。我们将这些模块集成到具有专用专家的混合 Transformer (MoT) 架构中，并采用三阶段训练策略结合渐进式数据课程对模型进行训练。为克服机器人数据集中密集功能标签稀缺的问题，我们还开发了一个稳健的自动化数据增强流水线。在仿真环境和真实世界上的广泛实验表明，AffordanceVLA 在各种多样的操作场景中均展现出优异的性能。

Vision-Language-Action (VLA) models leverage the rich world knowledge of pretrained vision-language models (VLMs) to enable instruction-following robotic manipulation. However, the structural mismatch between VLM semantic spaces and embodied control policies often hinders the learning of precise perception--action mappings. To address this challenge, we propose \textbf{AffordanceVLA}, a unified framework that introduces structured affordance forecasting as a task-oriented intermediate representation to establish a more precise and robust perception--action mapping. Specifically, we progressively model manipulation priors through three complementary components: 1) \textbf{Which2Act} for object-centric grounding via visual latent prediction to suppress distractions; 2) \textbf{Where2Act} for 2D interaction localization via affordance map estimation; and 3) \textbf{How2Act} for 3D geometric reasoning to guide manipulation policies. These affordance cues provide spatially grounded, semantically conditioned, and action-coupled intermediate representations, thereby naturally bridging vision, language and action. We integrate these modules into a Mixture-of-Transformer (MoT) architecture with specialized experts and train the model using a three-stage training strategy with a progressive data curriculum. To overcome the scarcity of dense affordance labels in robotic datasets, we also develop a robust automated data augmentation pipeline. Extensive experiments on simulation and real-world demonstrate that AffordanceVLA achieves strong performance across diverse manipulation scenarios.

评分理由: 论文提出 AffordanceVLA 统一框架，涉及视觉 - 语言 - 行动（MLLM/MultiModal）及统一建模（Unify Models），故相关度高（8-9 分）；视觉编码器隐含在 VLM 架构中（7 分）；未明确提及 Tokenizer 或显式世界模型/模型强化学习（2-5 分）。加权总分 63.0，远超及格线 27.8。作者列表中未包含指定专家。

AffordanceVLA, Vision-Language-Action, Affordance Forecasting, Robotic Manipulation, Unified Framework, Perception-Action Mapping, Mixture-of-Transformer

Chinese Title: AffordanceVLA: 一种通过可操作性感知理解赋能动作生成的视觉-语言-动作模型

Summary: 论文提出AffordanceVLA，一种统一的视觉-语言-动作（VLA）框架，通过引入结构化可操作性预测作为任务导向的中间表示，解决VLM语义空间与机器人控制策略之间的结构不匹配问题。框架包含三个互补模块：Which2Act（物体中心定位，通过视觉潜在预测抑制干扰）、Where2Act（2D交互定位，通过可操作性图估计）、How2Act（3D几何推理，指导操作策略）。采用混合Transformer（MoT）架构，包含理解专家、可操作性生成专家和动作专家三个专用模块，并设计三阶段训练策略（预训练、协同训练、后训练）与渐进式数据课程。为克服机器人数据集中可操作性标注稀缺的问题，开发了自动化数据增强管线。在LIBERO、CALVIN等仿真基准和真实世界实验中，AffordanceVLA取得了与最新VLA模型竞争的成功率，展现出强泛化能力、空间鲁棒性和跨模态对齐。

Innovations:

• 提出AffordanceVLA框架，利用结构化可操作性预测（Which2Act、Where2Act、How2Act）作为中间监督，建立更精确的感知-动作映射。
• 设计混合Transformer（MoT）架构，包含理解、可操作性生成、动作三个专用专家，实现渐进式信息融合。
• 提出三阶段训练策略（预训练、协同训练、后训练）与渐进式数据课程，有效利用不同来源数据。
• 开发自动化数据增强管线，为大规模机器人数据合成可操作性标注，解决标注稀缺问题。
• 在仿真和真实世界实验中取得与最新VLA模型竞争的性能，并展现出强泛化与鲁棒性。

Methodology: 论文采用混合Transformer（MoT）架构，将模型分为三个专家：理解专家（处理视觉-语言对齐）、可操作性生成专家（预测Which2Act、Where2Act、How2Act）、动作专家（生成连续动作）。训练分为三阶段：Stage I在指代定位和交互感知场景数据上预训练；Stage II在大规模合成机器人数据上协同训练；Stage III在目标数据集上后训练。通过自动化数据增强管线为机器人轨迹生成可操作性标注（如目标物体掩码、交互点、3D几何信息）。推理时，输入图像和语言指令，依次通过理解专家、可操作性生成专家、动作专家，输出动作序列。

Key Results:

• 在LIBERO基准上，AffordanceVLA在多个任务上取得与最新VLA模型（如RT-2、Octo）竞争的成功率。
• 在CALVIN基准上，AffordanceVLA在长序列任务中展现出优异的泛化能力。
• 真实世界实验中，AffordanceVLA成功完成多种操作任务（如抓取、放置、开门等），验证了跨场景迁移能力。
• 消融实验表明，结构化可操作性中间表示显著提升了模型的空间鲁棒性和指令跟随准确性。
• 定性分析显示，Which2Act有效抑制背景干扰，Where2Act精确定位交互区域，How2Act提供3D几何引导。

Tech Stack:

• Vision-Language-Action (VLA) 模型
• Mixture-of-Transformer (MoT) 架构
• 可操作性预测（Which2Act, Where2Act, How2Act）
• 三阶段训练策略（预训练、协同训练、后训练）
• 自动化数据增强管线（合成掩码、交互点、3D几何）
• 仿真环境：LIBERO, CALVIN
• 预训练视觉-语言模型（如CLIP, SigLIP等）
• 动作解码：连续动作回归（可能使用扩散或流匹配）

Strengths:

• 结构化中间表示（可操作性）有效桥接视觉-语言语义空间与物理动作空间，提升感知-动作映射精度。
• MoT架构允许不同专家专注于不同任务，避免单一模型能力被低层动作学习侵蚀。
• 三阶段训练策略充分利用多源数据（VQA、机器人轨迹），实现从语义理解到操作控制的平滑过渡。
• 自动化数据增强管线解决了可操作性标注稀缺问题，使方法可扩展到大规模数据集。
• 在仿真和真实世界均取得强性能，展现出良好的泛化性和鲁棒性。

Limitations:

• 可操作性预测依赖合成标注，可能引入噪声或与真实场景分布不一致。
• 三阶段训练流程复杂，需要精心设计数据课程和超参数。
• MoT架构增加了模型参数量和推理计算开销，实时性可能受限。
• 当前实验主要针对桌面操作场景，在更复杂动态环境中的泛化性有待验证。
• 未与基于世界模型的VLA方法（如视频预测）进行直接比较，缺乏对中间表示效率的定量对比。

Relevance To Keywords:

• Unify Models: AffordanceVLA统一了感知、预测和动作，属于统一模型方向。
• World Models: 可操作性预测可视为一种轻量级世界模型，预测交互可能性而非完整未来帧。
• Representation Learning: 结构化可操作性作为中间表示，学习任务导向的紧凑表征。
• Model-Based RL: 可操作性预测为策略提供先验，可视为基于模型的方法（但论文未明确使用RL）。
• 原生多模态大模型: 基于预训练VLM构建，属于原生多模态大模型在机器人领域的应用。
• 多模态大模型的理解和生成一体化: 模型同时进行视觉-语言理解（理解专家）和动作生成（动作专家），并通过可操作性生成连接。
• 表征学习: 通过Which2Act、Where2Act、How2Act学习物体、交互点、几何的表征。
• 世界模型: 可操作性预测是对未来交互状态的隐式建模，类似于世界模型中的状态预测。
• 强化学习: 论文未直接使用RL，但三阶段训练中的后训练可类比RL中的微调；可操作性可辅助RL探索。
• 后训练: 论文明确包含后训练阶段（Stage III），在目标数据集上微调，与后训练概念直接相关。

机器人操作在需要快速执行的低风险过渡阶段与需要缓慢、精确运动的高风险接触阶段之间交替进行。然而，现有的视觉 - 语言 - 动作模型（VLAs）仅从训练演示中继承了单一固定速度。先前通过模型压缩、KV-cache 重用或强化学习来加速 VLAs 的努力仅将策略从一个固定速度切换到另一个固定速度，而几乎未涉及减速。我们发现，每个预测动作的幅值已决定了机器人的运动速度，这为可控执行速度提供了一条直接途径。基于此观察，我们提出了 TempoVLA，这是一个执行速度由显式条件控制的单一 VLA。TempoVLA 结合了两个耦合组件。(1) 数据侧的可变速度轨迹增强（VSTA），通过合并或拆分动作将演示重新定时至任意目标速度，同时保留其运动语义。(2) 模型侧的条件机制，将速度信息输入至策略网络。统计结果表明，VSTA 能以可忽略的运动误差达到所需速度。仿真及真实任务上的实验表明，TempoVLA 在两个方向上均实现了灵活的速度控制，而 VSTA 通过更优的数据利用额外提升了默认 1 倍性能。此外，通过与大模态模型协同，TempoVLA 实现了动态速度控制，在低风险阶段加速，在高风险阶段减速。

Robot manipulation alternates between low-risk transit phases that call for fast execution and high-risk contact stages that demand slow, precise motion. Yet existing Vision-Language-Action models (VLAs) only inherit a single fixed speed from training demonstrations. Prior efforts to accelerate VLAs through model compression, KV-cache reuse, or reinforcement learning only shift the policy from one fixed speed to another, and leave deceleration almost unexplored. We observe that the magnitude of each predicted action already governs how fast the robot moves, opening a direct route to controllable execution speed. We turn this observation into TempoVLA, a single VLA whose execution speed is controlled by an explicit condition. TempoVLA combines two coupled components. (1) A data-side Variable-Speed Trajectory Augmentation (VSTA) that re-times demonstration to any target speed by merging or splitting actions while preserving its motion semantics. (2) A model-side conditioning mechanism that feeds the speed to the policy. Statistics show that VSTA reaches the requested speed with negligible motion error. Experiments in simulation and on real-world tasks demonstrate that TempoVLA achieves flexible speed control in both directions, while VSTA additionally boosts the default $1\times$ performance via better data utilization. Furthermore, by cooperating with a large multimodal model, TempoVLA realizes dynamic speed control, accelerating through low-risk phases and decelerating for high-risk ones.

评分理由: 论文提出 TempoVLA，一种速度可控的视觉 - 语言 - 行动（VLA）模型。MultiModal (9) 和 MLLM (8) 高度相关，因 VLA 本质是多模态架构且依赖大语言模型。Unify Models (7) 相关，因统一了视觉、语言与动作。Visual Encoder (6) 是基础组件但非核心贡献。Tokenizer (3) 和 model-based RL (3) 非核心方法（主要基于演示学习的策略学习，而非基于模型的强化学习）。World Models (4) 涉及运动语义但非核心。未发现指定专家作者。加权总分 60.0，高于动态及格分 27.8。

Vision-Language-Action, Speed Control, Variable-Speed Trajectory Augmentation, Robot Manipulation, Large Multimodal Model, Policy Conditioning, Motion Semantics

Chinese Title: TempoVLA：学习速度可控的视觉-语言-动作策略

Summary: 本文提出TempoVLA，一种速度可控的视觉-语言-动作（VLA）策略框架。现有VLA模型仅继承训练演示的固定执行速度，无法在低风险快速阶段和高风险慢速阶段之间灵活切换。作者观察到动作幅度天然控制机器人移动速度，据此设计了两部分：数据侧的变速度轨迹增强（VSTA），通过合并或拆分动作将演示重新定时到任意目标速度，同时保持运动语义；模型侧的速度条件注入机制，将标量速度作为显式条件输入策略，通过文本前缀、软提示或MLP调制三种方式缩放预测动作幅度。实验在LIBERO仿真和真实任务上验证了TempoVLA能实现双向速度控制，且VSTA作为数据增强提升了默认1×速度下的成功率。进一步与大型多模态模型结合，实现了动态速度调度：在低风险阶段加速，高风险阶段减速。

Innovations:

• 提出VSTA数据增强方法，在线将任意演示重新定时到目标速度，通过合并或拆分动作保持运动语义，无需新数据采集。
• 设计轻量级速度条件注入机制，将标量速度作为显式条件输入策略，通过三种方案（文本前缀、软提示、MLP调制）实现双向速度控制。
• 发现适当重新定时的数据使速度控制易于植入，且速度条件机制与具体注入方式几乎无关；变速度训练作为有效数据增强，持续提升默认速度下的成功率。
• 将速度条件策略与VLM结合，实现自动动态速度调度，使系统在低风险阶段加速、高风险阶段减速，无需人工干预。

Methodology: 论文采用数据增强与模型条件相结合的技术路线。数据侧：VSTA首先对演示进行运动一致性分割（基于平移/旋转幅度和方向相似性），然后在每个段内通过累积再拆分操作将q个源帧映射到p个输出帧（s=q/p），并在线随机化块起始偏移以避免丢弃观测。模型侧：将速度s通过三种方式注入VLA策略：文本前缀（修改指令）、速度调制RMSNorm（将速度嵌入加到流匹配时间步嵌入中）、或作为软提示与视觉token拼接。训练时使用VSTA增强的多速度数据集，部署时策略根据输入速度s输出相应幅度的动作，底层控制器不变。

Key Results:

• TempoVLA在LIBERO仿真和真实任务上实现了双向速度控制（加速和减速），且单个策略可在多个命令速度下执行任务。
• VSTA数据增强提升了默认1×速度下的成功率，表明变速度训练作为有效数据增强手段。
• 与VLM结合实现动态速度调度，在低风险阶段加速、高风险阶段减速，性能优于固定速度策略。
• 速度控制效果与条件注入方式（文本前缀、软提示、MLP调制）关系不大，表明速度条件易于植入。

Tech Stack:

• VSTA：运动一致性分割（基于平移/旋转幅度阈值和方向余弦相似度）、累积再拆分操作（线性插值）、在线块起始偏移采样。
• 速度条件注入：文本前缀、速度调制RMSNorm（两层MLP嵌入）、软提示（与视觉token拼接）。
• 基础VLA架构：支持回归头（如ACT）、扩散/流匹配头（如Diffusion Policy）、离散token头（如OpenVLA）。
• 流匹配（Flow Matching）用于动作分布建模。
• SLERP（球面线性插值）用于旋转表示（如四元数）的插值。
• VLM（视觉语言模型）用于动态速度调度。

Strengths:

• 提出了一种轻量级、无需重新训练基础架构的双向速度控制方法，适用于现有各类VLA模型。
• 数据增强VSTA不仅实现速度控制，还作为有效数据增强提升了默认速度下的性能。
• 速度条件注入机制简单灵活，三种方案均可实现，且效果稳定。
• 与VLM结合实现了动态速度调度，使机器人能根据场景风险自适应调整速度，具有实用价值。
• 实验覆盖仿真和真实任务，验证了方法的有效性和泛化性。

Limitations:

• 速度控制依赖于动作幅度缩放，对于某些需要精确位置控制的任务（如精密装配）可能不够精细。
• VSTA的累积再拆分操作对非加法表示的旋转（如四元数）需要额外映射或插值，增加了实现复杂度。
• 动态速度调度依赖VLM的实时场景理解，VLM的推理延迟可能影响实时性。
• 实验仅在LIBERO和有限真实任务上验证，未在更复杂、长时域任务上测试。
• 速度控制范围可能受限于训练数据中动作幅度的分布，极端速度下运动语义可能失真。

Relevance To Keywords:

• Unify Models: 论文提出的TempoVLA属于视觉-语言-动作统一模型，但未涉及理解与生成一体化。
• World Models: 论文未涉及世界模型，仅关注策略速度控制。
• Representation Learning: 论文未专门研究表征学习，但速度条件注入涉及特征调制。
• Model-Based RL: 论文未使用基于模型的强化学习，采用模仿学习。
• 原生多模态大模型: 论文基于VLA（多模态大模型的一种），但未强调原生多模态。
• 多模态大模型的理解和生成一体化: 论文主要关注动作生成，理解部分仅用于指令跟随。
• 表征学习: 不直接相关。
• 世界模型: 不直接相关。
• 强化学习: 论文提及RL用于加速策略，但主要方法为模仿学习+数据增强。
• 后训练: 论文未涉及后训练，但速度条件注入可视为一种轻量级后训练适配。

创造具有真实社会智能的逼真数字人类，需要在统一的框架内整合认知推理与多模态生成。现有方法将这两者视为独立任务：大语言模型（Large Language Models, LLMs）虽擅长对话，却缺乏具身表达；而基于扩散（diffusion-based）的说话头模型（talking head models）虽实现了视觉保真度，却忽略了社会认知。为弥合这一鸿沟，我们提出一个闭环双智能体（dual-agent）框架，将感知、社会推理与表达整合进连续的交互循环中。感知模块从视频中分析伙伴的多模态行为，而社会推理模块则通过心理理论（Theory of Mind）推断隐藏的心理状态，并通过集成机制（ensemble mechanism）选择回应。表达模块随后生成情绪可控的双智能体视频，综合说话者的言语与表达以及听众的反应行为，捕捉了先前工作中缺失的双向动态。我们构建了一个分层的人设 - 场景（Persona-Scenario）数据集，包含基于心理学的人设及私人社会目标，以支持在信息不对称条件下的评估。在该数据集上的实验表明，该方法在对话质量和视频生成指标上均表现出具有竞争力或优越的性能。值得注意的是，我们的方法甚至在关键对话质量维度上超越了全信息（full-information）脚本模式（Script mode），这表明在不确定性下的显式心理状态推断，能够唤起比无限制信息访问更为深思熟虑的对话。

Creating lifelike digital humans with genuine social intelligence requires unifying cognitive reasoning and multimodal generation within a coherent framework. Current approaches treat these as separate tasks: Large Language Models excel at dialogue but lack embodied expression, while diffusion-based talking head models achieve visual fidelity but ignore social cognition. To bridge this gap, we propose a closed-loop dual-agent framework integrating perception, social reasoning, and expression into a continuous interaction cycle. The perception module analyzes partners' multimodal behaviors from video, while the social reasoning module infers hidden mental states through Theory of Mind and selects responses via an ensemble mechanism. The expression module then generates emotion-controllable dual-agent videos synthesizing both speaker speech and expression alongside listener reactive behaviors, capturing bidirectional dynamics absent in prior work. We construct a hierarchical Persona-Scenario dataset with psychologically grounded personas and private social goals to support evaluation under information asymmetry. Experiments on this dataset demonstrate competitive or superior performance on both dialogue quality and video generation metrics. Notably, our method surpasses even the full-information Script mode on key dialogue quality dimensions, suggesting that explicit mental state inference under uncertainty can elicit more thoughtful dialogue than unrestricted information access.

评分理由: 论文明确统一了推理与生成（Unify Models, MultiModal），并利用闭环动力学类似世界模型和 MLLM 应用。Tokenizer 和 model-based RL 并非架构核心，Visual Encoder 仅为隐含提及。

Closed-Loop Social Avatars, Theory of Mind, Multimodal Generation, Social Reasoning, Dual-Agent Framework, Emotion-Controllable Videos, Persona-Scenario Dataset

Chinese Title: 共鸣心智：具有心智理论的闭环社交虚拟化身

Summary: 本文提出一个闭环双智能体框架，旨在将认知推理与多模态生成统一于持续交互循环中，以创造具有真实社交智能的数字人类。该框架包含三个模块：感知模块从视频中分析伙伴的多模态行为；社交推理模块通过心智理论推断隐藏心理状态，并利用集成机制选择响应；表达模块生成情感可控的双智能体视频，同时合成说话者的言语表情和听者的反应行为。为支持信息不对称下的评估，作者构建了基于大五人格的层级化角色-场景数据集。实验表明，该方法在对话质量和视频生成指标上均达到或超越现有水平，尤其在关键对话质量维度上超越了全信息脚本模式，表明在不确定性下进行显式心理状态推断能激发更周到的对话。

Innovations:

• 首次在信息不对称条件下，将心智理论推理与多模态生成整合到闭环双智能体交互框架中。
• 提出感知-社交推理-表达三模块闭环架构，实现人格一致且情感丰富的多模态交互。
• 构建基于大五人格的心理层级化角色-场景数据集，支持信息不对称下的社交模拟评估。
• 在对话质量关键维度上超越全信息脚本模式，证明显式心理状态推断能提升对话深度。

Methodology: 论文采用部分可观测马尔可夫博弈建模双智能体社交交互，每个智能体拥有私有角色档案（背景、人格、目标）。在每一轮交互中，感知模块从伙伴视频中提取语音转录、情绪状态和面部表情等结构化观察；社交推理模块基于BDIE框架进行心智理论推断，生成候选响应并通过共情、策略和一致性三个评估器组成的集成机制选择最优动作；表达模块通过文本到情感适配器和双智能体视频合成生成多模态视频，形成闭环。数据集通过稀疏到丰富的流水线从事实背景生成详细人格叙事，并基于Sotopia场景适配。

Key Results:

• 在对话质量和视频生成指标上均达到或超越现有方法。
• 在关键对话质量维度上超越全信息脚本模式，表明显式心理状态推断在不确定性下能产生更周到的对话。
• 构建的层级化角色-场景数据集有效支持信息不对称下的社交模拟评估。
• 闭环双智能体交互框架实现了人格一致且情感丰富的多模态生成。

Tech Stack:

• 部分可观测马尔可夫博弈
• 大五人格模型
• BDIE心智理论框架
• 集成机制（共情、策略、一致性评估器）
• 文本到情感适配器
• 双智能体视频合成
• 扩散模型（用于视频生成）
• 大语言模型（用于推理与生成）

Strengths:

• 创新性地将心智理论推理与多模态生成整合于闭环框架，填补了认知推理与生成之间的鸿沟。
• 在信息不对称条件下模拟真实社交交互，更贴近实际应用场景。
• 构建了心理层级化数据集，为社交智能评估提供了坚实基础。
• 实验证明显式心理状态推断能提升对话质量，具有重要理论意义。

Limitations:

• 框架依赖大语言模型进行推理，可能面临计算开销和实时性问题。
• 数据集基于大五人格构建，可能无法覆盖所有文化背景下的社交行为。
• 视频生成质量可能受限于扩散模型的当前能力，尤其在长序列交互中。
• 闭环交互的评估指标主要依赖自动指标，缺乏充分的人工评估验证。

Relevance To Keywords:

• Unify Models: 论文提出的闭环框架统一了感知、推理和生成，体现了模型统一的思想。
• World Models: 通过心智理论推断伙伴心理状态，构建了内部世界模型以指导交互。
• Representation Learning: 感知模块将多模态视频数据转化为结构化文本表示，涉及表征学习。
• Model-Based RL: 部分可观测马尔可夫博弈建模和集成机制选择动作，隐含了基于模型的强化学习思想。
• 原生多模态大模型: 论文使用大语言模型进行推理，并结合扩散模型进行视频生成，体现了多模态大模型的应用。
• 多模态大模型的理解和生成一体化: 框架同时处理多模态理解（感知）和生成（表达），实现一体化。
• 强化学习: 集成机制中的评估器可视为奖励函数，动作选择类似于强化学习中的策略优化。
• 后训练: 论文未明确提及后训练，但数据集构建和模块设计可支持后续微调或训练。

当灾难发生时，响应人员不仅要回答发生了什么，还要回答为什么发生、接下来会发生什么以及现在该做什么，通常需基于嘈杂的低空无人机（UAV）视角，并在严格的现场计算约束下进行。然而，现有的大多数多模态基准侧重于感知（例如识别/描述），涵盖的灾难类型有限，且无法充分支持实际应急响应所需的多阶段推理。我们提出了 DisasterBench，这是一个面向复杂环境中基于无人机（UAV）的灾难响应的多阶段多模态推理基准。DisasterBench 涵盖 14 种灾难相关场景类型和 9 个响应关键任务，横跨灾前、灾中和灾后三个阶段，并具备细粒度的灾难 - 任务映射，明确测试因果归因、传播预测、损害分析及面向决策的推理。为了实现边缘推理，我们进一步提出了 DisasterVL，这是一个轻量级多模态模型，其优化结合了领域指令微调、思维链引导的多模态对齐以及基于强化学习的策略优化三阶段流水线。在 21 种流行的多模态大语言模型（MLLMs）上的实验表明，我们的 20 亿参数（2B-parameter）DisasterVL 优于所有被评估的开源模型，并显著缩小了与最先进闭源模型的差距，在保持卓越效率的同时实现了与 GPT-4o 相当的推理准确率。项目页面见 https://github.com/TanmouTT/DisasterBench。

When a disaster unfolds, responders must answer not only what is happening, but also why it is happening, what will happen next, and what to do now, often from noisy low-altitude UAV views and under tight on-site compute constraints. However, most existing multimodal benchmarks emphasize perception (e.g., recognition/description), cover limited disaster types, and provide insufficient support for the multi-stage reasoning required in practical emergency response. We introduce DisasterBench, a multi-stage multimodal reasoning benchmark for UAV-Based disaster response in complex environments. DisasterBench spans 14 disaster-related scene types and 9 response-critical tasks across pre-, during-, and post-disaster stages, with fine-grained disaster-task mappings that explicitly test causal attribution, propagation prediction, damage analysis, and decision-oriented reasoning. To enable reasoning on the edge, we further propose DisasterVL, a lightweight multimodal model optimized with a three-stage pipeline combining domain instruction tuning, chain-of-thought-guided multimodal alignment, and reinforcement learning-based policy optimization. Experiments across 21 popular MLLMs show that our 2B-parameter DisasterVL outperforms all evaluated open-source models and substantially narrows the gap to state-of-the-art closed-source models, achieving GPT-4o-comparable reasoning accuracy with superior efficiency. The project page is available at https://github.com/TanmouTT/DisasterBench.

评分理由: 论文主要贡献在于多模态基准构建与轻量级模型开发，故 MultiModal 和 MLLM 得分最高。模型优化涉及强化学习策略优化，故 model-based RL 和 Visual Encoder 有一定相关性。Tokenizer 未提及。Unify Models 和 World Models 仅在任务预测与流程统一上有弱关联。

DisasterBench, Multimodal Benchmark, UAV-Based Disaster Response, DisasterVL, Multi-stage Reasoning, Reinforcement Learning, MLLM

Chinese Title: DisasterBench：复杂环境下基于无人机的灾害响应多模态基准

Summary: 本文提出了DisasterBench，一个面向复杂环境下无人机灾害响应的多阶段多模态推理基准。该基准涵盖14种灾害场景类型和9项关键任务，覆盖灾前、灾中和灾后三个阶段，包含5,330张真实低空无人机图像和29,300个推理样本，重点评估因果归因、传播预测、损伤分析和决策导向推理能力。同时，作者提出了轻量级多模态模型DisasterVL（2B参数），采用三阶段优化流水线：领域指令微调、思维链引导的多模态对齐和基于强化学习的策略优化。在21个主流多模态大模型上的实验表明，DisasterVL在推理准确率上超越所有开源模型，接近GPT-4o水平，且效率更高。该工作填补了现有灾害基准偏重感知、缺乏多阶段推理的空白，为边缘部署的灾害推理系统提供了有效方案。

Innovations:

• 首次构建覆盖灾前、灾中、灾后全阶段的多模态推理基准DisasterBench，包含14种灾害类型和9项响应关键任务，强调因果推理与决策导向。
• 提出轻量级多模态模型DisasterVL，通过领域指令微调、思维链引导的多模态对齐和强化学习策略优化三阶段流水线，在2B参数下实现接近GPT-4o的推理性能。
• 系统评估21个主流多模态大模型，揭示现有模型在灾害推理任务上的不足，并验证了轻量模型在边缘部署场景下的可行性。
• 基准设计显式建模灾害类型与任务阶段的耦合关系，支持细粒度的阶段感知推理评估。

Methodology: 首先，从真实低空无人机图像中收集5,330张图片，覆盖14种灾害场景和正常场景。然后，针对每张图片，根据其灾害类型和阶段（灾前/灾中/灾后）生成多个推理导向的多选题（共29,300个样本），涉及因果分析、传播预测、损伤评估、决策建议等任务。数据构建采用任务条件生成、交叉模型验证和专家审核的流水线。其次，提出DisasterVL模型，基于轻量级视觉语言骨干，采用三阶段训练：1）领域指令微调（在灾害相关数据上微调）；2）思维链引导的多模态对齐（利用CoT增强视觉-语言关联）；3）基于强化学习的策略优化（使用PPO等算法优化推理策略）。最后，在DisasterBench上评估21个开源和闭源多模态大模型，对比性能与效率。

Key Results:

• DisasterBench包含5,330张图像和29,300个样本，覆盖14种灾害类型和9项任务，跨越灾前、灾中、灾后三个阶段。
• DisasterVL（2B参数）在推理准确率上超越所有评估的开源模型，并显著缩小了与GPT-4o等闭源模型的差距，达到可比性能。
• 在效率方面，DisasterVL显著优于GPT-4o等大型模型，适合边缘部署。
• 现有主流多模态大模型在灾害推理任务上表现不一，尤其在因果推理和决策导向任务上存在明显短板。

Tech Stack:

• 多模态大模型（MLLMs）：GPT-4o、Gemini、LLaVA、Qwen-VL等21个模型
• 轻量级视觉语言模型（DisasterVL）：2B参数，基于Transformer架构
• 训练方法：领域指令微调（Domain Instruction Tuning）、思维链引导的多模态对齐（CoT-guided Multimodal Alignment）、强化学习策略优化（RL-based Policy Optimization，如PPO）
• 数据构建：任务条件生成、交叉模型验证（使用多个MLLM生成候选答案）、专家审核
• 评估指标：多选准确率（Accuracy）
• 无人机视角：低空无人机图像（UAV imagery）

Strengths:

• 基准设计全面，覆盖多种灾害类型和全生命周期阶段，任务设计贴近真实应急响应需求。
• 轻量级模型DisasterVL在保持高性能的同时具备高效推理能力，适合边缘部署。
• 系统评估了21个主流模型，提供了有价值的对比基准。
• 数据构建流程严谨，包含交叉验证和专家审核，保证样本质量。
• 明确将灾害推理定义为多阶段、因果导向的推理问题，超越了传统感知基准。

Limitations:

• 基准仅基于低空无人机图像，未涵盖卫星、地面等其他视角，可能限制泛化性。
• 所有样本为多选题形式，可能无法完全反映开放式推理的复杂性。
• 灾害类型虽多，但部分类型样本数量不均衡（如正常场景与灾害场景比例），可能影响评估公平性。
• DisasterVL模型仅在2B参数规模上验证，更大参数规模下的性能未知。
• 未在真实边缘设备（如无人机机载计算平台）上进行实际部署测试，仅模拟了效率优势。

Relevance To Keywords:

• 原生多模态大模型：论文提出的DisasterVL属于轻量级多模态大模型，但并非原生多模态（即从零训练），而是基于预训练模型微调。
• 多模态大模型的理解和生成一体化：论文主要关注理解（推理问答），未涉及生成任务（如图像生成），因此相关性有限。
• 表征学习：论文通过思维链引导的多模态对齐和强化学习优化表征，但未深入探讨表征学习理论。
• 世界模型：论文涉及灾害演化预测（传播预测），可视为对灾害世界模型的初步探索，但未构建完整的物理世界模型。
• 强化学习：论文使用强化学习进行策略优化（RL-based policy optimization），是核心方法之一。
• 后训练：论文的三阶段训练流水线（指令微调、对齐、RL）属于后训练范畴，与关键词高度相关。

室内场景生成对于机器人仿真和现代室内设计至关重要。然而，复杂的布局与稀缺的 3D 场景数据相结合，使得基于学习的生成方法面临挑战。现有方法往往依赖人工设计的规则，或专注于孤立的子任务（例如，平面图合成或单房间布置），生成的全屋场景缺乏全局一致性、真实感以及仿真就绪性。为了缓解这些局限性，我们提出了一种统一的层次化框架，将室内场景合成分解为多个可控阶段。首先，我们构建了一个包含 30 万份真实住宅平面图的大规模数据集，用于训练大型语言模型（LLM），以实现全屋平面图的生成。借助详细的描述和基于 K-D 树的表示方法，我们的方法实现了细粒度且可控的全屋平面图生成。基于生成的全屋平面图，我们利用图像生成模型从多层次漫游视角草拟家具布局，随后在不同支撑表面（如橱柜、书桌和餐桌）上生成小型可操作物体的布局，以供具身人工智能（Embodied AI）模拟使用。在家具和物体布局生成过程中，基于视觉语言模型（VLM）的细化器会迭代修正家具和物体的摆放位置，而 3D 生成模型则支持单个资产的灵活替换。此外，我们还附加了基本的物理属性以及简单的表面纹理和光照设置，从而完成适用于具身人工智能（Embodied AI）使用的完整流程。实验与用户研究表明，我们的流程生成的室内空间具有更大的布局多样性和更强的 3D 设计吸引力，在定量和定性指标上均优于先前方法。最后，除了生成流程外，我们将向社区公开该平面图数据集以及 5000 个完全布置好的场景。项目页面：https://kairos-homeworld.github.io/

Indoor scene generation is crucial for robot simulation and modern interior design. However, complex layouts together with scarce 3D scene data make learning-based generation challenging. Existing methods often rely on hand-crafted rules or focus on isolated sub-tasks (e.g., floorplan synthesis or single-room furnishing), producing whole-home scenes that lack global coherence, realism, and simulation readiness. To mitigate these limitations, we propose a unified hierarchical framework that decomposes indoor scene synthesis into controllable stages. First, we curate a large-scale dataset of 300K real residential floorplans to train a large language model for whole-home floorplan generation. With detailed descriptions and a K-D tree-based representation, our method enables fine-grained, controllable whole-home floorplan generation. Building upon the generated whole-home floorplan, we leverage image generation models to draft furniture layouts from multi-level roaming viewpoints, and then generate the layouts of small manipulable objects on different supporting surfaces (e.g., cabinets, desks, and dining tables) for embodied AI simulation. During furniture and object layout generation, a VLM-based refiner iteratively corrects furniture and object placement, and a 3D generative model enables flexible replacement of individual assets. We further attach basic physical attributes and simple surface texture and lighting setups to complete the pipeline for embodied AI use. Experiments and user studies demonstrate that our pipeline produces indoor spaces with greater layout diversity and stronger 3D design appeal, outperforming prior methods on both quantitative and qualitative metrics. Finally, alongside our generation pipeline, we will release the floorplan dataset and 5K fully furnished scenes to the community. Project Page: https://kairos-homeworld.github.io/

评分理由: 1. Unify Models (9.0): 论文标题和摘要均强调'Unified hierarchical framework'，核心贡献在于将地板规划、家具布置和物体生成整合为统一流程，与该关键词高度契合。2. MLLM (8.0): 论文核心方法依赖于大语言模型（LLM）生成地板描述，并使用视觉语言模型（VLM）进行布局修正，属于多模态大模型的应用。3. MultiModal (7.0): 处理文本（floorplan 描述）、图像（家具生成）和 3D 场景数据，涉及多模态数据的融合与生成。4. World Models (5.0): 论文生成的场景用于'embodied AI simulation'，这是世界模型的主要应用场景之一，虽论文本身侧重生成而非动力学建模，但背景关联度中等。5. Tokenizer (2.0): 摘要中未提及 tokenizer 的创新或核心设计，仅提到 K-D tree 表示，相关性低。6. Visual Encoder (3.0): 虽然 VLM 和图像生成模型隐含了视觉编码器，但论文未将其作为独立贡献模块突出，相关性较低。7. model-based RL (3.0): 论文目的是为模拟生成场景，而非提出基于模型的强化学习算法，仅作为潜在应用场景，相关性低。专家检查：作者列表为 Wenbo Li 等，不包含 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang，故无加分。

Floorplan Generation, Indoor Scene Generation, Unified Framework, Embodied AI Simulation, Large Language Model, Furniture Layout, 3D Generative Model

Chinese Title: HomeWorld：一种统一的从平面图到家具布置的框架，用于生成可控、密集交互的完整家居场景

Summary: 本文提出HomeWorld，一个统一的层次化框架，用于在3D数据稀缺条件下生成完整、可控、可交互的家居场景。首先，作者构建了包含30万真实住宅平面图的大规模数据集，并利用K-D树表示和详细描述训练大语言模型（LLM）生成精细可控的整屋平面图。然后，基于生成的平面图，通过层次化视角漫游策略，利用图像生成模型从俯视图和第一人称视角逐步提出家具布局，并借助VLM迭代修正器纠正不合理放置，同时支持3D生成模型灵活替换资产。最后，为支持具身AI仿真，在支撑面上放置可操作小物体，并添加基本物理属性、纹理和光照。实验和用户研究表明，该方法在布局多样性和3D设计吸引力上优于现有方法。论文将公开30万平面图数据集和5000个完整3D场景。

Innovations:

• 提出统一的层次化整屋场景生成流水线，将平面图生成、家具布局、可操作物体放置和资产替换有机结合，克服3D数据稀缺瓶颈。
• 利用K-D树表示和详细描述训练LLM，实现精细可控的整屋平面图生成，并构建30万真实住宅平面图数据集。
• 采用层次化视角漫游策略，结合图像生成模型的2D先验和平面图3D约束，实现跨视图一致的家具布局生成。
• 引入VLM迭代修正器，递归纠正物体放置中的不合理和约束违反，提升布局合理性。
• 支持通过3D生成模型灵活替换单个资产，增加物体多样性和渲染变化而不破坏场景一致性。

Methodology: 论文采用层次化生成流水线：1）平面图生成阶段：收集30万真实住宅平面图，用K-D树编码房间结构，训练LLM生成可控平面图；2）家具布局阶段：基于平面图，先通过俯视图放置大型功能家具（床、沙发等），再通过第一人称视角漫游逐步添加小物体，利用图像生成模型提出新物体，并用平面图3D约束保持一致性；3）递归修正阶段：使用VLM（视觉语言模型）迭代检查并修正不合理放置；4）可操作物体放置：在桌面、柜面等支撑面上分布小物体；5）后处理：添加纹理、光照和基本物理属性，生成可直接用于仿真的3D场景。

Key Results:

• 平面图生成：LLM生成的平面图在房间数量、面积、布局合理性等指标上优于现有方法，支持细粒度控制。
• 家具布局生成：与ProcTHOR、Holodeck等方法相比，生成的场景布局更多样、更真实，用户研究评分更高。
• 消融实验：验证了K-D树表示、VLM修正器、层次化漫游策略等组件的有效性。
• 数据集贡献：将公开30万平面图数据集和5000个完整3D场景，填补大规模整屋场景数据空白。

Tech Stack:

• 大语言模型（LLM）用于平面图生成
• K-D树（K-D Tree）用于平面图结构化表示
• 图像生成模型（如扩散模型）用于从漫游视角提出新物体
• 视觉语言模型（VLM）用于递归布局修正
• 3D生成模型（如基于扩散的3D资产生成）用于灵活替换资产
• 层次化视角漫游策略（俯视图→第一人称视角）
• 物理属性、纹理和光照设置（用于仿真就绪）

Strengths:

• 有效解决了3D数据稀缺问题，通过2D平面图数据和大规模预训练模型实现高质量整屋生成。
• 生成场景具有全局连贯性、物理可行性和仿真就绪性，支持具身AI交互。
• 层次化框架可控性强，用户可指定房间数量、风格等条件。
• 公开大规模数据集（30万平面图+5000完整场景），推动领域发展。
• 实验充分，包括定量指标、用户研究和消融实验，验证了各组件贡献。

Limitations:

• 依赖2D图像生成模型和VLM，可能存在生成不一致或幻觉问题，需要递归修正。
• 当前仅生成5000个完整3D场景，规模仍有限，后续需持续扩展。
• 平面图数据集虽大但可能包含噪声或标注不完整，影响LLM训练质量。
• 可操作物体种类和交互细节可能不如手工设计的仿真环境丰富。
• 未涉及动态场景（如人物移动、物体状态变化）的生成。

Relevance To Keywords:

• Unify Models: 论文统一了平面图生成、家具布局、物体放置等多个子任务，体现了模型一体化思想。
• World Models: 生成的整屋场景可作为具身AI的世界模型环境，支持仿真和交互。
• Representation Learning: 使用K-D树表示平面图结构，LLM学习空间布局表征。
• Model-Based RL: 生成的场景可用于基于模型的强化学习训练，提供可控、密集交互的环境。
• 原生多模态大模型: 论文结合LLM（文本）、VLM（视觉语言）、图像生成模型（视觉），体现了多模态大模型的理解与生成一体化。
• 多模态大模型的理解和生成一体化: LLM理解平面图描述并生成布局，VLM理解场景并修正错误，图像模型生成新物体，实现理解与生成闭环。
• 表征学习: K-D树和LLM隐式学习空间拓扑和功能关系表征。
• 后训练: 论文未明确涉及后训练，但LLM和VLM的使用可视为预训练模型的下游应用。

潜在世界模型（LWMs）通过预测紧凑的场景动力学以支持下游规划，增强了端到端自动驾驶。然而，现有的基于 LWM 的规划器通常直接从纠缠的潜在表示中生成轨迹。这种紧凑的潜在到规划路径缺乏对风险、可驾驶性以及多样化风格偏好的显式建模，导致在最终轨迹选定之前，驾驶风格动力学难以被监督、检查或调节。我们提出 PLAN-S（基于潜在风格动力学的规划），这是一个面向规划的桥梁，旨在通过从潜在表示中解码风格条件化的四通道语义代价图，来解决紧凑性与可控性之间的困境。该代价图基于自车状态和驾驶风格进行条件化，并通过两种主机侧接口在规划决策之前被使用：针对回归规划器的注意力级融合，以及针对锚点分数规划器的奖励级融合。我们在两个架构不同的主机上验证了 PLAN-S：nuScenes 上的 ResWorld 和 NAVSIM 上的 WoTE，同时保持主机骨干网络冻结，以隔离所提出桥梁的贡献。在 nuScenes 上，PLAN-S 在所有时间步长上均降低了基线的 L2 误差，平均 L2 误差为 0.55 米，且 3 秒碰撞率相对降低了 42%。在 NAVSIM 上，规则代价变体达到了 89.4 的预测驾驶者模型评分（PDMS），而学习代价变体则在基线难以应对的场景上提供了互补增益。消融实验表明，代价路径对更安全轨迹的选择贡献最为直接。定性结果进一步表明，PLAN-S 能够生成多样化的代价图，其空间变化与不同的驾驶风格保持一致。

Latent world models (LWMs) have strengthened end-to-end autonomous driving by forecasting compact scene dynamics for downstream planning. However, existing LWM-based planners usually generate trajectories directly from entangled latent representations. This compact latent-to-planner pathway lacks explicit modeling of risk, drivability, and diverse style preferences, making driving-style dynamics difficult to supervise, inspect, or modulate before a final trajectory is selected. We propose PLAN-S (PLANning with latent Style dynamics), a planner-facing bridge that addresses this compactness-controllability dilemma by decoding a style-conditioned, four-channel semantic cost map from the latent representation. The cost map is conditioned on ego state and driving style and is consumed up-stream of the planning decision through two host-side interfaces: attention-level fusion for regression planners and reward-level fusion for anchor-score planners. We validate PLAN-S on two architecturally distinct hosts, ResWorld on nuScenes and WoTE on NAVSIM, while keeping the host backbones frozen to isolate the contribution of the proposed bridge. On nuScenes, PLAN-S reduces L2 at every horizon over the baseline, with 0.55 m average L2 and a 42% relative reduction in the 3 s collision rate. On NAVSIM, the rule-cost variant reaches 89.4 Predictive Driver Model Score (PDMS), while the learned cost variant provides complementary gains on baseline-challenging scenes. Ablations show that the cost pathway contributes most directly to safer trajectory selection. Qualitative results further show that PLAN-S can produce diverse cost maps, with spatially consistent variations aligned to different driving styles.

评分理由: The paper explicitly centers on 'Latent World Models' for autonomous driving, earning a top score on World Models (10). It involves planning and latent dynamics, strongly relating to model-based RL (8). Visual encoders are implicit in the LWM backbones (5), while MLLM and Tokenizer are not explicitly mentioned (3, 2). Unify Models and MultiModal have moderate relevance due to the bridging nature and driving context (4, 5). No target experts are present in the author list.

Latent World Models, Autonomous Driving, Planning, Style Dynamics, Cost Map, Trajectory Selection, Semantic Cost Map, Latent Representation

Chinese Title: PLAN-S: 融合潜在风格动态的自动驾驶世界模型规划方法

Summary: 本文提出PLAN-S，一种规划导向的桥接模块，旨在解决潜在世界模型（LWM）中紧凑表示与可控性之间的矛盾。现有LWM规划器直接从纠缠的潜在表示生成轨迹，缺乏对风险、可驾驶性和驾驶风格偏好的显式建模。PLAN-S通过将潜在表示解码为四通道语义代价地图（动态障碍物、越野区域、静态障碍物、可驾驶性），并利用双自适应特征线性调制（dual AdaFiLM）机制，根据自车状态和驾驶风格条件化代价地图，实现风格依赖的规划前调制。该模块通过两种接口适配不同规划器家族：回归规划器采用注意力级融合，锚点评分规划器采用奖励级融合。在nuScenes（ResWorld主机）和NAVSIM（WoTE主机）上的实验表明，PLAN-S显著降低了L2误差和碰撞率，提升了PDMS分数，且消融实验验证了代价路径对安全轨迹选择的直接贡献。定性结果展示了与不同驾驶风格对齐的多样化代价地图。

Innovations:

• 提出四通道语义代价地图，显式建模风险、可驾驶性和路线偏好，作为规划导向的潜在风格动态。
• 通过双自适应特征线性调制（dual AdaFiLM）机制，将自车状态和驾驶风格条件化到代价地图，实现风格依赖的规划前调制。
• 设计两种跨规划器家族的接口：注意力级融合（回归规划器）和奖励级融合（锚点评分规划器），无需修改主机骨干网络。
• 在两种架构不同的主机（ResWorld和WoTE）上验证，保持骨干冻结，隔离桥接模块的贡献。

Methodology: PLAN-S采用以下技术路线：1）使用冻结的感知编码器和潜在世界模型生成当前和未来的BEV特征；2）可训练的代价地图解码器通过双AdaFiLM（分别对自车状态和驾驶风格进行特征线性调制）将BEV潜在表示解码为四通道语义代价地图；3）对于回归规划器（如ResWorld），代价地图通过注意力级融合注入，偏置路径点查询并引导空间细化；4）对于锚点评分规划器（如WoTE），代价地图通过奖励级融合注入，沿候选锚点采样代价以调整原生锚点分数。整个框架保持主机骨干网络不变，仅训练桥接模块。

Key Results:

• 在nuScenes上，PLAN-S在每个预测时域上均降低了L2误差，平均L2为0.55米，3秒碰撞率相对降低42%。
• 在NAVSIM上，规则代价变体达到89.4 PDMS，学习代价变体在基线困难场景上提供互补增益。
• 消融实验表明，代价路径对安全轨迹选择的贡献最直接。
• 定性结果展示了与不同驾驶风格对齐的空间一致变化的多样化代价地图。

Tech Stack:

• BEV表示：LSS、BEVFormer、BEVDepth
• 潜在世界模型：ResWorld、WoTE
• 特征调制：FiLM（特征线性调制）、dual AdaFiLM
• 规划器类型：回归规划器（基于Transformer的路径点查询）、锚点评分规划器（基于奖励模型）
• 数据集：nuScenes、NAVSIM
• 评估指标：L2误差、碰撞率、PDMS（预测驾驶模型分数）
• 其他：VQ-VAE、GPT、扩散模型（相关背景方法）

Strengths:

• 解决了潜在世界模型中紧凑表示与可控性之间的矛盾，显式建模风险、可驾驶性和风格偏好。
• 跨规划器家族通用，通过两种接口适配回归和锚点评分规划器，无需修改骨干网络。
• 风格条件化调制在规划前进行，增强了可解释性和可调节性。
• 在两个不同数据集和主机上验证，结果显著且消融实验充分。

Limitations:

• 依赖特定的BEV表示形式，可能不适用于非BEV的潜在世界模型。
• 驾驶风格仅通过简单的代码条件化，未考虑更复杂的个性化偏好或连续风格空间。
• 未讨论实时推理效率，可能对部署有影响。
• 仅在两个主机上验证，泛化性需更多实验支持。

Relevance To Keywords:

• 世界模型：论文核心是潜在世界模型（LWM）中的规划，通过预测未来BEV特征并解码为代价地图，属于世界模型范畴。
• 表征学习：通过双AdaFiLM将自车状态和驾驶风格条件化到潜在表示，学习风格相关的语义代价表征。
• 模型强化学习：锚点评分规划器使用奖励模型，代价地图作为奖励信号的一部分，与模型强化学习思想相关。
• 原生多模态大模型：论文未涉及多模态大模型，主要聚焦于BEV潜在表示和规划，相关性较低。
• 多模态大模型的理解和生成一体化：论文不涉及多模态生成，仅使用BEV特征进行规划，相关性低。
• 后训练：论文中主机骨干冻结，仅训练桥接模块，可视为一种后训练适配方法，但并非典型后训练范式。

近年来，3D 多模态大语言模型（3D-MLLMs）的进展使得 3D 场景理解任务（包括视觉问答、描述生成和指代分割）的统一解决方案成为可能。然而，现有的 3D-MLLMs 主要仍是以对象为中心（Object-Centric），限制了它们对精细粒度的部件结构（Fine-Grained Part Structures）进行建模的能力，而这些结构对于与 3D 环境的具身交互（Embodied Interaction）至关重要。在这项工作中，我们提出了 PAR3D，一种统一的部件感知（Part-Aware）3D-MLLM 框架，使模型能够理解、推理并在 3D 场景中定位对象及其部件。为了支持部件感知 3D 场景理解的训练与评估，我们引入了 ScenePart，一个带有部件级标注和语言指令的合成 3D 场景数据集。我们进一步开发了部件感知 3D 表示学习（Part-Aware 3D Representation Learning），通过精细粒度的部件级语义来丰富 3D 视觉表示，并提出分层分割查询生成（Hierarchical Segmentation Query Generation），通过分层对象 - 部件查询来定位部件目标。大量实验表明，我们的方法显著提高了部件级的问答和指代分割性能，同时在对象级别的视觉 - 语言任务（Vision-Language Tasks）上也取得了优异的表现。

Recent advances in 3D multimodal large language models (3D-MLLMs) have enabled unified solutions for 3D scene understanding tasks, including visual question answering, captioning, and referring segmentation. However, existing 3D-MLLMs remain largely object-centric, limiting their ability to model fine-grained part structures that are essential for embodied interaction with 3D environments. In this work, we present PAR3D, a unified part-aware 3D-MLLM framework that enables models to understand, reason about, and ground both objects and their parts in 3D scenes. To enable training and evaluation of part-aware 3D scene understanding, we introduce ScenePart, a synthetic 3D scene dataset with part-level annotations and language instructions. We further develop Part-Aware 3D Representation Learning to enrich 3D visual representations with fine-grained part-level semantics, and propose Hierarchical Segmentation Query Generation to ground part targets via hierarchical object-part queries. Extensive experiments show that our method substantially improves part-level question answering and referring segmentation, while also achieving strong performance across object-level vision-language tasks.

评分理由: 论文标题明确包含'Unified'和'3D-MLLM'，因此'Unify Models'、'MLLM'和'MultiModal'高度相关（9 分）。'Visual Encoder'隐含在 3D 视觉处理中，但核心创新在于表征学习而非编码器本身（6 分）。'Tokenizer'、'World Models'和'model-based RL'在摘要中未提及，与本文感知任务关联度低（1-2 分）。作者列表中未包含指定的专家。

3D-MLLM, Part-Aware Representation, Scene Understanding, Unified Framework, Visual-Language, Hierarchical Segmentation, Object-Part Grounding

Chinese Title: PAR3D：一种具有部件感知表示的统一3D多模态大语言模型用于场景理解

Summary: 本文提出PAR3D，一种统一的部件感知3D多模态大语言模型（3D-MLLM），旨在解决现有3D-MLLM仅关注物体级别、缺乏细粒度部件理解的问题。研究背景：现有3D-MLLM以物体为中心，无法建模物体部件结构，限制了具身交互能力。方法：首先构建了ScenePart合成数据集，包含部件级标注和语言指令；其次提出部件感知3D表示学习，增强视觉骨干网络对部件级几何和语义特征的捕捉；最后设计层次化分割查询生成，通过解耦的物体-部件查询实现部件级定位。实验表明：PAR3D在部件级问答和指代分割任务上显著提升，同时在物体级视觉语言任务上保持强性能。结论：该框架实现了统一的物体和部件级3D场景理解，为具身智能和交互式场景编辑提供了基础。

Innovations:

• 构建了ScenePart合成数据集，提供场景级物体和部件掩码、物体-部件对应关系及多任务语言指令，填补了部件级3D场景理解数据空白。
• 提出部件感知3D表示学习，在预训练3D基础编码器上适配，使视觉骨干能够捕捉细粒度部件几何和语义特征。
• 设计层次化分割查询生成，生成解耦的物体级和部件级分割查询，支持部件相对于宿主物体的定位。
• 首次将部件级理解融入统一3D-MLLM框架，支持问答、分割和推理等多种任务，超越物体级理解。

Methodology: 基于3D-LLaVA框架扩展，采用两阶段训练：第一阶段在ScenePart数据集上进行部件感知3D骨干预训练，使用实例分割和部件级监督；第二阶段进行指令微调。具体技术包括：使用3D点云编码器提取点级和超点级特征，通过查询解码器细化特征并映射到LLM嵌入空间；引入特殊标记[SEG]用于分割查询，通过层次化查询生成实现物体和部件级掩码预测。数据集构建采用四步流程：预处理部件标注3D资产、使用MiDiffusion生成室内布局、实例化并采样为点云场景、通过模板和LLM生成语言指令。

Key Results:

• 在ScenePart-QA测试集上，PAR3D在部件级问答任务上显著优于基线3D-LLaVA。
• 在ScenePart-Seg测试集上，PAR3D在部件级指代分割任务上取得明显提升。
• 在物体级视觉语言任务（如ScanQA、ScanRefer）上，PAR3D保持与现有3D-MLLM相当或更优的性能。
• 消融实验验证了部件感知表示学习和层次化查询生成各自的有效性。

Tech Stack:

• 3D点云编码器（基于3D-LLaVA的3D backbone）
• 查询解码器（Query Decoder）
• 大语言模型（LLM，如LLaVA系列）
• MiDiffusion（室内布局生成）
• 3D-CoMPaT（部件标注3D资产）
• 3D-FRONT（室内布局数据集）
• Qwen3-VL-8B（用于物体尺度估计和描述生成）
• 模板规则与LLM精炼（语言指令生成）

Strengths:

• 首次将部件级理解引入统一3D-MLLM，填补了细粒度场景理解的空白。
• 构建了大规模部件级场景数据集ScenePart，支持训练和评估。
• 方法设计合理，通过表示学习和层次化查询有效解决部件感知问题。
• 实验全面，在部件级和物体级任务上均取得良好性能，验证了通用性。

Limitations:

• 数据集ScenePart为合成数据，与真实场景存在域差异，可能影响真实场景泛化。
• 部件感知表示学习依赖于预训练编码器，可能受限于基础模型能力。
• 层次化查询生成增加了模型复杂度，推理效率有待评估。
• 未在真实机器人或具身任务中验证实际交互效果。

Relevance To Keywords:

• 原生多模态大模型：PAR3D属于3D多模态大模型，将3D视觉与语言模型统一，符合原生多模态大模型方向。
• 表征学习：提出部件感知3D表示学习，增强视觉特征对部件级语义的编码，属于表征学习范畴。
• 世界模型：3D场景理解是世界模型的重要组成部分，PAR3D通过部件级理解提升了场景建模的精细度。
• 模型统一：PAR3D统一了物体和部件级的问答、分割、推理任务，体现了Unify Models的思想。

大型视觉语言模型（LVLMs）已在各种任务中展现出显著的推理能力。然而，基于大型视觉语言模型（LVLMs）进行文本到 3D 室内场景生成的研究尚不多见。主要挑战在于，现有的基于 LVLMs 的方法采用思维链（Chain-of-Thought）顺序决策机制，无法修正早期的决策，从而导致错误传播。本文将该任务视为受空间与布局常识约束的规划问题。为了解决这一问题，我们将其建模为一种包含全局树和局部树的树搜索问题，这与现有的顺序决策方法有所不同。在全局树中，我们迭代地放置每个物体，并探索多种尝试（类似于人类布置房间的过程），其中问题空间被表示为一棵树。为了有效地搜索这棵树，我们提出了一种分层场景表示方法以及一种基于概率路线图（PRM）引导的蒙特卡洛树搜索（MCTS）方法。该分层表示将场景抽象为房间层级、区域层级、地面物体层级以及支撑物体层级。基于 PRM 引导的 MCTS 方法利用 PRM 修剪不必要的分支，并利用 MCTS 算法平衡探索与利用，从而以更少的尝试次数获得最优解。在局部树中，该方法进一步将每个物体的放置分解为更细的子步骤，包括具体的放置参数。为了使场景的整体外观保持一致，我们利用预训练的扩散图像生成模型来预测场景中所有物体的纹理。鉴于现有的文本到 3D 室内场景生成基准在规模和多样性上仍显不足，我们收集了一个新的多样化大规模数据集，名为 3DTindo-bench，该数据集包含 65 种场景类型和 3250 条指令，涵盖不同的尺寸、布局和风格，以更好地评估最先进模型的能力。实验结果表明，我们的方法生成的 3D 场景比现有最先进的方法更为逼真。

Large Vision-Language Models have achieved significant reasoning performance in various tasks.However, there are few studies on text-to-3D indoor scene generation with LVLMs. The main challenge is that prevailing LVLM-based methods employ chain-of-thought sequential decision mechanisms that cannot revise earlier decisions, causing error propagation.In this paper, we consider the task as a planning problem constrained by spatial and layout commonsense.To solve this problem, we model it as a tree search problem with global and local trees, which differs from existing sequential decision-making approaches.In the global tree, we place each object iteratively and explore multiple attempts like humans furnishing a room, where the problem space is represented as a tree.To effectively search the tree, we propose a hierarchical scene representation and a PRM-guided MCTS method.The hierarchical representation abstracts a scene into room level, region level, floor object level, and supported object level.The PRM-guided MCTS method uses the PRM to prune unnecessary branches and the MCTS algorithm to balance exploration and exploitation to get an optimal solution with fewer attempts.In the local tree, it further decomposes the placement of each object into finer sub-steps, including the specific placement parameters.To make the whole appearance of the scene consistent, we leverage pre-trained diffusion image generative models to predict textures for all the objects in the scene.As existing benchmarks for text-to-3D indoor scene generation remain limited in scale and diversity, we collect a new large-scale diverse dataset that contains 65 scene types and 3,250 instructions with diverse sizes, layouts, and styles, named 3DTindo-bench, to better assess the capability of the state-of-the-art models. Our experiments show that our method generates more realistic 3D scenes than state-of-the-art approaches.

评分理由: 论文核心在于利用大视觉语言模型（MLLM）和多模态能力解决文本到 3D 生成问题，并采用蒙特卡洛树搜索（与 model-based RL 相关）优化决策过程。未深入探讨 Tokenizer、视觉编码器细节或统一模型架构，世界模型概念仅部分体现在层级场景中。作者列表中不包含指定的专家，故无额外加分。

Text-to-3D Indoor Scene Generation, Large Vision-Language Models, Monte Carlo Tree Search, Hierarchical Scene Representation, Planning Problem, Diffusion Image Generative Models, 3DTindo-bench

Chinese Title: 面向文本到3D室内场景生成的视觉-语言模型中全局-局部蒙特卡洛树搜索

Summary: 本文针对文本到3D室内场景生成任务，提出了一种基于全局-局部蒙特卡洛树搜索（MCTS）的新方法。现有方法采用链式思维（CoT）顺序决策机制，无法修正早期错误，导致误差传播。本文将任务建模为树搜索问题，通过全局树和局部树分别处理场景布局和物体放置细节。全局树中，每个物体迭代放置并探索多个候选方案，利用分层场景表示（房间级、区域级、地面物体级、支撑物体级）降低复杂度，并引入进度奖励模型（PRM）指导MCTS，剪枝无效分支，平衡探索与利用。局部树进一步分解每个物体的放置参数。为保持场景外观一致性，采用预训练扩散模型生成物体纹理。此外，作者收集了大规模多样化数据集3DTindo-bench（65种场景类型、3250条指令），并设计了五维评估框架。实验表明，该方法在真实感和平均性能上超越现有最佳基线约14%。

Innovations:

• 将文本到3D室内场景生成建模为树搜索问题，区别于传统链式顺序决策，支持回溯修正错误。
• 提出分层场景表示（房间-区域-地面物体-支撑物体），有效降低搜索空间复杂度。
• 引入进度奖励模型（PRM）指导蒙特卡洛树搜索（MCTS），通过剪枝和平衡探索-利用提升搜索效率。
• 利用预训练扩散模型生成场景中所有物体的纹理，实现外观一致性。
• 构建大规模多样化基准数据集3DTindo-bench（65场景类型、3250指令），并设计五维评估体系。

Methodology: 本文采用全局-局部树搜索框架。全局树中，每个物体作为一层，节点代表不同放置配置，通过PRM-guided MCTS进行搜索：PRM评估中间状态并剪枝，MCTS通过选择、扩展、模拟、反向传播平衡探索与利用。局部树进一步分解每个物体的放置子步骤（位置、朝向等）。场景生成流程：首先根据文本指令，利用LVLM生成分层场景表示；然后在每个区域内部执行PRM-guided MCTS搜索布局；最后使用预训练扩散模型为所有物体生成纹理。评估采用五维指标（物理合理性、语义合理性、布局合理性、指令对齐、美学一致性）。

Key Results:

• 在3DTindo-bench上，该方法平均性能超越最佳基线约14%。
• 相比DFS，PRM-guided MCTS显著减少搜索次数，提升效率。
• 纹理生成模块有效提升了场景外观一致性。
• 分层场景表示降低了计算复杂度，使大规模场景生成可行。
• 消融实验验证了PRM剪枝和MCTS平衡策略的有效性。

Tech Stack:

• 蒙特卡洛树搜索（MCTS）
• 进度奖励模型（PRM）
• 大型视觉-语言模型（LVLM）
• 预训练扩散图像生成模型（用于纹理生成）
• 分层场景表示（房间级、区域级、地面物体级、支撑物体级）
• 深度优先搜索（DFS，作为对比基线）
• CLIP（用于3D资产检索）
• 3DTindo-bench数据集（65场景类型，3250指令）

Strengths:

• 创新性地将场景生成视为树搜索，克服了链式推理的误差累积问题。
• PRM-guided MCTS在保证质量的同时大幅降低搜索开销。
• 分层表示使方法可扩展至复杂多物体场景。
• 构建的大规模基准填补了现有评估数据不足的空白。
• 纹理生成模块提升了场景视觉一致性，增强真实感。

Limitations:

• 依赖LVLM的常识推理能力，可能在某些罕见场景或特殊指令下表现不佳。
• MCTS的搜索效率仍受限于树深度和分支数，极端复杂场景可能仍需大量计算。
• 纹理生成基于预训练扩散模型，可能产生与场景风格不完全匹配的纹理。
• 评估指标虽多但均为自动计算，缺乏用户主观评价验证。
• 数据集虽大但仅涵盖室内场景，未涉及室外或动态场景。

Relevance To Keywords:

• Unify Models: 本文使用LVLM统一理解文本指令和生成布局，体现了多模态模型的统一能力。
• World Models: 分层场景表示和PRM可视为对室内场景世界模型的抽象，用于指导搜索。
• Representation Learning: 分层场景表示是一种结构化表征学习，将复杂场景分解为层次化语义。
• Model-Based RL: MCTS结合PRM属于基于模型的强化学习范式，通过模拟和评估进行决策。
• 原生多模态大模型: 直接利用LVLM的常识推理，无需额外训练，符合原生多模态大模型的应用。
• 多模态大模型的理解和生成一体化: LVLM同时承担指令理解和布局生成的角色。
• 表征学习: 分层表示是场景表征学习的具体实例。
• 世界模型: PRM作为进度奖励模型，评估中间状态，类似于世界模型中的状态价值函数。
• 强化学习: MCTS是强化学习中常用的搜索算法，PRM提供奖励信号。
• 后训练: 本文未涉及后训练，但PRM和MCTS可视为测试时推理增强，与后训练中的推理优化相关。

自适应视频标记化旨在根据序列底层的视觉复杂度动态分配 token 预算。当前的连续域方法通过迭代二值化搜索或训练好的神经回归器实现这一目标，而离散方法通常需要全速率解码器前向传播来估计信息量。我们证明此类计算开销并非严格必要。我们表明，冻结的连续视频标记器的潜在空间本质上编码了可直接利用的时间冗余：在连续帧之间潜在表示变化极小的空间位置携带接近零的额外信息。我们引入了一种无参数的自适应 token 分配机制，该机制对逐位置时间 L1 差异应用固定阈值，从而识别并丢弃冗余潜在位置。因此，压缩率自然地从输入内容中涌现，而非自上而下强制施加：静态场景被激进地压缩，而高度动态序列则保留更多 token。为了重建被丢弃的位置，我们提出了潜在修复 Transformer (LIT)，这是一种轻量级的分解式时空注意力架构。所得到的推理管道效率极高，仅需单次编码器前向传播和一次 LIT 前向传播，从而消除了对辅助路由网络的需求。在 TokenBench 和 DAVIS（近期标记器~\cite{infotok, agarwal2025cosmos}所使用的标准基准）上的评估表明，我们的框架实现了有意义的、内容驱动的 token 分配，同时保持了具有竞争力的重建保真度，并且在推理速度上比连续自适应基线（ElasticTok-CV）实现了 31 倍的加速，比离散信息论基线（InfoTok）实现了约 2 倍的加速。

Adaptive video tokenisation seeks to dynamically allocate token budgets based on the underlying visual complexity of a sequence. Current continuous-regime approaches achieve this via iterative binarised searches or trained neural regressors, while discrete methods often require a full-rate decoder pass to estimate information content. We demonstrate that such computational overheads are not strictly necessary. We show that the latent space of a frozen continuous video tokeniser inherently encodes temporal redundancy that can be exploited directly: spatial positions whose latent representations change minimally between consecutive frames carry near-zero additional information. We introduce a parameter-free adaptive token allocation mechanism that applies a fixed threshold to per-position temporal-L1 differences, identifying and dropping redundant latent positions. Consequently, the compression rate emerges naturally from the input content rather than being enforced top-down: static scenes get compressed aggressively, while highly dynamic sequences retain more tokens. To reconstruct the dropped positions, we propose the Latent Inpainting Transformer (LIT), a lightweight factorised spatial-temporal attention architecture. The resulting inference pipeline is highly efficient, requiring only a single encoder pass and one LIT forward pass, eliminating the need for auxiliary routing networks. Evaluations across TokenBench and DAVIS, which are the standard benchmarks used by recent tokenisers~\cite{infotok, agarwal2025cosmos}, indicate that our framework yields meaningful, content-driven token allocation while maintaining competitive reconstruction fidelity, and delivers a $31\times$ inference-time speedup over the continuous adaptive baseline (ElasticTok-CV) and an $\approx2\times$ speedup over the discrete information-theoretic baseline (InfoTok)

评分理由: 论文核心贡献在于自适应视频令牌化（Tokenizer，10 分），方法依赖于冻结的视频编码器提取潜空间特征（Visual Encoder，9 分）。视频处理是多模态（MultiModal，5 分）和 MLLM（5 分）的基础组件，但未涉及文本融合。论文未提及模型统一（Unify Models）、世界模型（World Models）或强化学习（model-based RL），相关性低（2 分）。加权总分 52.5，远超及格线 27.8。作者列表中未包含指定的专家。

Adaptive Tokenisation, Temporal Redundancy, Latent Inpainting, Video Tokeniser, Token Allocation, Inference Efficiency, Latent Space

Chinese Title: 基于时间冗余掩码与潜在空间修补的自适应分词化

Summary: 本文提出了一种自适应视频分词化框架，旨在根据视频内容的动态复杂度动态分配令牌预算。现有方法（如ElasticTok、InfoTok）依赖学习型路由器、额外解码器前向传播或迭代搜索，计算开销较大。作者证明，冻结的连续视频分词器的潜在空间本身已编码了时间冗余信息：相邻帧之间潜在表示变化极小的空间位置携带近乎零的额外信息。基于此，本文引入一种无参数的令牌分配机制，通过固定阈值对逐位置的时间L1差异进行阈值化，识别并丢弃冗余潜在位置。为重建被丢弃的位置，提出了潜在空间修补变换器（LIT），一种轻量级分解式时空注意力架构。推理时仅需一次编码器前向传播和一次LIT前向传播，无需辅助路由网络。在TokenBench和DAVIS基准上的评估表明，该方法实现了有意义的、内容驱动的令牌分配，重建保真度与现有方法相当，同时相比ElasticTok-CV实现了31倍的推理加速，相比InfoTok实现了约2倍的加速。

Innovations:

• 首次证明冻结连续视频分词器的潜在空间中的时间L1差异足以作为自适应令牌分配的信号，无需学习型路由器或额外解码器前向传播。
• 提出潜在空间修补变换器（LIT），一种分解式时空注意力架构，通过交错的空间和时间注意力以及2D旋转位置嵌入，高效重建被丢弃的潜在位置。
• 实现完全无参数的令牌分配机制，压缩率由输入内容自然决定，静态场景压缩更激进，动态场景保留更多令牌。
• 推理效率极高，仅需一次编码器前向传播和一次LIT前向传播，相比现有自适应方法（ElasticTok-CV、InfoTok）显著降低计算开销。

Methodology: 论文采用以下技术路线：1）使用冻结的连续视频分词器（如Cosmos Tokenizer）作为骨干网络，将输入视频编码为连续潜在表示；2）在潜在空间中计算每个空间位置相邻帧之间的时间L1差异，通过固定阈值τ生成二进制掩码，丢弃差异低于阈值的潜在位置；3）设计潜在空间修补变换器（LIT），该网络采用分解式时空注意力机制，先进行空间注意力（2D旋转位置嵌入），再进行时间注意力，从保留的令牌中重建被丢弃的位置；4）使用重建损失和潜在空间损失联合训练LIT，冻结编码器和解码器；5）推理时，编码器输出潜在表示，掩码模块生成掩码，LIT修补被丢弃位置，解码器重建视频。

Key Results:

• 在TokenBench和DAVIS基准上，所提方法在重建保真度上与连续自适应基线ElasticTok-CV相当，且使用更少的令牌。
• 与离散自适应方法InfoTok相比，在相同保留约束下表现更优。
• 推理速度相比ElasticTok-CV提升31倍，相比InfoTok提升约2倍。
• 在UCF-101数据集上，τ=0.3时，每个视频的丢弃率从5.15%到86.10%不等，表明压缩率由内容动态复杂度自然驱动。
• 静态场景压缩更激进，动态场景保留更多令牌，验证了内容自适应的有效性。

Tech Stack:

• 连续视频分词器：Cosmos Tokenizer（4×8×8时空压缩比，16通道潜在空间）
• 潜在空间修补变换器（LIT）：分解式时空注意力架构
• 2D旋转位置嵌入（2D Rotary Positional Embeddings）
• 时间L1差异阈值化掩码机制
• 重建损失（Reconstruction Loss）和潜在空间损失（Latent Loss）联合训练
• 冻结编码器-解码器架构
• TokenBench和DAVIS基准数据集

Strengths:

• 提出完全无参数的令牌分配机制，无需学习型路由器或额外解码器前向传播，极大降低计算开销。
• 推理效率极高，仅需一次编码器前向传播和一次LIT前向传播，适合实时或资源受限场景。
• 压缩率由输入内容自然决定，静态场景压缩更激进，动态场景保留更多令牌，实现真正的自适应。
• 在多个基准上重建保真度与现有方法相当，同时显著提升推理速度。
• 方法简洁，易于实现和集成到现有连续分词器框架中。

Limitations:

• 阈值τ为固定标量，需针对不同骨干网络潜在空间的方差进行校准，可能影响泛化性。
• 方法依赖冻结的连续分词器，若分词器本身质量不佳，潜在空间的时间冗余信号可能不可靠。
• LIT网络仅通过训练学习修补，对于极端动态或复杂场景，修补质量可能下降。
• 未与离散自适应方法（如AdapTok）在相同条件下进行直接比较，仅与InfoTok进行了对比。
• 论文未讨论在长视频或高分辨率视频上的扩展性和计算资源需求。

Relevance To Keywords:

• Unify Models: 论文提出的自适应分词化框架可统一处理静态和动态视频内容，为统一模型提供高效表示。
• World Models: 视频分词器是世界模型的关键组件，自适应令牌分配有助于世界模型更高效地处理动态环境。
• Representation Learning: 论文在潜在空间中利用时间冗余进行自适应令牌分配，属于表示学习范畴。
• Model-Based RL: 高效视频分词化可加速基于模型的强化学习中的环境建模和规划。
• 原生多模态大模型: 自适应分词化可提升多模态大模型处理视频数据的效率。
• 多模态大模型的理解和生成一体化: 连续潜在表示和高效令牌分配有助于统一理解和生成任务。
• 表征学习: 论文核心是学习更紧凑、内容自适应的视频表征。
• 世界模型: 视频分词器是世界模型的基础，自适应压缩有助于世界模型处理复杂动态场景。
• 强化学习: 高效视频分词化可加速强化学习中的环境建模和规划。
• 后训练: 论文中的LIT网络是在冻结分词器后训练的，属于后训练阶段。

医学影像人工智能在孤立图像解读方面表现强劲，但与放射学实践仍存在较大偏差，因为放射学中的诊断和随访依赖于对既往研究及类似参考病例的比较。本文将放射学比较定义为实体感知的跨图像推理问题，并提出一个同时支持参考病例检索和时序比较解读的框架。我们构建了 MedReCo-DB，这是一个从常规图像 - 报告对派生的大规模比较成像资源，涵盖来自 8 个机构、4 个国家、7 种成像模态的 16 万多名患者的 69 万余张图像。报告被分解为解剖结构、异常发现和病理状况，以此提供实体条件检索和比较性视觉问答的监督信号。基于此资源，我们开发了 MedReCo，一种用于可控检索临床类似病例的实体感知视觉编码器，以及 MedReCo-VLM，一种用于间隔变化生成式解读的视觉 - 语言扩展模型。在内部、外部及跨中心评估中，MedReCo 在所有 12 种内部检索设置中均取得了最高的 Recall@1，且外部检索性能平均提升了 6.0 个百分点。在临床易混淆的鉴别诊断组中，它一贯优于最强基线。MedReCo-VLM 在所有比较生成评估中均取得了最佳性能，并在胸片上将纵向随访准确率提高了 14.5-46.5 个百分点，在 CT 上提高了 13.0-27.9 个百分点。这些发现表明，实体感知比较推理可以从大规模常规临床数据中学习，并可能为医学影像人工智能提供更符合临床实践的基础。

Medical imaging artificial intelligence has achieved strong performance in isolated image interpretation, but remains poorly aligned with radiological practice, where diagnosis and follow-up rely on comparison across prior studies and analogous reference cases. Here we formulate radiological comparison as an entity-aware cross-image reasoning problem and introduce a framework that supports both reference-case retrieval and temporal comparative interpretation. We construct MedReCo-DB, a large-scale comparative imaging resource derived from routine image-report pairs, comprising more than 690,000 images from over 160,000 patients across eight institutions, four countries and seven imaging modalities. Reports are decomposed into anatomical structures, abnormal findings and pathological conditions to provide supervision for entity-conditioned retrieval and comparative visual question answering. Using this resource, we develop MedReCo, an entity-aware visual encoder for controllable retrieval of clinically analogous cases, and MedReCo-VLM, a vision--language extension for generative interpretation of interval change. Across internal, external and cross-center evaluations, MedReCo achieved the highest Recall@1 in all 12 internal retrieval settings and improved external retrieval by a mean of 6.0 percentage points. In clinically confusable differential groups, it consistently outperformed the strongest baselines. MedReCo-VLM achieved the best performance across all comparative generation evaluations and improved longitudinal follow-up accuracy by 14.5-46.5 percentage points on chest radiographs and 13.0-27.9 percentage points on CT. These findings suggest that entity-aware comparative reasoning can be learned from routine clinical data at scale and may provide a more clinically aligned foundation for medical imaging AI.

评分理由: 论文提出放射学比较推理的视觉 - 语言框架。'Visual Encoder'和'MultiModal'高度相关，因涉及实体感知视觉编码器与多模态数据；'MLLM'相关，因使用视觉语言模型生成解释；'Unify Models'中度相关，框架统一检索与生成；'Tokenizer'弱相关；'World Models'和'model-based RL'不相关，无强化学习内容。作者列表无指定专家。加权总分 51.0，高于及格分 27.8。

Comparative Reasoning, Radiology, Vision-language Framework, Entity-aware Visual Encoder, Retrieval, Generative Interpretation, Medical Imaging, Longitudinal Follow-up

Chinese Title: 放射学中比较推理的视觉-语言框架

Summary: 本文提出了一种面向放射学比较推理的视觉-语言框架，旨在解决当前医学影像AI仅能孤立解读单张图像、缺乏临床比较推理能力的问题。研究将放射学比较分为参考比较（跨患者相似病例检索）和时间比较（同一患者前后影像变化生成）两类，并构建了大规模比较影像资源MedReCo-DB，包含来自8个机构、4个国家、7种模态的69万张图像，通过分解报告中的解剖结构、异常发现和病理条件提供实体级监督。基于此，开发了实体感知的视觉编码器MedReCo用于可控检索，以及扩展的视觉-语言模型MedReCo-VLM用于生成式比较解释。实验表明，MedReCo在内部检索12项设置中均取得最高Recall@1，外部检索平均提升6.0个百分点；MedReCo-VLM在比较生成评估中全面领先，纵向随访准确率提升14.5-46.5个百分点。研究证明实体感知的比较推理可从常规临床数据中大规模学习，为医学影像AI提供更临床对齐的基础。

Innovations:

• 首次将放射学比较推理形式化为实体感知的跨图像推理问题，涵盖参考比较和时间比较两种临床核心场景。
• 构建了大规模多模态比较影像数据集MedReCo-DB，包含69万张图像、16万患者、7种模态，并提供实体级标注（42种解剖结构、69种异常发现、28种病理条件）。
• 提出实体感知的视觉编码器MedReCo，通过文本引导的对比排序学习细粒度实体感知表示，支持可控检索。
• 开发MedReCo-VLM，将实体感知视觉表示与大语言模型通过指令微调连接，实现生成式比较解释。
• 在内部、外部、跨中心和临床易混淆鉴别组等多个严格设置下全面评估，显著超越现有基线。

Methodology: 研究采用以下技术路线：1) 数据构建：从8个公开数据集和1个内部数据集收集图像-报告对，利用报告分解工具提取实体级标注（解剖结构、异常发现、病理条件），构建检索三元组和比较VQA样本。2) 模型设计：MedReCo使用模态感知的视觉编码器处理不同模态图像，通过实体条件注意力机制聚焦相关视觉证据，采用文本引导的对比排序损失学习实体感知表示。3) 生成扩展：MedReCo-VLM将预训练视觉编码器与大语言模型通过指令微调连接，输入图像对和实体查询，输出比较性自然语言描述。4) 评估：在内部验证、外部验证、跨中心检索、临床易混淆鉴别组以及公共配对图像VQA基准上测试，使用Recall@k和生成指标（如BLEU、ROUGE、CIDEr等）。

Key Results:

• MedReCo在内部检索12项设置中均取得最高Recall@1，在解剖结构、异常发现、病理条件上分别比最强基线提升5.8、3.5、6.1个百分点。
• 外部检索Recall@1平均提升6.0个百分点，跨中心检索中保持优势。
• 在临床易混淆鉴别组（如肺结节与肺不张）中，MedReCo一致优于最强基线。
• MedReCo-VLM在所有24项比较生成评估中取得最佳性能，在公共配对图像VQA基准上达到87.1%准确率。
• 纵向随访任务中，胸片准确率提升14.5-46.5个百分点，CT提升13.0-27.9个百分点。

Tech Stack:

• 对比学习（Contrastive Learning）
• CLIP架构（文本-图像对齐）
• 大语言模型（LLM）
• 指令微调（Instruction Tuning）
• 视觉编码器（Vision Encoder，如ViT）
• 文本编码器（Text Encoder）
• 注意力机制（Entity-conditioned Attention）
• 排序损失（Ranking Loss）
• 报告分解工具（如RadGraph、CheXbert等）
• 评估指标：Recall@k, BLEU, ROUGE, CIDEr, 准确率

Strengths:

• 大规模、多模态、多机构、多国家的数据集构建，覆盖7种影像模态，具有强泛化性。
• 实体感知的设计使模型能够针对特定临床实体进行检索和生成，而非全局匹配，更符合临床需求。
• 统一框架同时支持参考比较和时间比较，将检索与生成任务整合在同一视觉表示基础上。
• 在多个严格评估设置（内部、外部、跨中心、易混淆组）中均取得显著提升，验证了方法的有效性和鲁棒性。
• 利用常规临床报告自动生成监督信号，无需额外人工标注，具有可扩展性。

Limitations:

• 数据集依赖报告质量，报告分解可能存在误差，影响实体标注准确性。
• 当前仅覆盖7种模态，未涉及如超声心动图、核医学等模态，通用性有待扩展。
• 模型在罕见或长尾实体上的表现可能受限，因为训练数据分布不均。
• 生成式比较解释的质量评估主要依赖自动指标，缺乏临床专家人工评估。
• 计算资源需求较高，尤其是MedReCo-VLM的指令微调阶段。

Relevance To Keywords:

• 原生多模态大模型：论文构建的视觉-语言框架（MedReCo-VLM）属于多模态大模型，直接处理图像和文本，实现理解和生成一体化。
• 多模态大模型的理解和生成一体化：MedReCo-VLM同时支持检索（理解）和比较解释（生成），体现了理解与生成的统一。
• 表征学习：MedReCo通过对比学习学习实体感知的视觉表征，是表征学习的典型应用。
• 世界模型：论文中的比较推理（跨时间、跨患者）涉及对疾病演变和相似病例的建模，可视为医学影像领域的简化世界模型。
• 强化学习：论文未直接使用强化学习，但后训练（指令微调）可视为一种强化学习范式（如RLHF），不过文中未明确提及。
• 后训练：MedReCo-VLM的指令微调属于后训练阶段，将预训练视觉编码器与大语言模型对齐。

第一人称视角人类视频为机器人数据的预训练提供了一种可扩展的替代方案，然而，基于此类视频预训练的模型始终逊色于基于机器人数据预训练的模型。我们将这一差距归因于一个缺失的信号，即第一人称视角视频中的主动感知行为：在操作过程中，人类不断调整其视点，从而引发相机运动，而标准流程将其视为噪声。为了解决这一问题，我们提出了 ActiveMimic，这是一个预训练框架，它从单个佩戴式 RGB 相机中恢复同步的相机和手腕轨迹，将相机运动建模为视点动作，并从真实场景中的第一人称视角人类视频中联合学习主动感知和操作，随后适配至目标机器人。实验上，针对具有多样主动感知需求的任务进行的真实世界实验表明，ActiveMimic 始终超越基于人类视频预训练的基线，并达到基于机器人数据预训练的最先进模型的水平。进一步分析提供了证据，表明主动感知能力源于第一人称视角人类视频预训练，而非机器人特定微调，证实了主动感知是解锁第一人称视角人类视频用于机器人预训练的关键。

Egocentric human video offers a scalable alternative to robot data for pretraining, yet models pretrained on such video consistently underperform those pretrained on robot data. We attribute this gap to a missing signal, the active perception behavior in egocentric videos, where humans continuously reposition their viewpoint during manipulation, inducing camera motion that standard pipelines treat as noise. To address this, we present ActiveMimic, a pretraining framework that recovers synchronized camera and wrist trajectories from a single body-worn RGB camera, models camera motion as a viewpoint action, and jointly learns active perception and manipulation from in-the-wild egocentric human video before adapting to a target robot. Empirically, real-world experiments across tasks with diverse active perception demands show that ActiveMimic consistently surpasses baselines pretrained on human video and matches state-of-the-art models pretrained on robot data. Further analysis provides evidence that active perception capability originates from egocentric human video pretraining rather than robot-specific fine-tuning, confirming active perception as the key to unlocking egocentric human video for robot pretraining.

评分理由: The paper proposes ActiveMimic for egocentric video pretraining in robotics. 'model-based RL' (8.0) and 'World Models' (7.0) are highly relevant as it models environment dynamics (camera + wrist) for manipulation tasks. 'Unify Models' (5.0) and 'MultiModal' (5.0) are moderate as it unifies perception/action and combines visual/control data. 'Visual Encoder' (6.0) is relevant for video processing. 'Tokenizer' (2.0) and 'MLLM' (1.0) are low as no language models or tokenization mechanisms are central to the work. No expert authors from the specified list were found in the author list.

Egocentric Video, Active Perception, Camera Motion, Robot Manipulation, Pretraining Framework, World Model, Model-Based RL

Chinese Title: ActiveMimic：基于主动感知的自我中心视频预训练

Summary: 该论文提出ActiveMimic框架，旨在利用自我中心人类视频进行机器人预训练。现有方法因忽略主动感知行为（人类在操作中不断调整视角）而导致性能低于机器人数据预训练。ActiveMimic从单台穿戴式RGB相机中恢复同步的相机和手腕轨迹，通过解耦相机-手腕耦合，构建统一的27维动作表示，联合学习主动感知与操作。在Ego4D数据集上预训练后，迁移至真实人形机器人。实验表明，ActiveMimic在多种需要主动感知的任务上超越基于人类视频的基线，并达到与机器人数据预训练模型相当的性能。进一步分析证实主动感知能力源自自我中心视频预训练而非机器人微调，揭示了主动感知是解锁自我中心视频用于机器人预训练的关键。

Innovations:

• 提出ActiveMimic框架，从单台穿戴式RGB相机中恢复同步的相机和手腕轨迹，无需专用硬件即可实现主动感知与操作的联合建模。
• 构建统一的27维动作表示，将相机视角运动与双手腕运动编码在同一参考系中，通过流匹配目标学习其耦合关系。
• 首次证明主动感知能力源自自我中心人类视频预训练而非机器人微调，并验证相机运动监督有助于从人类感知到机器人控制的表征迁移。
• 在真实机器人上实现主动感知迁移，使机器人能在任务执行中主动调整视角，显著提升成功率。

Methodology: 首先，利用SAM-3D-Body估计手腕姿态，VGGT估计相机轨迹，UniDepth恢复度量尺度，从原始自我中心视频中恢复相机和手腕轨迹。然后，通过将每段时序块内的所有姿态重定位到块首帧坐标系，解耦相机与手腕的耦合。接着，将解耦后的姿态编码为27维动作向量（相机6D旋转+平移，左右手腕各6D旋转+平移）。模型采用混合Transformer架构（视觉语言前缀+动作专家后缀），以条件流匹配目标训练，预测未来连续动作。最后，在机器人数据上微调，迁移主动感知能力。

Key Results:

• ActiveMimic在多种需要主动感知的真实机器人任务上持续超越基于人类视频预训练的基线。
• 性能与基于机器人数据预训练的最先进模型相当。
• 消融实验表明，相机运动监督是提升成功率的关键，主动感知能力主要来自预训练阶段而非机器人微调。
• 分析显示相机运动监督促进了从人类感知到机器人控制的表征迁移。

Tech Stack:

• SAM-3D-Body（用于手腕姿态估计）
• VGGT（用于相机轨迹估计）
• UniDepth（用于度量深度恢复）
• 6D连续旋转表示（用于姿态编码）
• 条件流匹配（Conditional Flow Matching）作为训练目标
• 混合Transformer架构（Mix-of-Transformers）
• Ego4D数据集（大规模自我中心视频）

Strengths:

• 无需专用硬件（如VR头显、额外相机），仅用单台穿戴式RGB相机即可从野外自我中心视频中提取主动感知信号，具有高可扩展性。
• 首次将主动感知与操作联合建模，并证明其是缩小人类视频与机器人数据预训练差距的关键。
• 真实机器人实验验证了方法的有效性，任务覆盖多种主动感知需求，结果具有说服力。
• 深入分析了主动感知能力的来源，为后续研究提供了理论依据。

Limitations:

• 依赖Ego4D数据集，可能在其他自我中心视频数据集上的泛化性需进一步验证。
• 相机与手腕解耦方法基于离线视觉模型，在快速运动或遮挡场景下可能存在误差。
• 仅建模相机和手腕动作，未考虑全身其他关节（如躯干、腿部）对主动感知的影响。
• 机器人微调阶段仍需要少量机器人数据，未能实现完全零样本迁移。

Relevance To Keywords:

• Unify Models: ActiveMimic通过统一动作表示（27维）联合建模感知与操作，体现了模型统一的思想。
• World Models: 框架从视频中学习相机和手腕的联合动态，可视为一种隐式世界模型，预测未来动作。
• Representation Learning: 通过预训练学习主动感知表征，并迁移至机器人控制，属于表征学习范畴。
• Model-Based RL: 流匹配目标可视为一种基于模型的预测方法，但论文未直接涉及强化学习。
• 原生多模态大模型: 混合Transformer架构结合视觉语言前缀，与多模态大模型设计相关。
• 多模态大模型的理解和生成一体化: 模型同时理解视觉输入并生成动作序列，体现理解与生成一体化。
• 表征学习: 同上。
• 世界模型: 同上。
• 强化学习: 论文未使用强化学习，但主动感知与操作联合学习可视为一种行为克隆，与后训练（微调）相关。
• 后训练: 论文采用两阶段训练（预训练+机器人微调），属于后训练策略。

生物医学的一个核心目标是理解、预测并最终控制生物系统对扰动、疾病进展及治疗干预作出反应的动态机制。尽管基础模型（foundation models）和大语言模型（large language models）加速了生物医学数据的解读，但大多数当前系统仍专注于静态模式识别，而非生物未来的前瞻性模拟。在此，我们提出生物医学世界模型（biomedical world models）作为 AI 驱动发现的范式。这些模型学习分子、细胞、组织和临床状态的潜在表示，以及干预条件动力学，从而允许在行动之前模拟未来轨迹。我们探讨了生物医学世界模型如何在虚拟细胞（virtual cells）、类器官（organoids）、虚拟病人（virtual patients）及手术模拟（surgical simulation）等应用中充当数据引擎（data engines）、环境模拟器（environment simulators）和科学规划基底（scientific planning substrates）。我们概述了所需的数据基础设施、评估基准（evaluation benchmarks）、安全约束及治理框架（governance frameworks）。生物医学世界模型可能为模拟引导、闭环（closed-loop）且具有可实验操作性的生物医学发现提供基础。

A central goal of biomedicine is to understand, predict and ultimately control the dynamic mechanisms by which biological systems respond to perturbations, disease progression and therapeutic intervention. Although foundation models and large language models have accelerated biomedical data interpretation, most current systems remain focused on static pattern recognition rather than prospective simulation of biological futures. Here we propose biomedical world models as a paradigm for AI-driven discovery. These models learn latent representations of molecular, cellular, tissue and clinical states, together with intervention-conditioned dynamics that allow future trajectories to be simulated before actions are taken. We discuss how biomedical world models could function as data engines, environment simulators and scientific planning substrates across applications including virtual cells, organoids, virtual patients and surgical simulation. We outline the data infrastructure, evaluation benchmarks, safety constraints and governance frameworks required. Biomedical world models may provide a foundation for simulation-guided, closed-loop and experimentally actionable biomedical discovery.

评分理由: 论文标题与摘要核心均围绕'World Models'展开，故该项得满分（10）；论文整合分子、细胞、组织及临床状态，隐含多模态数据融合，'MultiModal'相关（6）；涉及干预条件动态模拟与闭环发现，符合'model-based RL'逻辑（7）；提及基础模型和语言模型，与'MLLM'有关联（5）；虽提出新范式但未明确强调架构统一，'Unify Models'中度相关（5）；未具体提及'Tokenizer'和'Visual Encoder'架构细节，得 0 分。作者列表中未包含指定的专家组成员。

World Models, Biomedical Research, Latent Representations, Intervention-Conditioned Dynamics, Simulation-Guided Discovery, Closed-Loop, Biological Systems

Chinese Title: 迈向生物医学研究中的世界模型

Summary: 本文提出生物医学世界模型（Biomedical World Models）作为AI驱动生物医学发现的新范式。当前生物医学AI主要聚焦于静态模式识别，而生物系统本质上是动态的，需要模型能够模拟状态演化。世界模型通过学习分子、细胞、组织、临床等多尺度的潜在状态表示，并建模干预条件下的动态转移，从而在实际行动前模拟未来轨迹。论文阐述了世界模型的三大核心能力：作为数据引擎（生成模拟增强轨迹以缓解数据稀疏）、环境模拟器（预测干预下的状态演变）和科学行动规划器（支持闭环推理与实验决策）。讨论了在虚拟细胞、类器官、虚拟患者和手术模拟等应用场景中的潜力，并系统分析了所需的数据基础设施、评估基准、安全约束和治理框架。最终目标是实现模拟引导的、闭环的、可实验操作的生物医学发现。

Innovations:

• 首次将世界模型的概念系统性地引入生物医学领域，提出生物医学世界模型范式，强调多尺度动态模拟和干预条件驱动的状态演化。
• 定义了生物医学世界模型的三个核心能力：数据引擎、环境模拟器、科学行动规划器，并区分其与现有基础模型、数字孪生、生成式AI的本质差异。
• 提出了在虚拟细胞、类器官、虚拟患者和手术模拟等具体应用场景中的实现路径，为跨尺度生物医学建模提供了统一框架。
• 系统性地讨论了构建生物医学世界模型所需的数据基础设施、评估基准、安全约束和治理框架，为实际部署提供了路线图。

Methodology: 本文为观点综述，采用概念分析和框架构建的方法。首先回顾世界模型在认知科学、强化学习、视频生成等领域的发展，将其核心思想映射到生物医学领域。通过形式化定义（观测、潜在状态、动作条件转移、解码）区分三类世界模型（感官空间、潜在空间、智能体耦合）。接着分析生物医学世界模型的三个定义属性：多尺度潜在状态建模、干预条件动态、科学推理与规划。最后通过应用案例和挑战讨论来阐述可行性，未涉及具体实验验证。

Key Results:

• 提出了生物医学世界模型的形式化定义和概念框架。
• 明确了三大核心能力：数据引擎（生成模拟增强轨迹）、环境模拟器（干预条件动态预测）、科学行动规划器（闭环推理与实验规划）。
• 识别了四个代表性应用场景：虚拟细胞、类器官、虚拟患者、手术模拟。
• 列出了构建所需的关键要素：多模态状态表示、动作条件动态、科学智能体。
• 指出了主要挑战：纵向数据基础设施、评估基准、隐私安全、大规模部署。

Tech Stack:

• 扩散模型（如Sora）
• 自回归Transformer（如Genie, GAIA-1）
• JEPA-style模型（V-JEPA2, DINO-WM）
• 神经ODE、物理信息神经网络、神经算子
• 循环状态空间模型（RSSM）
• Dreamer、TD-MPC2、IRIS等基于模型的强化学习框架
• 多模态数据整合（多组学、空间图谱、成像、临床记录）
• 表征学习、因果推断、后训练技术

Strengths:

• 前瞻性强，将世界模型这一前沿概念系统性地引入生物医学领域，具有创新性和启发性。
• 框架完整，从定义、核心能力、应用场景到挑战全面覆盖，逻辑清晰。
• 跨学科融合，结合认知科学、控制理论、生成式AI和生物医学，视野开阔。
• 强调动态模拟和干预条件，超越了当前静态模式识别的局限，更贴近生物医学实际需求。
• 对数据、评估、安全等实际部署问题有深入思考，具有实践指导意义。

Limitations:

• 本文为概念性论文，缺乏具体实现和实验验证，可行性有待证明。
• 生物医学世界模型的构建需要海量纵向、多模态、干预标注数据，目前数据基础设施严重不足。
• 对模型的可解释性、因果推断能力讨论不够深入，未涉及具体算法设计。
• 未详细讨论计算成本、训练稳定性、模型泛化等技术挑战。
• 治理和安全框架较为宏观，缺乏具体操作指南和量化指标。

Relevance To Keywords: 论文与研究关键词高度相关。核心主题为世界模型，并深入涉及表征学习（潜在状态表示）、基于模型的强化学习（Dreamer等）、多模态大模型（多模态数据整合）、理解与生成一体化（世界模型同时支持预测和生成）。论文也讨论了后训练（科学智能体与规划），与关键词中的“后训练”直接对应。此外，论文强调原生多模态大模型在生物医学中的应用，与关键词中的“原生多模态大模型”和“多模态大模型的理解和生成一体化”高度契合。

尽管生成的图像日益具有照片级真实感，文本到图像（T2I）模型仍表现出局部、细微且结构复杂的缺陷。诊断这些缺陷需要实例级反馈，以回答缺陷发生的位置、类型、成因及其对整体图像质量的重要性。尽管近期的密集反馈方法超越了标量监督，但其以热力图为中心的表示仍将诊断问题表述为像素场回归，这使得定位基数可变的缺陷并将语义原因绑定到单个缺陷变得困难。为了解决这一表示瓶颈，我们提出结构化缺陷定位（Structured Defect Grounding, SDG），它将 T2I 诊断视为结构化集合预测，通过将每个缺陷建模为（位置、类型、原因、重要性）元组。为了使该表述可训练且可评估，我们引入了 SDG-30K，这是一个包含 30K 张图像的数据集，具有基于框的标注，涵盖四种现代 T2I 生成器，并配套专门的评估协议 SDG-Eval。基于这种结构化表示，我们进一步提出一个诊断到对齐的框架，其中视觉语言模型（VLM）充当 SDG 检测器，而 BoxFlow-GRPO 将预测的缺陷集转换为基于框的、重要性加权的空间奖励，用于扩散模型对齐。广泛实验表明，我们的 SDG 检测器在结构化缺陷定位上优于领先的专有视觉语言模型，而 SDG 引导的奖励一致地提升 T2I 对齐效果并支持局部图像细化。这些结果确立了 SDG 作为一个统一的、实例级的接口，用于诊断、评估和增强现代生成模型。

Despite generating increasingly photorealistic images, text-to-image (T2I) models still exhibit localized, subtle, and structurally complex failures. Diagnosing these failures requires instance-level feedback that answers where a defect occurs, what type it is, why it is defective, and its importance to overall image quality. While recent dense-feedback methods move beyond scalar supervision, their heatmap-centric representations still formulate diagnosis as pixel-field regression, making it difficult to localize variable-cardinality defects and bind semantic reasons to individual failures. To address this representation bottleneck, we propose Structured Defect Grounding (SDG), which casts T2I diagnosis as structured set prediction by modeling each defect as a (location, type, reason, importance) tuple. To make this formulation trainable and measurable, we introduce SDG-30K, a 30K-image dataset with box-grounded annotations across four modern T2I generators, together with a dedicated evaluation protocol, SDG-Eval. Building on this structured representation, we further present a diagnosis-to-alignment framework in which a Vision-Language Model (VLM) serves as the SDG detector, and BoxFlow-GRPO converts predicted defect sets into box-derived, importance-weighted spatial rewards for diffusion model alignment. Extensive experiments show that our SDG detector outperforms leading proprietary VLMs on structured defect grounding, while SDG-guided rewards consistently improve T2I alignment and support localized image refinement. These results establish SDG as a unified, instance-level interface for diagnosing, evaluating, and enhancing modern generative models.

评分理由: 论文核心使用视觉语言模型（MLLM）处理多模态（MultiModal）文本图像数据，并提出结构化缺陷检测框架，涉及基于模型的强化学习（model-based RL）进行奖励塑造，故这三项得分较高。摘要提及“统一接口”，故 Unify Models 中等。Tokenizer、Visual Encoder 和 World Models 非核心贡献，得分较低。作者列表未包含指定专家，无额外加分。加权总分为 49.5，高于动态及格分 27.8。

Structured Defect Grounding, Text-to-Image Feedback, Vision-Language Model, Diffusion Model Alignment, Structured Set Prediction, BoxFlow-GRPO, Instance-level Feedback

Chinese Title: 位置、类型、原因与重要性：面向文本到图像反馈的结构化缺陷定位

Summary: 本文针对文本到图像（T2I）模型生成的图像中存在的局部、细微且结构复杂的缺陷，提出了一种结构化缺陷定位（SDG）方法。SDG将T2I诊断建模为可变基数的集合预测，每个缺陷表示为（位置、类型、原因、重要性）元组，从而克服了传统热图回归方法在定位可变基数缺陷和绑定语义原因方面的瓶颈。为支持该框架，作者构建了SDG-30K数据集（包含30,096张图像，覆盖四个现代T2I生成器，提供框级标注），并设计了SDG-Eval评估协议。在此基础上，进一步提出诊断到对齐框架：使用视觉语言模型（VLM）作为SDG检测器，并通过BoxFlow-GRPO将预测的缺陷集转换为重要性加权的空间奖励，用于扩散模型的后训练对齐。实验表明，SDG检测器在结构化缺陷定位上优于领先的专有VLM，且SDG引导的奖励能有效提升T2I对齐质量并支持局部图像精炼。

Innovations:

• 提出结构化缺陷定位（SDG）表示，将T2I诊断转化为可变基数集合预测，每个缺陷以（位置、类型、原因、重要性）元组形式输出，统一了伪影和错配两类缺陷。
• 构建SDG-30K数据集，包含30,096张图像，来自四个现代T2I生成器，提供框级标注、自然语言原因和重要性分数，填补了现有数据集在实例级联合标注上的空白。
• 设计SDG-Eval评估协议，包含图像级和缺陷级指标（DetTypeF1、ClnAcc、BoxF1、DescCos、ImpAcc），实现结构化缺陷集的全面评测。
• 提出诊断到对齐框架，利用VLM作为SDG检测器，并通过BoxFlow-GRPO将预测的缺陷集转化为重要性加权的空间奖励，首次实现扩散模型RL中的空间密集优势。
• 实验证明SDG检测器在结构化缺陷定位上超越GPT-4V等专有VLM，且SDG引导的奖励显著改善T2I对齐，支持局部图像精炼。

Methodology: 本文采用以下技术路线：（1）数据集构建：从Pick-a-Pic提示中选取图像，使用四个T2I生成器（FLUX.2-dev、Z-Image-Turbo、LongCat-Image、SANA-1.5）生成30,096张1024×1024图像；112名标注员进行框级标注、类型分类和中文描述，经两轮审核；再使用Gemini 3 Pro进行描述扩展、推理轨迹蒸馏和重要性评分。（2）SDG检测器训练：两阶段训练，先通过SFT（带坐标抖动）进行监督微调，再通过GRPO（格式门控复合奖励）进行强化学习优化。（3）对齐框架：BoxFlow-GRPO将SDG检测器输出的缺陷框转换为空间奖励图，结合重要性权重，用于扩散模型的后训练对齐；同时支持缺陷引导的图像精炼（将框叠加和文本反馈输入GPT-Image-1.5）。

Key Results:

• SDG检测器在结构化缺陷定位上优于GPT-4V、Gemini 3 Pro等专有VLM，在[email protected]上分别提升约10%和15%。
• SDG-30K数据集中，25.1%图像无缺陷，46.3%仅含伪影，5.4%仅含错配，23.2%两者兼有；SANA-1.5生成器伪影频率最高（平均3.22个/图）。
• 人类标注者间的[email protected]为0.278（伪影）和0.409（错配），作为定位性能的上界。
• SDG引导的BoxFlow-GRPO奖励在T2I对齐指标（如CLIP分数、Aesthetic分数）上优于标量奖励方法，并支持局部图像精炼。
• 消融实验表明，GRPO训练阶段显著提升检测精度，坐标抖动和格式门控奖励对性能有正向贡献。

Tech Stack:

• T2I生成器：FLUX.2-dev、Z-Image-Turbo、LongCat-Image、SANA-1.5
• 视觉语言模型（VLM）：Gemini 3 Pro（数据增强）、Qwen2.5-VL / Qwen3-VL（检测器基础）
• 强化学习算法：GRPO（Group Relative Policy Optimization）
• 扩散模型对齐：BoxFlow-GRPO（基于流匹配的GRPO变体，引入空间奖励）
• 评估指标：DetTypeF1、ClnAcc、[email protected]/0.5、DescCos（使用Qwen3-Embedding-0.6B）、ImpAcc
• 匹配算法：类感知匈牙利匹配（基于IoU）
• 训练策略：SFT（带坐标抖动）、GRPO（格式门控复合奖励）
• 图像精炼：GPT-Image-1.5

Strengths:

• 提出新颖的结构化缺陷表示，克服了热图回归的表示瓶颈，实现了缺陷的精确空间定位与语义绑定。
• 构建了大规模、高质量、多生成器的框级标注数据集，填补了现有数据集在实例级联合标注上的空白。
• 设计了完整的诊断到对齐框架，将结构化缺陷检测与扩散模型后训练有机结合，实现了空间密集的RL对齐。
• 实验充分，对比了多个专有VLM和基线方法，验证了SDG在检测和对齐上的有效性。
• 代码、模型和数据集开源，便于复现和后续研究。

Limitations:

• 数据集仅覆盖四个T2I生成器，可能无法完全代表所有主流模型（如SDXL、DALL-E 3等）。
• 缺陷类型仅分为伪影和错配两类，未涵盖更细粒度的子类型（如文本错误、几何畸变等）。
• 重要性评分依赖Gemini 3 Pro自动生成，可能存在偏差，且未与人类评分进行充分校准。
• SDG检测器基于VLM，推理速度较慢，难以用于实时反馈场景。
• BoxFlow-GRPO的对齐效果仅在有限指标上验证，缺乏大规模用户偏好实验。

Relevance To Keywords:

• 原生多模态大模型：论文使用VLM（Qwen2.5-VL等）作为SDG检测器，体现了多模态大模型在细粒度视觉理解中的应用。
• 多模态大模型的理解和生成一体化：SDG框架将理解（缺陷检测）与生成（扩散模型对齐）结合，形成闭环。
• 表征学习：结构化缺陷元组（位置、类型、原因、重要性）是一种新型的表征学习形式，将图像缺陷编码为可解释的实例级表示。
• 世界模型：论文未直接涉及世界模型，但缺陷定位可视为对生成世界（图像）的局部状态诊断，间接相关。
• 强化学习：BoxFlow-GRPO将GRPO应用于扩散模型后训练，属于强化学习在生成模型对齐中的典型应用。
• 后训练：SDG引导的奖励用于扩散模型的后训练（post-training），提升生成质量。

OneRec 系列的生成式推荐模型已广泛应用于短视频、直播、广告和电子商务等多种实际服务中。然而，这些生成式模型仅能从规模优势中受益，其推理能力难以被激活，因为我们无法仅由物品级 Token 构建有意义的思维链（CoT）序列。受大语言模型（LLM）领域中“先思考后回答”推理范式成功的启发，我们进行了初步研究（即 OneRec-Think、OpenOneRec），以探索生成式推荐中的推理能力。然而，我们观察到一个意外现象：思考模式并未显示出优于非思考模式的优势。借鉴多模态语言模型中关于 CoT 鲁棒性的最新发现，我们认为有效的推荐推理依赖于两个因素：感知（将物品级 Token 锚定至其底层语言语义的能力）和认知（将用户行为序列重组为连贯的潜在兴趣点的能力）。因此，我们提出了 OneReason，它包括：（1）预训练中的强物品级 Token 感知，（2）监督微调（SFT）中用于推荐任务的三层认知增强 CoT 格式，以及（3）强化学习（RL）中用于增强思考能力的先分化后统一训练策略。

Generative recommendation models in the OneRec family have been widely deployed in many real-world services, such as short-video, live-streaming, advertising, and e-commerce. However, these generative models can only benefit from the scaling advantage, while their reasoning ability is hard to activate, since we cannot construct meaningful Chain-of-Thought (CoT) sequences consisting of itemic tokens only. Inspired by the success of the reasoning-style ``think before answer'' paradigm in the LLM field, we conduct preliminary studies (i.e., OneRec-Think, OpenOneRec) to explore reasoning capability in generative recommendation. Nevertheless, we notice an unexpected phenomenon: the thinking mode does not show advantages over the non-thinking mode. Drawing insights from recent findings on CoT robustness in multi-modal language models, we argue that effective reasoning in recommendation rests on two factors: perception, the ability to ground itemic tokens in their underlying language semantics, and cognition, the ability to reorganize a user's behavior sequence into coherent latent interest points. We therefore propose OneReason, which includes: (1) strong itemic token perception in pre-training, (2) a three-level cognition-enhanced CoT format for recommendation tasks in SFT, and (3) a specialize-then-unify training recipe in RL to enhance the thinking ability.

评分理由: 论文核心在于提升生成式推荐模型的推理能力。'Unify Models'高度相关，因文中明确提出了'specialize-then-unify training recipe'；'Tokenizer'中度相关，因核心讨论'itemic tokens'及其语义 grounding；'MLLM'和'MultiModal'中度相关，因借鉴了多模态语言模型的 CoT 鲁棒性发现；'Visual Encoder'和'World Models'相关性低，文中未涉及视觉编码器或世界模型架构；'model-based RL'中低相关，虽使用 RL 但未明确说明是基于模型的 RL。作者列表中未包含指定的 Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang 专家。

Generative Recommendation, Chain-of-Thought, Itemic Tokens, Perception and Cognition, Specialize-then-Unify, Reinforcement Learning, Reasoning Capability, Large Language Models

Chinese Title: OneReason技术报告

Summary: 本文提出OneReason，一个具有真正推理能力的生成式推荐基础模型。针对生成式推荐模型难以激活推理能力的问题，借鉴多模态大语言模型中CoT鲁棒性的研究，指出有效推理依赖于两个因素：感知（将物品令牌与语言语义对齐）和认知（将用户行为序列重组为连贯的潜在兴趣点）。方法包括：预训练阶段使用粗到细的对齐语料增强物品令牌感知；SFT阶段设计三级认知增强CoT格式（R0感知、R1推导、R2演化、R3推荐）；RL阶段采用“先专业化后统一”策略，先进行单领域RL充分解锁思考模式优势，再通过拒绝采样微调或多教师在线策略蒸馏进行跨领域平衡。实验表明，OneReason在多个真实业务基准上思考模式显著优于非思考模式，并观察到CoT监督数据可提升非思考推理性能。最后开源OneReason-8B和OneReason-0.8B模型以促进研究。

Innovations:

• 提出推荐推理的两大支柱：感知（物品令牌与语义对齐）和认知（结构化CoT推理），并据此设计训练框架。
• 设计三级认知增强CoT格式（R0感知、R1推导、R2演化、R3推荐），实现从粗到细的推理轨迹。
• 采用“先专业化后统一”的RL策略：先单领域RL充分激活思考模式优势，再通过拒绝采样微调或多教师在线策略蒸馏进行跨领域优化。
• 发现CoT监督数据可提升非思考模式下的推荐性能，为理解CoT迁移效应提供行为证据。
• 构建OneReason-Bench推理推荐基准，系统评估推荐场景下的推理能力。

Methodology: 整体采用预训练-有监督微调-强化学习三阶段流水线。预训练阶段：收集粗到细的对齐语料，将新增的物品令牌与文本令牌在语义空间对齐。SFT阶段：构建标准思考结构（R0-R3）的CoT语料，包括感知、推导、演化、推荐四个层次的推理数据。RL阶段：先针对每个领域进行单领域RL（如PPO或GRPO）以充分解锁思考模式优势，然后通过拒绝采样微调（RFT）或多教师在线策略蒸馏（MTOP）进行跨领域平衡和精炼。此外，设计了专门的物品分词器和指令数据。

Key Results:

• OneReason-8B在多个真实世界推荐基准上达到SOTA性能，思考模式显著优于非思考模式。
• 在等量训练令牌下，使用CoT监督数据替换部分非CoT数据可提升非思考模式在多个领域的推荐性能。
• 模型在保持通用能力的同时，展现出对推荐任务的思考优势。
• 开源OneReason-8B和OneReason-0.8B模型，促进生成式推荐研究。

Tech Stack:

• Transformer架构
• 大语言模型（LLM）
• 有监督微调（SFT）
• 强化学习（RL，含PPO/GRPO）
• 拒绝采样微调（Rejection Sampling Fine-tuning）
• 多教师在线策略蒸馏（Multi-Teacher On-Policy Distillation）
• 链式思维（Chain-of-Thought, CoT）
• 物品分词器（Itemic Tokenizer）
• 预训练对齐语料（粗到细对齐）
• OneReason-Bench推理基准

Strengths:

• 系统性地解决了生成式推荐模型的推理能力激活问题，理论框架清晰（感知+认知）。
• 在工业级场景（快手）中验证有效，具有实际商业价值。
• 开源模型和部分材料，促进学术研究和工业应用。
• 设计了全面的推理基准和评估协议，便于后续研究对比。
• 观察到CoT监督对非思考模式的迁移效应，为理解推理机制提供新视角。

Limitations:

• CoT监督提升非思考模式的机制尚不明确，仅提供行为证据，未区分压缩、推理或交互作用。
• 思考模式在混合领域RL下不如非思考模式，需要特殊训练策略，可能增加训练复杂度。
• 方法依赖于精心构建的粗到细对齐语料和CoT数据，数据构建成本较高。
• 实验主要基于快手业务数据，通用性需进一步验证。

Relevance To Keywords:

• 原生多模态大模型：论文将物品令牌视为一种模态，通过预训练对齐实现多模态感知，与原生多模态大模型的模态对齐思想一致。
• 表征学习：感知阶段强调物品令牌与语义表征的对齐，认知阶段通过CoT学习用户兴趣的表征重组。
• 强化学习：RL阶段是核心组成部分，采用先专业化后统一的策略，与后训练中的RL技术紧密相关。
• 后训练：SFT和RL均属于后训练阶段，论文详细设计了后训练数据和方法以激活推理能力。
• 世界模型：推荐中的用户兴趣建模可视为一种世界模型，但论文未直接提及世界模型框架，相关性较弱。
• Unify Models、Model-Based RL：论文未涉及模型统一或基于模型的RL，相关性较低。

由于隐私、招募、成本及运动变异性等因素，病理性步态数据集仍然稀缺。本文提出了一种基于多模态大语言模型（LLM）引导的框架，能够从结构化文本描述中生成病理感知的 3D 步态数据。该方法生成固定长度的基于骨架的合成步态序列，适用于病理性步态分类任务。该框架融合了运动标记化、病理感知语言条件化、基于大语言模型的语义增强以及语言到步态生成。关键贡献在于所提出的病理标记器，旨在离散表示学习过程中保留病理特异性运动特征。实验表明，当与真实数据结合时，所提出的合成序列能够提升循环分类器的下游分类性能。最佳结果由使用真实和合成样本训练的 GRU（门控循环单元）分类器获得，在留一受试者交叉验证协议下达到了 92.77% 的准确率。

Pathological gait datasets remain scarce due to privacy, recruitment, cost, and movement variability. Our work presents a multimodal LLM-guided framework for pathology-aware 3D gait data synthesis from structured textual descriptions. The proposed method generates fixed-length synthetic skeleton-based gait sequences for pathological gait classification tasks. The framework combines motion tokenisation, pathology-aware language conditioning, LLM-based semantic augmentation, and language-to-gait generation. A key contribution is the proposed pathological tokeniser, which is designed to preserve pathology-specific motion characteristics during discrete representation learning. Experiments suggest that the proposed synthetic sequences improve downstream classification for recurrent classifiers when combined with real data. The best result is obtained using a GRU classifier trained with real and synthetic samples, achieving 92.77\% accuracy under a leave-one-subject-out protocol.

评分理由: 论文核心贡献在于病理 Tokenizer 和 LLM 引导的步态生成，因此 Tokenizer (9.0) 和 MultiModal (8.0) 高度相关；涉及语言与运动表示统一，Unify Models (4.0) 中度相关；使用 LLM 处理多模态信息，MLLM (7.0) 相关；但基于骨架数据而非图像视觉编码器 (Visual Encoder 2.0)，且为生成与分类任务而非世界模型或强化学习 (World Models 1.0, model-based RL 1.0)。

LLM-Conditioned Synthesis, Pathological Gaits, Gait-Language Representations, Motion Tokenisation, Pathological Tokeniser, 3D Gait Data Synthesis, Downstream Classification

Chinese Title: 基于结构化步态-语言表示的大语言模型条件病理步态合成

Summary: 病理步态数据集因隐私、招募、成本和运动变异性等问题而稀缺。本文提出了一种多模态大语言模型（LLM）引导的框架，用于从结构化文本描述中合成病理感知的3D步态数据。该方法结合了运动标记化、病理感知语言条件、LLM语义增强和语言到步态生成。关键贡献在于提出了病理标记器，旨在离散表示学习过程中保留病理特定的运动特征。实验表明，当与真实数据结合时，所提出的合成序列能改善循环分类器的下游分类性能。最佳结果使用GRU分类器在留一受试者协议下达到92.77%的准确率。

Innovations:

• 提出了病理感知的步态-语言合成框架，专门针对病理步态数据稀缺问题。
• 设计了专用的病理标记器，在离散表示学习中保留病理特定的生物力学特征（如运动范围、步态不对称性等）。
• 将病理类别统计先验与LLM微调结合，实现病理条件化的语义生成。
• 在语言到步态生成中引入生物力学约束解码器，确保合成序列的病理合理性。

Methodology: 框架包括：1) 使用PoseEncoder将3D关节坐标编码为潜在表示；2) 通过空间、时间和病理三个分支进行标记化，融合为统一步态标记；3) 通过步态到语言（G2L）模块将标记映射为语言兼容表示；4) 结合病理先验和类别标签对LLM（GPT-2）进行微调；5) 使用结构化提示生成病理条件语言标记；6) 通过语言到步态（L2G）模块和生物力学约束解码器重建3D步态序列。

Key Results:

• GRU分类器在真实+合成数据上达到92.77%准确率，优于仅用真实数据的91.08%。
• LSTM分类器从88.67%提升至89.23%，CNN分类器从90.17%下降至87.97%。
• 与MotionGPT（90.26%）和Qwen-5B（79.86%）相比，所提方法（92.77%）在分类准确率上表现最佳。

Tech Stack:

• GPT-2（作为基础LLM）
• GRU、LSTM、CNN（分类器）
• PoseEncoder（3D关节编码器）
• 空间、时间、病理三分支标记器
• 步态到语言（G2L）模块
• 语言到步态（L2G）模块
• 生物力学约束解码器
• 留一受试者（LOSO）评估协议

Strengths:

• 针对病理步态合成这一特定且数据稀缺的问题，提出了专门解决方案。
• 病理标记器设计合理，能捕捉病理关键生物力学特征。
• 通过LLM条件生成，实现了可控的病理步态多样性。
• 实验设计严谨，包括多种分类器对比和与通用方法的基线比较。

Limitations:

• 仅在单一病理步态数据集上验证，泛化性有待进一步检验。
• 合成数据的生物力学真实性缺乏专家或临床验证。
• CNN分类器性能下降，表明合成数据对某些模型可能存在负面影响。
• 未进行统计显著性检验，结果可靠性需进一步确认。

Relevance To Keywords:

• Unify Models: 论文将步态生成与语言模型统一，实现理解和生成一体化。
• World Models: 通过LLM生成病理步态序列，可视为构建运动世界模型的一部分。
• Representation Learning: 病理标记器是专门设计的离散表示学习方法。
• Model-Based RL: 合成数据可用于训练下游分类器，间接支持基于模型的强化学习。
• 原生多模态大模型: 框架整合了步态（3D骨骼）和文本（语言描述）两种模态。

多模态生成模型（Multimodal generative models）虽能产生流畅的输出，但在生成过程需遵循结构化、领域特定或安全关键知识时，仍不可靠。现有方法通过提示增强（prompt augmentation）、引导（guidance）、潜在编辑（latent editing）或微调（fine-tuning）等机制来融入知识，但这些方法通常按技术类型分类，而非按其修改的生成过程组件分类。我们认为，迭代生成模型（iterative generative models）中的知识注入本质上是一个干预层（intervention-layer）问题。由于生成过程展开为内部状态的轨迹，知识可作用于该过程的四个结构上不同的组件：输入/输出边界（input/output boundary）、转移函数（transition function）、中间状态（intermediate state）以及模型参数（model parameters）。这对应于四种干预层：表面注入（surface infusion）、轨迹注入（trajectory infusion）、潜在注入（latent infusion）和参数注入（parametric infusion）。我们将该框架实例化在扩散模型（diffusion models）中，将代表性方法映射至所有四层，并推导出多层组合（multi-layer composition）的设计原则。在一个基于多模态知识图谱（multimodal knowledge graph）并使用两个扩散骨干（diffusion backbones）的受控安全对齐实验中，我们累积实现了四层中的三层：表面层（输入侧和输出侧）以及轨迹 - 潜在层（生成中期）。实证结果表明，每一新增层均能解决先前层无法触及的失败类别，相较于原始生成（vanilla generation），违反知识的输出减少了 70.97%，从而实证验证了该框架的互补性预测。

Multimodal generative models produce fluent outputs but remain unreliable when generation must respect structured, domain-specific, or safety-critical knowledge. Existing methods incorporate knowledge through mechanisms such as prompt augmentation, guidance, latent editing, or fine-tuning, yet they are typically categorized by technique rather than by the component of the generative process they modify. We argue that knowledge infusion in iterative generative models is fundamentally anintervention-layer problem. Since thegenerative process unfolds as a trajectory of internal states, knowledge can act on four structurally distinct components of this process: the input/output boundary, the transition function, the intermediate state, and the model parameters. This maps to four intervention layers: surface, trajectory, latent, and parametric infusion. We instantiate the framework in diffusion models, map representative methods to all four layers, and derive design principles for multi-layer composition. In a controlled safety-alignment experiment using a multimodal knowledge graph with two diffusion backbones, we implement three of the four layers cumulatively, surface (input-side and output-side) and trajectory--latent (mid-generation). We show empirically that each additional layer addresses failure classes that prior layers cannot reach, reducing knowledge-violating outputs by 70.97% compared to vanilla generation and empirically confirming the framework's complementarity prediction.

评分理由: 论文核心为多模态生成模型的知识注入框架，故 MultiModal 和 Unify Models 相关性高；MLLM 中度相关；Visual Encoder 与 Tokenizer 非重点；World Models 与 model-based RL 关联弱。加权总分 46.5，高于动态及格分 27.8。未发现指定专家。

Knowledge Infusion, Multimodal Generative Models, Intervention Layers, Diffusion Models, Safety Alignment, Structured Knowledge, Layered Framework

Chinese Title: 知识应注入何处？多模态迭代生成模型中知识注入的分层框架

Summary: 本文针对多模态生成模型在生成过程中难以遵循结构化、领域特定或安全关键知识的问题，提出将知识注入视为迭代生成模型中的干预层问题。基于生成过程的轨迹结构（初始状态、转移函数、中间状态、模型参数），定义了四个干预层：表面层（输入/输出边界）、轨迹层（转移函数）、潜在层（中间状态）和参数层（模型权重）。论文在扩散模型上实例化该框架，将现有方法映射到各层，并推导出多层组合的设计原则。通过使用多模态知识图谱进行安全对齐实验，在两种冻结扩散骨干上累积实现了表面层（输入侧和输出侧）和轨迹-潜在层（生成中期），结果表明每增加一层都能解决前一层无法处理的失败类别，最终将知识违反输出减少70.97%，验证了框架的互补性预测。

Innovations:

• 将知识注入问题形式化为迭代生成模型中的干预层问题，基于生成轨迹的四个形式化组件（边界、转移、状态、参数）定义四层框架。
• 提出表面、轨迹、潜在、参数四个干预层，并系统映射现有方法到各层，提供沿五个操作轴（可控性、可解释性、持久性、计算成本、失败修正范围）的对比分析。
• 推导出多层知识注入的三个设计原则：匹配层与失败类别、组合以实现互补覆盖、管理层间干扰。
• 通过受控安全对齐实验实证验证了框架的互补性：每增加一层单调提升知识一致性，最终减少70.97%的知识违反输出。

Methodology: 论文采用形式化建模与实证验证相结合的方法。首先形式化迭代生成模型为状态轨迹，定义四个干预层及其形式化操作。然后在扩散模型上实例化各层，映射代表性方法（如RAG、分类器无关引导、潜在编辑、微调）。设计受控实验：使用多模态知识图谱作为结构化知识源，在两种冻结扩散骨干上依次实现表面输入、轨迹-潜在、表面输出三层干预，通过累积方式评估每层对知识违反输出的减少效果，并测量生成质量。

Key Results:

• 提出四层干预框架，覆盖知识注入的四种形式化组件。
• 在安全对齐实验中，三层累积干预将知识违反输出减少70.97%（相比原始生成）。
• 每增加一层都能解决前一层无法处理的失败类别，验证了框架的互补性预测。
• 多层组合在保持生成质量的同时单调提升知识一致性。

Tech Stack:

• 扩散模型（Denoising Diffusion Probabilistic Models）
• 多模态知识图谱（MMKG）
• 检索增强生成（RAG）
• 分类器无关引导（Classifier-Free Guidance）
• 潜在编辑（Latent Editing）
• 后处理验证与修复（Post-hoc Verification）
• 安全过滤器（Safety Filters）
• 形式化定义：生成轨迹方程、一致性谓词C(x,K)

Strengths:

• 框架具有理论系统性，基于生成过程的数学结构定义干预层，而非按技术分类。
• 覆盖从输入到输出的完整知识注入路径，提供设计原则指导多层组合。
• 实证验证了框架的预测，结果清晰且具有可重复性。
• 对现有方法进行统一映射，有助于研究者理解不同技术的本质差异和互补性。

Limitations:

• 实验仅实现了三层（表面、轨迹、潜在），未实现参数层（需重训练），因此框架的完整互补性尚未完全验证。
• 实验仅在扩散模型上进行，未在自回归、流模型等其他迭代生成器上验证泛化性。
• 知识源仅使用多模态知识图谱，未探索其他形式（如规则、物理定律）。
• 计算成本分析为定性评估，缺乏定量测量。

Relevance To Keywords:

• Unify Models: 框架适用于统一模型（如扩散、自回归）的知识注入，提供通用干预层。
• World Models: 知识注入可视为将世界知识（如物理规律、场景结构）融入生成过程，框架支持世界模型中的知识约束。
• Representation Learning: 潜在层直接修改中间表征，与表征学习中的特征编辑相关。
• Model-Based RL: 轨迹层修改转移函数，类似于基于模型的强化学习中策略调整。
• 原生多模态大模型: 框架针对多模态生成模型，强调知识注入以提升可靠性。
• 多模态大模型的理解和生成一体化: 框架同时涉及输入理解（表面层）和生成过程（轨迹、潜在、参数层）。
• 后训练: 参数层对应微调/后训练，框架将其作为干预层之一。

长视频问答对视觉 - 语言模型（VLMs）仍然具有挑战性，因为与答案相关的证据通常稀疏、短暂且分散在漫长的视频上下文中。现有的基于帧的方法通过均匀采样、查询感知的帧选择、视觉标记压缩以及自适应分辨率策略来提高效率。然而，它们仍然依赖孤立且破碎的帧作为基本证据单元，限制了视觉 - 语言模型（VLMs）有效捕捉连贯事件级语义的能力。为了解决这一局限性，我们提出了 MemoryCard，一种基于视频记忆的增强框架，该框架将长视频组织成自包含的 Memory Cards（记忆卡）。具体来说，MemoryCard 首先在视频和对齐的语句上执行自我阅读过程，将视频分割成语义连贯的单元，每个单元对应一个独特的主题或事件。对于每个单元，它生成事件级视频摘要并选择代表性的视觉时刻，随后将其渲染为统一的 Memory Cards，用于检索和问答。实验结果表明，MemoryCard 在可比的视觉标记预算下持续改进长视频问答（QA）性能，实现了高达 21.8% 的准确率相对提升。所有代码均可在 https://github.com/NEUIR/MemoryCard 获取。

Long-video question answering remains challenging for Vision-Language Models (VLMs), as answer-relevant evidence is often sparse, transient, and temporally dispersed across lengthy video contexts. Existing frame-centric approaches improve efficiency through uniform sampling, query-aware frame selection, visual-token compression, and adaptive resolution strategies. However, they still rely on isolated and fragmented frames as the fundamental evidence units, limiting VLMs' ability to effectively capture coherent event-level semantics. To address this limitation, we propose MemoryCard, a video-memory-based augmentation framework that organizes long videos into self-contained Memory Cards. Specifically, MemoryCard first performs a self-reading process over videos and aligned utterances to segment the video into semantically coherent units, each corresponding to a distinct topic or event. For each unit, it generates an event-level video gist and selects representative visual moments, which are then rendered into unified Memory Cards for retrieval and question answering. Experimental results demonstrate that MemoryCard consistently improves long-video QA performance under comparable visual-token budgets, achieving up to a 21.8% relative improvement in accuracy. All code is available at https://github.com/NEUIR/MemoryCard.

评分理由: 论文聚焦长视频问答的多模态记忆框架，与 MultiModal (9) 和 MLLM (8) 高度相关；涉及视觉 token 压缩，Tokenizer (5) 和 Visual Encoder (6) 中度相关；未涉及模型统一、世界模型或强化学习，相关度低 (0-3)。加权总分 46.5 > 27.8，符合及格线。作者列表中无指定专家。

Long-video Question Answering, MemoryCard, Multi-Modal Clue Compression, Vision-Language Models, Event-level Semantics, Visual-Token Compression, Topic-Aware Segmentation

Chinese Title: MemoryCard: 面向长视频问答的主题感知多模态线索压缩

Summary: 长视频问答对视觉语言模型（VLM）具有挑战性，因为答案相关证据稀疏、短暂且时间分散。现有基于帧的方法通过均匀采样、查询感知帧选择、视觉令牌压缩和自适应分辨率策略提高效率，但仍依赖孤立、碎片化的帧作为基本证据单元，限制了VLM捕捉连贯事件级语义的能力。为此，本文提出MEMORYCARD，一种基于视频记忆的增强框架，将长视频组织为自包含的Memory Cards。具体地，MEMORYCARD首先对视频和对齐的语音进行自读，将其分割为语义连贯的单元（每个对应一个主题或事件），然后为每个单元生成事件级视频摘要并选择代表性视觉时刻，最后渲染为统一的Memory Cards用于检索和问答。实验表明，在可比视觉令牌预算下，MEMORYCARD持续提升长视频QA性能，准确率相对提升最高达21.8%。代码已开源。

Innovations:

• 提出Memory Cards概念：将长视频分割为语义连贯的事件单元，并生成包含事件级视频摘要和代表性视觉时刻的自包含多模态证据卡片，替代传统孤立帧作为基本证据单元。
• 设计自适应视频分割方法：利用VLM对视频和对齐语音进行自读，根据事件、主题或场景转换自动划分语义会话，无需人工标注。
• 实现高密度多模态线索压缩：将事件级视频摘要（VLM生成的主题和对齐语音）与代表性视觉时刻渲染为统一图像格式的Memory Cards，兼容标准图像VLM流水线。
• 引入检索后自适应分辨率分配：根据检索到的Memory Cards与问题的相关性动态分配输入分辨率，进一步优化视觉令牌预算利用。
• 在多个长视频QA基准上取得显著改进，并验证了性能提升主要来自证据表示（自读语义会话构建、高密度卡片渲染、时间线索组织）而非单纯检索。

Methodology: MEMORYCARD采用两阶段方法：1）自适应视频分割：使用VLM（如LLaVA-NeXT）对视频帧和对应语音文本进行自读，根据事件/主题/场景转换指令分割为J个语义会话，每个会话有起止时间戳。2）Memory Card构建：对每个会话，使用VLM生成事件级视频摘要（包括主题和关键语音），并从会话中选择代表性视觉时刻（如关键帧），然后将摘要文本和代表性视觉时刻渲染为一张统一的图像格式Memory Card。在问答阶段，先对Memory Card库进行检索（基于问题与卡片的相关性），然后对检索到的卡片按相关性分配自适应分辨率，并按原始时间顺序重排，最后送入回答VLM生成答案。

Key Results:

• 在三个长视频QA基准（如EgoSchema、ActivityNet-QA、VideoChatGPT等）上，MEMORYCARD在可比视觉令牌预算下持续优于现有帧采样、查询感知帧选择、视觉令牌压缩等方法。
• 准确率相对提升最高达21.8%。
• 消融实验表明，性能提升主要来自自读语义会话构建、高密度Memory Card渲染和时间线索组织，而非单纯检索。
• Memory Cards在保留细粒度视觉细节的同时维持事件级时间上下文，支持高效长视频理解。

Tech Stack:

• 视觉语言模型（VLM）：LLaVA-NeXT等用于视频分割和摘要生成
• 检索增强生成（RAG）框架：基于问题与Memory Card的相似度检索
• 自适应分辨率分配策略：根据相关性动态调整输入分辨率
• 图像渲染技术：将文本摘要和视觉时刻合并为统一图像格式
• 时间戳对齐：视频帧与语音文本的对齐处理

Strengths:

• 创新性地将长视频证据从孤立帧提升为事件级多模态卡片，显著增强语义密度和连贯性。
• 方法无需额外训练，兼容现有标准图像VLM流水线，易于部署。
• 通过自读分割和摘要生成，自动构建主题感知的语义单元，减少人工标注成本。
• 在多个基准上取得显著性能提升，且消融实验充分验证各组件贡献。
• 代码开源，促进可复现性和后续研究。

Limitations:

• 依赖VLM进行视频分割和摘要生成，可能引入额外计算开销和潜在错误传播。
• Memory Card的构建质量受限于底层VLM的能力，对于复杂长视频可能无法准确捕捉事件边界。
• 当前方法主要针对问答任务，未验证在其他视频理解任务（如视频描述、时序定位）上的泛化性。
• 检索阶段仅基于文本相似度，未充分利用视觉模态的细粒度匹配。
• 实验仅在有限基准上进行，未在超长视频（如数小时）上充分测试。

Relevance To Keywords:

• 原生多模态大模型：论文使用VLM作为核心组件，属于原生多模态大模型的应用。
• 多模态大模型的理解和生成一体化：MEMORYCARD利用VLM同时进行视频分割、摘要生成和问答，体现了理解与生成的结合。
• 表征学习：Memory Cards将视频压缩为紧凑的多模态表征，属于表征学习范畴。
• 世界模型：论文通过事件级语义单元构建视频记忆，可视为对视频世界模型的简化建模。
• 强化学习/后训练：论文未直接涉及强化学习或后训练，但方法可结合后训练进一步优化。

当前对多模态大语言模型（MLLMs）的评估压倒性地聚焦于效用驱动的目标，使得逻辑中立场景下的模型行为在很大程度上仍未得到充分探索。随机性在多个动作同样有效的场景中至关重要，例如推荐旅行行程或日常日程，其中多个选项具有相似的效用。在此类设置下，确定性策略可能导致重复性行为，并降低对有效替代方案的覆盖范围。为了弥合这一差距，我们提出 RandomBench，这是一个旨在评估 MLLMs 在等效选项之间选择时能否保持分布中立行为的基准测试。此外，我们还引入了三个指标（RI、BCI、BII），用于量化熵和分布偏差。实验揭示了一种普遍存在的现象，称为“随机坍缩”（Stochastic Collapse），即 MLLMs 在明确的随机指令下未能保持均匀随机性，其 top-1 概率从理想的四分之一基线飙升至 97%，且在 Claude Sonnet 4.6 中 RI 值降至 0.068。广泛的消融实验进一步表明，这些偏差在多种语言和表示格式中依然存在，凸显了分布坍缩在逻辑中立决策设置中的鲁棒性。

Current evaluations for Multimodal Large Language Models (MLLMs) overwhelmingly focus on utility-driven objectives, leaving model behavior under logic-neutral scenarios largely underexplored. Stochasticity is essential in scenarios where multiple actions are equally valid, such as recommending travel itineraries or daily schedules where multiple options have similar utility. In such settings, deterministic policies may lead to repetitive behaviors and reduced coverage of valid alternatives. To bridge this gap, we propose RandomBench, a benchmark designed to evaluate whether MLLMs can maintain distributionally neutral behavior when selecting among equivalent options. We further introduce three metrics, including RI, BCI, BII, to quantify entropy and distributional bias. Experiments reveal a pervasive phenomenon termed Stochastic Collapse, where MLLMs fail to maintain uniform randomness under explicit random instructions, with top-1 probabilities reaching 97% from the ideal one quarter baseline and RI dropping to 0.068 in Claude Sonnet 4.6. Extensive ablation studies further demonstrate that these deviations persist across languages and representation formats, highlighting the robustness of distributional collapse in logic-neutral decision settings.

评分理由: The paper explicitly focuses on Multimodal Large Language Models (MLLM) and MultiModal evaluation, hence high scores for these keywords. Other keywords like World Models, model-based RL, Tokenizer, and Unify Models are not central to the study's contribution regarding stochastic collapse and bias evaluation. No listed expert authors appear in the paper's author list, so no bonus points were added.

Stochastic Collapse, Implicit Bias, MLLM, RandomBench, Distributional Bias, Evaluation Benchmark, Multimodal

Chinese Title: 评估多模态大语言模型中的随机坍缩与隐式偏差

Summary: 本文提出RandomBench基准，用于评估多模态大语言模型（MLLM）在逻辑中性场景下的随机选择行为。现有评估多聚焦于效用驱动目标，忽略了模型在等价选项间的行为。RandomBench包含200个实例（RB-Text和RB-Vision），采用重复采样（每实例50次）和基于信息熵的度量（随机性指数RI、偏差强度指数BII、偏差一致性指数BCI）。实验发现一个普遍现象——随机坍缩：模型在明确要求随机选择时无法保持均匀分布，Claude Sonnet 4.6的top-1概率高达97%，RI降至0.068。消融实验表明该偏差跨语言和表示格式持续存在，揭示了模型在逻辑中性决策中的系统性分布坍缩。

Innovations:

• 提出逻辑中性随机选择诊断场景，用于评估MLLM的内生行为偏差
• 构建多模态基准RandomBench，包含文本和视觉模态，并设计重复采样协议
• 引入基于信息熵的度量（RI、BII、BCI）量化非均匀随机选择行为
• 发现并命名“随机坍缩”现象，揭示模型在等价选项下稳定、有偏且合理化的偏好
• 通过跨语言和跨格式消融实验证明该偏差是内生行为先验而非表面词汇伪影

Methodology: 论文采用以下方法：1）构建逻辑中性数据集，手动设计200个实例，分为RB-Text（抽象符号、语言功能、空间感知、情感社会身份）和RB-Vision（感知显著性、空间布局、情感社会、跨模态劫持）；2）通过严格过滤确保选项绝对等价；3）对每个实例进行50次重复采样，收集模型输出分布；4）计算三个度量：RI（实际熵与均匀熵之比）、BII（最大偏差与均匀偏差之比）、BCI（跨重复的一致性）；5）进行消融实验，包括语言替换、格式变化等。

Key Results:

• MLLM在随机选择任务中普遍出现随机坍缩，无法保持均匀分布
• Claude Sonnet 4.6的top-1概率达97%，RI仅0.068（理想为1）
• 视觉模态中进一步出现“视觉劫持”，感知线索覆盖随机指令
• 更强、更对齐的模型可能表现出更显著的坍缩，并伴随流畅的事后合理化
• 偏差在选项标签替换和跨语言提示下持续存在，表明是内生行为先验

Tech Stack:

• 信息熵理论（用于定义RI、BII、BCI）
• 重复采样协议（每实例50次）
• 逻辑中性过滤（去除文化、政治、历史等敏感词）
• Stroop-like冲突设计（跨模态劫持）
• 分类维度：抽象符号、语言功能、空间感知、情感社会、感知显著性、空间布局等

Strengths:

• 首次系统评估MLLM在逻辑中性场景下的随机选择行为，填补空白
• 多模态基准覆盖文本和视觉，并设计跨模态劫持维度
• 度量指标基于信息熵，量化准确且可解释
• 发现随机坍缩现象，具有重要理论和实践意义（如自主代理、推荐系统）
• 消融实验充分，证明偏差的鲁棒性和内生性

Limitations:

• 基准仅包含200个实例，规模较小，可能未覆盖所有偏差类型
• 未深入探究随机坍缩的机制原因（如预训练数据分布、架构设计等）
• 仅评估了有限数量的MLLM，未涵盖最新模型
• 未提出缓解随机坍缩的具体方法
• 重复采样50次可能不足以稳定估计分布，尤其对于高熵场景

Relevance To Keywords:

• 原生多模态大模型：论文直接评估多模态大语言模型（MLLM）的随机行为，与原生多模态模型相关
• 表征学习：随机坍缩揭示模型内部表征存在隐式偏差，影响表征的多样性
• 世界模型：空间感知和视觉维度评估模型对空间、物理属性的内部世界模型偏差
• 后训练：随机坍缩可能源于后训练阶段的对齐或强化学习，论文为后训练评估提供新视角
• 强化学习：随机策略在强化学习中至关重要，论文发现的坍缩问题影响基于RL的自主代理

时序定位（Temporal Grounding, TG）旨在定位与文本查询相对应的视频片段。以往研究主要侧重于单片段检索。然而，现实场景通常需要对单个查询定位多个不连续片段，我们将此设定称为一对多时序定位（One-to-Many Temporal Grounding, OMTG）。先前针对一对一设置优化的最新多模态大语言模型（MLLMs）在此背景下表现不佳，往往因缺乏事件基数感知而得分接近零。为弥合这一差距，我们提出了一种系统性解决方案，包含三个关键贡献。首先，我们建立了首个全面的 OMTG 基准，引入计数准确率（Count Accuracy, C-Acc）和有效时序 F1（Effective Temporal F1, EtF1）作为评估指标。其次，我们通过一套复杂的构建流程整理了一个包含 5.6 万样本的高质量 OMTG 数据集。第三，我们开发了专门针对 OMTG 的新型时序奖励函数和字幕奖励函数。特别是，字幕奖励利用密集视频字幕上的思维链（Chain-of-Thought）推理，明确引导策略优化同时朝向精确性与完整性。大量实验表明，我们的模型在 OMTG 基准上实现了新的最先进（SOTA）EtF1 得分 43.65%，分别比 Gemini 2.5 Pro 和 Seed-1.8 高出 15.85% 和 15.61%。

Temporal Grounding (TG) aims to localize video segments corresponding to a textual query. Prior research predominantly focuses on single-segment retrieval. Real-world scenarios, however, often require localizing multiple disjoint segments for a single query -- a setting we term One-to-Many Temporal Grounding (OMTG). Previous state-of-the-art MLLMs, optimized for one-to-one settings, struggle in this context, often yielding near-zero scores due to a lack of event cardinality perception. To bridge this gap, we present a systematic solution with three key contributions. First, we establish the first comprehensive OMTG benchmark, introducing Count Accuracy (C-Acc) and Effective Temporal F1 (EtF1) as evaluation metrics. Second, we curate a high-quality OMTG dataset comprising 56k samples through a sophisticated construction pipeline. Third, we develop novel temporal and caption reward functions specifically designed for OMTG. In particular, the caption reward leverages Chain-of-Thought reasoning over dense video captions to explicitly guide policy optimization toward both preciseness and completeness. Extensive experiments show our model achieves a new state-of-the-art EtF1 of 43.65\% on OMTG Bench, outperforming Gemini 2.5 Pro and Seed-1.8 by 15.85\% and 15.61\%, respectively.

评分理由: 论文核心在于多模态大模型（MLLM）在视频文本对齐任务（Temporal Grounding）上的改进，特别是针对 One-to-Many 场景，因此 MLLM 和多模态（MultiModal）相关性高。虽然提到了奖励函数和策略优化（涉及 RL 术语），但并未明确涉及世界模型（World Models）或模型强化学习（model-based RL）的核心机制，也未提及统一模型（Unify Models）或分词器（Tokenizer）的具体贡献。视觉编码器（Visual Encoder）作为视频处理的隐含组件存在，但非核心创新点。作者列表中未包含指定的专家（Yang Shi, Xuanyu Zhu, Yuhao Dong, Saining Xie, Manyuan Zhang），故无加分。

One-to-Many Temporal Grounding, Temporal Grounding, MLLM, Chain-of-Thought, Reward Functions, Video-Text, Benchmark

Chinese Title: 迈向一对多时间定位

Summary: 本文针对传统时间定位（Temporal Grounding）任务中仅处理单个查询对应单个视频片段的局限，提出了“一对多时间定位”（One-to-Many Temporal Grounding, OMTG）问题，要求模型定位一个查询在视频中出现的所有不连续片段。现有最先进的多模态大语言模型（MLLM）在此任务上表现极差，主要缺乏事件基数感知能力。为填补空白，作者做出三项贡献：首先，建立了首个OMTG基准，引入计数准确率（C-Acc）和有效时间F1（EtF1）作为评估指标；其次，通过精心设计的数据构建流程，整理出包含5.6万样本的高质量OMTG数据集；第三，开发了专门针对OMTG的时间奖励和字幕奖励函数，其中字幕奖励利用密集视频字幕和思维链推理显式指导策略优化，兼顾精确性和完整性。实验表明，所提模型在OMTG Bench上达到43.65%的EtF1，分别超越Gemini 2.5 Pro和Seed-1.8达15.85%和15.61%。

Innovations:

• 首次正式定义一对多时间定位（OMTG）问题，将其建模为MLLM框架下的集合生成任务。
• 提出一套针对OMTG的评估指标：时间F1（tF1）、计数准确率（C-Acc）和有效时间F1（EtF1），克服了传统tIoU在多重片段场景下的缺陷。
• 构建了首个OMTG基准（340个手工标注样本）和包含5.6万样本的高质量训练数据集。
• 设计了两阶段训练策略（SFT + RL），并创新性地引入时间奖励和基于密集视频字幕与思维链推理的字幕奖励，同时优化定位精度和事件计数能力。
• 实验证明RL训练在OMTG任务上还能提升标准一对一时间定位性能。

Methodology: 论文采用多模态大语言模型（MLLM）作为基础架构，将视频帧和文本查询作为输入，直接生成包含时间区间描述的自然语言响应，并通过确定性解析函数提取预测片段。训练分为两个阶段：首先使用构建的56k OMTG数据集进行监督微调（SFT），然后使用强化学习（RL）进一步优化。RL阶段设计了两种奖励函数：时间奖励直接监督预测边界与真实边界的IoU；字幕奖励利用密集视频字幕和思维链推理，引导模型理解事件结构并生成完整且精确的响应。评估时采用匈牙利算法进行预测与真实片段的最优匹配，计算tF1、C-Acc和EtF1。

Key Results:

• 所提模型在OMTG Bench上达到43.65%的EtF1，超越Gemini 2.5 Pro（15.85%提升）和Seed-1.8（15.61%提升）。
• 现有开源MLLM和传统TG专家在OMTG任务上几乎为零的EtF1，表明该任务存在显著能力缺口。
• RL训练不仅提升OMTG性能，还改善了标准一对一时间定位任务的表现。
• 基准中62.2%样本包含2-3个片段，15%样本超过6个片段，视频时长从21秒到17分钟不等，挑战性强。

Tech Stack:

• 多模态大语言模型（MLLM）
• 监督微调（SFT）
• 强化学习（RL）
• 匈牙利算法（Hungarian algorithm）用于最优匹配
• 时间IoU（tIoU）计算
• 时间F1（tF1）、计数准确率（C-Acc）、有效时间F1（EtF1）指标
• 思维链推理（Chain-of-Thought, CoT）
• 密集视频字幕（dense video captions）
• 确定性解析函数（deterministic parsing function）

Strengths:

• 问题定义清晰，填补了时间定位领域一对多场景的空白。
• 评估指标设计合理，有效区分了计数错误和定位误差。
• 数据集构建流程严谨，包含5.6万样本，覆盖多样场景。
• 两阶段训练策略结合SFT和RL，并引入专门设计的奖励函数，显著提升性能。
• 实验对比充分，涵盖开源和闭源模型，结果具有说服力。

Limitations:

• OMTG基准仅包含340个手工标注样本，规模较小，可能不足以全面评估模型泛化能力。
• 字幕奖励依赖密集视频字幕的质量，若字幕生成不准确可能影响训练效果。
• 论文未深入探讨模型在不同视频类型（如长视频、多事件重叠）下的鲁棒性。
• 方法主要针对MLLM框架，未与传统非MLLM方法进行对比。
• 未讨论模型在真实应用场景（如视频检索、监控）中的部署效率。

Relevance To Keywords:

• 原生多模态大模型：论文直接使用MLLM作为核心模型，高度相关。
• 多模态大模型的理解和生成一体化：模型同时理解视频和文本并生成结构化响应，相关。
• 表征学习：视频帧和文本的联合表征是任务基础，但论文未重点讨论表征学习机制。
• 世界模型：OMTG要求模型理解视频中事件的重复出现和时序结构，可视为世界模型在视频理解中的应用，有一定相关性。
• 强化学习：论文采用RL作为后训练阶段，并设计奖励函数，高度相关。
• 后训练：SFT+RL的两阶段训练属于后训练范畴，相关。
• Unify Models：论文未涉及统一模型（如视觉-语言-动作统一），相关性较弱。
• Model-Based RL：论文使用基于奖励的RL，但未显式构建环境模型，相关性较低。

扩散 U-Net 的激进蒸馏逆转了实时文本到图像管道的帧级瓶颈：一旦去噪器成为 4 步或 1 步蒸馏学生模型，文本编码器便成为关键路径。这种逆转在视觉感知编辑扩散中最为显著，其中编码器是多模态大语言模型（MLLM）。我们研究了 0.39B 蒸馏编辑 U-Net 与 2.13B MLLM 文本编码器（Qwen3-VL）配对的情况，并提出了一种针对此场景的流式管道，该管道围绕三个工程机制构建：非对称侧流/主流 CUDA 流水线，结合批量文本编码器摊销（以及可选的静态提示缓存）；一种编译友好的 ControlNet-LLLite 重构，将整个 U-Net + 适配器堆栈折叠为单个融合图；以及一个带有钩子子集的周期性条件刷新调度，用于摊销帧级条件成本。在单个消费级 RTX 3090 Ti 上，于 512x512 分辨率下，该管道在批量大小 B=8 时维持 27.4 fps（持续 480 帧运行），在 B=16 时为 29.6 fps，端到端 p50 延迟分别约为 0.5 和 1.0 秒；同一配置下，在 RTX 4090 上测得 54.9 fps，在 RTX 5090 上为 74.1 fps。我们报告的是视频速率流式吞吐量，而非交互式低延迟；我们将数据与相同堆栈的 StreamDiffusion 重运行进行对比，以提供系统上下文，而非作为基准优越性声明。对于训练好的油画风格，所发布的时间适配器在片段内噪声中泛化至 19 个未使用的 DAVIS-2017 序列以及来自七个来源的 15 个非 DAVIS 片段；提示级别泛化至未见风格家族的情况是有界的，并单独报告。

Aggressive distillation of the diffusion U-Net inverts the per-frame bottleneck of real-time text-to-image pipelines: once the denoiser is a 4-step or 1-step distilled student, the text encoder becomes the critical path. This inversion is most acute in vision-aware edit diffusion, where the encoder is a multimodal large language model (MLLM). We study the case of a 0.39B distilled edit U-Net paired with a 2.13B MLLM text encoder (Qwen3-VL) and present a streaming pipeline targeted at this regime built around three engineering mechanisms: asymmetric side-stream / main-stream CUDA pipelining with batched text-encoder amortisation (and optional static-prompt caching), a compile-friendly ControlNet-LLLite reformulation that folds the entire U-Net + adapter stack into a single fused graph, and a periodic conditioning-refresh schedule with a hook subset that amortises the per-frame conditioning cost. On a single consumer RTX 3090 Ti at 512x512 the pipeline sustains 27.4 fps over a 480-frame run at batch size B=8 and 29.6 fps at B=16, with end-to-end p50 latency of approximately 0.5 and 1.0 seconds respectively; the same operating point measures 54.9 fps on RTX 4090 and 74.1 fps on RTX 5090. We report video-rate streaming throughput rather than interactive low latency, and locate our numbers against same-stack StreamDiffusion re-runs as systems context, not as a benchmark superiority claim. For the trained oil-painting style, the released temporal adapter generalises within in-clip noise to 19 unused DAVIS-2017 sequences and 15 non-DAVIS clips from seven sources; prompt-level generalisation to unseen style families is bounded and reported separately.

评分理由: 论文聚焦于 MLLM 条件扩散模型的视频流式化加速，核心贡献在于蒸馏 UNet 与异步批处理推理架构。MLLM 与多模态相关性高，视觉编码器作为 MLLM 组件被使用但非研究重点，未涉及强化学习或世界模型，tokenizer 仅为底层组件。

Video-Rate Streaming, MLLM-Conditioned, Edit Diffusion, Distilled UNet, Asymmetric Batched Inference, Stylization, Vision-Aware

Chinese Title: 基于视觉感知多模态大语言模型条件编辑扩散的视频速率流式风格化：蒸馏UNet与MLLM文本编码器上的非对称批处理推理

Summary: 本文针对实时视频流风格化任务中出现的“小蒸馏去噪器+大MLLM编码器”（SDD-MTE）新瓶颈，提出了一套工程优化流水线。当扩散UNet被蒸馏至4步或1步后，文本编码器（如2.13B参数的Qwen3-VL）成为每帧关键路径。作者基于DreamLite-mobile（0.39B蒸馏UNet）和Qwen3-VL（2.13B）组合，设计了三个核心机制：非对称侧流/主流CUDA流水线（将MLLM文本编码器置于独立CUDA流，与编译后的UNet并行执行）、编译友好的ControlNet-LLLite重构（消除Python分支使torch.compile融合整个适配器堆栈）、以及周期性条件刷新与钩子子集调度（摊销每帧条件计算成本）。在单张RTX 3090 Ti上，512×512分辨率下实现27.4 FPS（批大小8）和29.6 FPS（批大小16），端到端p50延迟约0.5秒和1.0秒；在RTX 4090和RTX 5090上分别达到54.9 FPS和74.1 FPS。论文报告了流式吞吐量而非交互低延迟，并与StreamDiffusion进行系统对比。训练的风格化时间适配器在DAVIS-2017及跨数据集序列上展示了泛化能力。

Innovations:

• 非对称侧流/主流CUDA流水线：将MLLM文本编码器放在专用CUDA流上，与主流的编译UNet并发执行，隐藏编码器内部的CPU-GPU同步点。
• 编译友好的ControlNet-LLLite重构：移除Python分支和tensor恒等测试，使torch.compile将整个UNet+适配器堆栈融合为单一计算图，消除约3.5倍的速度损失。
• 周期性条件刷新与钩子子集调度：将LLLite条件图像编码器成本分摊到多个批次，并异步执行Farneback光流，降低每帧计算开销。
• 静态提示缓存与N批刷新调度（可选）：针对固定用户指令和缓慢变化的源视觉内容，提供单帧TE提示和N批TE刷新两种近似策略，进一步摊销编码器成本。
• 首次在SDD-MTE（小蒸馏去噪器+大MLLM编码器）体制下实现视频速率流式风格化，并系统量化了硬件扩展性（RTX 3090 Ti/4090/5090）。

Methodology: 论文采用工程优化方法，针对蒸馏UNet（0.39B）与MLLM文本编码器（2.13B）的不对称计算负载，设计了三层流水线：1）使用torch.compile编译UNet获得3.1倍加速；2）将MLLM TE和VAE编码放在侧流，与主流UNet去噪并行执行；3）重构ControlNet-LLLite适配器，消除Python分支使其可被torch.compile融合。同时采用周期性条件刷新策略（每N帧重新计算LLLite条件图像编码），并利用Farneback光流进行帧间运动补偿。训练阶段使用后混合（α=0.85）的基输出作为教师，以扭曲的前一解码帧作为LLLite条件输入。所有实验在PyTorch 2.6.0 + CUDA 12.4 + Triton 3.2环境下进行，单卡RTX 3090 Ti（部分测试RTX 4090/5090）。

Key Results:

• 在RTX 3090 Ti上，512×512分辨率，批大小B=8时持续27.4 FPS（480帧），端到端p50延迟约0.5秒；B=16时29.6 FPS，p50延迟约1.0秒。
• 相同配置在RTX 4090上达54.9 FPS，RTX 5090上达74.1 FPS。
• 编译后的UNet比eager模式快3.1倍；未优化的LLLite适配器使UNet慢约3.5倍，重构后消除该开销。
• MLLM TE输出标准差37、最大值1160，导致FP16注意力溢出，无法使用TensorRT路径。
• 训练的时间适配器在DAVIS-2017的19个未使用序列和15个非DAVIS片段上表现出泛化能力（限于训练风格）。
• 4步蒸馏模型在K=1推理时仍可接受，但教师保真度有所下降。

Tech Stack:

• PyTorch 2.6.0+cu124
• Triton 3.2 (Windows port)
• torch.compile (reduce-overhead, fullgraph=False, dynamic=False)
• CUDA流（侧流/主流流水线）
• ControlNet-LLLite（108个适配器模块，每模块含CNN编码器和零初始化残差）
• DreamLite-mobile（0.39B蒸馏UNet，TAESDXL VAE，FlowMatchEuler调度器）
• Qwen3-VL（2.13B多模态大语言模型文本编码器）
• Farneback光流（OpenCV）
• 后混合（post-hoc blending, α=0.85）
• 静态提示缓存（te_batch_one, te_refresh_every）

Strengths:

• 针对SDD-MTE新瓶颈提出了系统性的工程解决方案，填补了现有实时扩散流水线（如StreamDiffusion）在MLLM编码器场景下的空白。
• 三个机制均有直接测量的每帧影响，实验设计严谨，包括硬件扩展性测试和跨数据集泛化评估。
• 开源了时间适配器，并提供了与StreamDiffusion的公平系统对比（非基准优越性声明），方法可迁移至其他SDD-MTE配对。
• 在单张消费级GPU上实现了视频速率流式风格化，具有实际部署价值。
• 详细记录了负面结果（如TensorRT不可用、FP16溢出、LLLite编译问题等），为后续研究提供参考。

Limitations:

• 仅评估了DreamLite-mobile+Qwen3-VL这一种配置，声称可迁移但未验证其他SDD-MTE配对。
• 风格泛化有限：时间适配器仅针对训练过的油画风格，对未见风格家族的提示级泛化有界且单独报告。
• 周期性条件刷新策略简单（固定N帧），未采用自适应缓存策略（如AdaCache），可能在高运动场景下效果下降。
• 报告的是流式吞吐量而非交互低延迟，p50延迟约0.5-1.0秒，不适合实时交互应用。
• 依赖Farneback光流进行帧间扭曲，可能引入模糊伪影（论文提及平滑伪影）。
• 未进行用户研究或主观质量评估，仅报告了客观指标。

Relevance To Keywords:

• 原生多模态大模型：论文使用Qwen3-VL作为多模态大语言模型文本编码器，直接处理图像和文本指令，属于原生多模态架构。
• 多模态大模型的理解和生成一体化：DreamLite-mobile的GENERATE和EDIT模式共享权重，结合MLLM编码器实现理解（指令跟随）与生成（风格化）一体化。
• 表征学习：MLLM编码器通过视觉token和文本token的联合注意力学习多模态表征，但论文未深入探讨表征学习机制。
• 世界模型：论文涉及视频流式处理和时间一致性，但并未构建显式的世界模型，仅通过光流和帧间扭曲实现运动补偿。
• 强化学习：论文未涉及强化学习，但蒸馏过程（LCM、对抗蒸馏）可视为后训练的一种形式，与强化学习无关。
• 后训练：论文使用预训练的4步蒸馏模型，未进行额外后训练，但讨论了K=1推理的退化情况，与后训练（如进一步蒸馏）间接相关。

医学视觉 - 语言模型（VLMs）在临床图像解读方面展现出日益增长的潜力，涵盖病灶检测与报告生成。然而，其对细微病灶的敏感性不足限制了其实用性，因为此类病灶的视觉证据通常稀疏、对比度低，且嵌入在复杂的解剖学背景中。随着局部视觉标记的聚合，这些微弱的病灶线索在全局图像表示中可能表示不足，导致医学 VLMs 难以识别。现有的提高病灶敏感性的方法主要依赖于医学领域视觉编码器的预训练、临床术语引导的对齐，或可训练的病理表示增强。尽管有效，这些方法通常需要额外的训练或针对模型的特定适配，且可能过拟合于特定的疾病形态，从而限制了其在冻结医学 VLMs 上的适用性。为了解决这些局限性，我们提出 EasyLens，一种面向医学 VLMs 的无需训练的即插即用细微病灶表示放大器。EasyLens 首先构建 EasyBank，这是一个病理 - 解剖原型空间，提供与病灶相关的原型和解剖感知的正常参考，以便将可疑图像块与病理及正常解剖模式进行比较。为避免盲目放大正常组织，EasyTag 通过反事实原型推理选择与病灶相关的图像块。为抵消细微病灶线索在全局图像表示中的稀释效应，EasyAmplifier 通过形态学引导的残差增强强化所选病灶相关图像块的表示，从而增加其对全局图像嵌入的贡献。在多个医学图像数据集及冻结医学 VLM 骨干上的实验表明，EasyLens 提升了细微病灶检测性能，并优于现有的编码器增强基线。

Medical vision-language models (VLMs) have shown increasing potential for clinical image interpretation, including lesion detection and report generation. However, their practical utility remains limited by insufficient sensitivity to subtle lesions, whose visual evidence is often sparse, low-contrast, and embedded within complex anatomical context. As local visual tokens are aggregated, these weak lesion cues can become underrepresented in global image representations, making them difficult for medical VLMs to recognize. Existing efforts to improve lesion sensitivity mainly rely on medical-domain vision-encoder pre-training, clinical-term-guided alignment, or trainable pathological representation enhancement. Although effective, these approaches usually require additional training or model-specific adaptation and may overfit to particular disease morphologies, limiting their applicability to frozen medical VLMs. To address these limitations, we propose EasyLens, a training-free plug-and-play subtle-lesion representation amplifier for medical VLMs. EasyLens first constructs EasyBank, a pathology-anatomy prototype space that provides lesion-related prototypes and anatomy-aware normal references for comparing suspicious patches against both pathological and normal anatomical patterns. To avoid blindly amplifying normal tissues, EasyTag selects lesion-relevant patches through counterfactual prototype reasoning. To counteract the dilution of subtle lesion cues in global image representations, EasyAmplifier strengthens the selected lesion-relevant patch representations through morphology-guided residual enhancement, thereby increasing their contribution to the global image embedding. Experiments on multiple medical image datasets and frozen medical VLM backbones show that EasyLens improves subtle-lesion detection and outperforms existing encoder-enhancement baselines.

评分理由: 论文聚焦医学视觉语言模型（MLLM）中细微病变的表示增强，属于多模态（MultiModal）与视觉表示处理（Visual Encoder）范畴，故相关度较高。未涉及模型统一架构（Unify Models）、Tokenizer 设计、世界模型（World Models）或强化学习（model-based RL），相关度低。未包含指定专家作者。加权总分 40.5，高于动态及格分 27.8。

Medical Vision-Language Models, Subtle-Lesion Representation, Training-Free, Plug-and-Play, Prototype Space, Residual Enhancement, Frozen Backbones

Chinese Title: EasyLens：一种无需训练、即插即用的医学视觉语言模型细微病变表征放大器

Summary: 医学视觉语言模型（VLM）在临床图像解读中展现出潜力，但对细微病变的敏感性不足，因为其视觉线索稀疏、对比度低且嵌入复杂解剖背景中，在全局图像聚合时容易被稀释。现有方法主要通过医学域视觉编码器预训练、临床术语引导对齐或可训练病理表征增强来提升病变敏感性，但通常需要额外训练或模型特定适配，且可能过拟合特定病变形态，难以应用于冻结的医学VLM。为此，本文提出EasyLens，一种无需训练、即插即用的细微病变表征放大器。它首先构建病理-解剖原型空间EasyBank，提供病变相关原型和解剖感知正常参考；通过反事实原型推理的EasyTag选择病变相关补丁；再通过形态引导残差增强的EasyAmplifier强化所选补丁的表征，增加其在全局图像嵌入中的贡献。在多个医学图像数据集和冻结医学VLM骨干上的实验表明，EasyLens一致提升了细微病变检测性能，且无需模型微调即可超越现有编码器增强基线。

Innovations:

• 提出EasyLens，一种无需训练、即插即用的放大器，通过原型推理利用潜在病理证据提升冻结医学VLM的细微病变识别能力。
• 构建EasyBank病理-解剖原型空间，组织病变相关原型和解剖感知正常参考，支持补丁级精细判别。
• 设计EasyTag反事实原型引导的补丁选择器，通过细粒度病理比较识别病变相关区域，避免盲目放大正常组织。
• 引入EasyAmplifier形态引导残差语义放大器，在不需模型微调或推理时病变标注的情况下，增强所选补丁的疾病相关形态语义。

Methodology: 首先，离线构建EasyBank：从CT图像和病变掩码中提取病变原型（通过聚类病变区域特征）和解剖感知正常参考（从正常解剖区域提取原型）。然后，在冻结医学VLM推理时，对于输入图像，提取视觉补丁特征；利用EasyTag通过反事实原型推理（比较补丁特征与病变原型和正常参考的相似度）选择病变相关补丁；最后，EasyAmplifier对所选补丁进行形态引导的残差增强（结合病变原型和形态特征），强化其表征后再送入冻结VLM，从而提升全局图像嵌入中病变信息的贡献。整个过程无需训练或更新模型参数。

Key Results:

• 在ReXGroundingCT、LIDC-IDRI和AbdomenAtlas 3.0 Mini构建的统一细微病变基准上，EasyLens在多个冻结医学VLM骨干上一致提升了细微病变检测性能。
• EasyLens在无需模型微调的情况下，优于现有的编码器增强基线方法（如MedKLIP、KAD、MLIP等）。
• EasyLens在报告生成任务中也表现出改进，表明其增强的表征有助于更准确的临床描述。

Tech Stack:

• 视觉语言模型（VLM）骨干：如MedRAX、AOR、RadZero等（冻结使用）
• 原型聚类：K-means或类似方法构建病变原型和正常参考
• 反事实推理：基于特征相似度（如余弦相似度）的补丁选择
• 形态引导残差增强：结合病变原型特征与原始补丁特征的加权融合
• 评估指标：病变检测准确率、召回率、F1分数等

Strengths:

• 无需训练和微调，即插即用，可直接应用于任何冻结的医学VLM，降低了部署成本。
• 通过原型空间和反事实推理实现细粒度病变补丁选择，避免盲目放大正常组织。
• 形态引导的残差增强保留了原始视觉上下文，同时强化病变语义，提升全局表征的病变敏感性。
• 在多个数据集和骨干上验证了泛化性和一致性，优于现有需要训练的方法。

Limitations:

• 依赖离线构建的EasyBank原型空间，其质量受限于构建所用的数据集和病变多样性，可能无法覆盖所有罕见病变形态。
• 当前方法主要针对CT图像设计，扩展到其他模态（如X光、MRI）可能需要调整原型构建策略。
• 反事实原型推理和残差增强增加了推理时的计算开销，尽管是轻量级的，但在实时场景中可能仍需优化。
• 未在真实临床环境中进行前瞻性验证，实际应用效果有待进一步评估。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：EasyLens作为即插即用模块，可增强多模态大模型（医学VLM）的病变感知能力，与统一模型方向相关。
• World Models / 表征学习：EasyLens通过构建病理-解剖原型空间进行表征对比和增强，属于表征学习范畴，但未涉及世界模型。
• Model-Based RL / 强化学习 / 后训练：论文方法无需训练或强化学习，与这些关键词相关性较弱。
• 多模态大模型的理解和生成一体化：EasyLens提升理解（病变检测）和生成（报告生成）能力，支持一体化方向。

连续音频自编码器虽能很好地重构波形，但往往产生结构较弱、不利于理解的潜在变量；而自监督音频编码器虽能捕捉语义，却无法直接解码。这种不匹配使得必须同时支持理解与生成的单一音频分词器的构建变得复杂。我们通过两个组件将连续自编码器的潜在变量适配至该场景：一个噪声正则化的自编码器瓶颈层和一个潜在侧表示编码器。瓶颈层采用通道归一化和随机扰动，而非基于 KL 的变分训练，从而生成尺度可控的连续潜在变量，用于重构和自回归生成。表示编码器在冻结的自编码器潜在变量上训练，利用 RQ-MTP 及冻结的大语言模型（LLM）进行监督。所得的分词器提供高维表示用于理解，同时保留归一化连续潜在变量作为生成目标。

Continuous audio autoencoders reconstruct waveforms well but often produce latents with weak structure for understanding, while self-supervised audio encoders capture semantics but are not directly decodable. This mismatch complicates a single audio tokenizer that must support both understanding and generation. We adapt continuous autoencoder latents to this setting with two components: a noise-regularized autoencoder bottleneck and a latent-side representation encoder. The bottleneck uses channel normalization and stochastic perturbation instead of KL-based variational training, yielding scale-controlled continuous latents for reconstruction and autoregressive generation. The representation encoder is trained on frozen autoencoder latents with RQ-MTP and frozen-LLM supervision. The resulting tokenizer provides high-dimensional representations for understanding while preserving normalized continuous latents as generation targets

评分理由: Tokenizer 为核心主题 (10)。Unify Models 对应理解与生成统一的目标 (7)。MLLM 与冻结 LLM 监督及潜在应用相关 (5)。MultiModal 相关性较低，因聚焦单一音频模态 (3)。World Models 关联较弱，仅涉及潜变量生成 (2)。Visual Encoder 和 model-based RL 完全无关，因论文为音频领域且无强化学习 (0)。

Audio Autoencoder, Understanding and Generation, Latent Representation, Tokenizer, Noise-regularized, Frozen-LLM supervision, RQ-MTP

Chinese Title: F3-Tokenizer：驯服音频自编码器潜变量用于理解与生成

Summary: 本文提出F3-Tokenizer，一种旨在统一音频理解与生成的连续音频分词器。现有音频自编码器虽能高质量重建波形，但其潜变量缺乏语义结构；自监督编码器虽能捕获语义，却无法直接解码为波形。为解决这一矛盾，F3-Tokenizer在连续自编码器基础上引入两个组件：一是噪声正则化的瓶颈层，通过通道归一化和随机扰动替代KL散度，生成尺度可控的连续潜变量用于重建和自回归生成；二是潜变量侧的表征编码器，利用随机量化多令牌预测（RQ-MTP）和冻结大语言模型（LLM）监督进行训练。该分词器为理解任务提供高维表征，同时保留归一化连续潜变量作为生成目标。实验表明，F3-Tokenizer在声学保真度、理解任务效用和生成可预测性方面均表现优异。

Innovations:

• 提出以连续自编码器潜变量作为声学锚点，同时输出重建、理解和生成三种互补表征。
• 采用通道归一化与均匀强度随机扰动的连续瓶颈，避免VAE式KL目标，提升潜空间鲁棒性。
• 在冻结自编码器潜变量上训练表征编码器，结合RQ-MTP自监督与冻结LLM监督，获得高维语义表征。
• 联合训练生成侧的补丁级流匹配头，将冻结LLM状态映射为连续自编码器潜变量补丁，实现生成感知的潜空间。

Methodology: 采用三阶段训练流程：阶段0训练归一化自编码器，使用STFT域骨干网络，瓶颈层进行通道归一化和随机扰动，优化频谱重建损失和GAN对抗损失；阶段1冻结自编码器和LLM，训练表征编码器（含RQ-MTP自监督和LLM文本交叉熵损失）以及补丁级流匹配头（基于流匹配目标）；阶段2评估表征在下游任务中的表现。表征编码器采用因果结构，通过滑动窗口实现因果训练，并包含解码器侧投影以保持声学信息。

Key Results:

• 归一化连续潜变量在重建任务中保持高保真度，且无需KL正则化。
• 表征编码器在理解任务（如语音识别、音频分类）上取得与专用自监督模型相当的性能。
• 补丁级流匹配头能有效预测连续潜变量，生成质量接近专用生成模型。
• F3-Tokenizer在声学保真度、理解效用和生成可预测性三个维度上均优于现有分词器。

Tech Stack:

• STFT域音频自编码器（SpectroStream风格）
• 通道归一化与随机扰动
• 随机量化多令牌预测（RQ-MTP）
• 冻结大语言模型（LLM）监督
• 补丁级流匹配（Flow Matching）
• GAN对抗损失（基于DAC/SpectroStream）
• 频谱重建损失

Strengths:

• 统一了音频理解与生成的分词器设计，避免多编码器或多令牌流带来的复杂性。
• 归一化连续潜变量设计简洁有效，无需VAE式KL正则化，训练稳定。
• 表征编码器通过RQ-MTP和LLM监督获得丰富语义，同时保持声学信息。
• 生成侧流匹配头使潜空间具备生成感知特性，提升下游生成任务性能。

Limitations:

• 训练流程分阶段进行，可能增加整体训练复杂度。
• 依赖冻结LLM，LLM的选择和规模可能影响表征质量。
• 未在极低比特率压缩场景下评估，可能不适用于极端带宽受限环境。
• 论文聚焦分词器设计，未展示完整的统一音频-语言模型下游任务结果。

Relevance To Keywords:

• Unify Models: F3-Tokenizer直接针对音频理解与生成一体化设计，通过单一分词器输出互补表征，契合统一模型理念。
• World Models: 分词器生成的连续潜变量可作为世界模型中的状态表征，用于预测和规划。
• Representation Learning: 表征编码器通过RQ-MTP和LLM监督学习高维语义表征，是表征学习的典型应用。
• Model-Based RL: 连续潜变量和流匹配头可用于构建音频环境下的模型预测，支持基于模型的强化学习。
• 原生多模态大模型: 分词器为多模态大模型提供统一的音频令牌化方案，便于与文本、图像等模态对齐。
• 多模态大模型的理解和生成一体化: 直接对应论文核心目标，即同时支持理解（高维表征）和生成（连续潜变量）。
• 后训练: 分词器训练后可进一步用于下游任务的后训练或微调。

人形机器人在以人类为中心的环境中应用前景广阔，然而梯子攀爬仍是最具挑战性的任务之一，原因在于支撑点和抓握点稀疏、全身协调复杂以及对感知和控制误差的敏感性。我们提出 **LadderMan**，这是一个统一系统，旨在使人形机器人能够在受限条件下稳健地攀爬各种梯子并执行操作。我们的攀爬策略基于可扩展的两阶段学习管道：首先利用混合运动跟踪从单一参考动作中学习多个攀爬专家，然后通过混合模仿与强化学习将这些专家蒸馏为统一的基于深度的 visuomotor 攀爬策略。为了实现现实世界的部署，我们利用视觉基础模型来弥合深度感知中的 sim-to-real 差距。基于所学攀爬策略，我们进一步利用双代理公式训练一个独立的操作策略，从而允许通过 teleoperation 实现稳定的梯子上操作。实验表明，LadderMan 能够在广泛的几何形状下实现稳健的梯子攀爬，以 zero-shot 方式成功转移到真实硬件，并在具有挑战性的梯子约束下支持多种操作任务。视频结果请访问 https://ladderman-robot.github.io .

Humanoid robots hold great promise for operating in human-centered environments, yet ladder climbing remains one of the most challenging tasks due to sparse footholds and handholds, complex whole-body coordination, and sensitivity to perception and control errors. We present \textbf{LadderMan}, a unified system that enables humanoid robots to robustly climb diverse ladders and perform manipulation under such constrained conditions. Our climbing policy is built on a scalable two-stage learning pipeline, where we use hybrid motion tracking to learn multiple climbing experts from a single reference motion, and distill these experts into a unified depth-based visuomotor climbing policy via hybrid imitation and reinforcement learning. To enable real-world deployment, we leverage vision foundation models to bridge the sim-to-real gap in depth perception. Building on the learned climbing policy, we further train a separate manipulation policy using a dual-agent formulation, allowing stable on-ladder manipulation via teleoperation. Experiments demonstrate that LadderMan achieves robust ladder climbing across a wide range of geometries, successfully transfers to real-world hardware in a zero-shot manner, and supports various manipulation tasks under challenging ladder constraints. Video results are available at https://ladderman-robot.github.io .

评分理由: The paper presents LadderMan, a unified system for humanoid ladder climbing. It heavily relies on vision foundation models for depth perception (Visual Encoder: 8/10) and unifies climbing experts into a single policy (Unify Models: 6/10). It employs reinforcement learning and imitation learning (model-based RL: 4/10), and involves vision-action integration (MultiModal: 5/10). It does not utilize Tokenizers, MLLMs, or World Models (Tokenizer/MLLM/World Models: 0-2/10). No expert authors from the specified list were found (Bonus: 0). The calculated weighted score is 40.5, exceeding the dynamic pass score of 27.8.

Humanoid robots, Ladder climbing, Visuomotor policy, Reinforcement learning, Vision foundation models, Sim-to-real transfer, Manipulation tasks

Chinese Title: LadderMan: 学习人形机器人的感知爬梯

Summary: 本文提出LadderMan，一个统一系统，使Unitree G1人形机器人能够鲁棒地攀爬各种梯子并在梯子上进行操控。爬梯策略采用两阶段学习流水线：首先通过混合运动跟踪从单个参考动作学习多个专家策略，然后通过混合模仿和强化学习将这些专家蒸馏为统一的基于深度图像的视觉运动策略。为弥合仿真到现实的深度感知差距，利用视觉基础模型。进一步，通过双智能体框架训练操控策略，实现稳定的梯上遥操作操控。实验表明，LadderMan在多种梯子几何形状下实现零样本仿真到现实迁移，并支持调整画作、更换灯泡、传递盒子等操控任务。

Innovations:

• 提出混合运动跟踪方法，从单个参考动作学习多个专家爬梯策略，通过非对称跟踪奖励和梯子特定接触奖励实现上下肢协调。
• 采用混合模仿学习和强化学习的蒸馏方法，将多个专家策略统一为单个深度视觉运动策略，增强泛化性和鲁棒性。
• 利用视觉基础模型（VFM）弥合仿真与真实世界深度感知的差距，无需大量深度随机化和手动调参。
• 提出双智能体学习框架，将下肢稳定与上肢操控解耦，实现梯上稳定遥操作操控。

Methodology: 两阶段学习流水线：第一阶段，使用混合运动跟踪（非对称跟踪奖励+梯子接触奖励）从单个参考动作学习多个专家策略，每个专家对应不同梯子倾角和横档间距。第二阶段，通过DAgger风格的模仿学习结合强化学习，将专家策略蒸馏为统一的视觉运动策略，输入为深度图像和本体感知。为处理仿真到现实差距，使用视觉基础模型（如Depth Anything）对真实深度图像进行预处理。操控策略采用双智能体框架：一个策略负责下肢稳定，另一个策略接收遥操作指令执行上肢操控。

Key Results:

• 爬梯策略在仿真中泛化到多种梯子几何形状（倾角、横档间距变化），实现与人类相当的爬梯速度。
• 零样本迁移到真实Unitree G1人形机器人，无需额外硬件修改，成功攀爬多种真实梯子。
• 梯上操控任务（调整画作、更换灯泡、传递盒子）成功执行，优于现成的全身遥操作策略。

Tech Stack:

• 混合运动跟踪（Hybrid Motion Tracking）
• 非对称跟踪奖励（Asymmetric Tracking Reward）
• DAgger（数据集聚合）
• 强化学习（Reinforcement Learning）
• 视觉基础模型（Vision Foundation Model, VFM）如Depth Anything
• 双智能体学习框架（Dual-Agent Learning）
• 域随机化（Domain Randomization）
• 深度相机（Depth Camera）

Strengths:

• 提出完整的感知爬梯系统，从学习到仿真到现实迁移，流程清晰。
• 仅需单个参考动作即可学习多种专家策略，降低数据需求。
• 视觉基础模型有效解决仿真到现实深度感知差距，提升鲁棒性。
• 双智能体框架实现梯上操控，扩展了人形机器人的应用场景。
• 实验验证了零样本迁移和多种梯子几何的泛化能力。

Limitations:

• 爬梯策略依赖深度图像，在极端光照或透明梯子下可能失效。
• 操控策略仅支持遥操作，未实现自主操控。
• 梯子几何变化范围有限，未测试极端倾角或非标准梯子。
• 未与其他感知爬梯方法进行定量比较（如基于地图的方法）。
• 系统复杂度较高，训练和部署需要较多计算资源。

Relevance To Keywords: 论文主要涉及人形机器人爬梯的强化学习和视觉感知，与给定关键词（Unify Models, World Models, Representation Learning, Model-Based RL, 原生多模态大模型等）相关性较弱。但其中使用了视觉基础模型（VFM）进行表征学习，以及强化学习进行策略训练，部分相关于“表征学习”和“强化学习”。然而，论文未涉及世界模型、多模态大模型理解生成一体化或后训练等概念，因此整体相关性较低。

视觉 - 语言模型（VLMs）在处理需要理解对象间关系的组合推理时面临挑战。一种自然的补救方案是从现成的场景图生成器（SGG）注入显式的场景图三元组 $\langle s, p, o \rangle$，但我们发现这适得其反：离散的文本标签与连续的视觉模态发生冲突，导致 GQA 准确率从 60.38% 降至 58.86%。我们提出 HyperVis，该方法完全绕过了 SGG 的语义瓶颈。基于 $N$ 个类别无关的区域提议，我们通过空间偏置交叉注意力计算稠密的 $O(N^2)$ 视觉关系张量，将其投影至洛伦兹双曲面（Lorentz hyperboloid），并通过空间物理机制强制层级结构，具体包括 IoA 驱动的蕴含锥（IoA-driven entailment cones）和外角排斥（exterior-angle repulsion）。我们发现 HyperVis 以两种互补的方式做出贡献：(1) 作为训练时正则化器，双曲关系损失塑造了 LoRA 表示，从而提升了生成式视觉问答（GQA）性能（GQA 达 61.03%，相比之下，无关系损失的 LoRA 微调仅为 57.21%，恢复并超越了基线）；(2) 作为推理时关系编码器，双曲前缀标记增强了判别式组合评分（SugarCrepe 达 79.94%，比基线高出 6.25 个百分点）。学习到的曲率稳定在 $\kappa=4.0$，比先前双曲 VLMs 中的 $\kappa$（通常坍缩至零）高出一个数量级，这表明连续视觉特征确实需要强曲率空间所提供的指数级体积。受控的欧几里得消融实验证实了这一分解：关系管道在平坦空间中同样能正则化 LoRA（GQA 60.81%），但组合性增益具体而言是双曲的（SugarCrepe 比欧几里得基线高出 4.58 个百分点），且欧几里得训练中的蕴含损失约为双曲训练的 6 倍。代码将在 TBA 处提供。

Vision-Language Models (VLMs) struggle with compositional reasoning that requires understanding inter-object relationships. A natural remedy is to inject explicit scene graph triplets $\langle s, p, o \rangle$ from an off-the-shelf scene graph generator (SGG), but we show this backfires: discrete text labels collide with the continuous visual modality, degrading GQA accuracy from 60.38\% to 58.86\%. We propose \textbf{HyperVis}, which bypasses the SGG semantic bottleneck entirely. From $N$ class-agnostic region proposals, we compute a dense $O(N^2)$ visual relation tensor via spatially-biased cross-attention, project it onto a Lorentz hyperboloid, and enforce hierarchy through spatial physics, namely IoA-driven entailment cones and exterior-angle repulsion. We discover that HyperVis contributes in two complementary ways: (1) as a \emph{training-time regularizer}, the hyperbolic relational losses shape LoRA representations that improve generative VQA (GQA 61.03\% vs.\ 57.21\% for LoRA fine-tuning without relational losses, recovering and surpassing the baseline); and (2) as an \emph{inference-time relational encoder}, hyperbolic prefix tokens boost discriminative compositional scoring (SugarCrepe 79.94\%, $+$6.25pp over baseline). The learned curvature stabilises at $κ{=}4.0$, an order of magnitude above prior hyperbolic VLMs where $κ$ typically collapses toward zero, indicating that continuous visual features genuinely require the exponential volume of strongly curved space. A controlled Euclidean ablation confirms this decomposition: the relational pipeline regularises LoRA comparably in flat space (GQA 60.81\%), but the compositionality gain is specifically hyperbolic (SugarCrepe $+$4.58pp over Euclidean), with entailment loss ${\sim}6{\times}$ higher in Euclidean training. Codes are available at TBA.

评分理由: 论文核心在于视觉语言模型（MLLM/MultiModal）的组合推理，因此这两个关键词高度相关（8 分）；涉及视觉特征处理，Visual Encoder 中度相关（5 分）；Unify Models 部分相关，因论文统一了视觉与关系表示（4 分）；Tokenizer 仅提及前缀 token 而非 tokenizer 架构（2 分）；World Models 和 model-based RL 与论文内容（VLM 推理，非 RL 或世界建模）完全无关（0 分）。加权总分 40.5，高于动态及格分 27.8。作者列表中不包含指定的 Yang Shi 等专家，无额外加分。

Compositional Reasoning, Visual Relational Graphs, Lorentz Hyperboloid, Vision-Language Models, Hyperbolic Geometry, LoRA Fine-tuning, Spatial Physics

Chinese Title: HyperVis: 洛伦兹双曲面上的连续潜在视觉关系图用于组合推理

Summary: 本文针对视觉语言模型（VLM）在组合推理任务中表现不佳的问题，提出HyperVis框架。传统方法通过注入场景图生成器（SGG）的文本三元组反而降低性能（GQA准确率从60.38%降至58.86%）。HyperVis完全绕过SGG语义瓶颈，从N个类别无关的区域提议中，利用空间偏置交叉注意力计算稠密的O(N²)视觉关系张量，并将其投影到洛伦兹双曲面上，通过基于交叠面积比（IoA）的蕴含锥和外角排斥来强制层次结构。实验表明HyperVis具有双重贡献：作为训练时正则化器，双曲关系损失优化LoRA表示，使生成式VQA（GQA）达到61.03%（比仅用LoRA高3.82pp）；作为推理时关系编码器，双曲前缀token提升判别式组合评分（SugarCrepe达79.94%，比基线高6.25pp）。学习到的曲率稳定在κ=4.0，比以往双曲VLM高一个数量级，表明连续视觉特征需要强曲率空间。

Innovations:

• 证明文本SGG三元组注入会降低VLM准确率，而连续视觉潜在特征能更好编码双曲几何。
• 提出完全基于视觉的关系张量，通过空间偏置交叉注意力计算，无需任何谓词词汇或外部SGG模型。
• 引入IoA驱动的几何层次：空间包含关系映射为蕴含锥，空间分离关系映射为外角排斥，在洛伦兹双曲面上塑造层次结构。
• 发现双曲损失的双重作用：训练时正则化LoRA提升生成式VQA，推理时前缀token提升判别式组合评分。
• 学习到的曲率κ=4.0挑战了传统双曲VLM中曲率趋近于零的瓶颈叙事，表明连续视觉特征需要强曲率空间。

Methodology: 首先，从图像中提取N=36个类别无关的区域提议（GQA使用标注框，其他基准使用6×6网格），每个区域获得RoI视觉特征和边界框。然后，通过空间偏置多头自注意力计算稠密关系张量：将相对几何编码为空间特征向量，用于产生注意力偏置和每对空间上下文特征。注意力输出经聚合后，对每个有序对构建关系特征。接着，将所有关系特征投影到洛伦兹双曲面，并应用IoA驱动的损失：若区域A被B包含（IoA>0.8），则A嵌入B的蕴含锥内；若区域不重叠（IoA<0.05），则通过外角排斥推远；中间区域无监督。最后，通过双曲Top-K门选择最显著关系作为视觉前缀token注入LLaVA-1.5。训练时使用黎曼优化和数值稳定技巧。

Key Results:

• GQA准确率：HyperVis（61.03%）比仅用LoRA微调（57.21%）高3.82pp，比基线（60.38%）高0.65pp。
• SugarCrepe准确率：HyperVis（79.94%）比基线（73.69%）高6.25pp。
• 曲率κ稳定在4.0，远高于以往双曲VLM（通常趋近于0）。
• 欧几里得消融实验：GQA准确率相当（60.81%），但SugarCrepe增益仅为+4.58pp（双曲为+6.25pp），且蕴含损失在欧几里得空间中高约6倍。
• 文本SGG注入导致GQA下降至58.86%（低于基线60.38%）。

Tech Stack:

• 洛伦兹模型（Lorentz hyperboloid）
• 多头自注意力（Multi-head self-attention）
• 空间偏置（Spatial bias）
• 交叠面积比（IoA, Intersection-over-Area）
• 蕴含锥（Entailment cone）
• 外角排斥（Exterior-angle repulsion）
• LoRA（Low-Rank Adaptation）
• LLaVA-1.5
• 黎曼优化（Riemannian optimization）
• 指数/对数映射（Exponential/Logarithmic maps）

Strengths:

• 创新性地使用连续视觉关系图替代离散文本三元组，避免了SGG的语义噪声和词汇限制。
• 双曲空间天然适合编码层次结构，IoA驱动的几何约束无需语义标签即可定义层次。
• 双重贡献设计巧妙：训练时正则化LoRA，推理时提供显式关系编码，两者互补。
• 曲率κ=4.0的发现具有理论意义，挑战了以往双曲VLM的曲率瓶颈。
• 实验充分，包括消融、欧几里得对比、曲率分析等，验证了方法的有效性。

Limitations:

• 依赖区域提议的质量，GQA使用标注框，其他基准使用网格，可能不适用于所有场景。
• IoA阈值（0.8和0.05）需要手动设定，缺乏自适应机制。
• 计算复杂度为O(N²)，N=36时可行，但更大N可能带来效率问题。
• 仅验证了LLaVA-1.5，未在其他VLM架构上测试泛化性。
• 双曲空间操作（指数/对数映射）可能引入数值不稳定，需要特殊处理。

Relevance To Keywords:

• 原生多模态大模型：HyperVis作为LLaVA-1.5的增强模块，提升了多模态大模型的组合推理能力。
• 表征学习：通过双曲空间中的连续视觉关系图学习更优的视觉表征，并利用几何约束正则化LoRA。
• 世界模型：组合推理涉及对物体间关系（空间、功能）的理解，是构建世界模型的关键能力。
• 模型基础：方法基于双曲几何和注意力机制，属于模型架构创新。

开放词汇 3D 功能分割（Open-vocabulary 3D functionality segmentation）使机器人能够在三维场景中定位功能对象组件。这是一项具有挑战性的任务，需要空间理解与任务解读能力。当前的开放词汇 3D 分割方法主要侧重于物体级识别，而场景级部件分割方法试图穷尽式地分割整个场景，导致它们高度资源密集且耗时。如何在粒度、准确性和速度之间平衡分割性能仍然是一个挑战。为缓解这一问题，我们提出 T-FunS3D，一种面向机器人应用、提供可操作感知的任务驱动分层开放词汇 3D 功能分割方法。该方法以室内场景的 3D 点云和带位姿的 RGB-D 图像作为输入。我们通过提取环境中的实例及其视觉嵌入来构建开放词汇场景图（Open-vocabulary scene graph）。给定任务描述后，T-FunS3D 识别场景图中最相关的实例，并利用视觉 - 语言模型（vision-language model）定位其功能组件。在 SceneFun3D 数据集上的实验表明，T-FunS3D 在开放词汇 3D 功能分割方面与最先进方法相当，同时实现了更快的运行速度和更低的内存占用。

Open-vocabulary 3D functionality segmentation enables robots to localize functional object components in 3D scenes. It is a challenging task that requires spatial understanding and task interpretation. Current open-vocabulary 3D segmentation methods primarily focus on object-level recognition, while scene-wide part segmentation methods attempt to segment the entire scene exhaustively, making them highly resource-intensive and time consuming. Balancing segmentation performance in terms of granularity, accuracy, and speed remains a challenge. As one step towards alleviating this, we introduce T-FunS3D, a task-driven hierarchical open-vocabulary 3D functionality segmentation method that provides actionable perception for robotic applications. Our method takes as input the 3D point cloud and posed RGB-D images of an indoor scene. We construct an open-vocabulary scene graph by extracting instances and their visual embeddings in the environment. Given a task description, T-FunS3D identifies the most relevant instances in the scene graph and locates their functional components leveraging a vision-language model. Experiments on the SceneFun3D dataset demonstrate that T-FunS3D is comparable to state-of-the-art in open-vocabulary 3D functionality segmentation, while achieving faster runtime and reduced memory usage.

评分理由: The paper focuses on 3D functionality segmentation using multimodal inputs (point clouds, RGB-D) and vision-language models, showing strong relevance to MultiModal (8.0) and moderate relevance to MLLM (7.0) and Visual Encoder (6.0). It does not address World Models (2.0), Model-Based RL (0.0), Tokenizer design (1.0), or Unify Models architecture (3.0) as core contributions. No expert authors from the specified list are found.

3D Functionality Segmentation, Open-Vocabulary, Task-Driven, Vision-Language Model, Scene Graph, Point Cloud, RGB-D

Chinese Title: T-FunS3D：任务驱动的分层开放词汇3D功能分割

Summary: 本文提出T-FunS3D，一种无需训练的开放词汇3D功能分割方法，旨在为机器人提供可操作的感知。该方法以室内场景的3D点云和带位姿的RGB-D图像为输入，首先构建开放词汇场景图，提取实例及其视觉嵌入；给定任务描述后，通过视觉-语言模型识别场景图中最相关的实例，并定位其功能组件。实验在SceneFun3D数据集上进行，结果表明T-FunS3D在开放词汇3D功能分割上达到与最先进方法相当的性能，同时运行速度更快、内存消耗更低。该方法解决了现有方法在粒度、精度和速度之间的平衡问题，避免了全场景过度分割带来的资源浪费。

Innovations:

• 提出一种无需训练的3D功能分割方法，基于自由形式任务描述，利用可操作的3D场景图包含开放词汇语义。
• 采用任务驱动的分层方法：先分解场景为对象实例，再仅对任务相关实体进行细粒度功能组件分割，提高效率。
• 构建开放词汇场景图，节点和边均使用视觉嵌入特征，支持在开放世界中通过环境参照有效定位实体。
• 相比现有方法，在SceneFun3D数据集上显著降低运行时间和内存消耗，同时保持高度竞争性的精度。

Methodology: 输入为室内场景的3D点云和带位姿的RGB-D图像。第一阶段：使用Mask3D进行类无关实例分割，并通过FG-CLIP提取视觉嵌入，构建包含节点和边（对象间关系）的开放词汇场景图。第二阶段：给定任务描述，利用Qwen3大语言模型将任务分解为本体（如上下文对象、参照对象、空间关系），然后通过文本-视觉嵌入相似度在场景图中定位上下文对象，最后结合Molmo和SAM在对应图像上提取2D功能部件掩码，并聚合为3D分割结果。

Key Results:

• 在SceneFun3D数据集上，T-FunS3D的开放词汇3D功能分割精度与最先进方法（如Search3D、Fun3DU）相当。
• 运行时间显著低于对比方法，内存消耗更低，适合移动机器人部署。
• 任务驱动的分层策略有效避免了全场景过度分割，仅对任务相关对象进行细粒度处理。

Tech Stack:

• Mask3D（类无关3D实例分割）
• FG-CLIP（视觉嵌入提取）
• Qwen3（大语言模型，用于任务分解）
• Molmo（视觉-语言模型，用于2D部件检测）
• SAM（Segment Anything Model，用于2D掩码生成）
• SceneFun3D数据集
• 视觉嵌入相似度计算（文本-图像匹配）

Strengths:

• 无需训练，直接利用预训练模型，降低部署成本。
• 任务驱动，仅处理相关对象，计算高效。
• 构建的场景图支持开放词汇和复杂参照查询。
• 在精度、速度和内存之间取得良好平衡。

Limitations:

• 依赖预训练模型（如Mask3D、FG-CLIP、Molmo、SAM）的性能，可能受限于这些模型的泛化能力。
• 假设场景中对象静态，局部移动可能影响空间关系。
• 任务分解依赖LLM，对复杂或模糊任务描述可能不够鲁棒。
• 仅处理显式包含上下文对象的查询，对于隐含对象或抽象任务可能失效。

Relevance To Keywords:

• 原生多模态大模型：论文使用Molmo（视觉-语言模型）和Qwen3（语言模型），属于多模态大模型的应用。
• 多模态大模型的理解和生成一体化：Molmo同时具备理解和生成能力，用于部件检测。
• 表征学习：通过FG-CLIP提取视觉嵌入，构建场景图节点和边的表征，属于表征学习范畴。
• 世界模型：论文未直接涉及世界模型，但场景图可视为对环境的结构化表示，与空间推理相关。
• 强化学习/后训练：论文未涉及强化学习或后训练，主要关注感知层面。
• Unify Models：论文整合了多个预训练模型（Mask3D、FG-CLIP、Qwen3、Molmo、SAM），体现了模型统一的思想。

GUI 代理（基于视觉的模型，通过图形用户界面控制桌面、网页浏览器和移动设备）有望实现广泛数字任务的自动化。虽然百万级数据集在点击定位（click-grounding）方面取得了显著进展，但拖拽定位（drag grounding，例如拖放、滑动、高亮）的数据量仍小一个数量级，且当前模型在基于拖拽的复杂交互方面仍显不足。我们引入了 DragOn，这是一个拖拽定位基准及训练数据集，涵盖四个领域：文本高亮、单元格选择、元素调整和滑块操作。该数据集包含 28.6 万张训练截图和 350 万项训练任务，外加一个包含 2000 个示例的保留评估集。我们评估了专有模型（GPT, Claude）和开源权重模型（Qwen, Kimi, Holo），以及在训练数据上微调的 Qwen VLM（视觉语言模型）。结果表明，我们的数据集有望提升最先进模型在下游计算机使用任务上的表现。

GUI agents - vision-based models that control desktops, web browsers, and mobile devices through graphical user interfaces - promise to automate a wide range of digital tasks. While million-scale datasets have enabled substantial progress on click-grounding, drag grounding (e.g. drag-and-drop, swipe, highlight) data remains an order of magnitude smaller and current models fall short on complex drag-based interactions. We introduce DragOn, a drag grounding benchmark and training dataset covering four domains: text highlighting, cell selection, element resizing and slider manipulation. The dataset comprises 286K training screenshots and 3.5M training tasks, plus a 2000-example held-out evaluation suite. We evaluate proprietary (GPT, Claude) and open-weight (Qwen, Kimi, Holo) models, as well as a Qwen VLM fine-tuned on our training data. Results suggest that our dataset could improve performance of state-of-the-art models on downstream computer-use tasks.

评分理由: 该论文专注于 GUI 拖拽交互的基准和数据集，评估现有的 MLLM。它与 MLLM 和多模态关键词高度相关，因为评估的是多模态模型在视觉任务上的表现。它缺乏对统一模型、分词器、世界模型和基于模型的 RL 算法的关注，因此这些类别得分较低。视觉编码器作为底层模型的组成部分，相关性中等。作者列表中未包含指定的专家名单。

DragOn, GUI Agents, Drag Grounding, Benchmark, Dataset, MLLM, Visual-Language-Action

Chinese Title: DragOn：面向基于拖拽的图形用户界面交互的基准测试与数据集

Summary: 本文针对图形用户界面（GUI）中拖拽操作（如拖放、滑动、高亮等）的视觉定位问题，提出了DragOn基准测试与训练数据集。当前点击定位数据已达百万级，而拖拽定位数据规模小一个数量级，导致现有模型在复杂拖拽交互上表现不佳。DragOn基于“渲染即监督”原则，利用渲染器（PDF、XLSX、PPTX、HTML）的几何信息自动生成标注，覆盖文本高亮、单元格选择、元素缩放和滑块操作四个领域，包含28.6万张训练截图和350万训练任务，以及2000个保留评估样本。作者评估了GPT、Claude等专有模型和Qwen、Kimi等开源模型，发现前沿模型得分均低于30%；而基于Qwen VLM在DragOn上微调的模型超越了所有前沿模型，表明该数据集能提升下游计算机使用任务的性能。

Innovations:

• 提出“渲染即监督”原则，利用渲染器自身几何信息作为标注函数，大幅降低标注成本并减少错误。
• 构建了DragOn数据集，规模比现有拖拽语料库大1-2个数量级，覆盖四个异构拖拽领域。
• 建立了拖拽定位基准测试，系统评估了多个专有和开源模型，揭示当前VLM在拖拽任务上的显著不足。
• 通过微调Qwen VLM证明该数据集可有效提升模型在拖拽动作上的表现，超越前沿模型。

Methodology: 采用“渲染即监督”框架：定义确定性渲染器R将结构化源S映射为图像I=R(S)，以及标签映射π从源和查询返回像素空间答案B=π(S,Q)。对于四个领域分别实例化：文本高亮使用PDF文本跨度坐标解析；单元格选择采用探针式标签映射（对源进行扰动后渲染，通过颜色键检测定位）；元素缩放使用PPTX EMU单位映射到像素空间；滑块操作通过URL参数化的HTML滑块几何信息。所有标注自动生成，无需人工注释。

Key Results:

• DragOn数据集包含28.6万张训练截图和350万训练任务，以及2000个保留评估样本。
• 专有模型（GPT、Claude、Gemini）和开源模型（Qwen、Kimi、Holo）在拖拽定位任务上得分均低于30%。
• 在DragOn上微调的Qwen3.5VL模型超越了所有前沿模型，证明数据集的有效性。
• OSWorld和AndroidWorld基准测试中分别有13.9%和82.8%的任务需要拖拽动作，凸显拖拽定位的重要性。

Tech Stack:

• 渲染器：PDF（文本跨度坐标）、XLSX（LibreOffice视图颜色键检测）、PPTX（EMU单位映射）、HTML（URL参数化滑块几何）
• 视觉语言模型：GPT-4V、Claude-3、Gemini、Qwen2.5VL、Kimi、Holo、Qwen3.5VL（微调）
• 探针式标签映射：对源进行扰动（如单元格填充独特颜色键），再通过视觉检测定位目标
• 评估指标：预测源和目标边界框与真实框的匹配精度（具体指标未详述，但通常为IoU或坐标误差）

Strengths:

• 数据集规模大，覆盖多种拖拽动作，填补了拖拽定位数据不足的空白。
• 标注方法自动化、低成本、高精度，避免了人工标注的误差和开销。
• 系统评估了当前主流VLM在拖拽任务上的性能，揭示了显著差距。
• 微调实验证明了数据集对提升模型拖拽能力的实际价值。

Limitations:

• 仅覆盖四个拖拽领域，可能无法完全代表所有GUI拖拽场景（如自由画布拖拽、多步骤拖拽轨迹）。
• 任务形式为静态截图上的两点边界框定位，未考虑动态交互过程中的轨迹预测。
• 评估集规模较小（2000例），可能不足以全面衡量模型泛化能力。
• 未提供与端到端代理任务性能的直接关联分析，仅通过下游任务比例间接论证。

Relevance To Keywords:

• 原生多模态大模型：论文聚焦于VLM在GUI拖拽定位上的能力，属于多模态大模型的应用和评估。
• 表征学习：渲染即监督原则本质上是一种利用渲染器几何表征自动生成标签的方法，涉及视觉表征与结构化数据的对齐。
• 世界模型：拖拽操作涉及对GUI状态变化的理解，数据集可用于训练世界模型预测拖拽后的屏幕变化。
• 强化学习：论文提及后训练（微调）提升模型性能，未来可结合强化学习优化拖拽策略。
• 后训练：作者通过微调Qwen VLM展示了后训练对提升特定任务能力的效果。

对物理世界的理解与推理是智能行为的基础，然而最先进的视觉 - 语言模型（VLMs）在因果物理推理方面仍存在不足，往往产生看似合理但错误的答案。为填补这一空白，我们引入了 CausalPhys，这是一个包含超过 3000 个精心策划的视频与图像问题的基准，涵盖四个领域：感知（Perception）、预期（Anticipation）、干预（Intervention）和目标导向（Goal Orientation）。每个问题均配有一张专家标注的因果图，用于捕捉对象 - 属性 - 事件依赖关系，从而实现可解释且细粒度的因果理解评估。在此基础上，我们提出了一种基于因果图的度量方法，定量衡量模型的思维链推理（Chain-of-Thought Reasoning）与正确因果关系的对齐程度，超越了仅基于答案的准确性，并实现了对 VLMs 因果推理失败的系统性诊断。利用该度量，我们对主流 VLMs 进行了全面分析，揭示了它们在捕捉因果依赖关系方面的系统性差距，并强调了因果感知学习的必要性。为了解决这些局限性，我们进一步提出了基于因果理由的微调（Causal Rationale-informed Fine-Tuning, CRFT），明确地将 VLM 的推理过程与因果结构对齐。大量实验表明，CRFT 在多种模型骨干上显著提升了推理准确性和可解释性。通过统一数据集构建、因果评估与因果感知学习，CausalPhys 为推动现代 VLMs 迈向因果基础的物理推理奠定了坚实基础。

Understanding and reasoning about the physical world is the foundation of intelligent behavior, yet state-of-the-art vision-language models (VLMs) still fail at causal physical reasoning, often producing plausible but incorrect answers. To address this gap, we introduce CausalPhys, a benchmark of over 3,000 carefully curated video- and image-based questions spanning four domains: Perception, Anticipation, Intervention, and Goal Orientation. Each question is paired with an expert-annotated causal graph capturing object-attribute-event dependencies, enabling interpretable and fine-grained evaluation of causal understanding. Building on this, we formulate a causal-graph-grounded metric that quantitatively measures how well a model's chain-of-thought reasoning aligns with the correct causal relations, moving beyond answer-only accuracy and enabling systematic diagnosis of VLMs' causal reasoning failures. Using this metric, we conduct a comprehensive analysis of leading VLMs, revealing systematic gaps in capturing causal dependencies and underscoring the need for causality-aware learning. To address these limitations, we further propose Causal Rationale-informed Fine-Tuning (CRFT), which explicitly aligns VLM reasoning with causal structures. Extensive experiments demonstrate that CRFT substantially enhances both reasoning accuracy and interpretability across multiple model backbones. By unifying dataset curation, causal evaluation, and causality-informed learning, CausalPhys establishes a strong foundation for advancing modern VLMs toward causally grounded physical reasoning.

评分理由: The paper centers on Vision-Language Models (MLLM, MultiModal) for physical reasoning, yielding high scores for these keywords. It mentions unifying evaluation and learning processes (Unify Models) but lacks specific focus on Tokenizers, Visual Encoder architectures, World Models generation, or Model-Based RL, resulting in lower scores. No expert authors from the specified list are present.

Causal Scaffolding, Physical Reasoning, VLMs, CausalPhys, Causal Graphs, CRFT, Interpretability, Physical World Understanding

Chinese Title: 因果脚手架用于物理推理：面向视觉语言模型中因果驱动的物理世界理解基准

Summary: 本文针对当前视觉语言模型（VLM）在因果物理推理中的不足，提出了CausalPhys基准，包含超过3000个精心设计的视频和图像问题，覆盖感知、预测、干预和目标导向四个领域。每个问题配有专家标注的因果有向无环图（DAG），用于细粒度评估模型的因果理解。在此基础上，作者开发了基于因果图的评估指标，量化模型推理与正确因果关系的对齐程度，并揭示了现有VLM在捕获因果依赖上的系统性缺陷。为缓解这一问题，提出了因果理由微调（CRFT）方法，显式地将VLM推理与因果结构对齐。实验表明CRFT在多个模型骨干上显著提升了推理准确性和可解释性。该工作统一了数据集构建、因果评估和因果学习，为推进VLM的因果物理推理奠定了基础。

Innovations:

• 首次将物理推理任务与专家标注的因果图相结合，构建了CausalPhys基准，支持机制级别的可解释评估。
• 提出了基于因果图的评估指标，超越仅依赖答案准确率的传统方法，提供细粒度的诊断信息。
• 设计了因果理由微调（CRFT）策略，通过显式对齐VLM推理与因果结构，提升模型在物理环境中的准确性和可解释性。
• 统一了基准测试、评估和模型改进的框架，为因果物理推理研究提供了完整闭环。

Methodology: 论文采用以下技术路线：首先从11个公开数据集中收集视频和图像，设计覆盖4个领域16个子类别的3000+问题；然后由专家为每个问题标注因果DAG，捕获对象-属性-事件依赖；接着开发基于因果图的评估指标，计算模型链式推理与正确因果关系的对齐程度；最后提出CRFT方法，在微调过程中引入因果理由作为监督信号，强制模型推理遵循因果结构。实验在多个VLM骨干（如LLaVA、BLIP-2等）上进行零样本和微调评估。

Key Results:

• CausalPhys基准包含3062个问题，覆盖感知、预测、干预、目标导向四个领域。
• 现有VLM在因果物理推理上表现不佳，尤其在干预和预测任务中系统性失败。
• 基于因果图的评估指标揭示了模型推理与正确因果依赖之间的显著差距。
• CRFT方法在多个模型骨干上显著提升了推理准确性和可解释性，零样本泛化能力增强。

Tech Stack:

• 因果有向无环图（Causal DAG）
• 链式推理（Chain-of-Thought）
• 视觉语言模型（VLM）骨干：LLaVA、BLIP-2等
• 因果理由微调（CRFT）
• 基于图的评估指标（因果对齐分数）
• 数据集来源：11个公开物理场景数据集（如CLEVRER、CoPhy等）

Strengths:

• 首次将因果图显式引入VLM物理推理基准，支持机制级评估。
• 数据集规模大、覆盖场景多样（真实世界+合成），问题设计系统化。
• 提出了可操作的因果微调方法，直接提升模型性能。
• 评估指标不仅关注答案正确性，还关注推理过程与因果结构的一致性。
• 提供了完整的开源代码和数据集，促进可复现研究。

Limitations:

• 因果图由专家手工标注，成本高且可能引入主观偏差。
• 基准主要基于静态或简单动态场景，复杂交互（如多物体连续碰撞）覆盖有限。
• CRFT方法依赖因果图作为监督信号，在缺乏因果标注的实际应用中难以直接推广。
• 实验仅在有限数量的VLM骨干上进行，未涵盖最新的大型模型（如GPT-4V）。

Relevance To Keywords:

• 世界模型：论文通过因果图建模物理世界的对象-属性-事件依赖，与世界模型中的因果推理高度相关。
• 表征学习：CRFT方法强制模型学习因果结构化的表征，提升泛化能力。
• 模型基强化学习（Model-Based RL）：因果物理推理是智能体在环境中进行规划与决策的基础，论文的基准和微调方法可直接用于强化学习中的世界模型学习。
• 原生多模态大模型：论文聚焦视觉语言模型（VLM），属于多模态大模型范畴，因果推理是其能力短板。
• 后训练：CRFT是一种后训练微调策略，通过因果理由对齐提升模型推理能力。

基于 Transformer 的多模态模型依赖注意力机制以整合异构模态之间的信息。尽管取得了成功，现有的多模态注意力机制通过成对点积交互的集合或通过将所有模态拼接至键中来计算其分数，即便多个模态本应联合参与。因此，当前方法要么在模态数量上产生二次复杂度，要么无法显式建模依赖于多个表示联合构型的交互。在此工作中，我们引入了体积多模态交叉注意力（VMA），这是一种新颖的交叉注意力机制，其中注意力分数定义为查询与多个模态特定键的联合几何的函数。VMA 计算查询和键向量在多模态空间中张成的体积，捕捉超越成对相似性的联合多模态依赖，从而实现对任意阶模态交互的原生建模。我们将 VMA 整合到我们提出的新型多模态架构 GRAMformer 中，该架构显式设计用于整合任意数量的模态。我们在多模态学习任务上评估了所提出的模型，展示了改进的有效性和效率。

Transformer-based multimodal models rely on attention mechanisms to integrate information across heterogeneous modalities. Despite their success, existing multimodal attention formulations compute their scores through collections of pairwise dot-product interactions or by concatenating all the modalities into the keys, even when multiple modalities should be jointly involved. As a consequence, current approaches either incur quadratic complexity in the number of modalities or fail to explicitly model interactions that depend on the joint configuration of multiple representations. In this work, we introduce the Volumetric Multimodal cross-Attention (VMA), a novel cross-attention mechanism in which attention scores are defined as a function of the joint geometry of a query and multiple modality-specific keys. VMA computes the volume spanned by query and key vectors across multiple modalities, capturing joint multimodal dependencies beyond pairwise similarity, enabling native modeling of any-order modality interactions. We integrate VMA into our novel multimodal transformer architecture, named GRAMformer, explicitly designed to integrate any number of modalities. We evaluate the proposed model on multimodal learning tasks, demonstrating improved effectiveness and efficiency.

评分理由: The paper proposes a novel cross-attention mechanism (VMA) for multimodal transformers, which is highly relevant to MultiModal and moderately relevant to Unify Models and MLLM due to its architectural focus on integrating heterogeneous modalities. It does not discuss Tokenizers, Visual Encoders specifically, World Models, or Model-based RL, resulting in low scores for those keywords. No expert authors from the specified list were found, so no bonus was applied.

Volumetric Multimodal cross-Attention, Any-Order Modality Interactions, Multimodal Transformer, Joint Geometry, Heterogeneous Modalities, GRAMformer, Cross-Attention Mechanism

Chinese Title: GRAMformer：通过体积化多模态交叉注意力实现任意阶模态交互

Summary: 本文针对现有Transformer多模态注意力机制仅能建模成对交互或通过拼接方式隐式处理多模态信息的问题，提出了一种新型的Volumetric Multimodal cross-Attention（VMA）机制。VMA通过计算查询向量与多个模态键向量所张成的平行多面体的体积来定义注意力分数，从而直接捕获任意阶的联合模态依赖关系，避免了成对点积的二次复杂度或拼接带来的计算膨胀。基于VMA，作者设计了GRAMformer架构，能够高效融合任意数量的模态。在MOSI等数据集上的实验表明，GRAMformer在性能上优于现有方法，同时参数量更少、计算更轻量。代码已开源。

Innovations:

• 揭示了现有成对注意力机制无法显式建模高阶模态交互的根本局限。
• 提出了Volumetric Multimodal cross-Attention（VMA），利用查询与多模态键的几何体积作为注意力分数，实现任意阶模态交互的联合建模。
• 设计了GRAMformer架构，将VMA集成到Transformer中，支持任意数量模态的高效融合。
• 在多个多模态任务上验证了VMA的有效性和效率，相比拼接和成对注意力方法在性能与计算开销上均取得优势。

Methodology: 本文采用几何驱动的注意力机制设计。首先，将多模态键按对齐的序列位置分组，形成多模态键组。对于每个查询向量，计算其与一组键向量（来自M个模态）所张成的平行多面体的体积，作为注意力分数。体积通过Gram矩阵的行列式或直接计算向量组的行列式得到，反映了向量组的线性独立程度。该分数替代了传统的点积相似度，使得注意力能够同时响应所有模态的联合配置。随后，将体积分数经过softmax归一化后加权聚合对应的值向量。整个机制可嵌入多头注意力框架，并通过线性投影保持可学习性。

Key Results:

• 在MOSI数据集上，GRAMformer在情感分析二分类准确率（Acc-2）上优于所有对比方法，包括早期融合、成对交叉注意力等。
• GRAMformer的参数量和计算开销低于多数基线，体现了轻量高效的特点。
• 通过消融实验验证了VMA相比成对注意力和拼接注意力在捕获高阶交互上的优势。
• 在多个模态数量（2、3、4）的设置下，VMA均能稳定提升性能，且复杂度随模态数线性增长而非二次。

Tech Stack:

• 多头交叉注意力（Multihead Cross-Attention）
• 体积计算：平行多面体体积（通过Gram矩阵行列式或向量组行列式）
• 线性投影层（用于查询、键、值的投影）
• Softmax归一化
• PyTorch（代码实现框架）

Strengths:

• 创新性地将几何体积引入注意力机制，突破了成对相似度的限制，能够显式建模任意阶模态交互。
• 计算复杂度随模态数线性增长，避免了成对方法的二次复杂度和拼接方法的大规模键值堆叠。
• 在多个多模态任务上取得更好性能，同时模型更轻量，具有实际部署价值。
• 方法具有通用性，可扩展到任意数量的模态，且无需低秩近似或分解。

Limitations:

• 当前方法假设模态在序列维度上对齐，对于非对齐或异步模态（如不同采样率的视频和音频）需要额外的对齐预处理。
• 体积计算依赖于向量组的线性独立性，当模态嵌入维度较高时，行列式计算可能数值不稳定或受噪声影响。
• 论文仅在情感分析等任务上验证，尚未在更复杂的多模态理解（如视频问答、多模态生成）中测试。
• 未讨论体积注意力与标准点积注意力在梯度传播特性上的差异，可能影响训练稳定性。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文聚焦于多模态表征学习中的注意力机制，与表征学习高度相关。但未涉及世界模型、模型基强化学习或后训练等方向，相关性中等。
• 原生多模态大模型，多模态大模型的理解和生成一体化: 论文提出的VMA可视为多模态大模型中的一种融合模块，有助于提升多模态理解能力，但与生成一体化无直接关联。
• 表征学习: 论文核心是通过体积度量学习多模态联合表征，直接相关。
• 世界模型，强化学习，后训练: 论文未涉及这些主题，相关性低。

无线基础模型已成为为每个无线任务构建独立模型的有前景的替代方案。然而，现有方法依赖于掩码输入重建，这可能导致表示偏向于低层级的信号细节。本文提出 LatentWave，一种基于联合嵌入预测架构（JEPA）在多样化无线频谱图和信道状态信息（CSI）上预训练的无线基础模型。通过在潜在空间预测掩码区域，LatentWave 学习了具有更好开箱即用迁移能力的表示，适用于多样化的下游任务。所提出的架构采用每通道补丁嵌入，并在预训练期间引入随机通道采样，使其能够处理可变的天线数量，并提升在不同异构无线配置下的适用性。我们在四个下游任务上评估 LatentWave：射频信号分类、5G NR 定位、波束预测以及视距/非视距（LoS/NLoS）分类，并与在同一数据上预训练的掩码建模基线（WavesFM）进行对比。此外，我们还表明，掩码几何结构引入了任务相关的归纳偏置：频率掩码强烈倾向于信道相关任务（如定位和波束预测），而区域掩码则更好地保留了信号分类的判别性。

Wireless foundation models have emerged as a promising alternative to building separate models for each wireless task. However, existing approaches rely on masked input reconstruction, which can bias representations toward low-level signal details. In this paper, we propose LatentWave, a wireless foundation model pretrained using a Joint-Embedding Predictive Architecture (JEPA) on diverse wireless spectrograms and channel state information (CSI). By predicting masked regions in latent space, LatentWave learns representations that are more transferable out of the box across diverse downstream tasks. The proposed architecture employs per-channel patch embeddings with stochastic channel sampling during pretraining, allowing it to process variable antenna counts and improving usability across heterogeneous wireless configurations. We evaluate LatentWave on four downstream tasks: RF signal classification, 5G NR positioning, beam prediction, and LoS/NLoS classification, comparing against a masked-modeling baseline (WavesFM) pretrained on the same data. Additionally, we show that the masking geometry introduces a task-dependent inductive bias: frequency masking strongly favors channel-related tasks such as positioning and beam prediction, while region masking better preserves discriminability for signal classification.

评分理由: 评分理由：论文采用 JEPA 架构进行预训练，与世界模型（World Models）的核心方法高度相关，故得分最高；作为无线基础模型，其统一处理多任务的设计符合 Unify Models 理念；Patch Embeddings 机制与 Tokenizer 和 Visual Encoder 有结构相似性，故给予中等分数；涉及多模态信号处理（谱图与 CSI），故 MultiModal 有一定关联；但论文未涉及语言模型（MLLM）或强化学习（model-based RL），故这两项得分为 0。

LatentWave, JEPA Pretraining, Wireless Foundation Models, Spectrograms, Channel State Information, Representation Learning, Patch Embeddings, Downstream Tasks

Chinese Title: LatentWave：面向无线基础模型的JEPA预训练方法

Summary: 本文提出LatentWave，一种基于联合嵌入预测架构（JEPA）的无线基础模型预训练方法。针对现有掩码重建方法迫使模型关注低层信号细节的局限，LatentWave在潜在空间中预测掩码区域，学习更可迁移的高层语义表示。模型采用每通道patch嵌入和随机通道采样策略，支持可变天线数，提升异构无线配置下的通用性。在射频信号分类、5G NR定位、波束预测和视距/非视距分类四个下游任务上评估，与掩码建模基线WavesFM对比，LatentWave的冻结表示表现出更优的迁移性能。此外，研究发现掩码几何引入任务依赖的归纳偏置：频率掩码有利于信道相关任务（定位、波束预测），区域/时间掩码更利于信号分类。

Innovations:

• 首次将JEPA框架应用于无线基础模型预训练，替代传统的像素空间掩码重建，学习高层语义表示。
• 提出每通道patch嵌入与随机通道采样策略，使模型能处理可变天线数，适应异构无线配置。
• 系统比较了四种掩码策略（区域、频率、时间、随机），揭示了掩码几何引入的任务依赖归纳偏置。
• 在四个不同下游任务上验证了冻结表示的迁移能力，优于掩码建模基线。

Methodology: 采用JEPA自监督框架，包含上下文编码器、目标编码器和预测器。上下文编码器处理可见patch，目标编码器（EMA更新）处理完整输入，预测器在潜在空间预测掩码区域表示。输入为频谱图和CSI，每通道独立分割为patch，通过共享线性投影嵌入。预训练时随机采样通道数，采用多块掩码策略（区域/频率/时间/随机）。损失函数为掩码位置预测与目标表示的均方误差。预训练后提取目标编码器作为下游任务的基础模型。

Key Results:

• LatentWave在四个下游任务上的冻结表示性能优于掩码建模基线WavesFM。
• 频率掩码策略在5G NR定位和波束预测任务上表现最佳，区域/时间掩码在射频信号分类任务上更优。
• 随机通道采样策略使模型能泛化到不同天线配置，无需重新训练。
• 掩码几何引入的归纳偏置具有任务依赖性，无单一策略在所有任务上占优。

Tech Stack:

• JEPA（联合嵌入预测架构）
• Vision Transformer（ViT）作为编码器和预测器
• 指数移动平均（EMA）更新目标编码器
• 余弦学习率调度（峰值1e-3，预热12轮）
• 多块掩码策略（区域、频率、时间、随机）
• 每通道patch嵌入（patch size 16×16）
• 随机通道采样（均匀分布）
• 均方误差（MSE）损失函数

Strengths:

• 提出新颖的JEPA预训练范式，有效避免像素空间重建的低层偏置，学习更通用的表示。
• 架构设计灵活，支持可变天线数，增强实际部署中的适用性。
• 系统分析掩码几何的影响，为不同任务选择合适预训练策略提供指导。
• 在多个无线任务上验证了冻结表示的迁移能力，减少下游微调需求。

Limitations:

• 仅评估了四个下游任务，未涵盖更多无线场景（如信道估计、干扰管理等）。
• 与基线WavesFM的比较可能不够全面，未与对比学习等方法对比。
• JEPA预训练计算成本较高（ViT编码器+预测器），可能限制资源受限场景的应用。
• 未探讨不同天线数下性能的定量变化，随机通道采样的效果分析较简略。

Relevance To Keywords:

• 表征学习：JEPA在潜在空间预测，学习高层语义表示，与表征学习核心目标一致。
• 世界模型：JEPA预测潜在空间动态，可视为构建无线环境世界模型的一种尝试。
• 多模态大模型：论文处理频谱图和CSI两种模态，但未涉及多模态融合，属于单模态基础模型。
• 模型基础：LatentWave作为无线基础模型，支持多种下游任务，符合基础模型范式。
• 后训练：论文聚焦预训练，下游任务采用线性探测或微调，属于后训练范畴。

基准测试（Benchmarks）对于评估和推进大语言模型（LLMs）及多模态大语言模型（MLLMs）至关重要，因为它们提供了标准化的、明确的表现衡量指标。然而，其构建过程劳动密集且难以复用，引发了关于可持续性和可扩展性的担忧。此外，现有基准测试通常在发布后迅速达到性能饱和，导致对最先进模型（state-of-the-art models）之间的区分度不足。为应对这些挑战，我们引入了 Benchmark Agent，这是一个专为基准构建设计的完全自主的代理系统（agentic system）。该框架统筹了完整的基准构建流程，涵盖从用户查询分析与子任务设计，到数据标注与质量控制的全环节。为评估 Benchmark Agent，我们将其应用于生成 15 个代表性基准，涵盖多样化的评估场景，包括文本理解、多模态理解及领域特定推理（domain-specific reasoning）。广泛的实验（包括人类评估、LLM-as-a-judge 评估及一致性检查）表明，Benchmark Agent 能够在极少人工干预的情况下生成高质量的基准样本。更重要的是，通过持续评估，我们观察到若干重要发现，包括当前模型在某些领域特定推理任务上仍存在困难。我们认为，快速迭代的基准测试可为研究社区做出重要贡献。预览及代码将在演示页面及代码库中公开提供。

Benchmarks are fundamental for evaluating and advancing LLMs and MLLMs by providing standardized and explicit measures of performance. However, their construction is labor-intensive and hard to reuse, raising concerns about sustainability and scalability. Moreover, existing benchmarks often quickly reach performance saturation after their release, resulting in insufficient discrimination among state-of-the-art models. To address these challenges, we introduce Benchmark Agent, a fully autonomous agentic system designed for benchmark building. Our framework orchestrates the complete benchmark construction pipeline, from user query analysis and subtask design to data annotation and quality control. To assess Benchmark Agent, we implement it to produce 15 representative benchmarks, spanning diverse evaluation scenarios, including text understanding, multimodal understanding, and domain-specific reasoning. Extensive experiments, including human evaluation, LLM-as-a-judge assessment, and consistency checks, demonstrate Benchmark Agent can generate high-quality benchmark samples with minimal human involvement. More importantly, through continual evaluation, we observe several insightful findings, including that current models struggle with certain domain-specific reasoning tasks. We believe that rapidly evolving benchmarks can contribute significantly to the research community. The preview and code will be publicly available at the demo page and code repository.

评分理由: 论文核心在于构建自动化基准测试系统（Benchmark Agent），而非模型架构或强化学习方法。因此与 MLLM 和 MultiModal 领域直接相关（涉及评估对象，评分较高），与 Unify Models、Tokenizer、Visual Encoder、World Models、model-based RL 几乎无关（评分较低）。作者列表中未包含指定的五位专家。加权总分 33.0 分，超过动态及格分 27.8 分。

Benchmark Agent, Autonomous Agentic System, LLM Evaluation, MLLM Evaluation, Multimodal Understanding, Benchmark Construction, LLM-as-a-judge

Chinese Title: 一次性全面基准构建：无处不在的基准测试

Summary: 本文针对现有基准测试构建过程中人力成本高、迭代缓慢、性能饱和等问题，提出了Benchmark Agent——一个完全自主的智能体系统，用于自动化构建高质量、可定制的基准测试。该系统采用“大脑-小脑”层次架构，由Benchmark Planner（高层决策模块）和Benchmark Executor（执行模块）组成。Planner将用户需求分解为子任务，并通过数据搜索、可转换性验证和全局分配生成可行计划；Executor则执行样本级规划、工具转换和质量控制。实验表明，Benchmark Agent能在极少人工干预下生成15个覆盖文本理解、多模态理解和领域推理的基准测试，经人工评估、LLM评判和一致性检验证明其高质量和判别力。系统支持持续快速更新，为社区提供动态演进的评估工具。

Innovations:

• 首次提出完全自主的智能体系统用于基准测试构建，实现从需求分析到数据标注的全流程自动化。
• 采用“大脑-小脑”层次架构，将高层规划与底层执行解耦，支持长周期、多步骤的基准构建任务。
• 支持用户导向的定制化评估，可灵活调整任务格式、领域和评价标准，突破传统通用基准的局限。
• 实现持续快速刷新能力，能根据新模型、新领域和用户需求动态更新基准，避免性能饱和问题。
• 通过多智能体协作（设计、接地、分配）和工具链集成，确保生成基准的高质量和可重复性。

Methodology: 论文采用智能体系统方法，构建了Benchmark Agent框架。整体流程分为两个阶段：1) Benchmark Planner阶段：包含Design Agent（将用户需求分解为子任务）、Grounding Agent（通过数据集搜索和可转换性验证确保子任务可落地）、Allocation Agent（在全局约束下分配资源）；2) Benchmark Executor阶段：执行样本级规划、调用多种工具（LLM和非LLM工具）进行数据转换，并通过质量控制和配额验证生成最终基准。系统使用ReAct范式进行推理与交互，结合多轮迭代和自一致性机制。

Key Results:

• 生成了15个代表性基准测试，覆盖文本理解、多模态理解和领域推理等场景。
• 人工评估和LLM-as-a-judge评估表明生成样本质量高，与人工构建基准相当。
• 一致性检验证明生成基准具有良好的判别力，能有效区分不同模型性能。
• 系统在时间效率和成本效益上显著优于传统人工构建方式。
• 消融实验验证了Planner和Executor各组件的有效性。
• 持续评估发现当前模型在特定领域推理任务上仍存在明显不足。

Tech Stack:

• LLM（如ChatGPT、Gemini、Claude）作为核心推理引擎
• ReAct范式（推理与行动交替）
• 多智能体协作机制（Design Agent、Grounding Agent、Allocation Agent）
• 工具调用（Proposer、Revising、Discarding、Preference、Searching、Transformability、Score-and-Filter等）
• 非LLM工具（用于数据转换的代码生成、多模态内容创建等）
• 自一致性机制（迭代验证与质量检查）

Strengths:

• 创新性地将智能体系统应用于基准构建，解决了传统方法劳动密集、迭代慢的问题。
• 系统设计层次清晰，高层规划与底层执行分离，增强了可扩展性和鲁棒性。
• 支持用户定制化需求，生成的基准具有高灵活性和针对性。
• 实验验证充分，包括人工评估、LLM评判、一致性检验、效率分析等，结果可靠。
• 强调持续更新能力，有助于应对模型快速迭代带来的基准饱和问题。

Limitations:

• 系统依赖现有数据集和工具库，对于全新领域或极端罕见场景可能缺乏足够数据支持。
• 生成的基准质量受底层LLM能力影响，可能存在偏差或幻觉。
• 当前评估主要针对文本和多模态理解，对更复杂的交互式或动态环境尚未充分验证。
• 系统复杂度较高，部署和维护需要一定的技术成本。
• 论文未详细讨论基准的公平性和潜在偏见问题。

Relevance To Keywords:

• Unify Models: 论文提出的Benchmark Agent可统一评估不同模型（LLM、MLLM）的能力，与统一模型评估需求高度相关。
• World Models: 生成的基准测试可涵盖世界模型所需的推理和场景理解能力，但论文未直接聚焦世界模型。
• Representation Learning: 基准测试可用于评估表征学习质量，但论文主要关注评估而非表征学习本身。
• Model-Based RL: 基准测试可评估模型在规划、推理等任务上的表现，与基于模型的强化学习评估相关。
• 原生多模态大模型: 论文生成的基准覆盖多模态理解，直接服务于原生多模态大模型的评估。
• 多模态大模型的理解和生成一体化: 基准测试可同时评估理解和生成能力，但论文更侧重理解任务。
• 表征学习: 同上，间接相关。
• 世界模型: 基准测试可评估世界模型的预测和推理能力，但论文未专门设计。
• 强化学习: 基准测试可用于评估强化学习策略，但论文未涉及。
• 后训练: 基准测试可用于后训练阶段的效果验证，论文强调持续评估，与后训练评估需求契合。

视觉 - 语言模型（VLMs），如 CLIP，已展现出强大的零样本泛化能力，但仍极易受到对抗性扰动的影响，在实际应用中构成严重风险。针对 VLMs 的测试时防御（Test-time defenses）近期已成为一种有前景且高效的方法，用于抵御对抗性攻击，而无需代价高昂的大规模重新训练。在这项工作中，我们发现了一个令人惊讶的现象：在各种输入变换下，CLIP 特征空间中的对抗性图像始终沿一个主导方向移动，与干净图像的分散模式形成对比。我们假设这种主导转移，称为防御方向（Defense Direction），与对抗性转移相反，将特征指回其正确的类别中心。基于这一洞察，我们提出了方向性偏差引导防御（DBD），这是一个测试时框架，它估计防御方向，并采用基于 DB-score 的双流重建策略来恢复鲁棒表示。在 15 个数据集上的实验表明，DBD 不仅实现了 SOTA（最先进）的对抗鲁棒性并保持干净准确率，还揭示了一个反直觉的结果：对抗准确率甚至可能超过干净准确率。这表明对抗性扰动本质上编码了关于真实决策边界的定向先验。

Vision-Language Models (VLMs), such as CLIP, have shown strong zero-shot generalization but remain highly vulnerable to adversarial perturbations, posing serious risks in real-world applications. Test-time defenses for VLMs have recently emerged as a promising and efficient approach to defend against adversarial attacks without requiring costly large-scale retraining. In this work, we uncover a surprising phenomenon: under diverse input transformations, adversarial images in CLIP's feature space consistently shift along a dominant direction, in contrast to the dispersed patterns of clean images. We hypothesize that this dominant shift, termed the Defense Direction, opposes the adversarial shift, pointing features back toward their correct class centers. Building on this insight, we propose Directional Bias-guided Defense (DBD), a test-time framework that estimates the Defense Direction and employs a DB-score-based two-stream reconstruction strategy to recover robust representations. Experiments on 15 datasets demonstrate that DBD not only achieves SOTA adversarial robustness while preserving clean accuracy, but also reveals the counterintuitive result that adversarial accuracy can even surpass clean accuracy. This demonstrates that adversarial perturbations inherently encode directional priors about the true decision boundary.

评分理由: 论文主要研究视觉语言模型（VLMs）的对抗攻击防御问题。在关键词相关性上，'MultiModal'高度相关，因为 VLMs 本质是多模态模型；'Visual Encoder'相关性较高，因为防御方法作用于视觉编码器的特征空间；'MLLM'相关性中等，因为 VLMs 属于多模态大模型范畴，但论文未涉及大模型训练细节；'Unify Models'相关性中等，因 VLMs 统一了视觉与语言模态，但论文核心在于防御策略而非模型统一架构。'Tokenizer'、'World Models'和'model-based RL'与论文内容无直接关联，涉及领域完全不同，故评分为 0。加权总分 33.0，高于动态及格分 27.8。

Vision-Language Models, Adversarial Attacks, Test-time Defense, Directional Bias, Adversarial Robustness, Feature Space, CLIP, Reconstruction Strategy

Chinese Title: 对抗攻击早已揭示答案：面向视觉语言模型的方向性偏差引导的测试时防御

Summary: 本文针对视觉语言模型（如CLIP）在对抗攻击下的脆弱性问题，提出了一种无需额外训练的测试时防御方法。研究发现，在多种输入变换下，对抗图像在CLIP特征空间中会沿一个主导方向移动，而干净图像的特征则分散分布。基于此，作者提出方向性偏差引导防御（DBD），通过估计该主导方向（称为防御方向）并利用DB-score进行双流特征重建策略，恢复鲁棒表示。在15个数据集上的实验表明，DBD不仅保持了干净图像的准确率，还显著提升了对抗鲁棒性，甚至在某些数据集上对抗图像的准确率超过了干净图像。该工作揭示了对抗扰动隐式编码了真实决策边界的方向先验。

Innovations:

• 首次揭示对抗扰动隐式编码了真实决策边界的方向先验，可通过多种变换可靠估计。
• 提出方向性偏差引导防御（DBD）框架，利用防御方向估计和基于DB-score的双流重建策略实现高效测试时防御。
• 在15个数据集上验证了DBD的优越性，对抗鲁棒性达到SOTA，且在某些情况下对抗准确率超过干净准确率。

Methodology: 首先，对输入图像应用多种变换（空间、像素、频率域）得到增强特征；然后，通过熵过滤保留高质量特征；接着，计算方向性偏差（DB-score）区分对抗与干净图像；最后，采用双流重建策略：对于高DB-score（对抗）样本，沿防御方向线性移动特征；对于低DB-score（干净）样本，使用平均变换特征作为测试时增强。

Key Results:

• DBD在10个细粒度分类数据集和5个ImageNet-OOD数据集上均达到SOTA对抗鲁棒性。
• DBD在保持干净图像准确率的同时，显著提升对抗鲁棒性。
• 在某些数据集上，对抗图像的分类准确率甚至超过了干净图像。
• DB-score呈现清晰的双峰分布，有效区分对抗与干净图像。

Tech Stack:

• CLIP视觉编码器与文本编码器
• PGD攻击（ℓ∞, ϵ=4/255, 步长1/255, 100步）
• 多维缩放（MDS）用于特征可视化
• 余弦相似度作为距离度量
• 熵过滤（基于信息熵）
• 方向性偏差（DB-score）计算
• 双流特征重建策略（线性移动与平均增强）

Strengths:

• 无需额外训练，计算高效，适合实际部署。
• 同时保持干净性能并大幅提升对抗鲁棒性，甚至超越干净准确率。
• 揭示了对抗扰动中隐含的方向先验，具有理论洞察。
• 在多个数据集上验证了泛化能力。

Limitations:

• 防御效果可能依赖于变换的多样性和质量，变换选择需手动设计。
• 未充分讨论针对自适应攻击（如AutoAttack）的鲁棒性。
• 仅针对CLIP模型，对其他VLM的泛化性未验证。

Relevance To Keywords:

• 多模态大模型：论文针对CLIP等视觉语言模型，属于多模态大模型范畴。
• 表征学习：通过分析特征空间中的方向性偏差，利用表征进行防御。
• 后训练：测试时防御属于后训练阶段，无需重新训练模型。
• 世界模型/强化学习：论文未直接涉及，但方向性偏差的发现可启发对模型决策边界的理解。

为了使 人形机器人 能够在现实世界中部署，指令空间（command space，即任务规划与全身控制之间的接口）的选择至关重要。现有的全身控制器通常需要密集的运动学或空间参考，而规划器难以从任务语义中生成这些参考。相反，我们提出了一种紧凑、显式的接口，该接口直观、通用、模块化，且具备足够的表达能力，足以应对多种操作技能。为此，我们引入了 HANDOFF，这是一个遵循该接口的单一的人形机器人全身控制器，它通过上下文条件门控机制下的多教师 KL 蒸馏，从三个互补的专科模型（全身运动跟踪（带安全过滤数据）、移动和跌倒恢复）中蒸馏出一个混合专家（Mixture-of-Experts）学生模型。在 Unitree G1 上，HANDOFF 达到了最先进的速度跟踪水平，并提供了最大的鲁棒操作工作空间之一。我们进一步通过多个自然语言驱动的任务执行展示了硬件可行性，这些任务由一个视觉语言模型（VLM）驱动的智能体规划器驱动，且无需任务特定数据或控制器微调。

For a humanoid robot to be deployed in the real world, the choice of command space (i.e., the interface between task planning and whole-body control) is crucial. Existing whole-body controllers typically demand dense kinematic or spatial references that planners struggle to synthesize from task semantics. We instead propose a compact, explicit interface that is intuitive, general, modular, and expressive enough for diverse manipulation skills. To this end, we introduce HANDOFF, a single humanoid whole-body controller that follows this interface and is distilled via multi-teacher KL distillation under a context-conditioned gating scheme into a mixture-of-experts student from three complementary specialists: whole-body motion tracking with safety-filtered data, locomotion, and fall-recovery. On the Unitree G1, HANDOFF matches state-of-the-art velocity tracking and offers one of the largest robust manipulation workspaces. We further demonstrate hardware feasibility through multiple natural-language-driven task roll-outs, powered by a VLM-driven agentic planner with no task-specific data or controller fine-tuning.

评分理由: 论文核心为人形机器人控制策略的蒸馏与统一，与 MultiModal（整合语言/视觉/控制）和 Unify Models（统一控制策略）高度相关；MLLM 相关（使用 VLM 进行任务规划）；Tokenizer 完全无关；Visual Encoder 和 World Models 关联较弱（仅作为 VLM 组件或隐含环境理解）；model-based RL 关联较低（主要采用蒸馏而非模型强化学习）。

Humanoid Whole-Body Control, Distilled Complementary Teachers, Mixture-of-Experts, VLM-driven Planner, Natural-Language-driven, Task-Space Control, Agentic Task

Chinese Title: HANDOFF：通过蒸馏互补教师实现的人形智能体任务空间全身控制

Summary: 本文提出HANDOFF，一种面向人形机器人的全身控制器，采用紧凑的10维命令空间（包括基座速度、高度和双侧手腕目标），该接口直观、通用、模块化且表达力强。通过多教师KL蒸馏和上下文条件门控机制，将三个互补专家（全身运动跟踪、 locomotion和跌倒恢复）蒸馏为一个混合专家学生策略。在Unitree G1机器人上，HANDOFF在速度跟踪方面达到SOTA水平，并提供了最大的鲁棒操作工作空间。结合VLM驱动的智能体规划器，无需任务特定数据或控制器微调，即可实现自然语言驱动的多种任务部署。该方法解决了现有控制器需要密集运动参考或复杂接口的问题，实现了规划器与控制器的高效解耦。

Innovations:

• 提出紧凑显式的10维命令空间（基座速度、高度、手腕目标），兼具直观性、通用性、模块化和全身表达力。
• 采用多教师KL蒸馏与上下文条件门控机制，将三个互补专家（运动跟踪、 locomotion、跌倒恢复）融合为单一学生策略，无需运行时切换。
• 混合专家（MoE）学生架构，通过负载均衡和恢复损失实现专家路由，确保不同场景下的最优监督。
• 无需任务特定数据或控制器微调，VLM驱动的规划器可直接生成命令，实现零样本自然语言任务执行。
• 可扩展的蒸馏框架：新增专家只需添加教师头和上下文通道，不影响现有组件。

Methodology: 首先分别训练三个教师策略：全身运动跟踪教师（基于重定向人体运动数据，使用PPO+非对称演员-评论家）、locomotion教师（基于平坦地形速度跟踪奖励，结合课程混合运动数据）、跌倒恢复教师（基于locomotion与跌倒恢复序列的对抗运动先验）。然后通过上下文条件KL蒸馏将三个教师蒸馏到单个学生策略中：上下文信号为命令速度范数和跌倒标志，决定每个动作切片由哪个教师监督；采用混合专家（MoE）架构，每个专家对应一个教师领域，通过门控网络和负载均衡损失实现路由。学生策略接收10维命令和11帧本体感知历史，输出29维关节动作。最后，VLM驱动的智能体规划器将自然语言任务分解为10维命令序列，直接驱动控制器。

Key Results:

• HANDOFF在速度跟踪方面达到与SOTA locomotion控制器相当的性能。
• 在鲁棒操作工作空间上，HANDOFF提供了最大的可达范围，支持协调的蹲下-伸手、行走中单臂抓取等全身行为。
• 在真实Unitree G1机器人上，通过VLM规划器成功执行多个自然语言驱动的任务（如取咖啡、捡起物体），无需任务特定数据或微调。
• 跌倒恢复能力在仿真和硬件上得到验证，控制器能在跌倒后自主恢复。
• 与现有方法对比（表1），HANDOFF是唯一同时满足紧凑命令、无外部运动参考、单策略的全身控制器。

Tech Stack:

• PPO（近端策略优化）用于训练教师和学生策略
• KL散度（Kullback-Leibler divergence）用于多教师蒸馏
• 混合专家（Mixture-of-Experts, MoE）架构
• 上下文条件门控（context-conditioned gating）
• 对抗运动先验（Adversarial Motion Priors）用于跌倒恢复训练
• 运动重定向（motion retargeting）用于人体数据适配
• 课程学习（curriculum learning）用于locomotion训练
• 负载均衡损失（load-balancing loss）用于MoE路由
• VLM（视觉语言模型）驱动的智能体规划器

Strengths:

• 命令空间紧凑（10维）且直观，规划器（人类、几何规划器、VLM）均可直接生成。
• 模块化设计：规划器、感知、控制器解耦，可独立替换。
• 单策略全身控制，无需运行时切换，鲁棒性高。
• 蒸馏框架可扩展，新增专家不影响已有组件。
• 硬件验证成功，展示了从语言到真实机器人动作的完整流程。

Limitations:

• 牺牲了部分表达力（如舞蹈等复杂全身动作），因为命令空间不如密集运动参考丰富。
• 教师质量依赖现有数据集和训练方法，可能限制学生性能上限。
• 未在复杂地形（如楼梯、斜坡）或动态环境（如移动障碍物）中验证。
• 跌倒恢复能力可能仅适用于特定跌倒模式，泛化性有待进一步测试。
• VLM规划器依赖外部模型，其推理速度和准确性可能成为瓶颈。

Relevance To Keywords:

• 强化学习用于物理机器人控制：论文使用PPO训练教师和学生策略，属于强化学习在机器人控制中的应用。
• 任务与运动规划：提出的10维命令空间作为任务规划与运动控制的接口，VLM规划器将高层任务分解为子目标。
• 人形全身控制：核心贡献是全身控制器，协调基座、躯干和手臂实现locomotion和操作。
• 移动操作：控制器支持行走中抓取、蹲下-伸手等locomotion与操作结合的行为。

时间序列基础模型（TS-FMs）旨在学习可泛化的时序表示，这些表示能够适应广泛的下游任务。在多模态现实场景中，时间序列常受时间错位及部分模态缺失的影响，此时不同模态可能在异构时间尺度上被观测或部分缺失。现有方法通常依赖朴素的插值或掩码策略，这些策略未能考虑跨模态依赖关系，往往导致错位或退化的表示。我们提出了 TRACE，这是一种针对存在缺失和不规则采样的多模态时间序列基础模型流水线的条件估计范式，允许从可用的辅助模态中系统地推断不完整的目标模态。我们在涵盖医疗和情感计算领域的多样化多模态基准上评估了 TRACE，包括 MIMIC-IV 临床数据集以及用于多模态情感分析的 CMU-MOSI 和 CMU-MOSEI 基准。在各种下游预测任务和缺失模态设置下，TRACE 始终优于先前的多模态融合方法，表现出对严重模态缺失的更强鲁棒性以及更可靠的跨模态表示。

Time series foundation models (TS-FMs) aim to learn generalizable temporal representations that can be adapted to a wide range of downstream tasks. In real-world multimodal settings, time series are frequently affected by temporal misalignment and partial modality missingness, where different modalities are observed at heterogeneous time scales or are partially absent. Existing approaches typically rely on naive imputation or masking strategies, which fail to account for cross-modal dependencies and often lead to misaligned or degraded representations. We propose TRACE, a conditional estimation paradigm for multimodal time series foundation model pipelines under missingness and irregular sampling, allowing incomplete target modalities to be systematically inferred from available auxiliary modalities. We evaluate TRACE on diverse multimodal benchmarks spanning healthcare and affective computing, including the MIMIC-IV clinical dataset and the CMU-MOSI and CMU-MOSEI benchmarks for multimodal sentiment analysis. Across a range of downstream prediction tasks and missing-modality settings, TRACE consistently outperforms prior multimodal fusion approaches, demonstrating improved robustness to severe modality missingness and more reliable cross-modal representations.

评分理由: 论文标题和摘要明确包含'Multimodal'和'Foundation Models'，因此'MultiModal'关键词高度相关（10 分）。'Unify Models'与基础模型的统一表征理念相关，给予中等分（5 分）。'Tokenizer'、'Visual Encoder'、'MLLM'、'World Models'及'model-based RL'与论文内容（时间序列、缺失值处理、非视觉/非语言/非强化学习）关联度低或无关，得分较低（0-2 分）。加权总分为 31.5，高于动态及格分 27.8。作者列表中未包含 Yang Shi 等指定专家，无额外加分。

Multimodal Time Series, Foundation Models, Temporal Conditional Estimation, Missingness, Cross-modal Dependencies, Healthcare, Affective Computing

Chinese Title: TRACE：面向多模态时间序列基础模型的时间条件估计方法

Summary: 本文提出TRACE，一种面向多模态时间序列基础模型的条件估计范式，旨在解决实际应用中常见的时间错位和模态缺失问题。现有方法通常采用简单的插值或掩码策略，忽略了跨模态依赖，导致表征退化。TRACE将缺失模态视为待条件估计的潜在变量，利用扩散模型从可用模态中推断缺失部分，再通过MoE融合层进行下游预测。在MIMIC-IV、CMU-MOSI和CMU-MOSEI等多个基准上的实验表明，TRACE在严重模态缺失场景下显著优于现有融合方法，生成更接近真实完整序列的表征，提升了鲁棒性和跨模态一致性。

Innovations:

• 将缺失模态处理从确定性填充重新定义为条件估计问题，提出TRACE范式。
• 引入基于扩散机制的概率信号级估计，实现跨模态条件推断。
• 设计MoE门控机制聚合辅助模态信息，构建鲁棒的跨模态上下文。
• 在TS-FM流水线中首次将条件估计作为融合前的中间目标，提升下游任务性能。

Methodology: TRACE采用两阶段流水线：第一阶段进行多模态条件扩散，对每个目标模态，利用其观测部分和MoE聚合的跨模态上下文作为条件，通过扩散模型估计缺失部分；第二阶段采用FuseMoE的MoE融合层聚合完成后的多模态表征，输入任务特定预测头进行下游任务。扩散过程在表征空间进行，而非原始信号空间。

Key Results:

• 在MIMIC-IV、CMU-MOSI、CMU-MOSEI等数据集上，TRACE在多种缺失率设置下均优于现有融合方法。
• TRACE生成的表征与真实完整序列表征的余弦相似度更高，尤其在严重缺失（如30%缺失率）时优势明显。
• 在情感分析、临床预测等下游任务中，TRACE一致提升性能，表现出更强的鲁棒性。

Tech Stack:

• 条件扩散模型（Conditional Diffusion Model）
• 混合专家门控机制（MoE-based Gating）
• 跨模态上下文聚合（Cross-modal Context Aggregation）
• FuseMoE融合层
• 余弦相似度评估（Cosine Similarity）

Strengths:

• 创新性地将缺失模态处理从填充问题提升为条件估计问题，理论框架清晰。
• 扩散模型的使用使估计具有概率性，保留了不确定性，避免确定性填充带来的偏差。
• MoE门控机制有效筛选辅助模态信息，增强跨模态上下文的质量。
• 在多个真实多模态基准上验证，泛化性强，鲁棒性好。

Limitations:

• 扩散模型推理速度较慢，可能影响实时应用场景。
• 当前方法主要针对表征级估计，未在原始信号空间进行验证。
• 对辅助模态质量高度依赖，若所有模态均严重缺失，性能可能下降。
• 未探讨与大规模预训练TS-FM的联合训练策略。

Relevance To Keywords:

• 多模态大模型：TRACE直接针对多模态时间序列建模，处理模态缺失和错位问题，与多模态大模型的研究高度相关。
• 表征学习：TRACE通过条件扩散学习更接近真实完整序列的表征，提升表征质量。
• 世界模型：时间序列基础模型可视为世界模型的一种形式，TRACE增强了其在缺失数据下的鲁棒性。
• 模型-Based RL：TRACE的估计范式可为基于模型强化学习中状态估计提供借鉴。
• 后训练：TRACE的条件估计可作为多模态模型后训练阶段的一种增强策略。

智能体系统越来越多地使用文本技能来编码可复用任务流程，但在每一步将这些技能注入提示词中都会产生巨大的上下文开销，并以明文形式暴露技能内容。我们提出了 LatentSkill，这是一个通过预训练超网络将文本技能转换为即插即用 LoRA 适配器的框架。LatentSkill 将技能知识存储在权重空间而非上下文空间，从而消除了每步技能令牌，同时保留了模块化加载、缩放和组合的能力。在 ALFWorld 和 Search-QA 上，LatentSkill 优于相应的上下文技能基线，同时使用了显著更少的预填充令牌：在可见和不可见划分上，它在减少 64.1% 预填充令牌的同时，使 ALFWorld 的成功率分别提高了 21.4 和 13.4 个百分点；在 Search-QA 上，它在降低 72.2% 技能令牌开销的同时，使精确匹配提高了 3.0 个百分点。进一步分析表明，生成的技能 LoRAs 形成了结构化的语义几何，可以通过 LoRA 缩放系数进行精确控制，并且在技能组件对齐的情况下，可以通过参数空间算术进行组合。这些发现表明，权重空间技能为扩展大语言模型智能体提供了一种高效、模块化且暴露较少的基础。

Agent systems increasingly use textual skills to encode reusable task procedures, but injecting these skills into the prompt at every step incurs substantial context overhead and exposes skill content as plaintext. We present LatentSkill, a framework that converts textual skills into plug-and-play LoRA adapters through a pretrained hypernetwork. LatentSkill stores skill knowledge in weight space rather than context space, removing per-step skill tokens while preserving modular loading, scaling, and composition. On ALFWorld and Search-QA, LatentSkill outperforms the corresponding in-context skill baseline while using substantially fewer prefill tokens: it improves ALFWorld success by 21.4 and 13.4 points on the seen and unseen splits with 64.1% fewer prefill tokens, and improves Search-QA exact match by 3.0 points with 72.2% lower skill-token overhead. Further analysis shows that generated skill LoRAs form a structured semantic geometry, can be precisely controlled via the LoRA scaling coefficient, and can be composed through parameter-space arithmetic when skill components are aligned. These findings suggest that weight-space skills provide an efficient, modular, and less exposed substrate for extending LLM agents.

评分理由: 论文提出 LatentSkill 框架，核心贡献是将文本技能转换为权重空间的 LoRA 适配器以减少上下文开销。虽然涉及 RL 环境（ALFWorld）和技能表示（与 World Models 有一定关联），但未涉及多模态融合、视觉编码器设计或 tokenizer 优化，因此与多模态及模型架构类关键词相关性较低，与 RL 类关键词相关性中等。加权总分为 31.5，高于动态及格分 27.8。作者列表中未包含指定的专家，无额外加分。

LLM Agents, LoRA Adapters, Weight Space, Skill Storage, In-Context Learning, ALFWorld, Skill Composition

Chinese Title: LatentSkill：从上下文文本技能到LLM智能体的权重潜在技能

Summary: 本文提出LatentSkill框架，旨在解决LLM智能体系统中文本技能注入带来的上下文开销和技能暴露问题。传统方法将技能文本重复插入提示词中，导致预填充成本高且技能内容以明文形式暴露。LatentSkill通过预训练的超网络将文本技能描述转换为即插即用的LoRA适配器，将技能知识存储在权重空间而非上下文空间，从而在推理时移除技能文本，同时保持模块化加载、缩放和组合能力。在ALFWorld和Search-QA任务上，LatentSkill相比上下文技能基线分别提升了21.4/13.4个百分点的成功率和3.0个百分点的精确匹配，同时减少了64.1%和72.2%的预填充令牌。进一步分析表明，生成的技能LoRA权重具有结构化的语义几何、可通过缩放系数精确控制，并能在技能组件对齐时通过参数空间算术进行组合。该工作揭示了权重空间技能作为高效、模块化且低暴露的LLM智能体扩展基质的潜力。

Innovations:

• 提出将文本技能转换为LoRA适配器的超网络框架，实现零上下文令牌的技能注入，同时保持模块化加载、卸载和组合能力。
• 首次系统揭示超网络生成的LoRA权重空间具有结构化（领域可分离）、可控性（通过缩放系数调节）和可组合性（组件级参数算术）三大特性。
• 设计两阶段训练：文档级预训练（重构/补全任务）使超网络学会从技能文本生成有效适配器，再通过轨迹监督微调对齐智能体策略。
• 在ALFWorld和Search-QA上显著降低技能令牌开销（64%-72%）的同时提升任务性能，验证了权重空间技能相比上下文技能的高效性。

Methodology: LatentSkill包含三个主要部分：1) 技能编译器（超网络Gϕ）将文本技能文档映射为LoRA适配器集合；2) 文档级预训练：在技能文档语料上通过重构和补全任务训练编译器，使信息通过生成的适配器传递；3) 轨迹监督微调：使用教师智能体的完整轨迹（技能文档+多步决策）微调编译器，确保适配器捕获稳定的策略信息。推理时，技能被预先编译并缓存，通过LoRA缩放系数α控制注入强度，支持单技能加载和多技能权重空间加法组合，以及组件级分解组合。

Key Results:

• 在ALFWorld上，LatentSkill在可见/不可见分集上分别提升21.4和13.4个百分点的成功率，同时减少64.1%的预填充令牌。
• 在Search-QA上，LatentSkill提升精确匹配3.0个百分点，减少72.2%的技能令牌开销。
• 生成的技能LoRA权重在语义空间中形成可分离的领域簇（如ALFWorld不同房间类型）。
• 通过调整LoRA缩放系数α可精确控制技能影响强度，α=0恢复原始模型。
• 当技能分解为语义对齐的组件时，通过参数空间加法可实现有效组合，避免直接加法导致的过度放大。

Tech Stack:

• LoRA（低秩适配）
• 超网络（Hypernetwork）
• Transformer架构（LLM骨干）
• 文档级预训练（重构任务、补全任务）
• 轨迹监督微调
• 参数空间算术（权重加法）
• ALFWorld环境（文本游戏）
• Search-QA数据集（搜索问答）

Strengths:

• 创新性地将技能知识从上下文空间迁移到权重空间，同时解决效率、模块化和安全性三重问题。
• 训练流程清晰：先预训练使超网络具备基本生成能力，再通过轨迹微调对齐任务策略，两阶段设计合理。
• 实验验证充分：在两种不同任务上均取得性能提升且大幅降低开销，并深入分析权重空间的结构、可控性和可组合性。
• 与现有LoRA组合、超网络生成等工作形成互补，为智能体技能管理提供了新范式。

Limitations:

• 超网络生成LoRA的质量依赖于训练数据的覆盖范围，对于未见过的技能类型可能泛化不足。
• 当前仅支持文本技能描述，未探索多模态技能（如图像、视频）的转换。
• 组件级组合需要手动分解技能为语义对齐的组件，自动化分解方法未涉及。
• 实验仅在两个环境上进行，在更复杂的长程任务（如WebAgent、机器人控制）上的效果有待验证。
• 超网络本身增加了模型参数量和训练成本，但推理时开销降低。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：论文聚焦LLM智能体技能表示，未直接涉及多模态统一模型，但技能权重空间的思想可扩展到多模态技能。
• World Models / 世界模型：论文未涉及世界模型，但技能可视为任务世界的局部知识，权重空间技能可能用于世界模型中的策略模块。
• Representation Learning / 表征学习：核心贡献是将技能表示为LoRA权重，并揭示其结构化语义几何，属于表征学习范畴。
• Model-Based RL / 强化学习：论文使用轨迹监督微调，类似于模仿学习，但未涉及基于模型的RL。技能组合可视为策略组合，与RL中的模块化策略相关。
• 后训练：论文的两阶段训练（预训练+微调）属于后训练范式，将技能知识注入模型参数。
• 多模态大模型的理解和生成一体化：论文未涉及多模态，但技能生成（从文本到权重）可视为一种理解-生成过程。
• 总体相关性中等偏上，主要贡献在表征学习和后训练方向，与多模态和世界模型有潜在交叉。

视频问答（VideoQA）旨在针对给定视频回答相关问题。尽管现有方法在事实型视频问答（VideoQA）上表现卓越，但在深层视频理解（DVU）方面却面临挑战，后者需要对复杂故事情节进行理解。这一挑战源于视频固有的长程内容、多维度问题类型以及实例级故事元素，这些因素共同限制了人工构建的深层视频理解（DVU）数据集的规模和多样性。这些困难进一步限制了人工构建的深层视频理解（DVU）数据集的规模和多样性。为了解决这些问题，我们先前引入了故事心智（StoryMind），旨在自动构建具有平衡细粒度主题的深层视频理解（DVU）数据集。尽管它能够为电视剧生成高质量的问答对（QAs），但在处理更长且更复杂的电影时，却表现出显著的性能退化。在本文中，我们进一步设计了 StoryMindv2，这是一个增强的多智能体协作框架，旨在为电视剧和电影生成高质量的深层视频理解（DVU）数据集。通过整合一种新颖的监督者引导生成机制和改进的多评审投票策略，该框架被用于构建故事视频问答（StoryVideoQA），这是迄今为止最大的深层视频理解（DVU）数据集，包含超过 363K 个问答对（QAs），涵盖 393.2 小时的多样化故事视频，其中包括电视剧（平均 1,635 秒）和电影（平均 7,878 秒）。在该大规模基准上对 20 种最先进的视频问答（VideoQA）方法的综合评估表明，它们无法完全维持长程角色关联，也无法构建对复杂故事情节的一致理解。为了弥合这一差距，我们提出情节树（PlotTree），这是一种新颖的视频理解代理，通过将长程视频内容重新组织为层次化情节结构，从而实现在故事视频问答（StoryVideoQA）上的高效故事情节推理。项目页面：https://github.com/nercms-mmap/StoryVideoQA/

Video question answering (VideoQA) aims to answer questions about given videos. While existing approaches excel on factoid VideoQA, they struggle with deep video understanding (DVU), which requires the comprehension of complex storylines. This challenge arises from the inherent long-range video content, multi-faceted question types, and instance-level story elements, all of which constrain the scale and diversity of manually constructed DVU datasets.These difficulties constrain the scale and diversity of manually-constructed DVU dataset. To address these, we previously introduced StoryMind to automatically construct DVU datasets with balanced fine-grained topics. Though it can generate high-quality question-answer pairs (QAs) for TV series, it suffers significant performance degradation when handling longer and more complex movies. In this paper, we further design StoryMindv2, an enhanced multi-agent collaboration framework to generate high-quality DVU datasets for both TV series and movies. By integrating a novel supervisor-guided generation mechanism and a refined multi-reviewer voting strategy, the framework is utilized to construct StoryVideoQA, the largest DVU dataset to date, featuring over 363K QAs on 393.2 hours diverse story videos including TV series (avg. 1,635 seconds) and movies (avg. 7,878 seconds). Comprehensive evaluations of 20 state-of-the-art VideoQA methods on this large-scale benchmark reveal that they cannot fully maintain long-range character associations or construct a coherent understanding of complex storylines. To bridge this gap, we propose PlotTree, a novel video understanding agent, re-organizing long-range video content into a hierarchical plot structure, enabling efficient storyline reasoning on StoryVideoQA. Project page: https://github.com/nercms-mmap/StoryVideoQA/

评分理由: The paper focuses on VideoQA dataset generation and storyline reasoning agents. It is highly relevant to MultiModal (Video+Text) and moderately relevant to MLLM (using LLMs in agents). Visual Encoder is implicit but not a core contribution. Unify Models, Tokenizer, World Models, and model-based RL are largely unrelated to the core content (dataset generation and reasoning agent). No expert authors from the specified list were found in the author list, so no bonus points were applied. The weighted total score is 31.5, exceeding the dynamic passing threshold of 27.8.

Video Question Answering, Deep Video Understanding, Multi-agent Framework, Storyline Reasoning, Large-scale Dataset, PlotTree, Video Understanding

Chinese Title: StoryVideoQA：通过大规模、多类型和自动生成的数据集扩展深度视频理解

Summary: 本文针对深度视频理解（DVU）任务中现有方法在复杂故事情节理解上的不足，提出了一种增强的多智能体协作框架StoryMindv2，用于自动生成高质量、大规模且主题平衡的问答对。该框架通过引入监督引导生成机制和精细化多评审投票策略，克服了先前方法在处理长视频（如电影）时的性能下降问题。基于此，作者构建了目前最大的DVU数据集StoryVideoQA，包含363K问答对，覆盖393.2小时的电视剧和电影，并平衡了14个细粒度主题。评估20种SOTA方法发现，现有方法难以维持长程角色关联和连贯的故事情节理解。为此，作者提出PlotTree智能体，将视频内容重组为层次化情节结构，实现高效推理，显著提升了DVU性能。

Innovations:

• 提出StoryMindv2多智能体协作框架，集成监督引导生成机制和故障档案，提升长视频问答生成的准确性。
• 采用精细化多评审投票策略替代严格一致性过滤，在保证质量的同时扩大数据集规模。
• 构建StoryVideoQA数据集，是目前最大、最多样化的DVU基准，覆盖电视剧和电影，平衡14个细粒度主题。
• 提出PlotTree视频理解智能体，通过层次化情节树结构实现长程故事情节的高效推理。

Methodology: 论文采用多智能体协作框架StoryMindv2自动生成问答对，包括监督引导生成（利用故障档案反馈）和多评审投票（多数通过策略）两个关键模块。基于此构建StoryVideoQA数据集，涵盖3部电视剧和78部电影。评估20种SOTA方法（包括VLMs、MLLMs和智能体方法）在DVU任务上的表现。最后提出PlotTree智能体，将视频转换为文本情节节点，通过递归聚类和情节凝练构建层次化树结构，并在树中高效检索相关节点进行推理。

Key Results:

• StoryVideoQA包含363K问答对，覆盖393.2小时视频，平均视频长度电视剧1635秒、电影7878秒。
• 数据集在14个细粒度主题上分布平衡（Gini指数0.927，熵3.795）。
• 20种SOTA方法在StoryVideoQA上性能显著下降，表明现有方法无法维持长程角色关联和连贯理解。
• PlotTree智能体在DVU任务上取得最优性能，有效处理长程故事情节推理。

Tech Stack:

• 多智能体协作框架（StoryMindv2）
• 监督引导生成机制（Supervisor-Guided Generation）
• 多评审投票策略（Multi-Reviewer Voting）
• 层次化情节树结构（PlotTree）
• 节点聚类与情节凝练（Node Clustering and Plot Condensation）
• Gini指数和熵用于分布平衡度量
• LLMs驱动的视频理解智能体

Strengths:

• 数据集规模大、多样性高，覆盖电视剧和电影，平衡细粒度主题，适合全面评估DVU能力。
• 自动生成框架StoryMindv2通过监督引导和投票策略显著提升问答质量，克服了长视频生成难题。
• PlotTree智能体创新性地将视频内容组织为层次化结构，有效解决长程推理问题。
• 对20种SOTA方法的全面评估揭示了现有方法的局限性，为未来研究提供方向。

Limitations:

• 自动生成的问答对可能仍存在噪声或偏差，尽管经过多评审投票，但完全依赖LLM生成。
• 数据集主要基于英文影视内容，可能缺乏跨语言和文化多样性。
• PlotTree依赖文本化情节节点，可能丢失部分视觉细节信息。
• 评估方法集中于问答准确率，未深入分析模型在复杂推理中的具体错误类型。

Relevance To Keywords: 论文与“原生多模态大模型”和“多模态大模型的理解和生成一体化”高度相关，因为它评估了多种MLLMs在深度视频理解上的表现，并提出了PlotTree智能体增强理解能力。与“表征学习”和“世界模型”相关，因为PlotTree通过层次化情节结构学习视频中的因果和时序关系，隐含了世界模型思想。与“强化学习”和“后训练”关联较弱，但自动生成框架中的监督引导机制可视为一种反馈学习过程。

科学插图是传达研究成果的关键工具，尤其在自然科学领域，它们将复杂的概念和过程可视化。随着文生图（T2I）模型能力日益增强，研究人员开始将其用于科学插图生成。然而，现有的基准测试通常在整体层面评估输出，忽视了细粒度元素，而科学推理能力和输出简洁性仍量化不足。我们引入了 FEPBench，这是一个基于精心挑选的多学科、多布局类型的高质量科学插图构建的基准测试。在多模态大语言模型（MLLMs）和人类专家的协助下，我们提供了细粒度原子集标注，并从三个维度系统性地评估了 T2I 模型：指令忠实度、推理丰富度和语义精确度。我们的评估进一步将模型性能分解为视觉、文本、关系和布局元素层面。结果表明，即使是像 GPT Image 2 和 Nano Banana Pro 这样的最先进（SOTA）闭源模型，仍然存在文本渲染瓶颈、推理丰富度有限以及难以平衡生成丰富性与精确度的问题。这些发现为改进和部署用于科学插图生成的 T2I 模型提供了实用指导。我们将发布基准数据、原子集标注和评估代码。

Scientific illustrations are essential tools for communicating research findings, especially in natural science, where they visualize complex concepts and processes. As Text-to-Image (T2I) models become increasingly capable, researchers have started to use them for scientific illustration generation. However, existing benchmarks often assess outputs at a holistic level, overlooking fine-grained elements, while scientific reasoning ability and output conciseness remain under-quantified. We introduce FEPBench, a benchmark built from carefully selected high-quality scientific illustrations across multiple disciplines and layout types. With the assistance of multimodal large language models (MLLMs) and human experts, we provide fine-grained atom set annotations and systematically evaluate T2I models along three dimensions: instruction faithfulness, reasoning enrichment, and semantic precision. Our evaluation further decomposes model performance across visual, textual, relation, and layout elements. Results show that even state-of-the-art (SOTA) closed-source models, such as GPT Image 2 and Nano Banana Pro, still suffer from text-rendering bottlenecks, limited reasoning enrichment, and difficulty balancing generation richness with precision. These findings provide practical guidance for improving and deploying T2I models in scientific illustration generation. Benchmark data, atom set annotations, and evaluation code will be released by us.

评分理由: The paper focuses on benchmarking T2I models for scientific illustration generation using MLLMs and human experts. MLLM and MultiModal are highly relevant as they are core tools and domains (T2I). Unify Models, Tokenizer, Visual Encoder, World Models, and model-based RL are not central to this work, which is about evaluation rather than model architecture unification, tokenization, encoder design, world modeling, or reinforcement learning.

Natural-Science Illustration Generation, T2I Models, Benchmarking, MLLMs, Instruction Faithfulness, Reasoning Enrichment, Semantic Precision

Chinese Title: 忠实、丰富且精确：基于文本到图像模型的自然科学插图生成基准测试

Summary: 论文提出FEPBench基准，用于评估文本到图像（T2I）模型生成自然科学插图的能力。研究背景是现有基准缺乏细粒度评估，未能区分指令要求内容与参考补充内容，且科学推理能力和输出简洁性未量化。方法上，收集1300张来自三个学科（物理材料、地理生态、生物医学）和两种布局（单面板、多面板）的高质量插图，由专家编写自由形式提示，再用LLM转换为结构化提示。通过多模态大语言模型（MLLM）和人工审核，为每张插图标注原子集（文本、视觉、关系、布局原子），并将原子分为指令原子和推理原子。评估生成图时，从三个维度衡量：指令忠实度（IF）、推理丰富性（RE）和语义精确性（SP）。实验评估了多个SOTA闭源和开源T2I模型，结果显示当前模型在文本渲染、科学推理以及生成丰富性与精确性平衡方面仍有显著提升空间。该基准提供了细粒度、可解释且冗余感知的评估，为改进和部署T2I模型提供实践指导。

Innovations:

• 提出原子集表示方法，将科学插图分解为文本、视觉、关系、布局四类原子，实现细粒度评估。
• 将原子集划分为指令原子和推理原子，区分提示要求内容与参考补充内容，引入三个互补评估维度：指令忠实度、推理丰富性、语义精确性。
• 构建包含1300张高质量自然科学插图的多学科基准，覆盖物理材料、地理生态、生物医学，并包含单面板和多面板布局。
• 设计自由形式与结构化两种提示格式，比较不同提示策略对生成效果的影响。
• 提出基于MLLM的自动评估管线，与人类判断高度一致，可稳健评估不同元素类型和维度。

Methodology: 论文采用以下技术路线：1）数据收集：从Nature系列期刊筛选1300张高质量科学插图，经专家审核确保清晰、含图文元素、排除实验数据图。2）提示构建：邀请博士级专家根据论文上下文编写自由形式提示，再使用GPT-5.4将自由提示转换为结构化提示，保持原意不变。3）原子集标注：使用MLLM提取参考插图的原子集，结合OCR提取图中文本，再由人类专家逐项校正。4）生成与评估：使用T2I模型生成插图，用MLLM评估生成图与参考原子集的匹配情况，判断指令原子和推理原子的实现状态，并检测意外原子，最终计算三个维度的指标。

Key Results:

• 当前SOTA闭源模型（如GPT Image 2、Nano Banana Pro）在指令忠实度、推理丰富性和语义精确性三个指标上仍有较大提升空间。
• 文本渲染是主要瓶颈，模型在生成科学标签、文字元素时频繁出错。
• 科学推理能力不足，模型难以恢复参考图中未明确要求但科学上有意义的补充细节。
• 模型在平衡生成丰富性与精确性方面存在困难，容易产生无依据的语义过度生成。
• 结构化提示相比自由形式提示在某些方面有所改善，但未能完全解决上述问题。

Tech Stack:

• 多模态大语言模型（MLLM）用于原子集提取和生成图评估
• OCR模型用于提取图中文本
• GPT-5.4用于将自由形式提示转换为结构化提示
• 原子集表示方法（文本、视觉、关系、布局四类原子）
• 状态评估框架（指令满足、推理产出、意外生成三种状态）
• 三个评估指标：指令忠实度（IF）、推理丰富性（RE）、语义精确性（SP）

Strengths:

• 提出细粒度原子集评估，克服了传统整体评估无法诊断具体元素错误的缺陷。
• 明确区分提示要求内容与参考补充内容，避免混淆忠实性与重建性。
• 覆盖多个自然科学学科和两种布局类型，具有较好的代表性。
• 设计了自由形式和结构化两种提示格式，可分析提示设计对生成的影响。
• 评估管线基于MLLM，自动化程度高且与人类判断一致，可扩展。

Limitations:

• 数据集规模为1300张，可能不足以覆盖所有科学子领域和插图风格。
• 原子集标注依赖MLLM和人工审核，存在主观性和成本问题。
• 评估准确性受限于MLLM的视觉理解能力，可能对复杂关系或细微错误判断不准。
• 仅评估了生成图与参考图的原子匹配，未直接评估科学内容的逻辑正确性。
• 未涉及动态或交互式科学插图（如动画、3D模型）的生成评估。

Relevance To Keywords:

• 原生多模态大模型：论文评估的T2I模型属于多模态生成模型，与原生多模态大模型相关。
• 多模态大模型的理解和生成一体化：论文使用MLLM进行原子提取和评估，体现了理解与生成的结合。
• 表征学习：原子集表示是一种结构化表征方法，有助于理解科学插图的内容。
• 世界模型：科学插图生成需要理解物理、生物等世界知识，论文评估了模型的科学推理能力，与世界模型相关。
• 强化学习/后训练：论文未直接涉及，但评估结果可为后训练提供反馈，指导模型改进。

O-RAN 支持一种解耦的基带栈，其中包含通过标准化开放接口进行通信的可编程功能。这种使能多厂商组成的开放性同时也扩大了攻击面，涉及构成计算连续统的逻辑解耦层级。在这些威胁中，拒绝服务（DoS）攻击和性能退化攻击占据了已编目 O-RAN 威胁的大多数，尤其难以检测。传统的时间序列异常检测（TSAD）方法在这一新范式下失效：标记基线稀缺，威胁演化速度快于检测器重新训练的速度，且高维多变量遥测数据压倒了单体推理模型。为应对这些挑战，我们提出了 DAST，这是一种用于 O-RAN 跨接口异常检测的零样本多智能体框架，该框架串联了一个三阶段 VLM（视觉 - 语言模型）→ LLM（大语言模型）→ VLM 管道。DAST 将多变量关键性能指标（KPI）流转换为视觉表示，依据 O-RAN 领域知识对文本化的每接口描述进行评分，并在高分辨率热力图上验证嫌疑对象，从而输出问题接口、异常时间间隔、与 O-RAN WG11 对齐的指示性操作影响评级以及决策理由。我们在从 O-RAN 测试床收集的、具有代表性的性能退化场景下的真实网络轨迹上评估了 DAST，取得了 0.910 的 F1-Score 和 0.843 的 Accuracy，优于最先进的 TSAD 基线。

O-RAN enables a disaggregated baseband stack with programmable functions that communicate over standardized open interfaces. The same openness that enables multi-vendor composition also expands the attack surface across logically decoupled tiers that make up the compute continuum. Among these threats, Denial-of-Service and performance-degradation attacks, which account for the majority of catalogued O-RAN threats, are particularly difficult to detect. Traditional Time-Series Anomaly Detection (TSAD) methods fail in this new regime where labelled baselines are scarce, threats evolve faster than detectors can be retrained, and the high-dimensional multivariate telemetry overwhelms monolithic inference models. To address these challenges, we present DAST, a zero-shot multi-agent framework for cross-interface anomaly detection in O-RAN that chains a three-stage VLM $\rightarrow$ LLM $\rightarrow$ VLM pipeline. DAST converts multivariate KPI streams into visual representations, scores textual per-interface descriptions against O-RAN domain knowledge, and verifies suspects on high-resolution heatmaps to output the problematic interfaces, the anomalous time intervals, an indicative O-RAN WG11-aligned operational impact rating and the decision rationale. We evaluate DAST on real network traces collected from an O-RAN testbed under representative performance degradation scenarios, achieving 0.910 F1-Score and 0.843 Accuracy, outperforming state-of-the-art TSAD baselines.

评分理由: 论文核心在于利用 VLM-LLM 流水线进行 O-RAN 异常检测，因此与 MLLM 和 MultiModal 相关性较高（涉及视觉与文本的多模态处理及 KPI 转视觉表示）。但与 World Models、model-based RL、Unify Models（指统一架构而非流水线）等关键词关联度低，因为论文未涉及强化学习、奖励机制或世界模型构建。Tokenizer 和 Visual Encoder 虽为 VLM 内部组件，但非本文提出的核心模块，故评分较低。作者列表中未包含指定的 Yang Shi 等专家。

O-RAN, Anomaly Detection, VLM-LLM, Cross-Interface, Zero-shot, Multivariate KPI, Heatmap, Multi-agent

Chinese Title: DAST：面向O-RAN跨接口异常检测的VLM-LLM框架

Summary: 论文提出DAST，一种零样本多智能体框架，用于O-RAN中的跨接口异常检测。O-RAN的开放性和多供应商组合扩大了攻击面，尤其是拒绝服务和性能退化攻击难以检测。传统时间序列异常检测方法面临标签稀缺、威胁演化快、高维多变量遥测数据等挑战。DAST采用三阶段VLM→LLM→VLM流水线：首先将多变量KPI流转换为视觉表示，然后通过O-RAN领域知识对每个接口的文本描述进行评分，最后在高分辨率热图上验证可疑接口，输出问题接口、异常时间区间、操作影响评级和决策理由。在真实O-RAN测试平台上的性能退化场景下，DAST实现了0.910的F1分数和0.843的准确率，优于现有TSAD基线。

Innovations:

• 首次提出零样本多智能体VLM-LLM架构用于O-RAN跨接口异常检测，无需标注数据或微调。
• 采用三阶段流水线（VLM→LLM→VLM）模拟人类网络专家推理过程，分别处理视觉感知、语言推理和细粒度验证。
• 通过外部可更新的O-RAN领域知识替代重新训练，支持多供应商配置和零日性能退化模式。
• 输出机器可读报告，包含精确时间区间、涉及接口、操作影响评级和链式推理依据，便于下游根因分析。

Methodology: DAST采用多智能体协作推理流水线：Stage 1：将来自O-RAN四个接口的多变量KPI时间序列渲染为垂直堆叠的折线图，由VLM-1生成每个时间序列的文本描述（包括指标标签、轴范围、一般行为）。Stage 2：LLM-1结合O-RAN领域知识（接口角色、流量类型、协议等）对每个接口的描述进行评分，识别最异常的接口。Stage 3：对高评分嫌疑接口，VLM-2在高分辨率热图上进行细粒度验证，输出异常时间区间和WG11对齐的操作影响评级。整个流程零样本，无需训练。

Key Results:

• 在真实O-RAN测试平台上的性能退化场景下，DAST达到0.910 F1分数和0.843准确率。
• 优于多个现有时间序列异常检测基线方法（如MSCRED、SpotLight等）。
• 能够检测跨接口级联效应（如E2上的信令风暴导致F1-c和F1-u退化）。
• 输出精确的异常时间区间和接口定位，支持操作影响评级。

Tech Stack:

• Vision-Language Model (VLM)：用于视觉感知和图像描述
• Large Language Model (LLM)：用于语义推理和领域知识整合
• 多智能体系统（Multi-Agent System）
• 零样本学习（Zero-shot Learning）
• 时间序列可视化（折线图、热图）
• O-RAN领域知识库（接口角色、协议、流量模式）
• 链式推理（Chain-of-Thought）

Strengths:

• 零样本能力：无需标注数据或重新训练，适应多供应商和零日攻击。
• 跨接口检测：通过多智能体协作捕获级联效应，克服传统单接口检测的盲区。
• 可解释性：输出链式推理和操作影响评级，便于运维人员理解。
• 领域知识可更新：外部知识库易于随O-RAN规范演进而更新。
• 性能优越：在真实测试平台上超越现有TSAD方法。

Limitations:

• 依赖VLM和LLM的通用能力，可能对特定领域细微模式不够敏感。
• 三阶段流水线增加推理延迟，不适合实时检测场景。
• 评估仅在单一测试平台和有限场景下进行，泛化性需进一步验证。
• 未讨论对对抗性攻击（如故意误导VLM/LLM）的鲁棒性。
• 需要人工设计领域知识库，知识完整性影响检测效果。

Relevance To Keywords:

• Unify Models / 原生多模态大模型：DAST将VLM和LLM统一为协作流水线，体现了多模态大模型的联合推理能力。
• World Models / 世界模型：DAST通过领域知识库模拟O-RAN网络的行为预期，可视为一种轻量级世界模型。
• Representation Learning / 表征学习：VLM将时间序列转换为视觉表征，LLM将文本描述转换为语义表征，但未涉及端到端表征学习。
• Model-Based RL / 强化学习：论文未涉及强化学习，但多智能体协作和评分机制可类比于基于模型的决策。
• 多模态大模型的理解和生成一体化：VLM同时执行视觉理解和文本生成，LLM执行文本推理，符合一体化思想。
• 后训练：DAST完全零样本，不涉及后训练，但领域知识库可视为一种轻量级后训练替代。

长视野的大语言模型代理需要强化学习算法，能够在奖励稀疏且延迟的情况下为中间决策分配信用。近期基于组的方法（如 GiGPO）通过在重复锚点状态构建步级优势，改进了 GRPO。然而，我们发现这种密集信用在统计上可能不可靠：在有限的轨迹下，罕见但幸运的动作可能获得过大的优势，导致发散的锚点偏差和后期训练振荡。我们提出证据校准策略优化（ECPO），这是一种无评论器的策略优化算法，它在策略更新前校准步级信用。ECPO 结合了证据校准动作优势（按典型动作分组轨迹并缩小低计数估计）与方差门控信用权重（抑制被动作内噪声主导的锚点状态）。在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B/7B 的实验表明，ECPO 持续优于强基线，在 Qwen2.5-1.5B 上使 GiGPO 在 ALFWorld/WebShop 上的成功率分别提升 5.2/7.3 个百分点，同时仅增加 0.1% 的优势计算开销。

Long-horizon LLM agents require reinforcement learning methods that can assign credit to intermediate decisions under sparse and delayed rewards. Recent group-based methods such as GiGPO improve over GRPO by constructing step-level advantages at repeated anchor states. However, we show that such dense credit can be statistically unreliable: under limited rollouts, rare but lucky actions may receive overly large advantages, producing divergent anchor bias and late-stage training oscillation. We propose Evidence-Calibrated Policy Optimization (ECPO), a critic-free policy optimization algorithm that calibrates step-level credit before policy updates. ECPO combines Evidence-Calibrated Action Advantage, which groups rollouts by canonical actions and shrinks low-count estimates, with Variance-Gated Credit Weighting, which suppresses anchor states dominated by within-action noise. Experiments on ALFWorld and WebShop with Qwen2.5-1.5B/7B show that ECPO consistently outperforms strong baselines, improving GiGPO by +5.2/+7.3 success points on ALFWorld/WebShop with Qwen2.5-1.5B while adding only 0.1% additional advantage-computation overhead.

评分理由: 论文核心在于提出证据校准策略优化（ECPO）算法以解决长周期 LLM 代理训练中的信用分配问题。虽然使用了 Qwen2.5 模型（涉及 MLLM 和多模态），但未涉及 Tokenizer、视觉编码器、模型统一或世界模型构建；该策略优化属于模型自由强化学习范畴，与基于模型的强化学习关联较弱。作者列表中未包含指定的专家。

Evidence-Calibrated Policy Optimization, Long-Horizon LLM Agent, Credit Assignment, Policy Optimization, Qwen2.5, Critic-free, Advantage Estimation

Chinese Title: 当更密集的信用还不够：面向长周期LLM智能体训练的基于证据校准的策略优化

Summary: 本文针对长周期LLM智能体训练中稀疏延迟奖励下的信用分配问题，指出现有基于组的密集信用方法（如GiGPO）在有限 rollout 下会产生统计不可靠的“发散锚点偏差”，即罕见但幸运的动作获得过高优势，导致训练后期振荡。为此，提出证据校准策略优化（ECPO），包含两个组件：证据校准动作优势（ECA）通过按规范动作分组并应用收缩估计来校准低计数动作的优势；方差门控信用加权（VarGate）通过分解锚点状态回报方差，抑制统计不可靠的步级信用。在ALFWorld和WebShop上使用Qwen2.5-1.5B/7B的实验表明，ECPO一致优于GRPO、GiGPO等基线，在Qwen2.5-1.5B上分别提升+5.2和+7.3个成功点，且仅增加0.1%的计算开销。

Innovations:

• 首次识别并形式化了长周期LLM智能体训练中的“发散锚点偏差”问题，揭示了密集信用在有限样本下的统计不可靠性。
• 提出证据校准动作优势（ECA），通过按规范动作分组和收缩估计，减少低计数动作的优势高估。
• 提出方差门控信用加权（VarGate），通过方差分解区分动作间信号与动作内噪声，抑制不可靠的步级信用。
• 在无评论家框架下实现了证据校准的步级信用分配，仅增加极小的计算开销。

Methodology: ECPO基于组策略优化框架，首先对每个锚点状态收集所有rollout的后续回报，然后按规范动作分组，对每个动作的回报进行收缩估计（如贝叶斯收缩或经验贝叶斯），得到校准后的动作级优势。接着，通过方差分解计算锚点状态的总方差中由动作间差异解释的比例，若该比例低于阈值则抑制该锚点的步级信用。最终将校准后的步级优势与轨迹级优势加权结合，用于策略更新。训练过程采用类似GRPO的组采样和KL正则化。

Key Results:

• 在ALFWorld上，Qwen2.5-1.5B下ECPO比GiGPO提升+5.2个成功点（从约85%到约90%），Qwen2.5-7B下从90.8%提升至91.9%。
• 在WebShop上，Qwen2.5-1.5B下提升+7.3个成功点，Qwen2.5-7B下从72.4%提升至74.7%。
• 在不同rollout组大小（N=4,8,10）下，ECPO一致优于GiGPO，提升分别为+4.7、+5.2、+3.9个点。
• ECPO仅增加0.1%的优势计算开销，训练后期奖励标准差从0.746降至0.555，表明训练更稳定。

Tech Stack:

• GRPO (Group Relative Policy Optimization)
• GiGPO (Group-based step-level credit assignment)
• ECA (Evidence-Calibrated Action Advantage) - 收缩估计
• VarGate (Variance-Gated Credit Weighting) - 方差分解
• PPO (Proximal Policy Optimization) 作为对比基线
• Qwen2.5-1.5B/7B-Instruct 作为基础模型
• ALFWorld 和 WebShop 作为评估环境
• KL散度正则化

Strengths:

• 问题诊断清晰，通过实验揭示了密集信用在有限样本下的统计不可靠性，具有理论洞察。
• 方法简洁有效，仅通过校准和门控机制显著提升性能，且计算开销极小。
• 在多个模型规模（1.5B/7B）和多个环境上验证了泛化性。
• 无评论家设计，保持了组策略优化的高效性。

Limitations:

• 收缩估计的具体形式（如贝叶斯先验选择）可能影响性能，论文未深入探讨不同收缩方法的对比。
• 方差门控的阈值需要手动设定，可能在不同任务中需要调整。
• 实验仅在两个环境（ALFWorld、WebShop）上进行，在更复杂或更开放的环境中的表现未知。
• 未与基于评论家的方法（如PPO）进行更全面的计算效率对比。

Relevance To Keywords:

• Unify Models: 论文未直接涉及多模态统一模型，但LLM智能体可视为统一模型的应用。
• World Models: 论文未涉及世界模型，但强化学习中的状态表示可间接相关。
• Representation Learning: 论文未聚焦表征学习，但策略优化依赖于状态表征。
• Model-Based RL: 论文属于无模型强化学习（model-free RL），与基于模型的RL方向不同。
• 后训练: 论文直接关注LLM的后训练阶段，通过强化学习提升智能体能力，高度相关。

基于大语言模型（LLM）的智能体越来越多地处理具有相互依赖决策的长周期任务，其中每个动作都会重塑未来的约束，且中间错误可能会级联。现有的 RAG（检索增强生成）和智能体记忆系统通过语义相似度组织历史，在决策时检索内容相关的条目。我们认为这种设计与执行状态依赖不匹配：它导致决策轨迹碎片化，混合了有效与错误的轨迹，阻碍了连贯的状态重建和错误隔离。我们提出 MAGE（记忆作为智能体引导的探索），一种主动的执行状态管理器，它将交互存储在层次化状态树中。智能体从根节点到当前节点的活跃路径推导其当前状态，结合子目标摘要、近期轨迹以及来自先前分支的提示。四种协同操作维护该树：生长（Grow）记录新轨迹，压缩（Compress）总结已完成的子目标，维护（Maintain）验证摘要，修订（Revise）恢复目标边界并在新分支上继续。这种设计限制了上下文的增长，同时保持状态完整性并将有缺陷的片段从主动路径中隔离。在 MemoryArena 上的实验表明，MAGE 相比基线将平均任务成功率提高了 7.8--20.4 个百分点，同时将 Token 消耗减少了 55.1%。

LLM-based agents increasingly tackle long-horizon tasks with interdependent decisions, where each action reshapes future constraints and intermediate errors can cascade. Existing RAG and agent memory systems organize histories by semantic similarity, retrieving content-relevant entries at decision time. We argue that this design mismatches execution-state dependencies: it fragments decision trajectories and mixes valid and erroneous traces, hindering coherent state reconstruction and error isolation. We propose MAGE (Memory as Agent-Guided Exploration), an active execution-state manager that stores interactions in a hierarchical state tree. The agent derives its state from the active root-to-current path, combining subgoal summaries, recent traces, and hints from prior branches. Four coupled operations maintain the tree: Grow records new traces, Compress summarizes completed subgoals, Maintain validates summaries, and Revise restores a target boundary and resumes on a new branch. This design bounds context growth while preserving state integrity and isolating flawed segments from the active path. Experiments on MemoryArena show that MAGE improves the average task success rate by 7.8--20.4 pp over baselines, while reducing token consumption by 55.1%.

评分理由: 论文核心在于 LLM 代理的内存架构（MAGE），强调执行状态层级管理而非语义检索。与 World Models 和 model-based RL 因状态管理和代理决策有中度至高度相关性，与 MLLM 因涉及 LLM 代理有中度相关性，而与 Unify Models、Tokenizer、Visual Encoder、MultiModal 相关性较低，因非核心贡献或未提及。

Memory as Execution State Management, Long-Horizon Agents, Hierarchical State Tree, Agent-Guided Exploration, LLM-based Agents, Error Isolation, Context Growth Bounding

Chinese Title: 超越语义组织：面向长周期智能体的记忆作为执行状态管理

Summary: 本文针对基于大语言模型的智能体在长周期、决策相互依赖的任务中，现有记忆系统（如RAG）依赖语义相似性组织历史信息，导致执行状态碎片化和错误隔离困难的问题，提出了一种名为MAGE（Memory as Agent-Guided Exploration）的主动执行状态管理器。MAGE将交互历史组织为两层层次状态树：底层记录逐步骤的动作-观察轨迹，顶层存储子目标或决策边界的摘要。通过Grow、Compress、Maintain和Revise四个耦合操作，MAGE在保持状态完整性的同时限制上下文增长，并隔离错误分支。实验表明，在MemoryArena基准上，MAGE将任务成功率平均提升7.8–20.4个百分点，同时将token消耗降低55.1%。

Innovations:

• 提出将智能体记忆从语义相似性驱动的检索转变为主动执行状态管理，构建两层层次状态树，根到当前路径天然提供完整执行状态。
• 设计四个耦合操作（Grow、Compress、Maintain、Revise），形成闭环状态管理循环，支持错误隔离和分支恢复。
• 通过边界感知压缩和路径表示，在保持状态完整性的同时有效限制上下文大小，避免状态碎片化。
• 将记忆设计为智能体可操作的对象，而非共享的混合条目池，支持错误追踪和选择性回滚。

Methodology: 论文采用基于层次状态树的结构化记忆管理方法。首先，将智能体交互历史构建为两层树：底层为原始动作-观察节点，顶层为子目标摘要节点。然后，通过四个操作维护树：Grow扩展原始轨迹，Compress在子目标边界压缩摘要，Maintain验证摘要正确性，Revise在检测到错误时回滚到目标边界并创建新分支。智能体从活跃的根到当前路径读取执行状态，包含压缩摘要、近期原始轨迹和兄弟分支提示。实验在MemoryArena基准上进行，对比多种基线方法。

Key Results:

• MAGE在MemoryArena任务上平均任务成功率提升7.8–20.4个百分点。
• 相比长上下文方法，MAGE减少token消耗55.1%。
• MAGE在状态完整性和错误隔离方面显著优于基于语义相似性的记忆系统（如HippoRAG、MemoryOS、SimpleMem）。
• MAGE在性能-效率权衡中达到最优区域（高任务性能、低token消耗）。

Tech Stack:

• 层次状态树（Hierarchical State Tree）
• Grow、Compress、Maintain、Revise操作
• 子目标摘要生成（Subgoal Summarization）
• 边界感知压缩（Boundary-aware Compression）
• 路径表示（Path-based Representation）
• MemoryArena基准测试
• 大语言模型（LLM）作为智能体

Strengths:

• 创新性地将记忆从被动存储转变为主动状态管理，解决了长周期任务中状态碎片化和错误传播的核心问题。
• 层次树结构结合四个操作，实现了高效的上下文压缩和错误隔离，兼顾性能与效率。
• 实验设计严谨，在MemoryArena上对比多种基线，结果显著且token消耗大幅降低。
• 受认知科学启发，具有理论依据和实际可操作性。

Limitations:

• 方法依赖于子目标边界的准确识别，复杂任务中边界定义可能不明确。
• Maintain操作需要额外的验证步骤，可能引入计算开销。
• 实验仅在MemoryArena基准上进行，泛化性需在更多任务和环境中验证。
• 未详细讨论树结构在极端长序列下的扩展性和存储开销。

Relevance To Keywords:

• Unify Models: 论文未直接涉及模型统一，但记忆管理可视为智能体系统的一部分，与统一模型架构相关。
• World Models: MAGE通过状态树维护执行状态，间接支持世界模型中的状态表示和更新。
• Representation Learning: 论文中的摘要生成和状态压缩涉及表示学习，但非核心焦点。
• Model-Based RL: MAGE的状态树管理与基于模型的强化学习中的状态跟踪和回滚机制有相似之处。
• 原生多模态大模型: 论文未涉及多模态，但方法可扩展至多模态智能体。
• 多模态大模型的理解和生成一体化: 不直接相关。
• 表征学习: 摘要生成涉及表征学习，但论文未深入探讨。
• 世界模型: MAGE的状态树可视为世界模型的一种简化实现。
• 强化学习: 论文将任务建模为MDP，与强化学习框架一致。
• 后训练: 论文未涉及后训练，但记忆管理可辅助后训练阶段的数据组织。

语音翻译中的错误会降低语音翻译（ST）系统的可信度，并可能导致严重后果。然而，目前尚无成熟的方法论来评估语音翻译的置信度和质量估计。为了推动这一方向的进展，我们提出了语音翻译错误标注（STEL）。我们创建了一个标注协议、一个小型真实的端到端评估数据集，并分析了现有的纯文本系统和语音处理系统如何执行 STEL 任务。我们的结果表明，纯文本 XCOMET 和多模态大语言模型 Qwen2.5-Omni 能够以人类精确度的一半左右执行 STEL 任务。我们还发现，直接语音处理对于 STEL 任务是必要的，且当前的纯文本系统和语音处理系统在标注 ST 中的纯翻译错误与语音处理错误方面具有互补性。

Errors in speech translations reduce trustworthiness of Speech Translation (ST) systems and can have serious consequences. Yet currently there is no established methodology for evaluating confidence and quality estimation of speech translations. To initiate progress in this direction, we propose Speech Translation Error Labelling (STEL). We create an annotation protocol, a small authentic end-to-end evaluation dataset, and we analyse how existing text-only and speech-processing systems perform the STEL task. Our results show that text-only XCOMET and multimodal LLM Qwen2.5-Omni are able to perform the STEL task in roughly half the precision of humans. We also find that direct speech processing is necessary for the STEL task, and that the current text-only and speech-processing systems are complementary in labelling translation-only vs. speech-processing errors in ST.

评分理由: 论文核心为语音翻译错误标注（STEL），明确使用了多模态大模型（MLLM）进行对比实验，因此 MLLM 和多模态相关度较高。但论文未涉及世界模型、强化学习、视觉编码器（音频非视觉）或模型统一架构，tokenizer 亦非讨论重点，故相关度低。

Speech Translation, Error Labelling, Multimodal LLM, Quality Estimation, Speech Processing, Text-only Systems, STEL

Chinese Title: 语音翻译错误的自动标注

Summary: 本文提出语音翻译错误标注（STEL）任务，旨在评估语音翻译系统的可信度。作者设计了面向端到端长语音翻译的标注协议，构建了包含四个语言方向（捷克语→英语、英语→捷克语、英语→德语、英语→希伯来语）的小型测试集，并分析了纯文本系统（XCOMET）和多模态大模型（Qwen2.5-Omni）在STEL任务上的表现。结果表明，自动系统能达到人类约一半的精度，且直接处理语音对标注至关重要。纯文本与语音处理系统在标注翻译错误和语音处理错误方面具有互补性。研究为语音翻译质量估计提供了新方法论，并公开了数据集和代码。

Innovations:

• 首次提出语音翻译错误标注（STEL）任务，填补了语音翻译置信度评估的方法论空白。
• 设计了面向用户和通信场景的标注协议，区分关键、次要、细微和冗余四类错误，并包含段级DA评分。
• 构建了包含四个语言方向、32分钟音频、329个句段的小型评估数据集，并进行了人工标注一致性检验。
• 系统比较了纯文本XCOMET与多模态Qwen2.5-Omni在STEL上的表现，揭示了直接语音处理的必要性以及两类系统的互补性。

Methodology: 首先设计STEL标注协议，基于文本MT的ESA协议但加入语音翻译用户视角。然后从现有测试集选取录音，使用三种代表性ST系统（级联ASR+LLM、端到端模型、同步系统）生成候选翻译，并用mWERSegmenter进行分割对齐。招募三名母语者进行人工标注，耗时6.5小时。自动标注方面，使用XCOMET-XL2（纯文本QE模型）和Qwen2.5-Omni-7B（多模态LLM），分别以ASR转录或原始音频为输入，输出错误跨度及段级分数。评估采用字符级F1（加权/未加权）和Kendall's τ相关系数，并与人工二次标注对比。

Key Results:

• 自动系统（XCOMET和Qwen）在STEL任务上达到人类约一半的精度（如En→Cs未加权F1: XCOMET 38.7 vs 人类71.9）。
• XCOMET在三个语言方向上优于Qwen，但在希伯来语上因训练数据不足表现差。
• 使用黄金转录相比ASR转录仅带来0-3.6的微小提升，表明主要挑战不在语音处理。
• 直接处理语音（Qwen+audio）在语音处理错误（WER>0）上表现更好，而纯文本系统在翻译错误（WER=0）上更优，两者互补。
• 人工二次标注一致性为72%（捷克语）和56%（德语），表明标注存在一定歧义。

Tech Stack:

• XCOMET-XL2（参考自由QE模型）
• Qwen2.5-Omni-7B（多模态大语言模型）
• mWERSegmenter（分割对齐工具）
• Pearmut（多语言评估标注平台）
• Kendall's τ相关系数
• 字符级F1（加权/未加权）
• ASR转录（来自ST系统的语音识别组件）

Strengths:

• 首次系统性地定义并评估语音翻译错误标注任务，具有开创性。
• 标注协议考虑了语音翻译的实际使用场景（如冗余、背景知识），比纯文本标注更贴近应用。
• 实验设计全面，对比了多种系统（纯文本、多模态、不同输入模态）并分析了互补性。
• 数据集和代码开源，便于后续研究。

Limitations:

• 数据集规模较小（仅32分钟音频、329个句段），且语言方向有限，泛化性有待验证。
• 人工标注者经验不足，一致性较低（56%-72%），可能影响评估可靠性。
• 自动系统未使用真实场景中的自动分割（依赖黄金分割），与实用条件有差距。
• 仅评估了两种自动系统，未涵盖更多最新模型（如端到端ST专用QE模型）。

Relevance To Keywords:

• 原生多模态大模型：论文使用的Qwen2.5-Omni是原生多模态模型，能同时处理文本和音频，直接相关。
• 多模态大模型的理解和生成一体化：Qwen2.5-Omni具备理解（标注错误）和生成（输出错误跨度）能力，体现一体化。
• 表征学习：XCOMET和Qwen均依赖表征学习来建模翻译质量，但论文未深入探讨表征学习机制。
• 世界模型：论文未直接涉及世界模型，但语音翻译中的背景知识推断可视为世界知识的应用。
• 强化学习/后训练：论文未使用强化学习或后训练技术，但未来可应用于优化STEL系统。
• Unify Models：论文比较了纯文本与多模态模型，但未提出统一模型，相关性较弱。
• Model-Based RL：不相关。

潜在推理（Latent Reasoning）已成为离散思维链（CoT）在大语言模型（LLMs）中一种颇具前景的替代方案，通过在连续表示上进行操作，实现了更具表现力的推理。然而，连续表示固有的确定性本质限制了强化学习（RL）中的策略探索。为此，我们提出了 TARPO（Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization），这是一个纯强化学习（RL）框架，能够在每个步骤自适应地在离散词生成与连续潜在推理之间切换。TARPO 引入了一种轻量级的动作头路由器，该路由器观察当前隐藏状态，并从二元模式选择空间中采样路由决策，从而保留了从词表中离散采样的随机性。大语言模型骨干与路由器通过共享的组相对优势信号进行端到端的联合优化。在 Qwen2.5（1.5B 至 7B）和 Llama-3.1-8B 骨干上进行的广泛实验表明，TARPO 在各种基准测试中一贯优于现有的显式和潜在推理强化学习基线。进一步分析表明，TARPO 学习自适应的逐词切换行为，同时保持稳定的训练动态。我们的代码可在 https://github.com/NKU-LITI/TARPO-master 获取。

Latent reasoning has emerged as a promising alternative to discrete Chain-of-Thought (CoT) in large language models (LLMs), enabling more expressive reasoning by operating over continuous representations. However, the inherently deterministic nature of continuous representations limits policy exploration in reinforcement learning (RL). To address this, we propose TARPO (Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization), a pure RL framework that adaptively switches between discrete token generation and continuous latent reasoning at each step. TARPO introduces a lightweight action head router that observes the current hidden state and samples a routing decision from a binary mode-selection space, preserving the stochasticity of discrete token sampling from the vocabulary. The LLM backbone and router are jointly optimized end-to-end with a shared group-relative advantage signal. Extensive experiments across Qwen2.5 (from 1.5B to 7B) and Llama-3.1-8B backbones demonstrate that TARPO consistently outperforms existing explicit and latent reasoning RL baselines across diverse benchmarks. Further analysis shows that TARPO learns adaptive token-wise switching behaviors while maintaining stable training dynamics. Our code is available at https://github.com/NKU-LITI/TARPO-master.

评分理由: The paper proposes TARPO, which unifies latent and explicit reasoning modes in LLMs (Unify Models) and operates at the token level using RL (Tokenizer, model-based RL). However, it does not involve visual encoders, multimodal data, world models, or MLLM architectures, resulting in zero relevance for those keywords.

Latent Reasoning, Action-Routing, Policy Optimization, Token-Wise, Reinforcement Learning, Discrete Token Generation, Continuous Representations, LLM Backbone

Chinese Title: TARPO：基于动作路由策略优化的逐词隐式-显式推理

Summary: 本文提出TARPO，一种纯强化学习框架，用于在大型语言模型中实现逐词级别的隐式（连续潜在表示）与显式（离散token）推理模式自适应切换。针对连续潜在表示固有的确定性限制了强化学习策略探索的问题，TARPO引入轻量级动作头路由器，根据当前隐藏状态从二元模式选择空间中采样路由决策，保留了离散token采样的随机性。该路由器与LLM主干通过共享的组相对优势信号进行端到端联合优化。在Qwen2.5（1.5B至7B）和Llama-3.1-8B上的实验表明，TARPO在多个数学推理基准上持续优于现有的显式和隐式推理强化学习基线。进一步分析显示，TARPO能够学习自适应的逐词切换行为，同时保持稳定的训练动态。代码已开源。

Innovations:

• 提出逐词级别的隐式-显式推理切换框架TARPO，通过轻量级动作头路由器实现自适应模式选择。
• 将推理模式选择建模为可学习的离散路由策略，利用路由策略的内在随机性促进探索。
• 设计端到端联合优化目标，使用共享的组相对优势信号同时优化LLM主干和路由器。
• 无需启发式规则或监督初始化，完全通过强化学习自主习得推理策略。
• 在多个模型规模和架构上验证了方法的有效性和泛化能力。

Methodology: TARPO将推理过程建模为序列决策问题。在每个时间步，基于当前隐藏状态，轻量级线性投影路由器输出二元路由决策（hard/soft）。若选择hard，则生成离散token嵌入；若选择soft，则通过top-k token的稀疏加权和构造连续潜在表示。训练采用在线组相对策略优化（类似GRPO），对每组采样多条轨迹，计算组内归一化优势信号，同时优化token生成目标（LLM主干）和动作路由目标（路由器），并加入KL正则化项。路由器偏置初始化为轻微偏向hard模式以匹配模型预训练偏好。

Key Results:

• 在Qwen2.5-1.5B/3B/7B和Llama-3.1-8B上，TARPO在GSM8K、MATH、MATH500、AMC23、OlympiadBench等基准上持续优于显式推理（如GRPO）和隐式推理（如Coconut）的强化学习基线。
• 跨架构泛化实验表明TARPO在Llama-3.1-8B上同样有效。
• 分布外评估显示TARPO具有更好的泛化能力和token效率。
• 分析表明TARPO学习到自适应的逐词切换行为，且训练动态稳定。

Tech Stack:

• 强化学习：组相对策略优化（GRPO）
• 路由策略：线性投影层 + softmax分类（二元动作空间）
• 潜在表示构造：top-k token加权和（softmax归一化）
• KL正则化：对token生成和路由动作分别施加KL惩罚
• 模型架构：Qwen2.5系列、Llama-3.1-8B
• 训练框架：在线采样、组内奖励归一化

Strengths:

• 创新性地将推理模式切换建模为可学习的离散路由策略，保留了随机探索能力。
• 轻量级路由器设计，计算开销小，易于集成到现有LLM。
• 端到端强化学习训练，无需人工规则或监督数据，自适应性强。
• 在多个模型规模和架构上取得一致提升，泛化性好。
• 代码开源，可复现性强。

Limitations:

• 仅针对数学推理任务进行验证，在更广泛的语言任务（如常识推理、代码生成）上的效果未知。
• 路由策略的初始化偏置（偏向hard）可能影响早期探索，需要调参。
• 潜在表示构造采用top-k加权和，k的选择可能影响性能，未深入分析。
• 与纯离散token生成相比，推理过程可能增加计算复杂度（需额外路由判断）。
• 未与多模态或世界模型等方向结合，研究范围较窄。

Relevance To Keywords:

• 强化学习：核心方法，使用GRPO进行策略优化。
• 后训练：TARPO属于LLM的后训练阶段，通过强化学习微调推理策略。
• 表征学习：隐式推理涉及连续潜在表示的学习和利用，属于表征学习范畴。
• 世界模型：论文未直接涉及世界模型，但隐式推理可视为内部世界模型的构建。
• 多模态大模型：论文未涉及多模态，但提出的逐词路由机制未来可扩展至多模态推理。
• 模型基础强化学习：TARPO将推理模式选择作为动作，属于基于模型的强化学习思想（内部推理模型）。