本文提出了 RepWAM，一种基于表示视觉 - 动作分词器的表示中心世界动作模型（WAM）。现有的 WAM 通常从预训练视频生成模型中继承以重建为导向的视频分词器。尽管这些分词器保留了视觉保真度，但仅靠像素重建为学习指令遵循动力学提供了有限的指导，而这种动力学连接了未来预测与机器人控制。为此，我们探索了一个语义视觉 - 动作潜在空间，用于表示中心的世界动作建模。具体来说，我们训练了一个表示视觉 - 动作分词器，该分词器将视觉输入映射为对齐的视觉 Token 和潜在动作 Token。随后，我们预训练我们的 WAM，使其在语言指令下联合建模未来视觉状态及连接这些状态的潜在动作，并适应真实机器人轨迹以实现闭环操作。在真实世界操作任务和仿真基准上的实验表明，RepWAM 在各种操作设置中展现出强大性能，而消融实验突出了语义视觉 - 动作分词器相对于基于重建的替代方案的价值。这些结果确立了表示视觉 - 动作分词器作为世界动作模型有前景的基础，也是迈向通用机器人策略的一步。代码和权重将在 https://github.com/wdrink/RepWAM 上提供。

This work presents RepWAM, a representation-centric world action model (WAM) built on representation visual-action tokenizers. Existing WAMs typically inherit reconstruction-oriented video tokenizers from pretrained video generation models. Although these tokenizers preserve visual fidelity, pixel reconstruction alone provides limited guidance for learning instruction-following dynamics that connect future prediction with robot control. To address this, we explore a semantic visual-action latent space for representation-centric world action modeling. Specifically, we train a representation visual-action tokenizer that maps visual inputs into aligned visual and latent action tokens. We then pretrain our WAM to jointly model future visual states and the latent actions that connect them under language instructions, followed by adaptation to real robot trajectories for closed-loop manipulation. Experiments on real-world manipulation tasks and simulation benchmarks show that RepWAM delivers strong performance across diverse manipulation settings, while ablations highlight the value of semantic visual-action tokenization over reconstruction-oriented alternatives. These results establish representation visual-action tokenization as a promising foundation for world action models and a step toward generalist robot policies. Code and weights will be available at https://github.com/wdrink/RepWAM.

评分理由: The paper focuses on RepWAM, a world action model using representation tokenizers, making Tokenizer (10) and World Models (10) highly relevant. MultiModal (9) reflects the integration of vision, language, and action. Latent Reasoning (8) and Unify Models (8) correspond to the semantic latent space and unification of visual/action representations. model-based RL (8) aligns with control tasks. Visual Encoder (8) is implicit in visual processing. MLLM (7) and Agentic Reasoning (7) are relevant due to language conditioning and robot agent nature but secondary to the core tokenization framework. No expert authors from the provided list were found in the author list. Total weighted score is 112.5, exceeding the 35.2 threshold.

World Action Modeling, Representation Visual-Action Tokenizers, Robot Manipulation, Latent Action Space, Instruction Following, Closed-loop Control, Representation Learning

Chinese Title: RepWAM：基于表征视觉-动作分词器的世界动作建模

Summary: 本文提出RepWAM，一种以表征为中心的世界动作模型（WAM），其核心是构建表征视觉-动作分词器（RepViTok）。现有WAM通常继承自预训练视频生成模型的重建导向分词器，虽能保持视觉保真度，但像素级重建对学习指令跟随动态（连接未来预测与机器人控制）帮助有限。为此，作者探索语义视觉-动作潜在空间：首先训练一个表征视觉-动作分词器，将视觉输入映射为对齐的视觉和潜在动作令牌；然后预训练WAM，在语言指令下联合建模未来视觉状态及其间的潜在动作；最后通过真实机器人轨迹微调实现闭环操作。实验表明，RepWAM在真实操作任务和模拟基准（如RoboTwin 2.0）上表现优异，消融实验证实了语义视觉-动作分词相比重建导向方法的优势。该工作为世界动作模型提供了有前景的表征基础，向通用机器人策略迈进一步。

Innovations:

• 提出表征视觉-动作分词器（RepViTok），将视觉潜在空间与冻结的视觉基础模型对齐，获得语义丰富的视觉令牌。
• 在语义视觉潜在空间内学习潜在动作令牌，通过耦合逆动态模型和前向动态模型将动作表示为视觉状态间的可迁移变换。
• 构建因果扩散Transformer，在语言指令条件下联合生成视觉令牌和动作令牌，实现世界动作模型的因果预训练。
• 通过真实机器人轨迹微调，将预训练的世界动作模型适配到闭环操作任务，无需在线想象即可保持竞争力。

Methodology: 首先训练一个视觉分词器，采用ViT自编码器结构，结合重建损失（L1、感知损失、GAN损失）和特征对齐损失（与冻结的视觉基础模型DINOv2对齐）。然后冻结视觉分词器，训练潜在动作分词器，包含逆动态模型（IDM）和前向动态模型（FDM），通过前向预测损失和反向一致性损失优化。最后构建因果扩散Transformer，将语言指令、视觉令牌和动作令牌组织成块，使用块因果掩码和条件流匹配目标进行预训练，再在真实机器人数据上微调。

Key Results:

• 在RoboTwin 2.0基准上，RepWAM在Easy任务上达到89.3，在Hard任务上达到88.4，优于VLA和WAM预训练基线。
• 消融实验表明，语义视觉-动作分词相比重建导向分词器显著提升世界动作模型的性能。
• 在真实世界操作任务中，RepWAM展现出强竞争力的闭环行为。

Tech Stack:

• 视觉分词器：Vision Transformer (ViT) 自编码器，16×16图像块和4×16×16时空管状块。
• 特征对齐：冻结的DINOv2视觉基础模型，线性投影层，时间平均池化。
• 潜在动作分词器：逆动态模型（IDM）和前向动态模型（FDM），软传输算子（类似光流），残差项。
• 世界动作模型：因果扩散Transformer，块因果掩码，条件流匹配（Flow Matching）目标。
• 语言编码：预训练文本编码器。
• 损失函数：L1损失、感知损失（LPIPS）、GAN损失、特征对齐损失、前向预测损失、反向一致性损失。

Strengths:

• 创新性地将视觉和动作令牌统一到语义潜在空间，缩小了模态差距，提升了世界动作模型的指令跟随能力。
• 采用表征学习视角，从重建导向转向语义导向，更符合机器人操作任务的需求。
• 实验验证充分，包括模拟基准和真实世界任务，消融实验有力支撑了核心设计。
• 代码和网页开源，便于复现和后续研究。

Limitations:

• 依赖冻结的视觉基础模型（DINOv2），其语义空间可能不完全覆盖所有操作场景。
• 潜在动作分词器需要成对连续帧训练，对数据质量要求较高。
• 因果扩散Transformer的训练和推理计算成本可能较高，实时性有待验证。
• 论文未详细讨论跨具身泛化能力，仅聚焦于单具身设置。

Relevance To Keywords:

• Unify Models: RepWAM通过统一的视觉-动作潜在空间，将世界模型和动作策略融合，体现了多模态理解与生成的统一。
• World Models: 核心贡献是构建世界动作模型（WAM），联合建模视觉动态和动作，属于世界模型在机器人控制中的扩展。
• Representation Learning: 核心创新在于表征学习：设计语义视觉-动作分词器，从重建导向转向语义导向，提升表征质量。
• Model-Based RL: 世界动作模型可视为基于模型的强化学习的一种形式，通过预测未来状态和动作来指导策略。
• 原生多模态大模型: 虽未直接使用大语言模型，但语言指令编码和因果Transformer架构与多模态大模型思想一致。
• 多模态大模型的理解和生成一体化: RepWAM同时进行视觉理解（语义对齐）和生成（未来状态预测），体现理解与生成一体化。
• 表征学习: 论文核心是表征学习，通过对齐视觉基础模型和潜在动作学习，获得更优的视觉-动作表征。
• 世界模型: 直接构建世界动作模型，预测未来视觉状态和动作，属于世界模型范畴。
• 强化学习: 世界动作模型可用于强化学习中的规划或策略学习，论文通过微调适配闭环操作。
• 后训练: 论文采用预训练+微调范式，先在大规模数据上预训练世界动作模型，再在真实机器人数据上微调。

科学实验室日益依赖 AI 系统来推理实验，但科学操作的物理行为仍很大程度上超出其掌控范围。AI 可协助阅读文献、生成假设及规划方案，然而这些方案在实验台上的执行仍需人工操作员。视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型为书面方案与机器人执行之间提供了一种可能的接口，但现有策略主要基于家庭和桌面演示进行训练，很少遇到科学实验室中常见的仪器、透明液体或固定方案流程。填补这一差距不仅需要实验室特定的监督，还需要一个能够容纳用于执行实验方案的多样化机器人实体（embodiment）的统一学习框架。因此，我们将数据和实体视为与模型设计并列的核心瓶颈。为解决数据方面的问题，我们构建了 RoboGenesis，这是一个基于仿真的工作流与数据引擎，能够从原子技能构建配置好的实验室工作流程，验证并过滤轨迹，并在支持的机器人配置下导出结构化演示。在策略方面，我们提出了 LabVLA，采用两阶段训练流程：首先通过 FAST 动作标记预训练使 Qwen3-VL-4B-Instruct 骨干具备动作感知能力，随后通过流匹配后训练在知识隔离机制下附加一个 DiT 动作专家。在 LabUtopia 基准测试中，LabVLA 在所有被评估的基线模型中均取得了最高的平均成功率，无论是在分布内还是分布外设置下。

Scientific laboratories increasingly rely on AI systems to reason about experiments, but the physical act of doing science remains largely outside their reach. AI can help read literature, generate hypotheses, and plan protocols, yet the execution of those protocols at the bench still requires a human operator. Vision-Language-Action (VLA) models provide one possible interface between written protocols and robot execution, but existing policies are trained mostly on household and tabletop demonstrations and rarely encounter the instruments, transparent liquids, or fixed protocol workflows found in scientific laboratories. Closing this gap requires both laboratory-specific supervision and a unified learning framework that can accommodate the diverse robot embodiments used to execute experimental protocols. We therefore identify data and embodiment as central bottlenecks alongside model design. To address the data side, we build RoboGenesis, a simulation-based workflow and data engine that composes configured laboratory workflows from atomic skills, validates and filters rollouts, and exports structured demonstrations across supported robot profiles. On the policy side, we present LabVLA, trained with a two-stage recipe: FAST action token pretraining first makes the Qwen3-VL-4B-Instruct backbone action aware before any continuous control is learned, and flow matching posttraining then attaches a DiT action expert under knowledge insulation. On the LabUtopia benchmark, LabVLA achieves the highest average success rate among all evaluated baselines under both in-distribution and out-of-distribution settings.

评分理由: The paper proposes LabVLA, a Vision-Language-Action model for scientific laboratories. It heavily relies on MLLM (Qwen3-VL) and MultiModal integration, scoring high on these keywords. Action Tokenization is explicitly mentioned in the pretraining stage. A unified learning framework is noted for accommodating diverse embodiments. While simulation (World Models/Model-based RL) aids data generation, it is not the core policy architecture. Agentic Reasoning is relevant to the autonomous execution goal. Visual Encoder is implicit in the backbone. Latent Reasoning is less explicit.

Vision-Language-Action, Scientific Laboratories, Action Tokenization, MLLM, Simulation-based Data, LabUtopia Benchmark, Two-stage Training

Chinese Title: LabVLA：在科学实验室中落地视觉-语言-动作模型

Summary: 论文针对科学实验室自动化中数据与本体两大瓶颈，提出LabVLA框架。研究背景：现有VLA模型多基于家庭桌面场景训练，缺乏实验室所需的仪器、透明液体和协议级操作数据。方法上，论文构建RoboGenesis仿真数据引擎，通过环境构建、智能体工作流生成和结构化导出三步合成跨本体的实验室演示数据（LabEmbodied-Data）；在此基础上，LabVLA采用两阶段训练：先通过FAST动作令牌预训练使Qwen3-VL骨干具备动作感知能力，再通过流匹配后训练附加DiT动作专家，并引入知识绝缘（stop-gradient）减少干扰。在LabUtopia基准上，LabVLA在分布内和分布外设置下均取得最高平均成功率。结论表明，仿真数据结合两阶段训练可有效弥合科学推理与物理执行之间的鸿沟。

Innovations:

• 将科学实验室自动化明确建模为VLA学习问题，指出数据和本体是核心瓶颈。
• 提出RoboGenesis仿真数据引擎，支持从文本到3D资产生成、原子技能组合长时域工作流、跨16种机器人本体部署及成功过滤导出。
• 提出LabVLA两阶段训练策略：FAST动作令牌预训练使VLM具备动作语义，流匹配后训练实现连续动作预测。
• 引入知识绝缘（stop-gradient）设计，减少语言表征与动作专家之间的干扰。
• 构建LabEmbodied-Data数据集，覆盖单臂、双臂、移动操作等多种实验室任务族。

Methodology: 论文采用仿真数据合成与两阶段策略训练相结合的技术路线。首先，利用RoboGenesis引擎：通过文本生成图像再经TRELLIS 2.0重建3D资产，构建实验室场景库；使用LLM将自然语言指令分解为原子技能序列，并在16种机器人平台上实例化，施加六轴域随机化；过滤成功轨迹并导出多模态标注。然后，LabVLA以Qwen3-VL-4B-Instruct为视觉语言骨干，第一阶段用FAST动作令牌预训练使模型对齐动作语义，第二阶段用流匹配（Flow Matching）训练DiT动作专家预测连续动作，同时保持VLM梯度停止以隔离知识。最终在LabUtopia基准上评估。

Key Results:

• LabVLA在LabUtopia基准上取得最高平均成功率，优于所有对比基线。
• 在分布内和分布外设置下均表现最佳，证明泛化能力。
• RoboGenesis可合成覆盖16种机器人本体、多种实验室场景的高质量演示数据。
• FAST预训练和流匹配后训练均显著提升性能，知识绝缘设计有效减少干扰。

Tech Stack:

• Qwen3-VL-4B-Instruct（视觉语言骨干）
• DiT（Diffusion Transformer，动作专家）
• FAST（动作令牌预训练方法）
• Flow Matching（流匹配后训练）
• Isaac Sim（仿真平台）
• TRELLIS 2.0（3D重建）
• RoboGenesis（数据引擎）
• LabEmbodied-Data（数据集）
• LabUtopia（基准）

Strengths:

• 系统性地解决了实验室VLA的数据稀缺问题，通过仿真合成实现低成本、可扩展的数据生成。
• 支持多种机器人本体和任务族，具有跨本体迁移能力。
• 两阶段训练策略有效结合了大规模预训练和领域微调，知识绝缘设计新颖。
• 在标准基准上取得领先结果，验证了方法的有效性。
• 开源代码和模型，促进社区复现和后续研究。

Limitations:

• 完全基于仿真环境训练，真实实验室场景中的泛化性和鲁棒性尚未验证。
• 依赖高质量3D资产和物理仿真精度，复杂液体、化学反应等物理效果可能不够真实。
• 原子技能库的覆盖范围有限，无法涵盖所有实验室操作。
• 训练计算资源需求较高（4B参数VLM + DiT）。
• 未在真实机器人上部署评估，实际部署可能面临硬件差异和安全性问题。

Relevance To Keywords:

• 原生多模态大模型：LabVLA基于Qwen3-VL，属于多模态大模型在机器人领域的应用。
• 多模态大模型的理解和生成一体化：VLM理解语言和视觉，DiT生成动作序列，体现理解与生成结合。
• 表征学习：FAST预训练使VLM学习动作语义表征，知识绝缘保留语言表征。
• 世界模型：RoboGenesis仿真环境可视为实验室世界模型，用于生成数据和评估。
• 强化学习：虽未直接使用RL，但流匹配后训练可视为一种模仿学习方法，与RL相关。
• 后训练：两阶段训练中的流匹配后训练是核心步骤，属于后训练范畴。

世界动作模型（WAMs）为基于视频预测的机器人控制提供了一种有前景的范式。然而，当前的 WAMs 存在根本性的空间瓶颈：标准文本输入在杂乱场景中引入指代歧义，而非结构化的 RGB 预测缺乏语义 grounding，且仍受任务无关背景的干扰。为克服这些局限性，我们提出 MaskWAM，一种以对象为中心的世界动作模型。通过统一的混合 Transformer (MoT) 将掩码同时作为显式输入和预测进行联合集成，MaskWAM 实现了稳健的策略泛化。该设计提供了两大关键优势：(1) 预测未来掩码可产生以对象为中心的语义监督，从而抑制视觉噪声，显著增强即使是标准的文本条件化 WAMs；(2) 将此预测监督与第一帧视觉提示（如目标对象掩码）相结合，建立精确的空间锚点，从而大幅降低语言歧义。关键在于，由于 WAMs 本质上是视觉驱动架构，直接进行掩码条件化比仅使用文本能提供显著更强的指导，从而建立了一种精确且稳健的范式，用于操纵未见过的对象。在 LIBERO、RoboTwin 及真实世界任务上的评估表明，MaskWAM 在语言清晰任务和语言歧义任务中均显著优于基线方法。

World Action Models (WAMs) present a promising paradigm for robotic control via video prediction. However, current WAMs suffer from fundamental spatial bottlenecks: standard text inputs introduce referential ambiguity in cluttered scenes, while unstructured RGB predictions lack semantic grounding and remain biased by task-irrelevant backgrounds. To overcome these limitations, we introduce MaskWAM, an object-centric world-action model. By jointly integrating masks as both explicit inputs and predictions via a unified Mixture of Transformers (MoT), MaskWAM unlocks robust policy generalization. This design provides two key benefits: (1) predicting future masks yields object-centric semantic supervision that suppresses visual noise, significantly enhancing even standard text-conditioned WAMs; and (2) coupling this predictive supervision with first-frame visual prompts, such as target object masks, establishes a precise spatial anchor that substantially reduces language ambiguity. Crucially, as WAMs are inherently vision-driven architectures, direct mask conditioning yields substantially stronger guidance than text alone, establishing a precise and robust paradigm for manipulating unseen objects. Evaluations on LIBERO, RoboTwin, and real-world tasks demonstrate that MaskWAM significantly outperforms baselines in both language-clear and language-ambiguous tasks.

评分理由: 论文核心聚焦于世界动作模型（World Models=10），标题明确体现统一掩码提示与预测（Unify Models=9）。模型结合视觉掩码与文本，属于多模态架构（MultiModal=8），隐含视觉编码器（Visual Encoder=7）。通过预测掩码实现潜在空间监督（Latent Reasoning=8），应用于机器人控制任务，符合基于模型的强化学习范畴（model-based RL=8）。代理推理相关但非核心术语（Agentic Reasoning=6）。MLLM 相关性中等（MLLM=5），Tokenizer 未重点提及（Tokenizer=3）。加权总分 96.0，远高于及格线 35.2。作者列表中不包含指定的专家。

World-Action Models, Mask Prompting, Visual Prompts, Mixture of Transformers, Robotic Control, Object-centric, Semantic Grounding, Video Prediction

Chinese Title: MaskWAM：统一掩码提示与预测的世界-动作模型

Summary: 本文提出MaskWAM，一种以对象为中心的世界-动作模型（WAM），旨在解决现有WAM在空间定位上的两大瓶颈：文本指令在杂乱场景中的指代模糊性，以及无结构RGB预测缺乏语义基础且易受背景干扰。MaskWAM通过统一掩码作为显式输入和输出，采用混合Transformer（MoT）架构，联合预测未来RGB帧、任务相关掩码和动作块。其核心创新包括：预测未来掩码提供对象中心语义监督，抑制视觉噪声；结合首帧视觉提示（如目标掩码）建立精确空间锚点，减少语言歧义。实验表明，MaskWAM在LIBERO、RoboTwin和真实世界任务中显著优于基线，在语言清晰和语言模糊任务中均取得最高成功率。

Innovations:

• 首次将掩码同时作为显式输入和预测目标，统一到世界-动作模型中，实现对象中心化操作。
• 通过预测未来掩码提供语义监督，迫使模型关注任务相关区域，抑制背景噪声。
• 引入首帧掩码视觉提示，建立精确空间锚点，有效解决语言指令在复杂场景中的指代歧义。
• 采用混合Transformer（MoT）架构，联合处理RGB、掩码和动作，实现端到端训练。
• 提出掩码丢弃训练策略，使模型能灵活处理语言清晰和语言模糊任务，无需切换模式。

Methodology: MaskWAM基于Wan 2.2视频VAE编码器，将当前RGB和可选首帧掩码压缩为潜变量，与噪声未来潜变量、机器人本体感知、T5语言嵌入拼接，输入混合Transformer（MoT）进行联合去噪。视觉分支使用共享时间步τv同步去噪RGB和掩码潜变量，动作分支使用独立时间步τa进行动作块去噪。训练采用解耦流匹配目标，损失函数为视频、掩码和动作流匹配损失之和。推理时，通过部分去噪策略高效生成动作。

Key Results:

• 在LIBERO基准上达到98.4%的成功率，在RoboTwin上达到92.2%。
• 在真实世界任务中，语言清晰场景成功率为84.3%，语言模糊场景成功率为84.9%，超越最强基线33.2%。
• 未来掩码预测作为语义正则化器显著提升标准文本条件WAM的性能。
• 首帧掩码视觉提示在语言模糊场景中提供精确空间定位，大幅降低指代歧义。

Tech Stack:

• Wan 2.2视频VAE（因果3D VAE）
• 混合Transformer（Mixture of Transformers, MoT）
• T5文本编码器（冻结）
• 流匹配（Flow Matching）
• 解耦噪声调度（τv和τa）
• 掩码丢弃训练策略（dropout概率p=0.5）
• SAM-3分割模型（用于获取首帧掩码）
• KV缓存（推理加速）

Strengths:

• 统一了掩码提示和预测，形成闭环语义监督，增强模型对任务相关区域的关注。
• 视觉提示（掩码）比纯文本提供更精确的空间锚点，尤其适用于杂乱场景和相似物体。
• 端到端架构，无需额外分割或检测模块，训练和推理高效。
• 在多个基准和真实任务上取得显著优于现有方法的性能。
• 设计简洁，基于现有视频扩散模型扩展，易于复现和部署。

Limitations:

• 依赖首帧掩码的获取（需SAM等分割模型），在无分割模型场景下可能受限。
• 掩码预测仅针对任务相关区域，未覆盖所有物体，可能忽略部分上下文信息。
• 实验仅在有限任务集上验证，泛化到更复杂长时任务需进一步评估。
• 模型参数量较大，推理速度可能受限于视频扩散过程。
• 未讨论掩码预测失败或噪声对策略鲁棒性的影响。

Relevance To Keywords:

• Unify Models: MaskWAM统一了掩码提示和预测，属于统一模型范式。
• World Models: MaskWAM是一种世界-动作模型，通过视频预测学习物理动态。
• Representation Learning: 通过预测未来掩码学习对象中心表征，提升语义表示质量。
• Model-Based RL: 模型预测未来状态和动作，可视为基于模型的强化学习方法。
• 原生多模态大模型: 使用T5文本编码器和视频VAE，融合语言、视觉、动作多模态。
• 多模态大模型的理解和生成一体化: 同时生成RGB、掩码和动作，实现理解与生成统一。
• 表征学习: 掩码预测迫使模型学习任务相关表征，抑制背景噪声。
• 世界模型: 符合世界模型定义，预测未来观测并用于控制。
• 强化学习: 通过预测动作和未来状态，可结合强化学习进行策略优化。
• 后训练: 基于预训练视频模型进行微调，属于后训练范式。

目标条件视觉导航要求机器人在部分可观测条件下行动，通过预判其运动将如何改变未来的自我中心视角，以及这种变化是否使其更接近目标。导航世界模型（Navigation World Models）提供了这种视觉预见性，但它们仍然是预测模块，需要外部规划器将预测的未来转换为闭环控制。我们提出导航世界动作模型（Navigation World Action Model, NavWAM），这是一种扩散 - 变换器策略，通过将未来观测、目标进展值和动作块表示在共享潜在序列中，将导航世界模型的预测转化为可执行动作。通过联合学习与确定闭环行为的动作和价值目标进行未来预测，NavWAM 使视觉预见性可直接用于机器人控制。我们通过仿真预训练和真实机器人适应构建 NavWAM，并在图像目标导航任务中将其与基于规划的世界模型（Planning-based World Models）和一种代表性的直接导航策略进行评估。在离线基准和闭环真实机器人部署中，NavWAM 在我们的评估中优于基于规划的世界模型基线，同时使用默认策略模式而不需要 CEM 风格的动作搜索。项目页面：https://dachii-azm.github.io/navwam/

Goal-conditioned visual navigation requires a robot to act under partial observability by anticipating how its motion will change the future egocentric view and whether that change brings it closer to the goal. Navigation world models provide such visual foresight, but they remain prediction modules that require an external planner to convert predicted futures into closed-loop control. We propose Navigation World Action Model (NavWAM), a diffusion-transformer policy that turns navigation world-model prediction into executable action by representing future observations, goal-progress values, and action chunks in a shared latent sequence. By learning future prediction jointly with the action and value targets that determine closed-loop behavior, NavWAM makes visual foresight directly usable for robot control. We build NavWAM through simulation pretraining and real-robot adaptation, and evaluate it on image-goal navigation against planning-based world models and a representative direct navigation policy. Across offline benchmarks and closed-loop real-robot deployment, NavWAM improves over planning-based world-model baselines in our evaluations while using the default policy mode without CEM-style action search. Project page: https://dachii-azm.github.io/navwam/

评分理由: 论文核心贡献在于提出 NavWAM，将世界模型预测与动作生成统一于共享潜空间（Unify Models, Latent Reasoning），属于模型强化学习（model-based RL）框架。任务涉及视觉导航（Visual Encoder, MultiModal），但未涉及大语言模型（MLLM）或显式分词器（Tokenizer）创新。

World Action Model, Visual Navigation, Latent Sequence, Diffusion Transformer, Goal-Conditioned, Closed-Loop Control, Visual Foresight

Chinese Title: NavWAM：一种用于目标条件视觉导航的导航世界动作模型

Summary: 本文提出NavWAM（导航世界动作模型），一种将导航世界模型的视觉预测转化为可执行动作的扩散变换器策略。针对目标条件视觉导航中机器人需在部分可观测环境下预测未来自我中心视图并判断是否接近目标的问题，现有导航世界模型仅作为预测模块，需外部规划器将预测未来转化为闭环控制。NavWAM通过将未来观测、目标进度值和动作块编码到共享潜在序列中，联合学习未来预测、动作生成和价值估计，使视觉预测直接用于机器人控制。模型在仿真中预训练并在真实机器人上适应，在离线基准和闭环真实部署中，相比基于规划的世界模型基线（如NWM）性能更优，且无需CEM式测试时轨迹优化，同时与更大规模直接导航策略（如OmniVLA）保持竞争力，并保留可解释的未来视图预测。

Innovations:

• 提出NavWAM，将导航世界模型的视觉预测转化为直接产生动作的策略，无需外部规划器。
• 引入联合预测公式，将未来观测、目标进度值和可执行动作块表示在共享潜在序列中，使未来预测直接支持闭环动作生成。
• 在仿真预训练和真实机器人适应后，NavWAM在离线基准和闭环部署中优于基于规划的世界模型基线，且无需CEM式测试时轨迹优化。
• 与更大规模直接导航策略（7B参数）相比，NavWAM使用2B参数视频骨干仍保持竞争力，同时提供可解释的未来视图预测。

Methodology: NavWAM基于预训练的扩散变换器视频世界模型（Cosmos Predict2），将导航控制所需变量（当前观测、目标图像、机器人状态、动作块、未来观测、目标进度值）分配为固定九帧潜在画布中的不同帧，通过联合去噪过程进行预测。模型在仿真环境中预训练，然后在真实机器人上通过少量数据适应。推理时，模型以当前观测和目标为条件，直接输出动作块，并以滚动时域方式执行，同时输出未来视图和进度值作为可解释的预测。

Key Results:

• NavWAM在离线基准和闭环真实机器人部署中，导航性能优于基于规划的世界模型基线（如NWM）。
• 无需CEM式测试时轨迹优化，NavWAM即可实现有效闭环控制。
• 与使用更大7B参数VLA骨干的OmniVLA相比，NavWAM使用2B参数视频骨干仍保持竞争力。
• NavWAM同时产生未来视图预测和价值估计，提供可解释的视觉预见。

Tech Stack:

• 扩散变换器（Diffusion Transformer, DiT）
• 因果VAE（Causal VAE）
• Cosmos Predict2预训练视频世界模型
• Cosmos Policy的潜在帧建模原则
• 滚动时域控制（Receding-horizon control）
• 仿真预训练与真实机器人适应

Strengths:

• 将视觉预测与动作生成统一在一个策略表示中，消除了外部规划器的瓶颈。
• 在部分可观测导航中，联合学习未来视图、进度值和动作，使视觉预见直接服务于闭环控制。
• 利用预训练视频世界模型，减少了对大规模导航数据的依赖，并支持仿真到真实的迁移。
• 在离线基准和真实部署中均取得优于规划基线的性能，且计算效率更高（无需CEM搜索）。
• 保留可解释的未来视图预测，有助于理解模型决策。

Limitations:

• 模型依赖于预训练视频世界模型（Cosmos Predict2），可能受限于该模型的泛化能力。
• 当前仅针对图像目标导航，未扩展到其他目标形式（如语言指令）。
• 真实机器人适应可能需要额外的领域适配数据，部署成本仍存在。
• 与更大规模直接策略相比，性能虽接近但未超越，可能受限于模型容量。
• 未详细讨论在复杂动态环境中的鲁棒性。

Relevance To Keywords:

• Unify Models: NavWAM将未来预测、价值估计和动作生成统一在一个模型中，体现了模型统一的思想。
• World Models: 论文核心是导航世界模型，利用视频世界模型进行视觉预测。
• Representation Learning: 通过潜在画布将不同模态信息编码为共享表示，属于表征学习。
• Model-Based RL: NavWAM学习世界模型并用于控制，属于基于模型的强化学习范畴。
• 原生多模态大模型: 使用预训练的多模态视频模型（Cosmos Predict2）作为骨干，但未强调原生多模态。
• 多模态大模型的理解和生成一体化: 模型同时生成未来视图（生成）和动作（理解/控制），体现一体化。

整体视觉标记器是统一多模态模型（UMMs）的基础，因为它们将多样的视觉输入映射到统一的表征空间。本文提出了 HYDRA-X，这是首个在单个视觉变换器（ViT）内统一图像和视频标记化的统一多模态模型（UMM）。我们的设计受两个核心挑战驱动：一是高效地将时空重建能力注入原生 ViT，二是将图像和视频级别的语义感知嵌入潜在空间。针对前者，全面的消融实验揭示了两个关键发现：（1）帧级因果时序注意力足以实现视觉重建，而全时空注意力会损害其性能；（2）层次化时序压缩显著优于单步方案。针对后者，我们提出一个轻量级解压缩器，在联合图像 - 视频教师监督下对时序压缩特征进行上采样，从而在紧凑的潜在空间内强化互补的语义结构。基于此整体标记器，我们进一步提出了编辑管道的原则性改进：源 - 目标交互应在标记器内部的潜在级别发生，而非大语言模型（LLM）内部的语义级别，从而显著改善编辑一致性并加速收敛。在 7B 稠密模型上实例化后，HYDRA-X 在图像和视频理解及生成任务上均表现出优异性能，为未来统一标记器的统一多模态模型（UMM）奠定了基础。

Holistic visual tokenizers are fundamental to unified multimodal models (UMMs) as they map diverse visual inputs into a unified representation space. In this paper, we present HYDRA-X, the first UMM that unifies image and video tokenization within a single Vision Transformer (ViT). Our design is driven by two core challenges: efficiently injecting spatiotemporal reconstruction capability into a native ViT, and embedding image- and video-level semantic awareness into the latent space. To address the first, comprehensive ablations reveal two key findings: (1) frame-level causal temporal attention suffices for visual reconstruction, whereas full spatiotemporal attention degrades it; and (2) hierarchical temporal compression substantially outperforms single-step alternatives. To tackle the second, we propose a lightweight decompressor that upsamples temporally compressed features under joint image-video teacher supervision, thereby enforcing complementary semantic structures within the compact latent space. Building on this holistic tokenizer, we further propose a principled improvement of the editing pipeline: source-target interaction should occur at the latent level inside the tokenizer rather than at the semantic level inside the LLM, substantially improving editing consistency and accelerating convergence. Instantiated at the 7B dense model, HYDRA-X achieves strong performance across image and video understanding and generation tasks, paving the way for future unified-tokenizer UMMs.

评分理由: 论文核心贡献在于统一多模态模型（Unify Models）的视觉 tokenizer 设计，与 Tokenizer、Visual Encoder、MultiModal 高度相关（10 分）。MLLM 作为相关领域背景关联紧密（8 分），Latent Reasoning 对应潜在空间操作（7 分）。World Models 为背景提及但非核心（5 分）。model-based RL 与 Agentic Reasoning 在文中无体现（0 分）。作者列表中未包含指定的 Yang Shi 等专家。

Unified Multimodal Models, Holistic Visual Tokenizers, Vision Transformer, Image and Video Tokenization, Latent Space, Representation Learning, Native Unified Models

Chinese Title: HYDRA-X：基于整体视觉分词器的原生统一多模态模型

Summary: HYDRA-X是首个在单个Vision Transformer（ViT）中统一图像和视频分词的原生统一多模态模型（UMM）。针对两个核心挑战：高效注入时空重建能力到原生ViT，以及将图像和视频级别的语义感知嵌入潜在空间。研究发现：帧级因果时序注意力优于全时空注意力，分层时序压缩优于单步压缩。提出轻量级解压缩器，在联合图像-视频教师监督下对压缩特征进行上采样，强制紧凑潜在空间中的互补语义结构。基于此整体分词器，进一步改进编辑流程：源-目标交互应在分词器内的潜在层面而非LLM内的语义层面进行，显著提升编辑一致性并加速收敛。在7B稠密模型上，HYDRA-X在图像和视频理解与生成任务上均取得强性能，为未来统一分词器UMM奠定基础。

Innovations:

• 首次在单个ViT中统一图像和视频分词，实现原生统一多模态模型。
• 发现帧级因果时序注意力优于全时空注意力，分层时序压缩优于单步压缩。
• 提出轻量级解压缩器，通过联合图像-视频教师监督实现时空语义蒸馏。
• 创新性地将源-目标交互置于分词器潜在层面，而非LLM语义层面，提升编辑一致性。
• 在7B规模上实现图像/视频理解、生成和编辑五合一任务统一。

Methodology: 基于HYDRA框架，将ViT分为Gen-ViT和Sem-ViT，通过生成-语义瓶颈连接。采用帧级因果时序注意力（仅关注前一帧）和分层时序压缩（多阶段折叠）实现时空重建。提出解压缩器将压缩潜在特征上采样至原始帧率，利用预训练图像和视频教师进行蒸馏。编辑任务中，将源和目标图像置于同一时间窗口，在分词器内进行交叉帧交互。在Qwen2.5-7B-Instruct上实例化，进行多任务联合训练。

Key Results:

• 帧级因果时序注意力在重建指标（PSNR、SSIM、rFID、rFVD）上全面优于全时空注意力。
• 分层2×2时序压缩优于单步4×压缩，重建保真度超越专用3D卷积视频VAE（如Wan2.2-VAE）。
• 在ImageNet和DAVIS数据集上，HYDRA-XTOK在图像和视频重建上达到先进水平。
• 在7B模型上，HYDRA-X在图像/视频理解、生成和编辑任务上均取得强性能。
• 潜在层面的源-目标交互显著提升编辑一致性并加速收敛。

Tech Stack:

• Vision Transformer (ViT)
• 帧级因果时序注意力（Causal Temporal Attention）
• 分层时序压缩（Hierarchical Temporal Compression）
• 生成-语义瓶颈（Generation-Semantic Bottleneck）
• 解压缩器（Decompressor）
• 语义蒸馏（Semantic Distillation）
• Qwen2.5-7B-Instruct（LLM骨干）
• 3D卷积VAE（对比基线）
• PSNR, SSIM, rFID, rFVD（评估指标）

Strengths:

• 首次实现图像和视频在单一ViT分词器中的统一，架构简洁高效。
• 通过大量消融实验揭示了反直觉的设计原则（因果注意力优于全局注意力）。
• 解压缩器设计巧妙，解决了视频语义蒸馏中时序分辨率不匹配的问题。
• 编辑任务中潜在层面交互的设计显著优于现有方法，无需额外模块。
• 在7B规模上验证了统一分词器的有效性，性能强劲。

Limitations:

• 仅探索了7B稠密模型，未在更大规模或MoE架构上验证。
• 帧级因果注意力仅关注前一帧，可能限制长程时序依赖建模。
• 解压缩器增加了额外计算开销，尽管轻量。
• 编辑任务中源-目标交互仅在分词器内，可能无法处理复杂编辑指令。
• 未与最新视频理解/生成模型（如Sora、VideoPoet）进行直接比较。

Relevance To Keywords:

• Unify Models: HYDRA-X是原生统一多模态模型，统一图像和视频的理解与生成。
• World Models: 通过统一分词器学习视觉世界的统一表征，为世界模型提供基础。
• Representation Learning: 提出整体视觉分词器，学习同时包含像素级和语义级的统一表征。
• Model-Based RL: 统一表征可服务于基于模型的强化学习中的视觉状态编码。
• 原生多模态大模型: 直接训练单一骨干处理多模态任务，符合原生多模态大模型范式。
• 多模态大模型的理解和生成一体化: 在单个分词器内实现理解与生成的双向蒸馏。
• 表征学习: 通过语义蒸馏和解压缩器学习紧凑且语义丰富的潜在表征。
• 世界模型: 统一视觉分词器可作为世界模型中的视觉编码器。
• 强化学习: 统一表征可简化强化学习中的视觉输入处理。
• 后训练: 论文未明确涉及后训练，但统一分词器可支持后续微调。

计算机辅助设计（CAD）在现代制造中至关重要，然而现有的自动化方法主要依赖于开环、一次性生成，这与迭代式的现实实践存在偏差。本文提出了一种名为 IterCAD 的统一多模态智能体框架，用于闭环交互式 CAD 生成与编辑。我们将该任务建模为多模态智能体与可执行 CAD 沙盒之间的多轮交互，涵盖三个任务：绘图到代码（Drawing-to-Code）、文本到代码（Text-to-Code）以及交互式编辑（Interactive Editing）。为此，我们开发了一个数据合成管道，融入先进的工业制造特征，用于生成符合标准的多视图工程图纸、复杂的代码编辑任务以及高保真交互轨迹。我们通过渐进式 SFT 随后结合几何感知强化学习（并采用可行前缀掩码技术）来优化智能体，以提升代码可执行性和几何保真度。最后，我们引入了 IterCAD-Bench 评估套件，并提出切氏距离容错 - 召回率（CD-TR）曲线及其 AUC-TR 指标，建立了一个无幸存者偏差的标准，该标准统一了代码有效性与几何精度。大量实验表明，IterCAD 在多个基准测试中实现了极具竞争力的性能，在代码可执行性和几何精度方面显著优于现有方法，同时在闭环迭代优化方面展现出卓越的能力。

Computer-Aided Design is pivotal in modern manufacturing, yet existing automated methods predominantly rely on open-loop, one-shot generation, creating a mismatch with iterative real-world practices. In this paper, we present IterCAD, a unified multimodal agent framework for closed-loop, interactive CAD generation and editing. We formulate the task as a multi-turn interaction between a multimodal agent and an executable CAD sandbox, covering three tasks: Drawing-to-Code, Text-to-Code, and Interactive Editing. To support this, we develop a data synthesis pipeline incorporating advanced industrial manufacturing features to generate standard-compliant multi-view engineering drawings, complex code-editing tasks, and high-fidelity interaction trajectories. We optimize the agent via progressive SFT followed by geometry-aware reinforcement learning with viable-prefix masking to enhance code executability and geometric fidelity. Finally, we introduce the IterCAD-Bench evaluation suite and propose the Chamfer Distance Tolerance-Recall (CD-TR) curve alongside its AUC-TR metric, establishing a survivor-bias-free standard that unifies code validity and geometric precision. Extensive experiments demonstrate that IterCAD achieves highly competitive performance across multiple benchmarks, significantly outperforming existing approaches in both code executability and geometric precision, while exhibiting superior capabilities in closed-loop iterative refinement.

评分理由: The paper centers on a unified multimodal agent for CAD, scoring high on MultiModal (10), Agentic Reasoning (9), and Unify Models (8). It utilizes MLLM (8) and Visual Encoder (6) for grounding, and applies RL (6) with sandbox interaction. Tokenizer and Latent Reasoning are not highlighted (2 each). World Models is moderately relevant (5). No expert authors from the specified list were found. Total weighted score is 84.0, exceeding the dynamic passing score of 35.2.

Iterative Multimodal Agent, Visually-Grounded CAD, Closed-loop Interaction, Reinforcement Learning, Code Executability, Geometric Precision, Progressive SFT, Multi-turn Interaction

Chinese Title: IterCAD: 一种用于视觉引导的CAD生成与编辑的迭代多模态智能体

Summary: 本文提出IterCAD，一种统一的多模态智能体框架，用于闭环、交互式的CAD生成与编辑。针对现有自动化方法主要依赖开环、一次性生成，与实际迭代设计流程不匹配的问题，IterCAD将任务建模为多模态智能体与可执行CAD沙箱之间的多轮交互，涵盖绘图到代码、文本到代码和交互式编辑三种任务。论文开发了数据合成流水线，融入先进工业制造特征，生成符合标准的多视图工程图纸、复杂代码编辑任务和高保真交互轨迹。通过渐进式监督微调（SFT）和几何感知强化学习（RL）结合可行前缀掩码（GVPM）优化智能体，提升代码可执行性和几何保真度。最后，引入IterCAD-Bench评估套件，提出Chamfer Distance Tolerance-Recall (CD-TR)曲线及其AUC-TR指标，建立无幸存者偏差的评估标准，统一代码有效性和几何精度。实验表明，IterCAD在多个基准上取得竞争性性能，在代码可执行性和几何精度上显著优于现有方法，并展现出优异的闭环迭代优化能力。

Innovations:

• 提出IterCAD，一种绘图驱动的智能体框架，将CAD生成与编辑统一为闭环多轮合成过程，利用多视图工程图纸作为空间锚点。
• 设计两阶段训练方案：渐进式冷启动SFT结合几何感知RL，并引入几何可行前缀掩码（GVPM），显式注入鲁棒的自我修正能力。
• 构建IterCAD-Bench综合多模态数据集，覆盖多样化工程操作，并提出CD-TR曲线作为无幸存者偏差的评估标准，联合量化执行有效性和几何精度。
• 将CAD建模从静态一次性生成转变为交互式、自修正的设计过程，通过编译器、执行和视觉反馈的多维优化机制实现增量式改进。

Methodology: 论文采用两阶段训练策略：第一阶段进行渐进式冷启动监督微调（SFT），在高质量多轮交互轨迹上初始化程序化CAD推理能力；第二阶段进行几何感知强化学习（RL），结合几何可行前缀掩码（GVPM）鼓励鲁棒的迭代修正和可执行一致性。数据方面，通过合成流水线生成三种类型的CAD对（绘图-代码、文本-代码、编辑-代码），并利用专家LLM（Qwen3-VL-235B-A22B-Instruct）滚动多轮交互轨迹，经格式、逻辑和几何正确性过滤后形成冷启动语料。评估方面，提出Chamfer Distance Tolerance-Recall (CD-TR)曲线和AUC-TR指标，消除幸存者偏差。

Key Results:

• IterCAD在多个基准上取得高度竞争性性能，在代码可执行性和几何精度上显著优于现有方法。
• 通过闭环迭代优化，IterCAD展现出优异的自我修正能力，能够有效处理执行失败和几何缺陷。
• 提出的CD-TR曲线和AUC-TR指标成功消除了传统评估中的幸存者偏差，统一了代码有效性和几何精度的度量。
• 渐进式SFT和几何感知RL的组合训练显著提升了智能体的鲁棒性和交互式设计能力。

Tech Stack:

• CadQuery（程序化CAD框架）
• build123d（CAD框架）
• SolidWorks Component Object Model (COM) 接口（生成工程图纸）
• OCCT内核（投影和尺寸标注）
• Qwen3-VL-235B-A22B-Instruct（专家LLM）
• Chamfer Distance（几何度量）
• 几何可行前缀掩码（GVPM）
• 监督微调（SFT）
• 强化学习（RL）
• CD-TR曲线和AUC-TR指标

Strengths:

• 提出闭环迭代框架，更贴近真实工程设计流程，克服了开环一次性生成的局限。
• 两阶段训练策略结合SFT和RL，有效提升了代码可执行性和几何保真度。
• 构建了包含先进制造特征的高质量数据集和评估基准，并引入无幸存者偏差的评估指标。
• 统一了绘图到代码、文本到代码和交互式编辑三种任务，具有通用性。

Limitations:

• 依赖专家LLM生成训练轨迹，可能引入偏差或覆盖不足。
• 数据合成流水线涉及SolidWorks等商业软件，可能限制可复现性。
• 实验部分未详细讨论不同训练策略的消融分析，RL的具体奖励设计细节有待进一步说明。
• 当前框架主要针对CadQuery代码，对其他CAD程序化框架的泛化性未验证。

Relevance To Keywords: 论文与“原生多模态大模型”和“多模态大模型的理解和生成一体化”高度相关，因为IterCAD使用多模态大模型（MLLM）同时理解工程图纸、文本和代码，并生成可执行代码。与“世界模型”和“表征学习”有一定关联，因为智能体需要学习CAD几何世界的表征和物理规律（如OCCT内核的投影）。与“强化学习”和“后训练”直接相关，论文采用RL进行后训练优化。与“Model-Based RL”间接相关，因为智能体通过沙箱反馈（模拟环境）进行迭代改进。与“Unify Models”相关，因为IterCAD统一了生成和编辑任务。

预训练特征世界模型为机器人想象提供了有用基础，但仅靠视觉或潜在预测无法确定想象的未来是否满足任务相关事件。长时程操作需要具有关系性、谓词级和物理基础的进展信号：物体是否移动，抽屉或接触状态是否改变，放置谓词是否满足，以及候选未来是否足够可靠以供执行。我们引入了 EA-WM，这是一个事件感知世界模型框架，它在冻结的视觉特征动力学基础上，增强了基于任务规范的事件预测与验证。EA-WM 在预训练视觉特征空间中展开候选未来，将其解码为结构化事件状态，并利用任务进展、语义一致性、物理可行性和不确定性项对其进行评分。验证器引导基于采样的规划，筛选候选动作，并在接触敏感的 LIBERO 酒架设置中，从 PPO 生成的提案中进行选择。在导航、可变形物体、墙壁约束及语言描述的操作研究中，EA-WM 表明事件感知验证可以使特征空间世界模型更具可解释性，并且更好地与任务进展对齐。

Pretrained-feature world models provide a useful substrate for robot imagination, but visual or latent prediction alone does not determine whether an imagined future satisfies task-relevant events. Long-horizon manipulation requires progress signals that are relational, predicate-level, and physically grounded: whether an object has moved, whether a drawer or contact state has changed, whether a placement predicate is satisfied, and whether a candidate future is reliable enough for execution. We introduce EA-WM, an event-aware world-model framework that augments frozen visual-feature dynamics with task-specification-grounded event prediction and verification. EA-WM rolls out candidate futures in pretrained visual-feature space, decodes them into structured event states, and scores them using task-progress, semantic-consistency, physical-feasibility, and uncertainty terms. The verifier guides sampling-based planning, gates candidate actions, and, in the contact-sensitive LIBERO wine-rack setting, selects among PPOgenerated proposals. Across navigation, deformable-object, wall-constrained, and languagedescribed manipulation studies, EA-WM shows that event-aware verification can make featurespace world models more interpretable and better aligned with task progress.

评分理由: 论文核心贡献在于世界模型（World Models, 10 分）在视觉特征空间（Visual Encoder, 8 分）中的事件感知增强，涉及潜在空间推理（Latent Reasoning, 8 分）和基于模型的规划（model-based RL, 8 分）。虽涉及语言描述任务（MultiModal, 5 分），但非大语言模型核心（MLLM, 3 分），未明确提及统一模型架构（Unify Models, 5 分）或分词器（Tokenizer, 2 分），代理推理（Agentic Reasoning, 6 分）体现在规划验证循环中。

Event-Aware World Models, Task-Specification Grounding, Long-Horizon Manipulation, Visual-Feature Dynamics, Event Prediction, Sampling-Based Planning, Verifier, Physical Feasibility

Chinese Title: EA-WM: 面向长时程操作的事件感知世界模型与任务规范对齐

Summary: 论文提出EA-WM框架，旨在解决长时程机器人操作中视觉世界模型仅预测未来特征而缺乏任务相关事件验证的问题。该方法在预训练视觉特征动力学模型基础上，增加任务规范对齐的事件预测与验证层：通过模拟器状态自动生成事件标签（如物体状态变化、空间关系、任务进度），训练事件预测器将想象未来解码为结构化事件状态；设计包含任务进度、语义一致性、物理可行性和不确定性的验证器评分函数，指导基于交叉熵方法（CEM）的采样规划。在PointMaze、Deformable、Wall-Single和LIBERO等基准上，EA-WM显著提升了成功率（如PointMaze随机目标成功率从0.90提升至0.94，LIBERO酒架任务混合成功率97/100），表明事件感知验证能使特征空间世界模型更可解释且与任务进度对齐。

Innovations:

• 提出事件感知验证层，将预训练特征世界模型的未来预测解码为任务相关事件状态，实现视觉想象与任务进度验证的分离。
• 设计包含任务进度、语义一致性、物理可行性和不确定性的多维度验证器评分函数，用于指导采样规划。
• 在LIBERO接触敏感任务中引入PPO作为动作提议分布，结合验证器门控机制提升复杂操作的成功率。
• 利用模拟器状态和BDDL规则自动生成事件标签，无需人工标注，实现事件监督的可扩展性。

Methodology: EA-WM包含四个核心组件：1）预训练视觉特征世界模型（基于DINO-WM风格），用于滚动候选未来特征；2）自动事件标签生成器，从模拟器状态和任务定义（如BDDL规则）中提取物体状态、空间关系、进度等事件；3）事件预测器与验证器，将想象特征映射为事件状态并计算综合评分；4）验证器引导的CEM规划器，结合特征代价与验证器评分选择动作。在LIBERO酒架任务中，额外使用PPO优化动作提议分布。

Key Results:

• PointMaze随机目标成功率从0.90提升至0.94，同时保持数据集目标性能。
• Deformable e10块任务中，检索初始化的EA-CEM达到94%成功率。
• Wall-Single任务中，存档验证的EA-CEM达到95%成功率。
• LIBERO-goal任务中，检查成功对齐的验证器AUC达到0.993947。
• LIBERO酒架任务中，PPO提议的H=20在线混合成功率97/100。

Tech Stack:

• DINO-WM（预训练视觉特征世界模型）
• 交叉熵方法（CEM）
• PPO（近端策略优化）
• BDDL（任务规则描述语言）
• AUC（曲线下面积）评估指标
• 模拟器状态自动标签生成
• 多目标优化（特征代价 + 验证器评分）

Strengths:

• 将事件验证引入世界模型规划，弥补了纯视觉预测缺乏任务语义的不足。
• 验证器评分多维度（进度、一致性、可行性、不确定性）设计全面，提升规划鲁棒性。
• 自动事件标签生成机制降低了人工标注成本，易于扩展到新任务。
• 在多种基准（导航、变形物体、约束操作、语言描述操作）上验证了泛化能力。

Limitations:

• 事件标签依赖模拟器状态和预定义规则，在真实物理环境中难以直接获取。
• 验证器评分函数中的权重（如w_f）需要手动调节或跨任务适配。
• PPO提议仅在LIBERO酒架任务中引入，未验证其在其他任务中的通用性。
• 框架复杂度较高，需要同时维护世界模型、事件预测器和验证器。

Relevance To Keywords:

• Unify Models: EA-WM统一了视觉特征预测与事件验证，但未涉及多模态大模型的统一。
• World Models: 核心贡献在于增强世界模型的事件感知能力，属于世界模型研究范畴。
• Representation Learning: 利用预训练视觉特征（DINO-WM）作为表示基础，并学习事件表示。
• Model-Based RL: 采用基于模型的规划（CEM）和策略优化（PPO），属于模型强化学习范式。
• 原生多模态大模型: 不直接相关，未使用多模态大模型。
• 多模态大模型的理解和生成一体化: 不直接相关，未涉及生成任务。
• 强化学习: 使用PPO进行策略优化，属于强化学习方法。
• 后训练: 不直接相关，未涉及模型后训练阶段。

多模态大语言模型（MLLMs）在通用领域已展现出颇具潜力的推理能力，但在医疗等专业领域，尤其是在多语言和低资源场景下，其性能仍受限。这种差距在印度农村地区等地区尤为关键，因为患者常使用本土印度语言提出复杂的医疗查询，并依赖医学图像等多模态输入。现有的以英语为中心的 MLLMs 难以支持此类应用场景，限制了患者公平获取 AI 驱动的医疗辅助。为应对这一挑战，我们提出 ArogyaBodha，这是一个从八个异构来源构建的大规模多模态多语言医学问答数据集，涵盖 31 个人体系统、六种成像模态和 21 个临床领域，涉及英语及七种主要印度语言。我们进一步提出 ArogyaSutra，一种基于 Actor-Critic 的多智能体框架，该框架整合了工具定位（tool grounding）与双记忆机制，用于实现逐步、推理感知的决策，并利用存储的 Actor-Critic 模拟轨迹进行蒸馏。实验表明，我们的数据集和框架在所有印度语言中均提升了多语言医疗推理准确性，消融实验验证了各组件的贡献。源代码和数据集可在以下网址获取：https://iitp-cse.github.io/ArogyaSutra/

Multimodal Large Language Models (MLLMs) have shown promising reasoning capabilities in general domains, yet their performance remains limited in specialized settings such as healthcare, especially in multilingual and low-resource scenarios. This gap is critical in regions like rural India, where patients often express complex medical queries in native Indic languages and rely on multimodal inputs such as medical images. Existing English-centric MLLMs struggle to support such use cases, limiting equitable access to AI-driven healthcare assistance. To address this challenge, we introduce ArogyaBodha, a large-scale multilingual multimodal medical question-answer dataset constructed from eight heterogeneous sources, covering 31 body systems, six imaging modalities, and 21 clinical domains across English and seven major Indian languages. We further propose ArogyaSutra, an actor-critic-based multi-agent framework that integrates tool grounding with dual-memory mechanisms for step-wise, reasoning-aware decision making, and uses stored actor-critic simulation trajectories for distillation. Experiments show that our dataset and framework improve multilingual medical reasoning accuracy across all Indic languages, with ablations validating the contribution of each component. The source code and dataset are available at: https://iitp-cse.github.io/ ArogyaSutra/

评分理由: 论文核心聚焦于多模态大语言模型（MLLM）在医疗领域的应用，因此 MLLM 和多模态关键词相关性最高（9 分）。提出的多智能体框架、工具接地和决策机制与 Agentic Reasoning 高度相关（8 分）。Actor-critic 方法涉及强化学习，虽提及轨迹蒸馏，但模型基于特性不明确，故给 6 分。视觉编码器隐含于医疗图像输入中（5 分）。统一模型、Tokenizer、潜在推理和世模型在摘要中未作为核心贡献提及，相关性较低。作者列表中不包含指定的专家作者，故无加分。

Multimodal Medical Reasoning, Multi-Agent Framework, Indic Languages, Actor-Critic, Tool Grounding, Multilingual Dataset, ArogyaSutra, MLLM

Chinese Title: ArogyaSutra：面向印度语言的多模态医疗推理多智能体框架

Summary: 论文针对多模态大语言模型在医疗领域，特别是低资源印度语言场景下的推理能力不足问题，提出了ArogyaSutra框架。首先构建了大规模多语言多模态医疗问答数据集ArogyaBodha，涵盖8个来源、31个身体系统、6种成像模态、21个临床领域，包含英语及7种主要印度语言。然后提出基于演员-评论家架构的多智能体框架，集成工具视觉接地和双记忆机制，实现逐步推理感知决策，并通过存储的演员-评论家模拟轨迹进行蒸馏。实验表明，该框架在所有印度语言上提升了多语言医疗推理准确性，消融实验验证了各组件的贡献。代码和数据集已开源。

Innovations:

• 形式化了印度语言多模态医疗推理的新任务，要求模型逐步进行临床推理并输出医疗正确且语言一致的答案。
• 构建了大规模多语言多模态医疗推理数据集ArogyaBodha，覆盖7种印度语言和英语，经专家验证，支持可靠评估。
• 提出了基于演员-评论家架构的多智能体框架ArogyaSutra，结合工具视觉接地和双记忆机制（长期记忆与短期记忆），实现逐步推理和错误纠正。
• 引入自适应代码切换机制：评论家根据错误类型（语言错误或推理错误）提供不同语言的反馈，并更新记忆模块进行迭代优化。
• 通过存储的演员-评论家模拟轨迹进行蒸馏，提升模型在低资源语言上的推理稳定性和语言一致性。

Methodology: 论文采用多智能体演员-评论家框架。演员（Actor）为多模态语言模型，处理医疗图像和印度语言查询，调用轻量级工具（缩放/裁剪、边缘检测、深度分析、区域检测）提取临床证据，并预测中间语义推理步骤。双记忆机制：长期记忆总结先前推理步骤、语言表述和识别错误；短期记忆捕获最近预测误差和反馈。评论家（Critic）评估演员输出的医疗正确性和语言一致性，提供针对性纠正反馈（语言错误用英语，其他用对应印度语言）。反馈用于更新记忆模块，迭代优化。数据集构建：从8个医疗来源（包括基准数据集、医学影像库、印度研究生医学考试题）收集，经GPT-4o-mini少样本生成问题，再用Gemini-2.5-Flash过滤，最后由医学专家验证。

Key Results:

• ArogyaBodha数据集包含40,857个样本（英语5,107个，每种印度语言约5,100个）。
• ArogyaSutra在所有印度语言上均优于强多模态基线，推理准确性和多语言对齐均有提升。
• 消融实验验证了工具接地、双记忆机制、演员-评论家迭代等各组件的贡献。
• 通过反向翻译分析（余弦相似度和BLEU4）确保翻译质量，保留临床意义和语言保真度。

Tech Stack:

• 多模态大语言模型（MLLM）作为演员
• GPT-4o-mini用于少样本问题生成和错误检测
• Gemini-2.5-Flash用于问题过滤（临床一致性评估）
• 轻量级视觉接地工具：缩放/裁剪、边缘检测、深度分析、区域检测
• 双记忆机制：长期记忆（总结历史步骤和错误）和短期记忆（最近误差和反馈）
• 演员-评论家架构（Actor-Critic）
• 反向翻译评估：余弦相似度、BLEU4
• 蒸馏：利用存储的演员-评论家模拟轨迹

Strengths:

• 针对低资源印度语言的多模态医疗推理，填补了重要空白，具有社会公益价值。
• 数据集规模大、来源多样、经专家验证，质量可靠。
• 框架设计巧妙，通过工具接地和双记忆机制实现逐步推理和错误纠正，透明且可解释。
• 自适应代码切换机制有效处理语言和推理两类错误，提升多语言稳定性。
• 实验充分，包括跨语言、跨模态、跨临床领域的评估和消融研究。

Limitations:

• 框架依赖外部工具和GPT-4o-mini作为错误检测器，可能引入额外延迟和成本。
• 数据集仅覆盖7种印度语言，未包含其他低资源语言（如乌尔都语、梵语等）。
• 演员-评论家迭代可能增加推理时间，实时性有待优化。
• 医疗推理的正确性依赖专家验证，但专家数量有限，可能影响泛化性。
• 未与最新世界模型或统一多模态模型方法进行对比，相关性分析中提及但未深入。

Relevance To Keywords:

• 原生多模态大模型：论文使用多模态大语言模型作为演员，处理图像和文本，属于原生多模态范畴。
• 多模态大模型的理解和生成一体化：框架不仅生成答案，还生成逐步推理，实现理解与生成结合。
• 表征学习：通过工具接地和双记忆机制，模型学习更丰富的视觉和语言表征。
• 世界模型：论文未直接涉及世界模型，但医疗推理需要理解临床世界知识，可视为隐式世界模型。
• 强化学习：演员-评论家架构是强化学习经典方法，论文利用其进行迭代优化和蒸馏。
• 后训练：通过蒸馏和演员-评论家模拟轨迹进行后训练，提升模型性能。

以可用性、感知一致性和功能清晰度为核心的用户体验 (UX) 是真实用户界面 (UI) 的根本基础。多模态大语言模型 (MLLMs) 在用户界面领域的应用正在迅速发展，涵盖视觉元素定位、图形用户界面 (GUI) 代理以及设计到代码生成等方面。然而，基于 UI 截图评估用户体验 (UX) 的研究尚不成熟。为此，我们提出了 UXBench，一种新颖的多模态基准，包含 2,000 个 VQA 数据样本，旨在评估多模态大语言模型 (MLLMs) 执行基于 UI 推理的能力。UXBench 包含 8 个基于真实 UI 截图的任务，要求对布局关系、视觉层次和内容一致性等方面的用户体验 (UX) 问题进行细粒度诊断。我们对主流多模态大语言模型 (MLLMs) 的广泛评估表明，它们在基于 UI 推理的能力上仍存在根本性局限。研究结果凸显了该领域进一步发展的必要性。为弥合这一差距，我们提出了 UI-UX，一种基于 Qwen3-VL-4B-Thinking 基础模型的多模态大语言模型 (MLLM)，并通过强化学习进行了增强，包含两项关键创新：一项是在推理过程中动态平衡感知理解与逻辑推理的奖励路由机制，另一项是抑制冗余或不足推理步骤的非对称转换奖励。实验表明，UI-UX 在 UXBench 上实现了最先进 (SOTA) 性能，准确率达到 0.7963，超越了 Claude-4.5-Sonnet 的 0.6550，同时在多样化的 UI 任务上展现出强大的泛化能力，并保持较低的推理延迟。

User experience (UX) centered on usability, perceived consistency, and functional clarity is fundamental to real-world user interfaces (UI). The application of multimodal large language models (MLLMs) in the field of user interfaces is evolving rapidly, such as visual element grounding, graphical user interface (GUI) agents, and design-to-code generation. However, research efforts on evaluating UX based on UI screenshots are still immature. To address this, we propose UXBench, a novel multimodal benchmark consisting of 2,000 VQA data samples designed to assess MLLMs' ability to perform UI-based reasoning. UXBench includes 8 tasks based on real-world UI screenshots that require fine-grained diagnosis of UX issues across layout relationships, visual hierarchy, and content consistency. Our extensive evaluation of mainstream MLLMs shows that they remain fundamentally limited in their capacity for UI-based reasoning. The results underscore the need for further advancements in this area. To bridge this gap, we propose UI-UX, an MLLM based on Qwen3-VL-4B-Thinking foundation model and enhanced via reinforcement learning with two key innovations: a reward routing mechanism that dynamically balances perceptual understanding and logical reasoning during inference, and an asymmetric transition reward that suppresses redundant or insufficient reasoning steps. Experiments demonstrate that UI-UX achieves state-of-the-art (SOTA) performance on UXBench, attaining an accuracy of 0.7963 -- surpassing Claude-4.5-Sonnet's 0.6550 -- while exhibiting strong generalization across diverse UI tasks and maintaining low inference latency.

评分理由: 论文核心围绕多模态大模型（MLLM）在用户体验（UX）评估中的应用，因此 MLLM 和 MultiModal 得分最高（10.0）；涉及推理过程，Latent Reasoning 和 Agentic Reasoning 有一定关联（6.0-7.0）；使用了强化学习优化模型，但非典型的模型基强化学习（model-based RL），故得分中等（4.0）；视觉编码器和统一模型作为 MLLM 隐含组件，得分为中等（5.0）；Tokenizer 和 World Models 未直接涉及，得分较低（2.0）；作者列表中未包含指定的专家，无额外加分。

Multimodal LLMs, User Experience, User Interface, Benchmark, Reinforcement Learning, UI Reasoning, Reward Mechanism

Chinese Title: 基于多模态大模型的移动用户体验推理：任务、基准与方法

Summary: 本文聚焦于移动用户界面（UI）中的用户体验（UX）推理问题，指出现有基准多集中于视觉感知任务，缺乏对UX因果推理能力的评估。为此，作者提出了UXBench——首个专门用于评估多模态大模型（MLLM）在UI场景下进行UX推理能力的基准，包含2000个真实UI截图样本，覆盖可用性、效率和可信度三个维度共8个细粒度诊断任务。实验表明，主流MLLM在UX推理上表现有限。为弥补这一差距，作者提出了UI-UX模型，基于Qwen3-VL-4B-Thinking并通过强化学习进行优化，引入了奖励路由机制和不对称过渡奖励，以动态平衡感知与推理并抑制冗余推理。UI-UX在UXBench上达到0.7963的准确率，超越Claude-4.5-Sonnet的0.6550，并展现出良好的泛化能力和低推理延迟。

Innovations:

• 首次提出面向UX推理的多模态基准UXBench，包含8个细粒度诊断任务，覆盖可用性、效率和可信度三个维度。
• 提出奖励路由机制，动态平衡感知理解和逻辑推理，适应不同任务类型（如分类、语义对齐、定位）。
• 引入不对称过渡奖励（Asymmetric Transition Reward），抑制冗余或不足的推理步骤，提升推理效率并降低延迟。
• 基于Qwen3-VL-4B-Thinking并通过GRPO强化学习算法进行端到端优化，无需人工偏好标注。
• 构建了大规模真实UI截图数据集，结合MLLM辅助标注和四名资深UX专家的两轮人工验证，确保数据质量。

Methodology: 论文采用多阶段数据构建流程：首先从真实应用反馈中收集UI截图和文本描述；然后使用Gemini-2.5-Pro进行相关性过滤，并用微调的Qwen3-VL-2B进行大规模复制决策；接着通过少样本提示对样本进行细粒度分类；最后经四名资深UX专家进行两轮独立标注和交叉验证。模型训练方面，基于Qwen3-VL-4B-Thinking，采用GRPO强化学习算法，结合奖励路由（accuracy、ROUGE-L、hit reward）和不对称过渡奖励进行优化，实现端到端学习。

Key Results:

• UI-UX在UXBench上达到0.7963的准确率，超越Claude-4.5-Sonnet的0.6550。
• 主流MLLM（如GPT-4o、Gemini-2.5-Pro）在UX推理任务上表现有限，准确率普遍低于0.70。
• UI-UX在多个UI任务上展现出强泛化能力，并保持低推理延迟。
• 奖励路由和不对称过渡奖励显著提升了推理效率和诊断准确性。

Tech Stack:

• Qwen3-VL-4B-Thinking（基础模型）
• GRPO（Group Relative Policy Optimization）强化学习算法
• Gemini-2.5-Pro（用于数据过滤和分类）
• Qwen3-VL-2B（微调用于大规模复制决策）
• ROUGE-L（语义对齐奖励）
• 奖励路由机制（Reward Routing）
• 不对称过渡奖励（Asymmetric Transition Reward）
• 少样本提示（Few-shot Prompting）

Strengths:

• 首次系统性地定义了UX推理任务，填补了现有基准的空白。
• 数据构建流程严谨，结合自动化标注和专家验证，保证了数据质量。
• 模型设计兼顾推理准确性和效率，通过奖励机制抑制冗余推理。
• 实验结果表明模型在UX推理上显著超越现有最强模型，具有实际应用价值。
• 论文对任务定义、数据分布、模型架构和训练方法进行了详细描述，可复现性强。

Limitations:

• UXBench仅包含移动端UI截图，未覆盖网页、桌面或可穿戴设备等平台。
• 数据集规模相对较小（2000样本），可能限制模型在更广泛场景下的泛化能力。
• 任务设计为二选一或三选一的选择题形式，可能无法完全反映真实UX问题的复杂性和开放性。
• 模型基于Qwen3-VL-4B-Thinking，其基础能力可能影响最终性能的上限。
• 论文未对模型在不同语言或文化背景下的UX推理能力进行评估。

Relevance To Keywords:

• Unify Models: 论文提出的UI-UX模型融合了视觉感知和语言推理，体现了多模态统一建模的思想。
• World Models: 论文通过因果推理和用户行为建模，使模型具备对UI交互后果的预测能力，与世界模型的内隐推理目标一致。
• Representation Learning: 论文通过强化学习优化模型对UI布局、语义和交互逻辑的表征，提升了对UX问题的判别能力。
• Model-Based RL: 论文采用GRPO强化学习算法，并引入奖励路由和不对称过渡奖励，属于模型无关的强化学习方法，但奖励设计体现了对推理过程的建模。
• 原生多模态大模型: 论文基于Qwen3-VL-4B-Thinking，属于原生多模态大模型，并在此基础上进行后训练优化。
• 多模态大模型的理解和生成一体化: 论文模型同时具备UI截图的理解能力和推理结果的生成能力，体现了一体化设计。
• 表征学习: 论文通过奖励机制引导模型学习更有效的UI特征表征，以支持细粒度UX诊断。
• 世界模型: 论文要求模型对UI交互后果进行推理（如弹窗遮挡按钮导致操作不可逆），体现了对世界状态变化的建模。
• 强化学习: 论文核心训练方法为GRPO强化学习，通过奖励信号优化模型推理行为。
• 后训练: 论文在Qwen3-VL-4B-Thinking基础上进行后训练，通过强化学习进一步提升UX推理能力。

我们提出 MoVerse，一种实时视频世界模型，能够从单张窄视场图像构建出可交互导航的场景。这一设定极具挑战性，因为输入仅观测到环境的一小部分，而交互式漫游则需要完整的周围世界、持久几何、可控的相机运动以及时间一致的高保真观测。MoVerse 通过分离世界构建与观测渲染来解决这一问题。它首先利用拓扑感知扩散将输入扩展为重力对齐的 360°全景，在 3D 推理之前补全缺失的视场。随后，它利用全景几何感知残差预测将全景提升为持久的 3D Gaussian 支架，从而生成一个密集且可直接渲染的空间记忆。最后，一个基于 Gaussian 条件的视频渲染器将支架渲染结果沿用户指定的相机轨迹转换为照片级逼真的视频。为了使该渲染器适用于交互场景，我们训练了一个双向扩散教师模型以实现高质量的条件渲染，并将其蒸馏为一个因果自回归学生模型，以实现有界延迟的流式传输。该设计结合了显式 3D 表示的可控性与长程一致性，以及生成视频模型的感知质量。MoVerse 在单张 NVIDIA RTX 4090 GPU 上支持实时场景漫游（约 8 FPS），展示了通过单张图像创建世界并输出交互式视频的实用路径。

We present MoVerse, a real-time video world model that creates an interactively navigable scene from a single narrow-field-of-view image. This setting is challenging because the input observes only a small fraction of the environment, while interactive roaming requires a complete surrounding world, persistent geometry, controllable camera motion, and temporally coherent high-fidelity observations. MoVerse addresses this problem by separating world construction from observation rendering. It first expands the input into a gravity-aligned 360$^\circ$ panorama with topology-aware diffusion, closing the missing field of view before 3D reasoning. It then lifts the panorama into a persistent 3D Gaussian scaffold using panoramic geometry-aware residual prediction, yielding a dense and directly renderable spatial memory. Finally, a Gaussian-conditioned video renderer translates scaffold renderings along user-specified camera trajectories into photorealistic video. To make this renderer practical for interaction, we train a bidirectional diffusion teacher for high-quality conditional rendering and distill it into a causal autoregressive student for bounded-latency streaming. This design combines the controllability and long-range consistency of explicit 3D representations with the perceptual quality of generative video models. MoVerse supports real-time scene roaming at 8~FPS on a single NVIDIA RTX~4090 GPU, demonstrating a practical path toward single-image world creation with interactive video output.

评分理由: 论文核心贡献在于构建实时视频世界模型（World Models），故该词得满分。系统统一了全景生成、3D 构建与视频渲染（Unify Models），且处理图像到视频的多模态转换（MultiModal），相关性高。利用扩散模型与高斯支架进行空间推理（Latent Reasoning），支持交互式漫游（Agentic Reasoning）及模型强化学习应用（model-based RL），相关性中等。输入图像隐含视觉编码（Visual Encoder），但未明确提及分词器（Tokenizer）或大语言模型（MLLM），相关性低。作者名单中未包含指定的 Yang Shi 等五位专家。

World Modeling, Gaussian Scaffold, Panoramic Diffusion, Real-time Rendering, Interactive Navigation, Video Generation, 3D Representation

Chinese Title: MoVerse: 基于全景高斯支架的实时视频世界建模

Summary: 本文提出MoVerse，一个从单张窄视野图像实时创建可交互导航场景的视频世界模型。现有方法要么依赖显式3D表示但质量有限，要么使用隐式视频模型但存在几何漂移。MoVerse通过三阶段分离架构解决该问题：第一阶段利用几何感知扩散模型将输入图像补全为重力对齐的360°全景图，采用圆形潜在编码和移位等变生成保持水平拓扑；第二阶段将全景图提升为可直接渲染的3D高斯支架，通过纬度感知尺度校正和角度-逆深度空间残差预测实现密集空间记忆；第三阶段训练双向扩散教师学习高斯条件视频渲染，并蒸馏为因果自回归学生，结合显式支架的持久性与生成模型的感知质量，实现低延迟流式输出。在单张NVIDIA RTX 4090上达到8 FPS实时漫游，展示了从单图像到交互视频的实用路径。

Innovations:

• 提出世界构建与观察渲染分离的三阶段架构，离线构建可复用高斯支架，在线流式渲染，避免计算瓶颈。
• 几何感知全景生成：自动重力校平与拓扑感知扩散（圆形潜在编码、移位等变），保持ERP水平S1拓扑。
• 全景高斯支架：纬度感知尺度校正、角度-逆深度空间残差预测，使高斯更新与ERP几何一致。
• 高斯条件流式视频渲染：双向扩散教师蒸馏为因果自回归学生，结合显式支架的长程记忆与生成模型的质量。
• 从单张窄视野图像实现实时交互漫游（8 FPS），支持任意相机轨迹。

Methodology: MoVerse采用三阶段流水线。Stage I：输入图像经可微自动校平为重力对齐视角，使用掩码潜在扩散模型完成全景，其中圆形潜在编码和移位等变生成保证水平闭合。Stage II：从全景图预测深度，通过球面反投影初始化3D高斯，应用纬度感知尺度校正（正比于cosϕ），在角度-逆深度空间预测残差以保持ERP几何一致性。Stage III：基于Wan2.1-T2V初始化双向扩散教师，学习以高斯渲染为条件的视频生成；然后通过自强制和分布匹配蒸馏为因果自回归学生，使用局部KV缓存实现流式输出。

Key Results:

• 在单张NVIDIA RTX 4090上实现8 FPS实时漫游。
• 生成的全景图具有重力对齐和拓扑一致性，为后续3D提供完整上下文。
• 高斯支架可直接渲染，提供持久几何记忆，避免长轨迹下的场景漂移。
• 因果自回归视频渲染器在保持低延迟的同时，显著提升感知质量和时间连贯性。

Tech Stack:

• 潜在扩散模型（Latent Diffusion）
• 圆形潜在编码（Circular Latent Encoding）
• 移位等变生成（Shift-Equivariant Generation）
• 3D高斯泼溅（3D Gaussian Splatting, 3DGS）
• 球面反投影（Spherical Back-Projection）
• 纬度感知尺度校正（Latitude-Aware Scale Correction）
• 角度-逆深度空间（Angular-Inverse-Depth Space）
• Wan2.1-T2V（视频生成模型）
• 自强制蒸馏（Self-Forcing Distillation）
• 分布匹配（Distribution Matching）
• 因果自回归（Causal Autoregressive）
• 键值缓存（Key-Value Cache）

Strengths:

• 创新性三阶段分离架构，结合显式3D的持久性与隐式生成模型的视觉质量。
• 从单张窄视野图像即可生成完整可漫游世界，实用性强。
• 实时性能（8 FPS）满足交互需求。
• 显式高斯支架提供稳定几何，避免视频模型中的场景漂移和边界不连续。
• 因果蒸馏设计使视频渲染具有低延迟流式能力。

Limitations:

• 全景生成质量依赖训练数据（Horizon360），对未见过的场景泛化能力可能有限。
• 高斯支架的精度受限于单张全景图的深度预测，可能存在几何误差。
• 实时帧率8 FPS对于高刷新率VR应用仍显不足。
• 当前仅支持静态场景，未处理动态物体或光照变化。
• 未讨论多视角输入或增量式场景更新。

Relevance To Keywords:

• 世界模型：直接相关，MoVerse构建可交互导航的3D世界并生成视频观测。
• 表征学习：高斯支架作为显式空间表征，结合扩散模型隐式表征。
• 模型基强化学习：虽未直接涉及，但生成的交互式世界可用于智能体训练。
• 后训练：蒸馏过程属于后训练技术，将双向教师转化为因果学生。
• 原生多模态大模型：未直接使用，但视频生成部分借鉴了Wan2.1-T2V。
• 多模态大模型的理解和生成一体化：部分相关，模型从图像理解到视频生成。
• 强化学习：论文未涉及强化学习。

近期图像生成器在单图像生成与编辑方面已展现出令人印象深刻的照片级真实感（photorealism）和指令遵循能力。然而，受限于其架构，它们无法实现交错生成（text-image sequence），而交错生成在视觉叙事、引导及具身操作等领域具有关键应用。即使是最新的开源统一多模态模型（Unified Multimodal Models, UMMs）在此方面也表现出有限的性能。本文介绍了 InterleaveThinker，这是首个旨在赋予任何现有图像生成器交错生成能力的多智能体流水线。具体而言，我们采用规划器代理（planner agent）来组织图像 - 文本输入序列，并指导图像生成器在每个步骤所需的操作。随后，我们引入批评器代理（critic agent）以评估生成器的输出，识别偏离计划指令的样本，并细化指令以进行重新生成。为实现该流水线，我们构建了 Interleave-Planner-SFT-80k 和 Interleave-Critic-SFT-112k，以执行格式冷启动（format cold-start）。随后，我们开发了 Interleave-Critic-RL-13k，利用 GRPO 强化生成轨迹内的逐步指令修正能力。由于单个交错生成轨迹可能涉及超过 25 次生成器调用，优化整个轨迹在计算上并不切实际。因此，我们提出了精度奖励（accuracy reward）和逐步奖励（step-wise reward），使得单步强化学习（RL）能够有效引导整个生成轨迹。结果表明，InterleaveThinker 在各种图像生成器上均提升了性能。在交错生成基准测试中，其性能达到了与 Nano Banana 和 GPT-5 相当的水平。令人惊讶的是，它还在基于推理的基准上显著增强了基础模型；例如，在 4-step FLUX.2-klein 上，我们在 WISE 和 RISE 指标上观察到了显著的提升。

Recent image generators have demonstrated impressive photorealism and instruction-following capabilities in single-image generation and editing. However, constrained by their architectures, they cannot achieve interleaved generation (text-image sequence), which has crucial applications in visual narratives, guidance, and embodied manipulation. Even the latest open-source Unified Multimodal Models (UMMs) exhibit limited performance in this regard. In this paper, we introduce InterleaveThinker, the first multi-agent pipeline designed to endow any existing image generator with interleaved generation capabilities. Specifically, we employ a planner agent to organize the image-text input sequence, instructing the image generator on the required execution at each step. Subsequently, we introduce a critic agent to evaluate the generator's outputs, identify samples that deviate from the planned instructions, and refine the instructions for regeneration. To implement this pipeline, we construct the Interleave-Planner-SFT-80k and Interleave-Critic-SFT-112k to perform a format cold-start. Then we develop Interleave-Critic-RL-13k to reinforce the step-wise instruction correction capability within a generation trajectory using GRPO. Since a single interleaved generation trajectory may involve over 25 generator calls, optimizing the entire trajectory is computationally impractical. Therefore, we propose accuracy reward and step-wise reward, allowing single-step RL to effectively guide the entire generation trajectory. The results show that InterleaveThinker improves performance across various image generators. On interleaved generation benchmarks, it achieves performance comparable to Nano Banana and GPT-5. Surprisingly, it also significantly enhances the base model on reasoning-based benchmarks; for example, on 4-step FLUX.2-klein, we observe substantial gains on WISE and RISE.

评分理由: 论文核心在于使用多智能体（Planner/Critic）和强化学习（GRPO）实现文本 - 图像交错生成，因此'Agentic Reasoning'高度相关（10 分），'MultiModal'因涉及图文任务高度相关（9 分），'model-based RL'因涉及轨迹优化和规划相关（7 分）。'MLLM'和'Unify Models'涉及多模态生成背景，有一定关联（6 分，5 分）。'Tokenizer'、'Visual Encoder'、'World Models'、'Latent Reasoning'在摘要中未作为核心贡献提及，相关性较低（1-2 分）。作者列表中包含 Manyuan Zhang，符合专家加分条件。

InterleaveThinker, Agentic Interleaved Generation, Multi-agent Pipeline, Reinforcement Learning, Text-image Sequence, Planner Agent, Critic Agent

Chinese Title: InterleaveThinker: 强化智能交错生成

Summary: 论文提出InterleaveThinker，首个多智能体框架，旨在赋予任意固定图像生成器强大的交错生成（文本-图像序列）能力。针对现有统一多模态模型（UMM）在长程任务中存在的视觉过度依赖和逐步误差累积问题，该框架采用Planner（规划器）预先预测完整指令序列，Critic（评估器）检查生成输出并修正指令，Generator（生成器）执行图像生成/编辑。为训练该框架，作者构建了高质量数据集Pipeline，生成Interleave-Planner-SFT-80k、Interleave-Critic-SFT-112k和Interleave-Critic-RL-13k三个数据集，分别用于格式冷启动和强化学习。采用GRPO算法和双奖励策略（准确率奖励和逐步奖励），通过单步强化学习实现整个生成轨迹的对齐，大幅降低计算成本。实验表明，以4步FLUX.2-klein为生成器，InterleaveThinker在交错生成基准上达到与Nano Banana和GPT-5相当的性能，并在推理基准WISE（从0.47提升至0.73）和RISE（从13.3提升至28.9）上显著提升基础模型。

Innovations:

• 首个多智能体框架，使任意固定图像生成器具备交错生成能力，有效解决视觉过度依赖和逐步误差累积。
• 构建专用数据Pipeline，生成三个高质量数据集（Planner-SFT-80k、Critic-SFT-112k、Critic-RL-13k），支持冷启动和强化学习。
• 设计双奖励策略（准确率奖励和逐步奖励），通过单步GRPO实现轨迹级对齐，显著降低计算开销。
• 在推理基准上意外大幅提升基础模型性能，揭示多智能体协作在复杂序列推理中的潜力。

Methodology: 采用多智能体Pipeline：Planner（基于VLM）预测整个指令序列，避免中间视觉反馈；Generator（如FLUX.2-klein）执行图像生成/编辑；Critic（基于VLM）评估每一步输出，识别偏离并修正指令。数据构建：使用Gemini 2.5 Pro和Nano Banana Pro生成轨迹，经严格过滤得到三个数据集。训练：先对Planner和Critic进行SFT冷启动格式，再对Critic使用GRPO强化逐步修正能力。奖励设计：准确率奖励检查是否按计划执行，逐步奖励评估每一步图像质量。

Key Results:

• 在交错生成基准上，性能与Nano Banana和GPT-5相当。
• 在推理基准WISE上从0.47提升至0.73，在RISE上从13.3提升至28.9。
• 验证了通用性：在多种图像生成器（如FLUX.2-klein、Qwen-image-Edit）上均获得一致性能提升。

Tech Stack:

• GRPO（Group Relative Policy Optimization）
• FLUX.2-klein（4步扩散模型）
• Qwen-image-Edit
• Gemini 2.5 Pro
• Nano Banana Pro
• SFT（监督微调）
• 多智能体框架（Planner-Critic-Generator）

Strengths:

• 通用性强：可适配任意现有图像生成器，无需修改生成器本身。
• 有效解决UMM的固有问题（视觉过度依赖、误差累积）。
• 数据构建严谨，训练高效（单步RL实现轨迹级对齐）。
• 性能提升显著，尤其在推理基准上表现突出。

Limitations:

• 依赖外部高级模型（Gemini 2.5 Pro等）生成训练数据，可能引入偏差。
• 多智能体Pipeline增加推理延迟和计算开销。
• 未深入分析对生成器本身质量的影响，可能在某些场景下仍存在误差。
• 仅验证了部分图像生成器，通用性需进一步扩展。

Relevance To Keywords:

• Unify Models: 相关，本文框架统一了图像生成和编辑，但并非模型本身。
• World Models: 不直接相关。
• Representation Learning: 不直接相关。
• Model-Based RL: 部分相关，Critic评估可视为基于模型的方法。
• 原生多模态大模型: 背景相关，本文旨在弥补UMM的不足。
• 多模态大模型的理解和生成一体化: 相关，本文赋予生成器交错生成能力。
• 表征学习: 不直接相关。
• 世界模型: 不直接相关。
• 强化学习: 高度相关，使用GRPO进行后训练。
• 后训练: 高度相关，SFT+RL是核心训练方法。

配电网对于保障电力输送的可靠性至关重要，然而传统巡检方法在语义理解、泛化能力及闭环自动化方面仍存在局限性。为应对这些挑战，本文提出了一种专门针对配电网缺陷检测的多模态智能体（Multi-Modal Agent）框架。本研究的核心在于将多模态基础模型（Multimodal Foundation Models）作为统一认知引擎进行系统评估。我们严格评估了它们在以下三个关键能力上的综合表现：（1）感知（Perception），即模型需准确识别设备并生成专家级缺陷描述；（2）推理（Reasoning），即模型基于领域知识解释视觉发现以诊断原因、评估严重程度并规划维护策略；（3）工具使用（Tool Usage），即模型作为自主操作者执行动作——例如查询知识库或生成工单——以实现闭环维护。为此，本文构建了一个领域特定的评估数据集及一个综合基准（Benchmark）。实验结果表明了当前基础模型在这三个维度上的优势与局限性，为在高风险工业环境中部署自主智能体提供了实证依据。

The power distribution network is critical to reliable electricity delivery, yet traditional inspection methods face limitations in semantic understanding, generalization, and closed-loop automation. To address these challenges, this paper proposes a Multi-Modal Agent framework specifically for power distribution defect detection. Central to this study is the systematic evaluation of multimodal foundation models as unified cognitive engines. We rigorously assess their integrated performance across three critical capabilities: (1) Perception, where the model must accurately identify equipment and generate expert-level descriptions of defects; (2) Reasoning, where the model interprets visual findings to diagnose causes, assess severity, and plan maintenance strategies based on domain knowledge; and (3) Tool Usage, where the model acts as an autonomous operator to execute actions -- such as querying knowledge bases or generating work orders -- to achieve closed-loop maintenance. To support this evaluation, a domain-specific evaluation dataset and a comprehensive benchmark are developed. Experimental results demonstrate the strengths and limitations of current foundation models in these three dimensions, providing empirical evidence for deploying autonomous agents in high-stakes industrial environments.

评分理由: 论文核心在于多模态大模型（MLLM）在电力缺陷检测中的应用评估，因此 MultiModal (9.0) 和 MLLM (8.0) 相关性最高。框架涉及智能体自主操作，故 Agentic Reasoning (8.0) 相关。摘要提到'统一认知引擎'，与 Unify Models (6.0) 有一定关联。视觉感知和推理任务隐含了 Visual Encoder (4.0) 和 Latent Reasoning (4.0) 的概念，但未深入架构。Tokenizer (2.0)、World Models (2.0) 和 model-based RL (3.0) 在摘要中未明确提及或不是重点。作者仅为 Quan Quan，未包含指定的专家列表，故无额外加分。加权总分为 69.0，高于动态及格分 35.2。

Multi-Modal Agents, Foundation Models, Power Distribution Defect Detection, Perception, Reasoning, Tool Usage, Autonomous Agents, Evaluation Benchmark

Chinese Title: 面向配电缺陷检测的多模态智能体：基础模型评估

Summary: 本文提出了一种面向配电网络缺陷检测的多模态智能体框架，旨在解决传统检测方法在语义理解、泛化能力和闭环自动化方面的局限性。研究系统评估了多模态基础模型作为统一认知引擎在三个关键能力上的表现：感知（准确识别设备并生成专家级缺陷描述）、推理（结合领域知识诊断原因、评估严重性并规划维护策略）以及工具使用（自主执行查询知识库、生成工单等操作以实现闭环维护）。为支持评估，作者构建了领域专用数据集和综合基准。实验揭示了当前基础模型在三个维度上的优势与不足，为在高压工业环境中部署自主智能体提供了实证依据。

Innovations:

• 提出了面向配电缺陷检测的多模态智能体评估框架，聚焦感知、推理和工具使用三大核心能力，实现可复现的性能对比。
• 构建了多任务、多维度基准，包含用于评估感知和推理的多模态数据集以及用于测试端到端工具执行能力的复杂巡检场景。
• 系统评估了不同智能体架构和核心模型在配电巡检任务中的表现，揭示了基础模型的优势与局限，为技术选型和优化提供实证指导。
• 将检索增强生成（RAG）与领域知识库结合，增强推理阶段的逻辑推断能力并缓解幻觉风险。
• 设计了严格的提示工程策略，通过角色定义、任务约束和少样本示例将通用基础模型适配到专业电力领域。

Methodology: 论文采用以下技术路线：首先设计多模态智能体框架，以单一基础模型（集成VLM-LLM）作为核心认知引擎，通过多模态输入（高分辨率图像+自然语言指令）和双模态输出（自然语言描述+JSON结构化命令）实现交互。通过提示工程（角色设定、任务约束、少样本示例）适配电力领域。感知能力利用视觉-语言对齐实现设备识别和语义描述；推理能力结合检索增强生成（RAG）从“电力设备缺陷评级标准”和“历史缺陷案例库”中检索知识进行逻辑推断；工具使用能力使智能体能够调用外部工具（如查询知识库、生成工单）完成闭环操作。评估方面，构建了领域专用数据集和基准，对感知、推理和工具使用进行多维度测试。

Key Results:

• 当前基础模型在感知任务中能够生成专家级缺陷描述，但在细粒度设备识别和罕见缺陷泛化上仍有局限。
• 推理能力通过RAG增强后，模型能结合领域知识进行缺陷评级和维修计划制定，但复杂因果推理仍存在幻觉风险。
• 工具使用能力使智能体能够自主执行知识库查询和工单生成，但在长序列工具调用和动态环境适应性上表现不足。
• 不同模型架构（如LLaVA、Qwen-VL等）在三个维度上各有优劣，没有单一模型在所有任务上全面领先。
• 提示工程和少样本示例显著提升了模型在电力领域的专业性和输出格式规范性。

Tech Stack:

• 视觉语言模型（VLM）：CLIP、BLIP系列、InstructBLIP、Flamingo、LLaVA、MiniGPT-4、Qwen-VL等
• 大语言模型（LLM）：作为智能体核心推理引擎
• 检索增强生成（RAG）：结合领域知识库（缺陷评级标准、历史案例库）
• 提示工程：角色定义、任务约束、少样本示例（few-shot）
• 评估指标：BLEU、ROUGE、Pass@k、Elo评分、POPE（幻觉检测）、CHAIR、成功率（SR）、MRR、NDCG、USI、PRM、HCAPO、TTFT、吞吐量等
• 工具调用：JSON结构化命令、API接口、知识库查询、工单生成

Strengths:

• 首次系统性地评估多模态基础模型在配电缺陷检测中的感知、推理和工具使用能力，填补了工业场景评估框架的空白。
• 构建了领域专用数据集和基准，支持可复现的对比实验，具有实用价值。
• 将检索增强生成（RAG）引入推理阶段，有效缓解了通用模型的幻觉问题，提升了领域专业性。
• 设计了清晰的智能体架构，将视觉感知与决策执行闭环连接，为自主巡检提供了可行方案。
• 实验覆盖多种主流模型和架构，结果具有广泛参考意义。

Limitations:

• 数据集规模可能有限，未公开具体数量，泛化性有待验证。
• 评估主要基于离线静态场景，未涉及真实动态环境中的实时交互和鲁棒性测试。
• 工具使用能力仅测试了知识库查询和工单生成等有限动作，未涵盖更复杂的物理操作（如无人机控制）。
• 未深入探讨模型在极端光照、遮挡等恶劣条件下的感知退化问题。
• 缺乏与人类专家在相同任务上的直接对比，难以量化智能体与人类水平的差距。

Relevance To Keywords:

• Unify Models: 论文评估的多模态基础模型（VLM-LLM）属于统一模型范畴，但未涉及理解与生成一体化。
• World Models: 论文未直接涉及世界模型，但推理中的RAG可视为部分环境建模。
• Representation Learning: 感知能力依赖视觉-语言表征学习，但论文未深入探讨表征学习机制。
• Model-Based RL: 论文未涉及强化学习或基于模型的RL，智能体行为基于提示和规则而非学习。
• 原生多模态大模型: 论文评估的LLaVA、Qwen-VL等属于原生多模态大模型，相关性高。
• 多模态大模型的理解和生成一体化: 论文中模型同时具备理解（感知、推理）和生成（描述、工单）能力，但未强调一体化训练。
• 表征学习: 感知部分依赖表征学习，但论文未重点分析。
• 世界模型: 不直接相关。
• 强化学习: 不直接相关。
• 后训练: 论文未涉及后训练技术，仅评估预训练模型。

由异步推理实现的实时执行，能够确保平滑的动作轨迹和快速的反应性，对于大规模视觉 - 语言 - 动作模型（Vision-Language-Action, VLA）的实际部署至关重要。然而，近期关于实时执行的研究主要集中于扩散策略（diffusion policies）的变体，尽管对于自回归策略（autoregressive policies）而言这更为关键，因为它们在同步推理（synchronous inference）下的轨迹展开速度较慢。相比之下，我们证明自回归策略可以通过调整分词范围（tokenization horizon）并应用约束解码（constrained decoding）来实现实时执行，从而保证严格的延迟界限（latency bounds），使得多轨迹解码（multi-trajectory decoding）成为可能，以最大化性能。在模拟环境和真实环境中，我们发现自回归策略始终优于同等水平的流匹配策略（flow-matching policy），同时通过同步推理显著提高了任务完成速度。结合自回归策略固有的优势，例如更快的收敛速度和更好的指令跟随泛化性，这些结果证实了自回归策略可以作为一种支持实时执行的有竞争力的策略类型。

Real-time execution, enabled by asynchronous inference that ensures both smooth action trajectories and fast reactivity, is critical for realistic deployments of large-scale Vision-Language-Action models. However, recent work on real-time execution primarily focuses on variants of diffusion policies, even though it is more critical for autoregressive policies given their slower rollout speed in synchronous inference. In contrast, we demonstrate that autoregressive policies can achieve real-time execution by adjusting the tokenization horizon and applying constrained decoding, thereby guaranteeing strict latency bounds that enable multi-trajectory decoding to maximize performance. Across simulated and real-world environments, we find that the autoregressive policy consistently outperforms its equivalent-level flow-matching policy counterpart while achieving significantly improved task completion speeds from synchronous inference. Coupled with the inherent advantages of autoregressive policies, such as faster convergence and better generalizability in instruction-following, these results confirm that autoregressive policies can remain a competitive policy type supporting real-time execution.

评分理由: 论文聚焦 VLA 模型自回归策略的实时执行。Tokenizer（8 分）因 tokenization horizon 调整高度相关；MultiModal（7 分）因多模态本质相关；Agentic Reasoning（6 分）与 Unify Models（5 分）中度相关；MLLM（5 分）与 Latent Reasoning（5 分）有关联；Visual Encoder（4 分）为背景；World Models（2 分）与 model-based RL（3 分）相关性低。无指定专家，加权总分 67.5，高于及格分 35.2。

Real-Time Execution, Autoregressive Policies, Vision-Language-Action, Tokenization Horizon, Constrained Decoding, Action Trajectories, Instruction-Following

Chinese Title: 基于自回归策略的实时执行

Summary: 本文针对大规模视觉-语言-动作模型（VLA）在机器人部署中因推理延迟导致的动作暂停问题，提出了一种基于自回归策略的实时执行方法。传统方法主要关注扩散策略的异步推理，而自回归策略因顺序解码导致更慢的推理速度，在实时执行中更具挑战性。本文通过调整分词窗口、应用约束解码保证延迟上界、并采用多轨迹解码充分利用空闲计算资源，实现了自回归策略的实时执行。在LIBERO模拟环境和DROID真实环境中的实验表明，该方法在任务成功率和执行速度上均优于同等水平的流匹配策略，且保持了自回归策略在快速收敛和指令跟随泛化方面的优势。

Innovations:

• 提出将自回归策略适配到实时执行的四步方法：选择足够动作窗口、基于半窗口分词、约束解码保证延迟、多轨迹解码提升性能。
• 首次系统论证自回归策略在实时执行中的可行性，并证明其可超越同等水平的流匹配策略。
• 通过调整分词窗口长度（而非完整动作窗口）来控制推理延迟，解决了自回归策略因变长分词导致的延迟不确定性问题。
• 在真实和模拟环境中验证了自回归策略在实时执行下仍保持快速收敛和指令跟随泛化能力。

Methodology: 本文采用异步推理框架，将策略服务器与机器人控制器解耦，通过动作队列（Action Queue）持续提供动作。具体技术路线包括：1）选择动作窗口H=2m，使分词窗口m对应可接受的延迟；2）对每个m窗口进行分词，而非完整H窗口，以支持动作前缀条件化；3）应用约束解码确保解码时间dm ≤ m，避免动作队列耗尽；4）利用同步空闲时间进行多轨迹解码，选择最优轨迹执行。实验基于π0-FAST模型进行微调，与π0+RTC、π0.5等基线对比。

Key Results:

• 在LIBERO和DROID数据集上，π0-REALFAST在实时执行中任务成功率显著优于π0+RTC（流匹配策略）。
• 执行速度（rollout speed）相比同步推理大幅提升，接近更先进的π0.5模型。
• 自回归策略在实时执行下仍保持快速收敛和更好的指令跟随泛化能力。
• 通过调整分词窗口长度，自回归策略可实现与扩散策略相当的推理延迟（约70ms）。

Tech Stack:

• 自回归策略（Autoregressive Policy）
• 离散余弦变换（DCT）分词（FAST+ tokenizer）
• 约束解码（Constrained Decoding）
• 多轨迹解码（Multi-trajectory Decoding）
• 动作队列（Action Queue）
• 异步推理（Asynchronous Inference）
• 动作分块策略（Action Chunking）
• π0-FAST模型
• LIBERO模拟环境
• DROID真实环境

Strengths:

• 首次将自回归策略成功应用于实时执行场景，填补了该领域空白。
• 方法简单有效，仅需微调即可实现，无需重新训练模型。
• 在多个环境（模拟+真实）中验证了泛化性和鲁棒性。
• 系统分析了自回归策略在实时执行中的延迟特性，并提出了针对性的解决方案。

Limitations:

• 依赖预训练的自回归策略模型（如π0-FAST），对从头训练的模型适用性未验证。
• 约束解码和多轨迹解码增加了实现复杂度，可能对计算资源有额外要求。
• 实验主要基于桌面操作任务，在更复杂动态环境中的表现有待进一步验证。
• 未与最新的扩散策略变体（如实时扩散策略）进行充分对比。

Relevance To Keywords:

• Unify Models: 论文涉及视觉-语言-动作模型的统一，属于多模态大模型在机器人领域的应用。
• World Models: 论文未直接涉及世界模型，但异步推理和动作队列可视为对环境的隐式建模。
• Representation Learning: 通过DCT分词和自回归策略学习动作表征，属于表征学习范畴。
• Model-Based RL: 论文未使用强化学习，但多轨迹解码和动作规划与模型预测控制（MPC）思想相关。
• 原生多模态大模型: 论文基于π0-FAST（原生多模态模型）进行实时执行优化。
• 多模态大模型的理解和生成一体化: 论文中的VLA模型同时处理视觉、语言理解和动作生成。
• 表征学习: 动作分词和约束解码涉及动作表征的离散化和压缩。
• 世界模型: 论文未明确使用世界模型，但异步推理依赖对环境的预测。
• 强化学习: 论文未使用强化学习，但多轨迹解码可视为一种规划方法。
• 后训练: 论文通过微调（fine-tuning）实现实时执行，属于后训练阶段优化。

自我与他人的区分是社会智能的先决条件，然而越来越多与人共享工作空间的人形机器人仍缺乏这种能力。本文展示了一种人形机器人可以通过本体感觉 - 视觉对应关系学习自我 - 他人区分，而无需任何身份标签或运动学模型。一旦建立，这种区分将引导出一个预测性自我模型，该模型将关节构型映射到三维身体占据，捕捉机器人身体随动作的变化情况。在涉及人类或形态相同机器人的多智能体场景中，该系统能可靠地识别自身，学习三维自我模型，并支持下游任务，包括目标到达、避障运动规划以及人 - 机器人运动重映射。综上所述，这些结果为在共享物理环境中与他人协同行动的机器人实现身体自我表征指明了一条路径。项目页面：https://euron-zc.github.io/humanoid-self-model/。

Distinguishing self from others is a prerequisite for social intelligence, yet humanoid robots that increasingly share workspaces with humans still lack this ability. Here we show that a humanoid robot can learn self-other distinction from proprioceptive-visual correspondence, without any identity labels or kinematic models. Once established, this distinction bootstraps a predictive self-model that maps joint configurations to three-dimensional body occupancy, capturing how the robot's body changes with action. In multi-agent scenes involving humans or morphologically identical robots, the system reliably identifies itself, learns a 3D self-model, and supports downstream tasks including target reaching, collision-aware motion planning, and human-to-robot motion retargeting. Together, these results outline a route toward bodily self-representation in robots that act and coordinate alongside others in shared physical environments. Project page: https://euron-zc.github.io/humanoid-self-model/.

评分理由: 论文核心在于利用本体感觉与视觉的对应关系构建人形机器人的自我模型。MultiModal (8.0) 和 World Models (8.0) 评分最高，因为论文本质是多模态学习且构建了预测性的身体世界模型。model-based RL (7.0) 相关，因为利用内部模型进行碰撞感知运动规划。Unify Models (5.0) 和 Latent Reasoning (5.0) 中度相关，涉及模态统一与无标签隐式学习。Visual Encoder (6.0) 涉及视觉特征提取。Tokenizer (0.0) 和 MLLM (0.0) 无关，因不涉及文本或语言模型。作者列表中未包含 Yang Shi 等指定专家。

Proprioceptive-visual correspondence, Self-other distinction, Humanoid robots, Predictive self-model, Body occupancy, Motion planning, Multi-modal learning

Chinese Title: 本体感觉-视觉对应使能人形机器人的自我-他人区分

Summary: 该论文提出了一种框架，使人形机器人能够在无身份标签或运动学模型的情况下，仅通过本体感觉信号与视觉观察的对应关系，实现自我-他人区分并学习预测性自我模型。受发展心理学启发，框架先利用时间对比学习（同一帧内本体感觉与视觉匹配，不同帧不匹配）进行自监督的自我区分，再基于区分出的自我掩码训练一个条件神经占据场，将关节配置映射到三维身体占据概率。在29自由度人形机器人上的仿真和真实实验中，系统在人类-机器人及机器人-机器人场景中均达到99.5%以上的区分准确率，并成功支持目标到达、碰撞感知运动规划和人类到机器人运动重定向等下游任务。该工作为机器人从经验中获取身体知识而非手动指定提供了新路径。

Innovations:

• 提出无需身份标签或运动学模型、仅依赖本体感觉-视觉时间对应性的自监督自我-他人区分方法。
• 将自我区分与自我建模解耦，先区分后建模，解决了“先有鸡还是先有蛋”的耦合问题。
• 利用注意力机制融合各候选掩码与本体感觉的相似度，而非简单平均，显著提升了区分鲁棒性。
• 学习无运动学先验的神经占据场作为预测性自我模型，可泛化到不同姿态并支持多种下游任务。
• 在形态完全相同的双机器人场景中验证了方法不依赖外观差异，仅凭本体感觉-视觉对应即可区分。

Methodology: 论文采用自监督对比学习框架。首先，通过两个编码器分别将本体感觉状态和每个候选身体掩码嵌入共享空间，计算每对相似度，再经注意力融合得到帧级分数。利用同一帧内本体感觉与对应掩码匹配、不同帧不匹配的时序不对称性构造对比损失，无需任何标签。然后，将区分出的自我掩码作为监督信号，训练一个以关节配置为条件的神经占据场（Neural Occupancy Field），预测任意3D点属于机器人身体的概率。训练数据来自仿真和真实世界采集的多智能体场景，包括人类-机器人和机器人-机器人两种设置。

Key Results:

• 在人类-机器人场景中，自我区分准确率达99.69%，在机器人-机器人场景中达99.50%，远超VLM基线（最高77.02%）。
• 训练后，同一帧内本体感觉与自我掩码的余弦相似度显著高于与其他机器人掩码或不同帧掩码的相似度。
• t-SNE投影显示，训练后本体感觉嵌入与自我掩码嵌入在空间中聚集，与其他掩码分离。
• 学习到的自我模型可准确预测3D身体占据，并成功用于目标到达、碰撞避免运动规划和人类到机器人运动重定向。
• 在真实世界人类-机器人交互中，框架保持鲁棒，无需重新训练。

Tech Stack:

• 对比学习（Contrastive Learning）
• 注意力机制（Attention Mechanism）
• 神经占据场（Neural Occupancy Field）
• 余弦相似度（Cosine Similarity）
• t-SNE降维（t-SNE Projection）
• ResNet或类似视觉编码器
• MLP或Transformer编码器（用于本体感觉）
• Unitree G1人形机器人（29自由度）
• 固定外部RGB摄像头

Strengths:

• 完全自监督，无需任何人工标注或运动学模型，具有强可扩展性。
• 方法简洁有效，在形态相同和不同的干扰者场景下均表现优异。
• 将认知科学原理（时序对应性）成功迁移到机器人学习，具有跨学科启发性。
• 支持从区分到建模再到下游任务的完整闭环，实用性高。
• 在真实世界和仿真中均验证了鲁棒性，实验设计全面。

Limitations:

• 依赖固定外部摄像头，未考虑机器人自身视角或移动摄像头的情况。
• 当前仅处理单帧静态图像，未利用视频时序连续性进一步优化。
• 自我模型为占据场形式，可能难以直接用于精细操作或接触力预测。
• 在非常复杂或遮挡严重的多智能体场景中，掩码提取可能成为瓶颈。
• 未与基于运动学模型的方法进行定量比较，缺乏基线对比。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但其自监督框架可视为感知与运动表征的统一学习。
• World Models: 学习的自我模型（神经占据场）是一种局部世界模型，预测身体与环境的交互。
• Representation Learning: 核心贡献之一是通过对比学习学习本体感觉与视觉的联合表征。
• Model-Based RL: 自我模型可用于规划（如碰撞避免运动规划），属于模型预测控制范畴，与基于模型的强化学习相关。
• 原生多模态大模型: 论文对比了VLM基线，但方法本身不依赖大模型，而是轻量级自监督学习。
• 多模态大模型的理解和生成一体化: 不直接相关，但本体感觉-视觉对应可视为一种多模态对齐。
• 表征学习: 高度相关，论文核心是学习本体感觉与视觉的对应表征。
• 世界模型: 相关，自我占据场可视为身体与世界交互的预测模型。
• 强化学习: 间接相关，自我模型可辅助强化学习中的状态估计和规划。
• 后训练: 不直接相关，论文方法为从零开始的在线或离线学习。

推理驱动的通用多模态嵌入通过将思维链（CoT）推理引入嵌入流程而迅速发展。尽管该范式在通用及复杂任务上均表现出强大性能，但仍存在两个核心局限性：（i）自回归思维链推理带来高昂的计算成本，使其难以适用于低延迟检索；（ii）嵌入性能与思维链标注质量高度耦合，导致大规模训练不可靠。这引发了根本性问题：文本形式的思维链是嵌入推理的最佳形式吗？有效的嵌入推理能否在潜在空间中完成？为此，我们提出 LaME（潜在推理多模态嵌入），该模型将面向嵌入的潜在推理形式化为弱监督信息瓶颈。LaME 采用 K 个可学习推理令牌作为固定容量瓶颈，并在单次前向传播中完成所有推理过程。这两种弱监督信号在结构上解耦了对比目标与自回归目标，消除了对思维链标注的依赖，同时两阶段训练流程确保了稳定收敛。在 MMEB-v2 和 MRMR 上的实验表明，LaME 实现了具有竞争力的性能，超越了部分基于显式思维链的模型，同时推理速度比显式思维链方法快 60 倍，比潜在基线快 2 倍，且吞吐量与判别式嵌入模型相当。代码将开源。

Reasoning-driven universal multimodal embedding has advanced rapidly by introducing Chain-of-Thought (CoT) reasoning into the embedding pipeline. Despite the strong performance across both general and complex tasks, this paradigm suffers from two core limitations: (i) autoregressive CoT reasoning incurs high computational cost, making it impractical for low-latency retrieval; and (ii) embedding performance is heavily coupled with CoT annotation quality, making large-scale training unreliable. These raise fundamental questions: Is textual CoT the optimal form of reasoning for embedding, and can effective embedding reasoning be accomplished in latent space? To this end, we propose LaME (Latent Reasoning Multimodal Embedding), which formulates embedding-oriented latent reasoning as a weakly supervised information bottleneck. LaME employs K learnable reason tokens as a fixed-capacity bottleneck, completing all reasoning within a single forward pass. The two weak supervision signals structurally decouple contrastive from autoregressive objectives and eliminate dependence on CoT annotations, while a two-stage training pipeline ensures stable convergence. Experiments on MMEB-v2 and MRMR show that LaME achieves competitive performance, surpassing some explicit CoT-based models, while delivering 60x faster inference than explicit CoT methods and 2x faster than latent baselines with throughput comparable to discriminative embedding models. Code will be released.

评分理由: 论文核心贡献在于潜在空间推理（Latent Reasoning）与多模态嵌入（MultiModal），故得分最高；涉及多模态学习框架，故 MLLM 和 Visual Encoder 有一定相关性；未涉及强化学习（model-based RL）或世界模型（World Models），相关性极低；Token 仅指内部推理 token 而非分词器架构，Agentic Reasoning 未涉及代理任务。加权总分为 67.5 分，远超动态及格分 35.2 分。

Latent Reasoning, Multimodal Embedding, Information Bottleneck, Weakly Supervised, Reason Tokens, Inference Efficiency, Single Forward Pass

Chinese Title: LaME：通过信息瓶颈在潜在空间中学习多模态嵌入的思考

Summary: 本文提出LaME（潜在推理多模态嵌入）框架，旨在解决显式链式思维（CoT）推理在多模态嵌入中的高计算成本和依赖CoT注释质量的问题。LaME将嵌入导向的潜在推理建模为弱监督信息瓶颈，通过K个可学习推理令牌作为固定容量瓶颈，在单次前向传播中完成所有推理。双头弱监督信号（解码头和嵌入头）结构性地分离对比目标和自回归目标，消除对CoT注释的依赖；两阶段训练流程（瓶颈预热和联合优化）确保稳定收敛。实验表明，LaME在MMEB-v2和MRMR基准上达到竞争性能，推理速度比显式CoT方法快60倍，比潜在迭代基线快2倍，吞吐量接近判别式嵌入模型。

Innovations:

• 提出将嵌入导向的潜在推理建模为弱监督信息瓶颈，完全解耦内部思考与显式CoT格式，在单次前向传播中完成推理。
• 设计双头瓶颈监督机制，结构性地分离对比监督和生成监督，消除对CoT注释的依赖。
• 采用两阶段训练流程（瓶颈预热+联合优化），确保瓶颈稳定收敛。
• 通过将潜在推理限制在预填充令牌中，实现60倍于显式CoT方法的推理加速，2倍于潜在迭代基线。

Methodology: LaME使用K个可学习推理令牌作为信息瓶颈，附加到MLLM输入后，通过单次前向传播产生隐藏状态。双头监督：解码头从前Kr个潜在令牌解码检索目标（预定义答案和关键词），作为推理探针；嵌入头将剩余Ke个潜在令牌聚合为嵌入，优化检索目标（对比损失）。两阶段训练：第一阶段冻结MLLM骨干，仅优化推理令牌和监督头（瓶颈预热）；第二阶段解冻除视觉编码器外的所有参数，并添加额外嵌入令牌进行目标对比监督（联合优化）。

Key Results:

• 在MMEB-v2和MRMR基准上达到与显式CoT方法竞争的性能，超越部分显式CoT模型。
• 推理速度比显式CoT方法快60倍，比潜在迭代基线快2倍。
• 吞吐量接近判别式嵌入模型，单次前向传播仅需8个推理令牌。
• 两阶段训练有效稳定瓶颈收敛，避免随机初始化导致的早期训练不稳定。

Tech Stack:

• 多模态大语言模型（MLLM）作为骨干网络
• 信息瓶颈（IB）原理
• 可学习推理令牌（reason tokens）
• 因果注意力机制（causal attention）
• 对比学习（InfoNCE损失）
• 自回归解码头（轻量级解码器）
• 两阶段训练策略（瓶颈预热+联合优化）
• MMEB-v2和MRMR基准数据集

Strengths:

• 完全消除对显式CoT注释的依赖，训练更可靠。
• 单次前向推理，计算效率极高，适合低延迟检索场景。
• 双头监督结构清晰，分离对比与生成目标，避免目标冲突。
• 两阶段训练确保瓶颈稳定收敛，提升训练鲁棒性。
• 在保持高性能的同时大幅提升推理速度。

Limitations:

• 推理令牌数量K为超参数，可能对性能敏感，需要调优。
• 两阶段训练增加训练复杂度，需要额外预热阶段。
• 当前仅在两个基准上验证，泛化性有待更多场景测试。
• 与显式CoT方法相比，潜在推理的可解释性较差。
• 可能对复杂多模态推理任务（如长程依赖）存在能力上限。

Relevance To Keywords:

• Unify Models: LaME将多模态理解与生成统一在潜在推理框架中，与统一模型方向高度相关。
• World Models: 潜在推理可视为世界模型的一种简化形式，通过瓶颈压缩输入并预测目标。
• Representation Learning: 核心目标是通过信息瓶颈学习高效的多模态嵌入表示。
• Model-Based RL: 潜在推理与模型预测控制有相似之处，但本文未直接涉及RL。
• 原生多模态大模型: 使用MLLM作为骨干，属于原生多模态大模型的微调应用。
• 多模态大模型的理解和生成一体化: 双头监督同时涉及理解（嵌入）和生成（解码），体现一体化思想。
• 表征学习: 直接优化嵌入表示，属于表征学习范畴。
• 世界模型: 潜在推理可视为对输入-目标映射的内部建模，与世界模型概念相关。
• 强化学习: 本文未使用强化学习，但潜在推理与RL中的隐状态推理有潜在联系。
• 后训练: 采用两阶段微调策略，属于后训练技术。

语义 3D 占据为自动驾驶和机器人决策提供了体素化的世界状态，但物体和稀有类别的错误可能影响自由空间解释、碰撞检测和时序状态传播。我们表明，一种常见的 VLM（视觉语言模型）策略，即将 3D 体素或物体特征与裁剪 - 标题嵌入对齐，提高了文本空间相似性，但并未可靠地提高闭集占据 mIoU。鉴于这种不匹配，我们提出了 VISA，一种用于现有占据世界模型的训练时语义审计方法。VISA 对每个物理物体实例的代表性裁剪查询一个离线 VLM，获得包含类别假设、可能混淆、可靠性、属性和证据的结构化审计，并沿物体轨迹传播该审计。该审计被锚定至匹配的 3D 物体体素，并通过可靠性加权分类法、属性因子和场景级审计图损失蒸馏为语义 logits，而推理保持不变且无需 VLM。在 nuScenes 数据集上，三次运行平均后，VISA 将 OccWorld 的 mIoU 从 19.06 提升至 20.05，将 GaussianWorld 的 mIoU 从 21.36 提升至 21.91；在 GaussianWorld 上，物体 mIoU 从 18.18 提升至 19.16，稀有类别 mIoU 从 15.60 提升至 16.79。这些结果表明，VLM 作为感知可靠性的语义审计器比作为通用的标题嵌入目标更适合闭集占据任务。

Semantic 3D occupancy provides a voxelized world state for autonomous driving and robot decision making, but object and rare-class errors can affect free-space interpretation, collision checking, and temporal state propagation. We show that a common VLM strategy, aligning 3D voxel or object features with crop-caption embeddings, improves text-space similarity without reliably improving closed-set occupancy mIoU. Motivated by this mismatch, we propose VISA, a training-time semantic auditing approach for existing occupancy world models. VISA queries an offline VLM on a representative crop of each physical object instance, obtains a structured audit with class hypotheses, plausible confusions, reliability, attributes, and evidence, and propagates it along the object track. The audit is grounded to matched 3D object voxels and distilled into semantic logits through reliability-weighted taxonomy, attribute-factor, and scene-level audit graph losses, while inference remains unchanged and requires no VLM. On nuScenes, averaged across three runs, VISA improves OccWorld from 19.06 to 20.05 mIoU and GaussianWorld from 21.36 to 21.91 mIoU; on GaussianWorld, object mIoU improves from 18.18 to 19.16 and rare-class mIoU from 15.60 to 16.79. These results suggest that VLMs are better suited to closed-set occupancy as reliability-aware semantic auditors than as generic caption-embedding targets.

评分理由: 论文核心贡献在于利用 VLM 对 3D 占据世界模型进行语义审计。World Models (9.0) 和 MLLM (8.0) 高度相关，因标题和摘要均明确提及世界模型与视觉语言模型。MultiModal (8.0) 涉及 3D 视觉与语言信息的融合。Unify Models (5.0) 结合了 VLM 与占据模型，但未形成统一架构。Tokenizer (1.0) 和 Visual Encoder (3.0) 仅为 VLM 内部组件，非本文贡献。model-based RL (3.0) 为背景应用方向，非方法核心。Latent Reasoning (4.0) 涉及语义推理，Agentic Reasoning (2.0) 与本文感知任务无关。作者列表中未包含指定的 Yang Shi 等专家，故无加分。

3D Occupancy, World Models, VLM, Semantic Auditing, Rare-class, Distillation, Autonomous Driving

Chinese Title: VISA：基于VLM引导的实例语义审计用于3D占据世界模型

Summary: 本文提出VISA，一种训练时语义审计方法，用于改进现有3D占据世界模型的语义预测性能。研究背景表明，通用VLM策略（如将3D体素或物体特征与裁剪图像描述嵌入对齐）虽能提升文本空间相似度，但无法可靠提升封闭集占据mIoU。VISA通过离线VLM对每个物理实例的代表性裁剪图像进行结构化审计，获取类别假设、可能混淆、可靠性、属性和证据，并将审计信息沿物体轨迹传播，仅匹配到对应的3D物体体素。训练时，通过可靠性加权的分类学、属性因子和场景级审计图损失将审计信息蒸馏到语义logits中，推理时无需VLM。在nuScenes数据集上，VISA将OccWorld的mIoU从19.06提升至20.05，GaussianWorld从21.36提升至21.91，物体类和稀有类mIoU显著提升。结论表明，VLM更适合作为可靠性感知的语义审计器，而非通用描述嵌入目标。

Innovations:

• 诊断了通用VLM监督在占据任务中的失效模式：开放词汇描述/特征对齐优化文本空间目标，但与封闭集体素级语义预测弱耦合。
• 提出VISA训练时语义审计方法，将VLM裁剪图像理解转化为可靠性感知的封闭集分类学和视觉因子监督，替代通用描述嵌入。
• 提出审计到占据的物理实例接地：审计随时间与同一物体关联，仅应用于匹配的3D物体体素，并通过场景级审计图组织共现物体。
• 验证VISA作为现有占据世界模型的训练时监督，在nuScenes上显著提升语义mIoU，且推理时无VLM开销。

Methodology: VISA包含四个主要技术组件：1) 离线实例审计生成：对每个物体实例的裁剪图像使用VLM获取结构化审计元组（类别假设、可能混淆、可靠性、属性、证据）。2) 轨迹到体素接地：将审计与同一物理物体轨迹关联，仅应用于匹配的3D物体体素集。3) 可靠性加权分类学和属性因子蒸馏：通过加权损失将审计信息蒸馏到体素语义logits中。4) 场景级审计图正则化：对共现审计物体施加图结构约束。训练时，VISA损失与标准占据损失联合优化，推理时保持原模型不变。

Key Results:

• 在nuScenes数据集上，三次运行平均，VISA将OccWorld的语义mIoU从19.06提升至20.05（+0.99），GaussianWorld从21.36提升至21.91（+0.55）。
• GaussianWorld上，物体类mIoU从18.18提升至19.16（+0.98），稀有类mIoU从15.60提升至16.79（+1.19）。
• OccWorld上，物体类mIoU提升+1.40，稀有类mIoU提升+1.42。
• 诊断实验表明，通用描述对齐（caption alignment）和语义原型蒸馏（semantic prototype distillation）均无法提升占据mIoU，验证了VLM作为审计器的有效性。

Tech Stack:

• VLM（视觉语言模型，如GPT-4V等）用于离线结构化审计
• 3D占据世界模型（OccWorld, GaussianWorld）
• 交叉熵损失和Lovasz损失用于标准占据训练
• 余弦相似度用于特征对齐诊断
• 可靠性加权分类学损失、属性因子损失、场景级审计图损失
• JSON解析用于结构化审计元组提取
• 物体轨迹匹配与体素接地（3D物体体素集定义）

Strengths:

• 创新性地将VLM从嵌入目标转为语义审计器，解决了通用VLM监督与封闭集占据任务不匹配的问题。
• 训练时审计，推理时无额外开销，易于集成到现有占据世界模型中。
• 结构化审计元组（类别、混淆、可靠性、属性）提供了比自由描述更丰富且可接地的监督信号。
• 在多个基线模型和物体/稀有类上取得一致且显著的mIoU提升，实验充分。

Limitations:

• 依赖离线VLM审计，审计质量受VLM能力影响，可能引入噪声或错误。
• 仅对物体实例进行审计，未覆盖背景、自由空间等区域，可能限制整体场景语义提升。
• 需要物体轨迹和3D框标注作为输入，增加了训练数据预处理要求。
• 在nuScenes单一数据集上验证，泛化性需在其他数据集或真实场景中进一步测试。

Relevance To Keywords:

• Unify Models: 论文涉及3D占据世界模型与VLM的融合，但VLM仅用于离线审计，未实现统一模型。
• World Models: 核心研究对象是3D占据世界模型（OccWorld, GaussianWorld），VISA改进其语义预测。
• Representation Learning: VISA通过审计蒸馏学习更鲁棒的体素语义表示。
• Model-Based RL: 占据世界模型可用于规划和控制，但论文未直接涉及强化学习。
• 原生多模态大模型: VLM作为多模态大模型被用作审计器，但非原生集成。
• 多模态大模型的理解和生成一体化: VLM用于理解（审计），未涉及生成。
• 后训练: VISA是训练时方法，非后训练阶段。

视觉 - 语言模型（VLMs）实现了强大的单次空间定位，但缺乏观察和纠正自身预测的机制。我们发现，简单地提示 VLM 迭代其预测的渲染可视化会导致灾难性失败：指称表达理解任务上的 [email protected] 从 79.6% 急剧下降至 48.7%（下降了 31 个百分点），揭示了定位能力与自我纠正能力之间存在根本性差距。我们提出迭代视觉思考（IVT），这是一种闭环框架，在该框架中，模型预测一个边界框，观察图像上渲染的预测结果，并通过视觉反馈进行迭代细化。该框架采用一种两阶段训练方案以弥补自我纠正差距：首先，我们利用基础模型自身的预测作为真实错误，并提示教师 VLM 生成纠正性推理轨迹，从而无需人工标注即可生成监督数据；其次，我们应用群体相对策略优化（GRPO）配合简单的交并比（IoU）奖励以稳定多步细化过程。在涵盖 RefCOCOg、Ref-Adv 和 Ref-L4 的混合基准（505 个测试样本）上，基于 IVT 的监督微调（SFT）热身在所有指标上均优于单次基准模型：[email protected] 提升至 82.0%（+2.4 个百分点），[email protected] 提升至 74.1%（+3.2 个百分点），[email protected] 提升至 48.3%（+2.8 个百分点）。GRPO 进一步将每步 IoU 退化降低了 5 倍，从而稳定了细化轨迹。所有训练仅在单个图形处理器（GPU）上使用 2,400 个样本完成，表明空间自我纠正是一种可学习的能力，可以在适度规模下习得。

Vision-language models (VLMs) achieve strong singleshot spatial grounding, yet lack any mechanism to observe and correct their own predictions. We find that naively prompting a VLM to iterate over rendered visualizations of its predictions causes catastrophic failure: [email protected] on referring expression comprehension collapses from 79.6% to 48.7% (a 31 percentage point drop), revealing a fundamental gap between grounding capability and self-correction ability. We propose Iterative Visual Thinking (IVT), a closed-loop framework in which the model predicts a bounding box, observes the prediction rendered on the image, and iteratively refines through visual feedback. A two-phase training recipe closes the self-correction gap: first, we exploit the base model's own predictions as realistic errors and prompt a teacher VLM to generate corrective reasoning traces, yielding supervised data without human annotation; second, we apply Group Relative Policy Optimization (GRPO) with a simple IoU reward to stabilize multi-step refinement. On a mixed benchmark spanning RefCOCOg, Ref-Adv, and Ref-L4 (505 test samples), SFT warm-up with IVT surpasses the single-shot base model on every metric: [email protected] rises to 82.0% (+2.4pp), [email protected] to 74.1% (+3.2pp), and [email protected] to 48.3% (+2.8pp). GRPO further reduces per-step IoU degradation by 5x, stabilizing the refinement trajectory. All training uses only 2,400 samples on a single GPU, demonstrating that spatial self-correction is a learnable capability that can be instilled at modest scale.

评分理由: 论文核心针对视觉语言模型（MLLM, MultiModal）的空间自纠错能力，故这两项得分最高。提出的闭环反馈机制（预测 - 观察 - 修正）符合代理推理（Agentic Reasoning）的特征，且使用了推理轨迹（Latent Reasoning）。论文未涉及模型统一架构、分词器设计、视觉编码器架构改进或世界模型构建，强化学习部分为策略优化（GRPO）而非模型基强化学习，故相关度较低。作者列表中不包含指定的专家，无额外加分。加权总分 63.0，高于动态及格分 35.2。

Iterative Visual Thinking, Vision-Language Models, Spatial Self-Correction, Visual Feedback, Group Relative Policy Optimization, Referring Expression Comprehension, Closed-loop Framework

Chinese Title: 迭代视觉思维：通过视觉反馈教会视觉语言模型空间自我修正

Summary: 本文提出迭代视觉思维（IVT）框架，旨在赋予视觉语言模型（VLM）空间自我修正能力。研究发现，直接让VLM迭代观察自身预测的渲染结果会导致性能灾难性下降（[email protected]从79.6%降至48.7%），揭示了基础定位能力与自我修正能力之间的根本差距。IVT采用闭环流程：模型预测边界框、观察渲染结果、通过视觉反馈迭代优化。两阶段训练方案弥补了这一差距：首先利用基础模型自身预测作为真实错误，引导教师VLM生成修正推理轨迹，无需人工标注；然后应用组相对策略优化（GRPO）配合简单的IoU奖励稳定多步优化。在RefCOCOg、Ref-Adv和Ref-L4混合基准测试（505个样本）上，SFT预热后IVT在所有指标上超越单次基础模型：[email protected]提升至82.0%（+2.4pp），[email protected]至74.1%（+3.2pp），[email protected]至48.3%（+2.8pp）。GRPO进一步将每步IoU退化降低5倍，稳定优化轨迹。全部训练仅使用2400个样本和单GPU，证明空间自我修正是可学习的能力，且能以较小规模灌输。

Innovations:

• 提出IVT闭环空间推理框架，使VLM通过观察自身预测的渲染结果进行迭代自我修正，并揭示VLM原生不具备此能力（性能下降31pp）。
• 提出自引用数据合成策略：利用基础VLM自身空间预测作为步骤0错误，避免人工标注修正轨迹，并发现使用随机扰动GT框会导致GRPO阶段步骤0放水问题。
• 两阶段训练方案（SFT+GRPO）实现非对称分工：SFT是主要推动力，教授迭代视觉思维结构并驱动所有精度提升；GRPO贡献优化稳定性，将每步IoU退化降低5倍。
• 仅用2400个训练样本和单GPU即可超越单次基础模型所有指标，证明空间自我修正能力可在小规模下习得。

Methodology: 论文采用两阶段训练方法。第一阶段SFT预热：使用学生模型自身预测作为初始错误，通过插值向GT框逼近形成修正轨迹，再让教师VLM生成逐步推理痕迹，用交叉熵损失训练学生模型。第二阶段GRPO微调：从SFT初始化策略出发，对每个提示采样N=6条轨迹，以最终步骤IoU加格式奖励作为奖励信号，使用组相对优势进行策略梯度更新，并加入KL正则化。推理时，模型在单轮对话中生成初始预测，然后循环执行渲染、注入、优化三步，每一步将前一步预测渲染为红色半透明框叠加在原图上作为视觉反馈。

Key Results:

• 直接迭代导致[email protected]从79.6%降至48.7%（下降31pp），揭示空间自我修正差距。
• SFT预热后IVT在所有指标上超越单次基础模型：[email protected] 82.0%（+2.4pp），[email protected] 74.1%（+3.2pp），[email protected] 48.3%（+2.8pp）。
• GRPO将每步IoU退化从0.14降至0.03（降低5倍），稳定优化轨迹。
• 无SFT预热时GRPO产生退化停滞（模型每步复制首次预测）。
• 使用学生预测而非随机扰动GT框作为步骤0错误，避免了GRPO阶段的步骤0放水问题。
• 全部训练仅使用2400个样本和单GPU。

Tech Stack:

• Qwen3-VL-4B-Instruct作为基础VLM
• LoRA（低秩适配）微调
• 4-bit量化（NF4）
• 组相对策略优化（GRPO）
• IoU（交并比）作为奖励函数
• 交叉熵损失用于SFT
• KL正则化防止策略偏移
• 边界框坐标归一化到[0,1000]整数表示

Strengths:

• 揭示了VLM在空间自我修正上的根本差距，并提供了可复现的解决方案。
• 数据合成策略无需人工标注，利用模型自身预测生成真实错误，实用性强。
• 两阶段训练设计合理，SFT提供结构知识，GRPO提供稳定性，互补效果好。
• 仅需少量数据（2400样本）和单GPU即可显著提升性能，资源需求低。
• 在多个基准测试上全面超越单次模型，证明了方法的有效性。

Limitations:

• 实验仅基于Qwen3-VL-4B模型，未验证在其他VLM上的泛化性。
• 训练数据量较小（2400样本），可能未覆盖所有错误模式。
• GRPO阶段精度略低于SFT单独结果，表明稳定性与精度之间存在权衡。
• 迭代步骤数固定（T=3），未探索自适应步数或动态停止机制。
• 仅针对空间定位任务，未扩展到其他视觉推理任务（如视觉问答、目标检测）。

Relevance To Keywords:

• Unify Models: 论文使用统一视觉语言模型（Qwen3-VL）进行空间定位与自我修正，体现了多模态模型的统一能力。
• World Models: IVT通过渲染预测框作为视觉反馈，使模型能够观察自身预测结果，类似于世界模型中的自我模拟与修正。
• Representation Learning: 模型学习如何从渲染的视觉反馈中提取空间错误信息并更新表示，涉及表征学习。
• Model-Based RL: 两阶段训练中GRPO属于强化学习，且IVT闭环过程类似于基于模型的强化学习中的规划与修正。
• 原生多模态大模型: 论文基于原生多模态大模型Qwen3-VL，并扩展其能力。
• 多模态大模型的理解和生成一体化: 模型同时理解图像和文本，并生成边界框和推理文本，体现理解与生成一体化。
• 强化学习: GRPO是强化学习方法，用于优化多步修正策略。
• 后训练: SFT和GRPO均为后训练阶段，在预训练模型基础上进行微调。

JEPA 家族的世界模型使用静态预测器，其权重在测试时动力学偏离训练分布时不会自适应调整。我们在分布偏移下比较了两种将累积经验纳入 JEPA 预测器的机制：操作数侧注入（EI-JEPA），即将压缩的经验表示作为残差添加到预测器的隐藏状态中；以及算子侧调制（EPM-JEPA），即通过应用于预测器权重的 LoRA，由同一表示生成低秩权重增量。在预注册比较（Moving MNIST，重力偏移）中，EPM-JEPA（D_shift^{n=50} = 0.7848 +/- 0.0078，三个随机种子）与 EI-JEPA（0.8238）的差异为 delta = 4.74% —— 结果 C：一个零结果 —— 根据我们设定的标准，这是一个有效结果。作为一个次要的、非预注册的观察结果，EPM-JEPA 在无记忆基线（0.8000）上提升了 1.90%，且在各个随机种子上一致，而 EI-JEPA 表现逊于基线，表明该收益特定于权重级调制。我们的主要贡献是机制分析：D_shift^{n=50} 轨迹反映了三个独立的动力学过程——缓冲区循环、EMA 目标漂移以及一个内在的 LoRA 稳定瞬态（settling transient，+0.021）——而非收敛至平衡。这些发现启发了 PEM-JEPA，这是一个基于物理的后续模型，旨在解决这一动力学峰值限制。

JEPA-family world models use a static predictor whose weights do not adapt when test-time dynamics diverge from training. We compare two mechanisms for incorporating accumulated experience into a JEPA predictor under distribution shift: operand-side injection, where a compressed experience representation is added as a residual to the predictor's hidden state (EI-JEPA), and operator-side modulation, where the same representation generates low-rank weight deltas via LoRA applied to the predictor's weights (EPM-JEPA). On a pre-registered comparison (Moving MNIST, gravity shift), EPM-JEPA (D_shift^{n=50} = 0.7848 +/- 0.0078, three seeds) differs from EI-JEPA (0.8238) by delta = 4.74% - Outcome C: a null result - by our stated criterion, a valid outcome. As a secondary, non-pre-registered observation, EPM-JEPA improves 1.90% over a no-memory baseline (0.8000), consistently across seeds, while EI-JEPA underperforms the baseline, indicating the benefit is specific to weight-level modulation. Our primary contribution is a mechanism analysis: the D_shift^{n=50} trajectory reflects three independent dynamical processes - buffer cycling, EMA target drift, and an intrinsic LoRA settling transient of +0.021 - rather than convergence to equilibrium. These findings motivate PEM-JEPA, a physics-grounded successor addressing this dynamical-peak limitation.

评分理由: 论文核心聚焦于 JEPA 家族世界模型（World Models），涉及潜在空间预测（Latent Reasoning）及分布偏移下的权重调制，与 model-based RL 背景强相关。Tokenizer、Agentic Reasoning 未在摘要中体现，相关性较低。作者 Vedant Pandya 不包含指定的专家列表，未触发专家加分。

JEPA-family world models, Operator-Side Experience Modulation, Distribution Shift, LoRA, Weight Modulation, Moving MNIST, Experience Modulation

Chinese Title: EPM-JEPA：JEPA系列世界模型中的操作者侧经验调制

Summary: 本文针对JEPA家族世界模型中预测器权重在测试时分布偏移下无法自适应的问题，比较了两种将累积经验融入预测器的机制：操作数侧注入（EI-JEPA，将压缩经验表示作为残差添加到预测器隐藏状态）和操作者侧调制（EPM-JEPA，通过LoRA生成低秩权重增量）。在Moving MNIST重力偏移任务上的预注册对比中，EPM-JEPA与EI-JEPA的差异δ=4.74%（小于5%），结果为无效（Outcome C），但EPM-JEPA相比无记忆基线提升1.90%，而EI-JEPA低于基线。主要贡献是机制分析：性能轨迹由缓冲区循环、EMA目标漂移和LoRA暂态三个独立动态过程驱动，而非收敛到平衡。这些发现直接启发了后续的PEM-JEPA模型。

Innovations:

• 提出操作者侧经验调制（EPM-JEPA），通过LoRA在线生成权重增量，与传统的操作数侧注入（EI-JEPA）形成对比。
• 在JEPA框架中引入在线经验缓冲区、边界检测器和注意力聚合，使预测器能根据最近分布历史自适应。
• 发现LoRA调制与EMA目标网络、VICReg方差正则化之间的相互作用导致性能轨迹呈现动态峰值而非稳定平衡，揭示了结构性的张力。
• 诚实报告预注册无效结果，强调机制分析而非假说验证是科学贡献。

Methodology: 采用三轨架构对比：Track A（Vanilla JEPA无记忆）、Track B（EI-JEPA，经验残差注入）、Track C（EPM-JEPA，LoRA权重调制）。所有轨道共享编码器、EMA目标编码器、预测器基座和经验编码管线。使用Moving MNIST数据集，训练于无重力世界，测试于重力0.5 px/frame²的偏移世界。经验子系统包括边界检测器（基于批平均预测误差的EMA统计）、FIFO缓冲区（容量256）、2层Transformer经验编码器和注意力聚合。训练损失为预测MSE加VICReg方差正则项（λ=0.05, γ=0.75）。超参数通过Phase 1顺序调优确定。

Key Results:

• 预注册测试：EPM-JEPA（Track C）与EI-JEPA（Track B）的差异δ=4.74%，小于5%阈值，结果为无效（Outcome C）。
• 次要观察：EPM-JEPA相比无记忆基线（Track A）提升1.90%，且三个种子一致；EI-JEPA低于基线。
• 机制分析：性能轨迹由三个独立动态过程驱动——缓冲区循环（周期约50步）、EMA目标漂移（余弦调度导致）和LoRA暂态（初始+0.021的峰值），而非收敛到平衡。
• LoRA调制与VICReg方差正则化存在结构性张力：LoRA收敛窗口收缩输出流形，导致方差下降，无法仅通过调节λ解决。

Tech Stack:

• JEPA（Joint-Embedding Predictive Architecture）
• LoRA（Low-Rank Adaptation）
• EMA（Exponential Moving Average）目标网络
• VICReg（Variance-Invariance-Covariance Regularization）方差正则项
• Transformer（2层，d=64，2头注意力）
• AdamW优化器
• 余弦退火学习率调度（含热重启）
• 边界检测器（基于EMA统计的异常检测）
• FIFO经验缓冲区（容量256）
• 注意力聚合（单头soft attention）
• Moving MNIST数据集（自定义重力偏移）

Strengths:

• 清晰对比了两种记忆注入方式（操作数侧 vs 操作者侧），实验设计严谨。
• 诚实报告预注册无效结果，强调机制分析的科学价值，避免发表偏倚。
• 深入分析了LoRA、EMA和VICReg之间的动态交互，揭示了非平衡性能轨迹的成因。
• 代码和实验设置透明，便于复现和后续研究。

Limitations:

• 仅在单一合成任务（Moving MNIST重力偏移）上验证，泛化性未知。
• LoRA暂态导致性能峰值而非稳定提升，实际应用中需要额外机制维持性能。
• 计算资源有限（GTX 1050 Ti），可能影响长时间运行的热稳定性。
• 未在更复杂的世界模型（如V-JEPA）或真实视频数据上测试。

Relevance To Keywords:

• 世界模型：论文直接研究JEPA家族世界模型在分布偏移下的自适应问题。
• 表征学习：使用JEPA的潜在空间预测和VICReg正则化。
• 模型基RL：世界模型是模型基强化学习的核心组件，本文的在线自适应机制有潜在应用。
• 后训练：LoRA调制可视为一种后训练适应方法，但本文强调在线而非离线。
• 多模态大模型：虽然本文仅处理视觉，但JEPA框架可扩展至多模态，经验调制思想具有通用性。

空间推理（Spatial reasoning），即确定物体位置、相互关系及三维运动的能力，仍然是视觉 - 语言模型（VLMs）面临的一项根本性挑战。工具增强代理（Tool-augmented agents）试图通过为 VLMs 配备专业感知模块来解决这一问题，但其有效性受限于调用这些工具的动作接口。本文研究了该接口的设计如何塑造代理进行开放式空间推理的能力。现有的空间代理要么采用单遍代码执行（single-pass code execution），即在观察到任何中间结果前就确定了完整的分析策略；要么依赖结构化工具调用接口，这通常限制了自由组合操作或根据每个任务定制分析的灵活性。这两种设计在面对开放式、复杂的三维/四维空间推理时，均提供了有限的灵活性。因此，本文提出 SpatialClaw，这是一个无需训练的空间推理框架，它采用代码作为动作接口。SpatialClaw 维护一个有状态的 Python 内核，预先加载输入帧以及一套感知和几何原语，使基于 VLM 的代理能够在每个步骤根据所有先前输出编写一个可执行单元格，从而让代理能够灵活地组合和操作感知结果，并根据中间文本和视觉观察以及每个问题的需求调整其分析。在涵盖广泛静态和动态三维/四维空间推理任务的 20 个空间推理基准上评估，SpatialClaw 达到了 59.9% 的平均准确率，比最近的代理高出 11.2 个百分点，且在两个模型家族的六个 VLM 骨干上均保持一致的增益，无需针对任何基准或模型进行特定适配。

Spatial reasoning, the ability to determine where objects are, how they relate, and how they move in 3D, remains a fundamental challenge for vision-language models (VLMs). Tool-augmented agents attempt to address this by augmenting VLMs with specialist perception modules, yet their effectiveness is bounded by the action interface through which those tools are invoked. In this work, we study how the design of this interface shapes the agent's capacity for open-ended spatial reasoning. Existing spatial agents either employ single-pass code execution, which commits to a full analysis strategy before any intermediate result is observed, or rely on a structured tool-call interface that often offers less flexibility for freely composing operations or tailoring the analysis to each task. Both designs offer limited flexibility for open-ended, complex 3D/4D spatial reasoning. We therefore propose SpatialClaw, a training-free framework for spatial reasoning that adopts code as the action interface. SpatialClaw maintains a stateful Python kernel pre-loaded with input frames and a suite of perception and geometry primitives, letting a VLM-backed agent write one executable cell per step conditioned on all prior outputs, enabling the agent to flexibly compose and manipulate perception results and adapt its analysis to both intermediate text and visual observations and the demands of each problem. Evaluated across 20 spatial reasoning benchmarks spanning a broad range of static and dynamic 3D/4D spatial reasoning tasks, SpatialClaw achieves 59.9% average accuracy, outperforming the recent spatial agent by +11.2 points, with consistent gains across six VLM backbones from two model families without any benchmark- or model-specific adaptation.

评分理由: 论文核心聚焦于视觉语言模型（MLLM/MultiModal）在空间推理中的代理行为（Agentic Reasoning），提出代码作为动作接口，与 Tokenizer、World Models 及传统强化学习机制关联较弱，因此相关度评分呈现两极分化。

Spatial Reasoning, Agentic Reasoning, Vision-Language Models, Code as Interface, 3D/4D Reasoning, Training-free Framework, Perception Primitives

Chinese Title: SpatialClaw：重新思考智能体空间推理的动作接口

Summary: 空间推理是视觉语言模型（VLM）面临的基础挑战。现有工具增强型智能体通过调用专业感知模块来辅助VLM，但其效果受限于动作接口的设计：单次代码执行需在观察中间结果前提交完整策略，结构化工具调用则缺乏灵活组合能力。为此，本文提出SpatialClaw，一种无需训练的空间推理框架，将代码作为动作接口。SpatialClaw维护一个持久化Python内核，预加载输入帧和感知/几何原语，允许VLM智能体逐步编写可执行代码单元，并基于先前输出灵活组合和修正分析。在20个空间推理基准上，SpatialClaw平均准确率达59.9%，超越最新空间智能体11.2个百分点，并在多个VLM骨干上取得一致提升，无需任何基准或模型特定调整。

Innovations:

• 重新定义空间推理智能体的动作接口：提出以代码作为动作接口，替代单次代码执行和结构化工具调用，实现灵活迭代组合。
• 持久化内核工作空间：维护跨步骤的Python内核状态，使中间结果（如掩码、深度图）作为变量持续可用，支持逐步修正。
• 无需训练的通用框架：无需针对特定基准或模型进行微调，即可在多种VLM骨干上取得一致性能提升。
• 全面的基准评估：在20个空间推理基准上验证，覆盖静态/动态3D/4D任务，展示广泛的适用性。

Methodology: SpatialClaw采用训练无关的智能体循环框架。首先为每个示例初始化持久化Python内核，预加载输入帧、感知模块（如深度估计、分割）和科学计算库（NumPy、SciPy、Matplotlib）。然后通过五阶段循环运行：规划器生成分析计划，主智能体逐步编写并执行Python代码单元，反馈（标准输出、变量摘要、可视化图像）被追加到模型上下文，直至智能体提交答案或达到最大步数。整个过程无需模型微调，仅依赖通用系统提示。

Key Results:

• 在20个空间推理基准上平均准确率达59.9%，超越最新空间智能体SpaceTools-Toolshed（48.7%）11.2个百分点。
• 在动态4D视频推理和多视角推理任务上提升最大，这些任务需要跨帧和视角的链式几何计算。
• 在Qwen和Gemma4两个模型家族（27B至397B参数）上均取得一致性能提升，无需任何基准或模型特定调整。
• 消融实验表明，即使移除所有预定义工具包装器，代码作为动作接口仍能保持优势。

Tech Stack:

• Python持久化内核
• 感知模块：分割（如SAM）、深度估计、相机姿态估计、轨迹估计
• 科学计算库：NumPy、SciPy、Matplotlib
• 几何算法：scipy.spatial.KDTree、RANSAC
• VLM骨干：Qwen系列、Gemma4系列
• 代码生成与执行循环

Strengths:

• 动作接口设计创新：代码作为接口提供了比结构化调用更高的灵活性和表达能力，支持复杂组合。
• 通用性强：无需训练或微调，即可跨多个VLM骨干和广泛基准取得一致提升。
• 可解释性：中间结果可视化（如深度图、掩码）使推理过程透明，便于调试和修正。
• 全面评估：覆盖20个基准，包括静态、动态、多视角等多样任务，验证了方法的鲁棒性。

Limitations:

• 依赖代码生成能力：智能体的性能受限于底层VLM的代码生成质量，对于复杂逻辑可能产生错误代码。
• 计算开销：持久化内核和多次代码执行可能增加推理时间和资源消耗。
• 未涉及训练：虽然无需训练是优点，但可能限制了通过后训练进一步优化性能的潜力。
• 工具集固定：感知模块和库是预定义的，对于全新类型的空间推理任务可能需要扩展工具集。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL：SpatialClaw通过代码接口组合感知和几何原语，隐式构建了空间世界模型，与表征学习和世界模型相关。
• 原生多模态大模型，多模态大模型的理解和生成一体化：框架增强了VLM的空间理解能力，但未涉及生成一体化。
• 表征学习：通过中间变量（深度、掩码）显式表示空间特征，与表征学习理念一致。
• 强化学习，后训练：当前为训练无关框架，但未来可结合后训练或RL优化代码生成策略。

格兰杰因果发现（GCD）是分析复杂系统中时间依赖性的基础。然而，现有的神经 GCD 方法主要依赖“一刀切”范式，难以捕捉真实世界时间序列中固有的分布偏移和动态体制变化。这往往导致纠缠表示和虚假因果图。本文提出 CausalMoE，一个十亿级多模态格兰杰因果基础模型，显式建模块级异质性。CausalMoE 引入了一种模式路由异构专家混合（Pattern-Routed Mixture of Heterogeneous Experts），动态识别潜在时间模式并将块路由至专用领域专家，有效解耦了体制特异性机制与共享动力学。为确保可解释的图恢复，我们设计了跨变量的因果感知自注意力机制（Causality-Aware Self-Attention mechanism），通过近端优化生成稀疏格兰杰因果图。此外，CausalMoE 首次整合大语言模型（LLMs）和视觉语言模型（VLMs），将数值信号与文本及视觉先验对齐，从而在复杂场景中正则化因果估计。广泛实验表明，CausalMoE 在全监督基准上建立了新的最先进水平，同时在传统方法失效的少样本设置中也能有效泛化。

Granger Causal Discovery (GCD) is fundamental for analyzing temporal dependencies in complex systems. However, existing neural GCD methods predominantly rely on a "one-size-fits-all" paradigm, struggling to capture distribution shifts and dynamic regime changes inherent in real-world time series. This often leads to entangled representations and spurious causal graphs. In this paper, we propose CausalMoE, a billion-scale multimodal Granger causal foundation model that explicitly models patch-level heterogeneity. CausalMoE introduces a Pattern-Routed Mixture of Heterogeneous Experts, which dynamically identifies latent temporal patterns and routes patches to specialized domain experts, effectively decoupling regime-specific mechanisms from shared dynamics. To ensure interpretable graph recovery, we design a Causality-Aware Self-Attention mechanism operating across variables, yielding sparse Granger causal graphs via proximal optimization. Furthermore, CausalMoE is the first to integrate LLMs and VLMs to align numerical signals with textual and visual priors, regularizing causal estimation in complex scenarios. Extensive experiments demonstrate that CausalMoE establishes a new state-of-the-art on fully supervised benchmarks, while effectively generalizing to few-shot settings where traditional methods fail.

评分理由: 论文核心为格兰杰因果发现，属于多模态基础模型，故 MultiModal (9.0) 和 MLLM (8.0) 得分最高。模型通过混合专家处理潜在模式，故 Latent Reasoning (7.0) 和 Unify Models (7.0) 相关。Visual Encoder 作为 VLM 组件部分相关 (5.0)。Tokenizer 未明确提及 (2.0)，World Models 关联弱 (2.0)。论文聚焦时间序列因果分析，与强化学习 (model-based RL) 及代理推理 (Agentic Reasoning) 无关 (0.0)。作者列表中未包含指定的专家，故无额外加分。

Granger Causal Discovery, Multimodal Foundation Model, Mixture of Experts, Pattern-Routed, LLM and VLM Integration, Causality-Aware Self-Attention, Few-shot Generalization

Chinese Title: CausalMoE：面向格兰杰因果发现的十亿级多模态基础模型与模式路由异构专家

Summary: 本文提出CausalMoE，一个十亿级多模态格兰杰因果发现基础模型，旨在解决现有方法在时间序列中忽略分布偏移和动态机制变化导致的因果图混杂问题。CausalMoE引入模式路由混合异构专家（MoHE）架构，动态识别潜在时间模式并将补丁路由至专门领域专家，从而解耦机制特定动力学与共享动力学。同时设计因果感知自注意力机制，通过近端优化生成稀疏格兰杰因果图。此外，CausalMoE首次将大语言模型（LLM）和视觉语言模型（VLM）集成到因果发现循环中，对齐数值信号与文本、视觉先验，提升复杂场景下的因果估计。实验表明，CausalMoE在全监督基准上达到新最优，并在传统方法失效的少样本设置下有效泛化。

Innovations:

• 提出模式路由混合异构专家（MoHE）架构，显式建模补丁级时间异质性，解耦机制特定因果与共享动力学。
• 首次将LLM和VLM集成到格兰杰因果发现流程中，利用多模态语义先验消除数值数据无法识别的因果歧义。
• 设计因果感知自注意力机制结合近端优化，恢复稀疏可解释的格兰杰因果图。
• 构建十亿级多模态因果基础模型，实现少样本因果推断，突破传统方法对均匀分布假设的依赖。

Methodology: CausalMoE采用三模块架构：1）多模态补丁编码：将时间序列分割为补丁，通过提示模板和图像插值分别生成文本和视觉令牌；2）补丁特定模式路由：动态识别潜在时间模式，将每个补丁路由至最合适的异构专家；3）混合异构专家：通过因果感知自注意力机制整合领域特定表示，并利用近端优化推断稀疏格兰杰因果图。训练采用大规模多模态时间序列数据，结合预测与因果约束联合优化。

Key Results:

• 在全监督基准上达到新最优性能，超越现有神经格兰杰因果发现方法。
• 在少样本设置下有效泛化，传统方法在此场景下失效。
• 通过多模态对齐（LLM/VLM）显著提升因果图恢复的准确性和可解释性。
• 模式路由机制有效解耦不同时间机制下的因果关系，减少虚假因果链接。

Tech Stack:

• 格兰杰因果（Granger Causality）
• 混合专家模型（Mixture of Experts, MoE）
• 大语言模型（LLM）
• 视觉语言模型（VLM）
• 自注意力机制（Self-Attention）
• 近端优化（Proximal Optimization）
• 补丁编码（Patching）
• 双线性插值（Bilinear Interpolation）
• 滑动窗口策略（Sliding Window）

Strengths:

• 首次将多模态（文本、图像）引入格兰杰因果发现，突破纯数值限制。
• 显式建模时间异质性，避免均匀分布假设导致的因果混杂。
• 十亿级参数规模的基础模型具备强少样本泛化能力。
• 因果感知注意力与近端优化保证因果图稀疏性和可解释性。

Limitations:

• 模型规模庞大，训练和推理计算成本高。
• 依赖高质量多模态数据（文本提示、图像），实际应用中获取可能受限。
• 格兰杰因果本身不等同于真实因果，需满足无未观测混杂等假设。
• 实验仅在合成和部分真实基准上验证，大规模真实场景泛化性待进一步评估。

Relevance To Keywords:

• Unify Models: 论文提出统一的多模态基础模型，融合数值、文本、视觉模态，与统一模型方向高度相关。
• World Models: 格兰杰因果发现可视为学习世界动态因果结构的一种方式，但论文未直接构建世界模型。
• Representation Learning: 通过MoHE和因果感知注意力学习解耦的因果表示，属于表征学习范畴。
• Model-Based RL: 因果模型可用于强化学习中的环境建模，但论文未涉及RL应用，相关性较弱。
• 原生多模态大模型: 论文集成LLM和VLM，属于多模态大模型在因果发现中的应用。
• 多模态大模型的理解和生成一体化: 论文主要利用多模态理解（编码对齐），未涉及生成，相关性中等。
• 表征学习: 同上，核心是学习因果表征。
• 世界模型: 间接相关，因果图可视为世界模型的一部分。
• 强化学习: 不直接相关。
• 后训练: 论文未强调后训练阶段，主要关注预训练和微调，相关性一般。

规模换取插值；结构换取认证的可预测 horizon。世界模型 (World Model) 的平均误差无法说明某个特定预测是否可信，也无法说明其可信持续多久。针对等变 (equivariant) 潜在世界模型，我们提供了一种可计算的多步可预测 horizon 证书：T 步展开误差在每个对称轨道上被证明为常数（定理 A），且根据预测器的李雅普诺夫谱 (Lyapunov spectrum) 分层逐通道分布，满足 $T_j(ε)\sim\log(1/ε)/λ_j$。该 horizon 是双向的——匹配的下界使得近似等变性 (approximate equivariance) 被证明是 horizon 受限的——且该证书仅源于结构：轨道常数误差刻画了等变性 (equivariance)，因此任何非等变模型在任何规模下都无法具备此特性。实验上，在 40 维 Lorenz-96 系统中，仅 $\mathbb{Z}_N$-等变网络恢复了完整的李雅普诺夫谱 ($R^2{=}0.98$)；密集型和循环型基线均失败。由于该谱具有保真性，证书在先验层面发挥作用：在固定感知预算下，膨胀 c 倍的证书被证明需要 c 倍的预算，而等变证书能满足其膨胀的密集对应物无法达到的预算——且无需校准数据。相同的读出指标保持不变，无需训练即可审计公共预训练世界模型：TD-MPC2 检查点落在证书自身的范围分类法上——在强扩张区域校准（比率 0.94-1.02），在弱扩张区域乐观，在收缩区域正确拒绝——这是一张部署监控器在样本外逐单元格复制的地图。在官方 1M 至 317M 参数的多任务阶梯上，校准效果并未随参数量增加而提升。在 V-JEPA 2-AC (10 亿参数，真实机器人数据) 上，测量的交叉检查正确修正了过度承诺的切线谱——交叉验证审计结果，而非原始数值，才是可部署的对象。规模换取插值，而非校准的可预测 horizon。

Scale buys interpolation; structure buys a certified horizon. A world model's average error says nothing about whether a particular prediction can be trusted, or for how long. For equivariant latent world models we give a computable, multi-step certificate of the predictable horizon: $T$-step rollout error is provably constant over each symmetry orbit (Theorem A) and stratified channel-by-channel by the predictor's Lyapunov spectrum, $T_j(ε)\sim\log(1/ε)/λ_j$. The horizon is two-sided -- a matching lower bound makes approximate equivariance provably horizon-limited -- and the certificate is exclusive to structure: orbit-constant error characterizes equivariance, so no non-equivariant model has it at any scale. Empirically, on 40-D Lorenz-96 only a $\mathbb{Z}_N$-equivariant network recovers the full Lyapunov spectrum ($R^2{=}0.98$); dense and recurrent baselines fail. Because the spectrum is faithful, the certificate acts, a priori: under a fixed sensing budget a $c\times$-inflated certificate provably needs $c\times$ the budget, and the equivariant certificate meets a budget its inflated dense counterpart cannot -- with zero calibration data. The same read-out, unchanged, audits public pretrained world models training-free: TD-MPC2 checkpoints land on the certificate's own scope taxonomy -- calibrated where strongly expansive (ratio 0.94-1.02), optimistic where weakly expansive, correctly abstaining where contracting -- a map a deployed monitor replicates cell-by-cell, out-of-sample. Across the official 1M-317M multitask ladder, calibration does not improve with parameters. On V-JEPA 2-AC (1B, real robot data) the measured cross-check correctly overrides an over-promising tangent spectrum -- the cross-validated audit, not the raw number, is the deployable object. Scale buys interpolation, not a calibrated horizon.

评分理由: 论文核心围绕世界模型（World Models）的可预测性边界展开，明确提及 TD-MPC2 和 V-JEPA，与 model-based RL 高度相关；分析潜在动力学谱（Latent Reasoning）以计算预测 horizon，相关性高。未涉及 tokenizer、MLLM 或模型统一架构，故得分低。视觉编码器虽隐含于 V-JEPA 中但非核心贡献，多模态属性未作为重点阐述。作者列表中不包含指定的 Yang Shi 等专家，无加分。

Equivariant World Models, Predictable Horizon, Lyapunov Spectrum, Certified Predictability, Model-Based RL, Latent Dynamics, Symmetry Orbit

Chinese Title: 规模换取插值，结构换取预测视界：等变世界模型的可认证可预测性

Summary: 本文针对等变潜在世界模型，提出了一种可计算的多步可预测视界证书。理论证明：等变模型的k步展开误差在每个对称轨道上是常数（定理A），且按通道由预测器的李雅普诺夫谱分层，视界约为log(1/ε)/λ_k。关键创新是匹配的下界（命题6）：近似等变性导致视界受限于Θ(log(1/ε)/λ)，只有精确等变或守恒通道才能达到无限视界。证书是结构独有的：非等变模型在任何规模下都无法拥有（引理2）。实验上，在40维Lorenz-96系统中，只有Z_2等变网络能恢复完整李雅普诺夫谱（R²=0.98），而密集和循环基线失败。该证书无需校准数据即可审计预训练世界模型（如TD-MPC2、V-JEPA 2-AC），并能在部署时零成本复现。规模只能改善插值，无法提供校准的视界。

Innovations:

• 提出等变世界模型的可认证可预测视界，并给出匹配的上下界，证明近似等变性的视界受限于Θ(log(1/ε)/λ)。
• 证明轨道常数误差与等变性等价（引理2），非等变模型在任何规模下都无法拥有该证书。
• 发现守恒/不变通道的无限视界保证（诺特铰链），并给出其与李雅普诺夫谱的关系。
• 将证书从理论扩展到实际：无需训练数据即可审计大型预训练世界模型（如TD-MPC2、V-JEPA 2-AC），且部署时零成本复现。
• 在40维Lorenz-96上验证等变网络恢复完整李雅普诺夫谱，而密集和循环基线失败，揭示结构而非规模的关键作用。

Methodology: 论文采用理论证明与实验验证相结合的方法。理论部分：利用群表示论、李雅普诺夫指数、Oseledets定理等建立等变模型的可预测视界证书，包括轨道常数误差、谱退化上界、匹配下界、守恒通道无限视界等。实验部分：在Lorenz-96系统、接触模拟器、SO(3)非阿贝尔群、原始像素等场景中训练等变网络，并与密集网络、循环网络对比；对预训练模型（TD-MPC2、LeWM、V-JEPA 2-AC）进行零样本审计，验证证书的有效性。

Key Results:

• 等变模型的k步展开误差在对称轨道上为常数（定理A）。
• 近似等变模型的通道k视界为Θ(log(1/ε)/λ_k)，且下界匹配（命题6），证明近似等变性是视界受限的根本原因。
• 守恒通道（λ≤0）的误差随步数线性增长，而非指数增长，实现无限视界。
• 在40维Lorenz-96上，Z_2等变网络恢复完整李雅普诺夫谱（R²=0.98），而密集网络和循环网络失败（R²<0）。
• 对TD-MPC2官方检查点（1M-317M参数）的审计显示：证书在强扩张通道校准（比率0.94-1.02），在弱扩张通道乐观，在收缩通道正确弃权。
• V-JEPA 2-AC（1B参数，真实机器人数据）的交叉验证正确覆盖了过度承诺的切线谱。

Tech Stack:

• 群表示论与等变性
• 李雅普诺夫指数与Oseledets定理
• 局部线性化与雅可比矩阵谱分解
• 轨道常数误差证明（引理1、定理A）
• 匹配下界构造（命题6）
• 诺特定理与守恒量
• Lorenz-96混沌系统
• TD-MPC2、LeWM、V-JEPA 2-AC等预训练模型
• 帧平均（frame averaging）技术
• 数值实验（相对误差、R²、校准比率）

Strengths:

• 理论深度高：给出可预测视界的严格上下界，并证明等变性与证书的等价性。
• 实用性突出：证书无需校准数据即可审计大型预训练模型，且部署时零成本复现。
• 实验验证充分：在多个系统（混沌、接触、非阿贝尔群、像素）和真实模型上验证。
• 揭示关键洞察：规模只能改善插值，结构（等变性）才是提供可认证视界的关键。
• 诺特铰链的发现：守恒通道提供无限视界，为长期预测提供理论保障。

Limitations:

• 证书依赖于群对称性假设，对于缺乏明显对称性的系统适用性有限。
• 理论主要针对潜在空间模型，对原始像素空间直接预测的适用性需进一步研究。
• 实验规模为1-2 GPU，未在更大规模（如多GPU训练）上验证。
• 近似等变性的残差ε在实际中难以精确测量，可能影响证书的精确性。
• 对非等变模型的审计仅基于谱分析，未提供改进方法。

Relevance To Keywords:

• 世界模型：论文核心是等变世界模型的可预测性证书，直接相关。
• 表征学习：等变编码器是表征学习的一种，论文利用群表示论进行理论分析。
• 模型基强化学习：证书可用于规划中的信任评估，与模型基RL相关。
• 后训练：论文对预训练模型（TD-MPC2等）进行零样本审计，属于后训练分析。
• 原生多模态大模型：V-JEPA 2-AC是视觉模型，论文涉及真实机器人数据，但未深入多模态融合。

从参考视频中克隆相机运动是视频生成中的重要任务，因为视频提供了直观且精确的控制。现有方法要么直接使用无法处理多镜头生成的参数化表示，要么合成交叉配对数据，后者面临数据稀缺问题，导致在复杂相机运动克隆中表现不佳。为了解决这些问题，我们提出了一种通用的相机运动表示法，将相机编码为网格运动视频 (Grid Motion Videos)。这种相机网格 (Camera Grid) 直观地表示相机参数，并支持整合多样化的轨迹以实现多镜头视频生成。在此基础上，我们提出了 OmniDirector，这是一个基于百万级相机网格 - 视频对 (Camera Grid-Video Pairs) 训练的统一框架，它协调角色、动作和相机，为多模态扩散变换器 (Multimodal Diffusion Transformers) 提供导演级控制。此外，我们设计了一种新颖的分层提示扩展代理 (Hierarchical Prompt Expansion Agent)，通过理解信号关系系统性地描述相机运动和视觉内容，从而和谐地整合不同的控制信号。广泛的实验证明了我们框架的优越性能和卓越的可控性。项目页面：https://ymlinfeng.github.io/OmniDirector.github.io/

Cloning camera motion from reference videos is an important task in video generation, as videos provide intuitive and precise control. Existing methods either directly use parametric representations that fail to handle multi-shot generation or synthesize cross-paired data, which suffer from data scarcity, resulting in poor performance in complicated camera motion cloning. To address these issues, we introduce a general camera motion representation that encodes cameras as grid motion videos. This camera grid represents the camera parameters visually and supports the integration of diverse trajectories for multi-shot video generation. Building upon this, we propose OmniDirector, a unified framework trained on a million-scale camera grid-video pairs that coordinates characters, actions, and cameras to provide director-level control for multimodal diffusion transformers. Furthermore, we design a novel hierarchical prompt expansion agent that harmoniously integrates different control signals by systematically describing camera motion and visual content through understanding signal relationships. Extensive experiments demonstrate the superior performance and outstanding controllability of our framework. Project page: https://ymlinfeng.github.io/OmniDirector.github.io/

评分理由: The paper proposes OmniDirector, a unified framework for multi-shot camera cloning, aligning well with Unify Models and MultiModal keywords. It utilizes a hierarchical prompt expansion agent, supporting Agentic Reasoning. World Models is moderately relevant due to the camera grid representation. Tokenizer, Visual Encoder, Latent Reasoning, and model-based RL are not core contributions. No expert authors from the specified list were found in the author list, so no bonus points were applied. The weighted total score is 57.0, exceeding the dynamic passing score of 35.2.

Camera Cloning, Multi-Shot Generation, Unified Framework, Camera Grid, Diffusion Transformers, Prompt Expansion Agent, Multimodal Control

Chinese Title: OmniDirector：无需交叉配对数据的通用多镜头相机克隆

Summary: 本文提出OmniDirector，一个统一的视频生成框架，用于从参考视频中克隆相机运动，无需交叉配对数据。现有方法要么使用参数化表示难以处理多镜头生成，要么依赖稀缺的交叉配对数据导致性能不佳。为此，作者引入了一种通用的相机运动表示——相机网格（Camera Grid），将相机参数编码为网格运动视频，支持多镜头轨迹集成。基于此，OmniDirector在百万级相机网格-视频对上进行训练，协调角色、动作和相机，为多模态扩散变换器（MMDiT）提供导演级控制。此外，设计了一种分层提示扩展代理机制，通过系统描述相机运动和视觉内容来和谐整合不同控制信号。实验表明，该框架在相机运动克隆的准确性和可控性上显著优于现有方法。

Innovations:

• 提出相机网格（Camera Grid）表示，将相机参数可视化为空场景中的网格运动视频，实现通用、解耦且可扩展的相机运动表征。
• 构建百万级相机网格-视频配对数据集，无需交叉配对数据，利用互联网规模数据训练模型。
• 设计分层提示扩展代理（Hierarchical Prompt Expansion Agent），在推理阶段将相机运动、主体和物体运动融合为统一文本描述，实现多模态信号协同控制。
• 首次实现无需交叉配对数据的通用多镜头相机克隆，支持镜头切换和复杂相机轨迹。

Methodology: 首先从参考视频中提取相机参数（旋转矩阵R和位移向量t），然后在3D空场景中渲染网格运动视频（Camera Grid），该视频仅包含空间坐标轴网格线以表示相机运动轨迹。基于此，采用多模态扩散变换器（MMDiT）架构，将相机网格作为视觉条件输入，与文本和图像条件共同训练。训练数据为从互联网视频中自动生成的百万级相机网格-视频对。推理阶段，设计分层提示扩展代理：先由相机提示生成器描述相机运动（分为镜头间和镜头内两个层次），再通过语义融合将相机运动、主体描述和物体运动整合为统一文本提示，输入模型生成视频。

Key Results:

• OmniDirector能够精确克隆参考视频中的相机运动，包括平移、旋转、变焦、鱼眼畸变、多镜头切换等复杂运动。
• 在多种内容、宽高比和空间尺度下保持鲁棒性，不受内容差异影响。
• 相比现有参数化方法和基于交叉配对数据的方法，在相机运动克隆的准确性和视觉质量上取得显著提升。
• 分层提示扩展代理有效整合了相机控制与其他控制信号（如主体、动作），实现协同创作。

Tech Stack:

• 多模态扩散变换器（MMDiT）
• 6自由度（6DoF）相机外参（旋转矩阵R、平移向量t）
• Plücker坐标（用于相机编码）
• Kannala-Brandt鱼眼畸变模型
• 3D空场景网格渲染（OpenGL/类似工具）
• 分层提示扩展代理（基于LLM的文本生成与融合）
• 百万级数据集构建（自动相机参数提取与渲染管线）

Strengths:

• 提出新颖的相机网格表示，兼具通用性、解耦性和可扩展性，易于与扩散模型兼容。
• 无需昂贵的交叉配对数据，利用互联网视频自动生成训练数据，大幅降低数据获取成本。
• 支持多镜头相机克隆，包括镜头切换和复杂轨迹，填补了现有方法的空白。
• 分层提示扩展代理巧妙融合多种控制信号，提升生成视频的语义一致性和可控性。
• 在多种场景下表现出色，对内容、宽高比和尺度变化具有鲁棒性。

Limitations:

• 相机网格表示依赖于准确的相机参数提取，对于无纹理或动态场景的参考视频，参数估计可能不准确。
• 空场景网格仅表示相机运动，无法编码场景深度或物体运动，可能限制对复杂交互的建模。
• 模型训练和推理计算成本较高，需要大规模GPU资源。
• 对于极端复杂的相机运动（如快速抖动、非线性畸变），可能仍存在泛化挑战。
• 分层提示扩展代理依赖语言模型，可能引入文本描述偏差或信息丢失。

Relevance To Keywords:

• Unify Models: 论文提出的OmniDirector统一了相机控制、角色、动作和场景生成，属于统一模型方向。
• World Models: 相机网格表示可视为对3D空间运动的抽象建模，与世界模型中的空间表征学习相关。
• Representation Learning: 相机网格是一种新的视觉表征，将相机参数转化为模型易于学习的网格视频，属于表征学习范畴。
• Model-Based RL: 论文未直接涉及强化学习，但相机控制可视为一种动作策略，未来可与基于模型的RL结合用于交互式视频生成。

文本到图像（T2I）模型包含丰富的空间先验。合成照片级真实感、杂乱的场景需要理解几何结构，包括透视和相对尺度。先前工作通过调整 T2I 模型来利用这一先验进行深度预测，但它们需要密集深度数据且涉及复杂的训练流程。我们提出 Modality Forcing（模态强制），这是一种简单、可扩展的后训练流程，旨在利用单个在稀疏深度数据上训练的 DiT（扩散 Transformer）实现图像 - 深度联合生成。Modality Forcing 通过为每个模态分配独立的噪声水平，实现了图像和深度在任意顺序下的条件生成和联合生成。模态独立解码器使我们能够在稀疏、真实世界的深度数据上进行训练，并获得具有强泛化能力的深度预测。我们进一步表明，Modality Forcing 继承了 T2I 预训练的可扩展性：通过从头训练一组 T2I 模型（3.7 亿至 33 亿参数），我们发现使用更多图像数据训练的更大模型能产生更准确的深度。我们的最强模型可与最先进的单眼深度估计器相媲美，且相对于现有的图像 - 深度联合生成模型，AbsRel 降低了 57%。这些结果提供了强有力的证据，表明图像生成是空间感知的一种可扩展的预训练目标。https://modality-forcing.github.io/

Text-to-image (T2I) models contain rich spatial priors. Synthesizing photorealistic, cluttered scenes requires an understanding of geometry, including perspective and relative scale. Prior works adapt T2I models to leverage this prior for depth prediction, but they require dense depth data and involve complex recipes. We propose Modality Forcing, a simple, scalable post-training recipe for joint image-depth generation using a single DiT trained on sparse depth data. Modality Forcing enables conditional and joint generation of image and depth in any permutation by assigning separate noise levels per modality. Per-modality decoders let us train on sparse, real-world depth and achieve strong, generalizable depth prediction. We further show that Modality Forcing inherits the scalability of T2I pre-training: by training a set of T2I models from scratch (370M to 3.3B parameters), we find that larger models trained on more image data produce more accurate depth. Our strongest model is competitive with state-of-the-art monocular depth estimators and reduces AbsRel by 57% relative to existing joint image-depth generative models. These results provide strong evidence that image generation is a scalable pre-training objective for spatial perception. https://modality-forcing.github.io/

评分理由: 论文核心在于使用单个 DiT 模型联合生成图像与深度，高度契合 MultiModal 和 Unify Models 概念。涉及视觉编码（DiT 嵌入）和潜在空间推理（扩散模型），但与强化学习（model-based RL）、代理智能（Agentic Reasoning）及语言模型（MLLM）无关。Tokenizer 为通用组件非核心贡献，World Models 仅部分相关（空间先验）。

Modality Forcing, Spatial Generation, Image-Depth Generation, Diffusion Transformer, Sparse Depth Data, Scalable Post-training, Spatial Perception, Photorealistic Scenes

Chinese Title: 模态强制：面向可扩展空间生成的训练后方法

Summary: 本文提出了一种名为“模态强制”（Modality Forcing）的简单可扩展训练后方法，用于从文本到图像（T2I）模型中提取空间先验，实现图像与深度图的联合生成与条件生成。该方法通过为RGB和深度模态分配独立的噪声水平，使单个扩散变换器（DiT）能够建模联合分布，并支持任意排列的条件生成。深度模态在像素空间中进行扩散，从而可以利用稀疏的真实世界深度标注进行训练。作者通过从零训练一系列参数规模从3.7亿到33亿的T2I模型，验证了深度预测精度随T2I模型规模和训练数据量的增加而提升。在FLUX.2-klein-9B上应用该方法后，深度预测性能与最先进的单目深度估计器相当，相比现有联合生成模型，平均绝对相对误差（AbsRel）降低了57%。研究结果表明，图像生成是一种可扩展的空间感知预训练目标。

Innovations:

• 提出模态强制（Modality Forcing）方法，通过为RGB和深度模态分配独立噪声水平，实现单个模型统一支持联合生成、图像到深度和深度到图像三种任务。
• 采用像素空间深度扩散，使得模型能够从稀疏的真实世界深度标注中学习，避免了依赖密集合成数据的限制。
• 通过从零训练不同规模的T2I模型（3.7亿到33亿参数），首次系统验证了深度预测精度随T2I模型规模和训练数据量提升而提升，证明T2I是空间感知的可扩展预训练目标。
• 在FLUX.2-klein-9B上应用后，深度预测性能与最先进单目深度估计器竞争，相比现有联合生成模型平均绝对相对误差降低57%。

Methodology: 本文采用训练后微调策略，基于预训练的文本到图像扩散变换器（DiT）进行扩展。训练时，RGB和深度模态分别使用独立的噪声水平，并各自配备时间步嵌入器，同时引入轻量级跨模态混合模块以交换噪声水平信息。深度模态在像素空间中进行扩散，缺失像素用各向同性高斯噪声填充以支持稀疏标注。训练数据包括文本、RGB图像和稀疏深度图的三元组。推理时，通过控制各模态的噪声水平（t=0表示条件，t=1表示生成目标），实现联合生成、图像到深度和深度到图像三种模式。作者还从零训练了不同规模的DiT模型（370M、1.2B、3.3B参数），并在不同数据量下进行对比实验，以验证可扩展性。

Key Results:

• 模态强制方法在FLUX.2-klein-9B上实现了与最先进单目深度估计器（如Depth Anything V2）竞争的性能。
• 相比现有联合图像-深度生成模型（如JointDiT），平均绝对相对误差（AbsRel）降低了57%。
• 深度预测精度随T2I模型参数规模（从370M到3.3B）和训练图像数量（从0到19.2亿）的增加而持续提升。
• 单个模型同时支持联合生成、图像到深度和深度到图像三种任务，且深度到图像生成质量与专业模型相当。

Tech Stack:

• 扩散变换器（Diffusion Transformer, DiT）
• 流匹配（Flow Matching）目标函数
• v预测（v-prediction）和x预测（x-prediction）参数化
• 像素空间深度扩散（Pixel-space Depth Diffusion）
• 独立模态噪声水平（Per-modality Noise Levels）
• 跨模态时间步混合模块（Cross-stream Timestep Mixing）
• VAE（变分自编码器）用于RGB编码
• ODE求解器用于采样

Strengths:

• 方法简单且可扩展，仅需训练后微调即可利用强大的预训练T2I模型。
• 支持稀疏真实世界深度标注，降低了数据收集成本。
• 通过系统性的规模实验，有力证明了T2I模型的空间先验随模型和数据规模提升而增强。
• 单个模型统一多种任务，减少了模型部署和维护的复杂度。
• 在多个基准上达到或接近最先进性能，验证了方法的有效性。

Limitations:

• 深度模态仅在像素空间处理，可能限制了与其他空间模态（如网格、点云）的扩展。
• 方法依赖于预训练T2I模型的质量，若基础模型较弱，性能提升有限。
• 实验主要关注深度预测，对其他空间任务（如法线估计、语义分割）的泛化性未充分验证。
• 训练过程中需要同时处理RGB和深度数据，计算资源消耗较大。
• 深度到图像生成的质量可能受限于深度数据的稀疏性和噪声。

Relevance To Keywords:

• Unify Models: 模态强制方法通过单一模型统一了图像生成、深度估计和联合生成，体现了模型统一的思想。
• World Models: 通过联合建模RGB和深度，模型学习到了空间几何先验，有助于构建更丰富的世界模型。
• Representation Learning: 研究表明T2I预训练是一种可扩展的空间表征学习方法，深度预测精度随模型规模提升。
• Model-Based RL: 联合生成RGB和深度可为基于模型的强化学习提供更丰富的环境表征和规划信号。
• 原生多模态大模型: 方法在预训练T2I模型基础上扩展深度模态，类似于原生多模态训练思路，但采用后训练方式。
• 多模态大模型的理解和生成一体化: 模型同时支持深度理解（I2D）和深度生成（D2I），实现理解与生成的一体化。
• 后训练: 核心贡献是一种后训练配方，无需从头训练即可赋予T2I模型空间感知能力。

对比学习的视觉 - 语言模型（VLMs，如 CLIP）在学习联合图像 - 文本表示方面取得了显著进展，但在组合理解方面仍面临挑战。它们常表现出“词袋”行为——难以捕捉对象关系、属性 - 对象绑定以及词序依赖。这种局限性不仅源于对全局单向量表示进行优化的依赖，还源于对配对图像 - 文本数据中固有的丰富组合信息的利用与建模不足。本文提出 MACCO（MAsked Compositional Concept MOdeling），该框架通过在一种模态中掩码组合概念，并基于另一种模态的完整上下文信息进行重构，从而更有效地捕获和对齐跨模态组合结构。为了促进这一过程，我们引入了两个辅助目标，以联合对齐和正则化模态间及模态内的掩码特征。在五个组合基准上的广泛实验，以及深入分析表明，我们的方法不仅显著增强了 VLMs 的组合性，还提高了其捕捉句法结构和语言信息的能力。此外，增强的组合性也有助于文本到图像生成和多模态大语言模型（multimodal large language model）。代码可在 https://github.com/hiker-lw/MACCO 获取。

Contrastively trained vision-language models like CLIP, have made remarkable progress in learning joint image-text representations, but still face challenges in compositional understanding. They often exhibit a "bag-of-words" behavior--struggling to capture the object relations, attribute-object bindings, and word order dependencies. This limitation arises not only from the reliance on global, single-vector representations for optimization, but also from the insufficient exploitation and modeling of the rich compositional information inherently present in paired image text data. In this work, we propose MACCO (MAsked Compositional Concept MOdeling), a framework that masks compositional concepts in one modality and reconstructs them conditioned on the full contextual information from the other, enabling the model to capture and align cross-modal compositional structures more effectively. To facilitate this process, we introduce two auxiliary objectives that jointly align and regularize masked features both inter-modally and intra-modally. Extensive experiments on five compositional benchmarks, along with in-depth analyses, demonstrate that our approach not only significantly enhances compositionality in VLMs but also improves their ability to capture syntactic structure and linguistic information. Additionally, the improved compositionality also benefits text-to-image generation and multimodal large language model. Code is available at https://github.com/hiker-lw/MACCO.

评分理由: 论文核心在于提升视觉 - 语言模型的组合性理解，属于多模态（MultiModal）领域，且明确提及对多模态大语言模型（MLLM）有益，故得分较高。方法涉及潜在空间的概念掩码与重构，与潜在推理（Latent Reasoning）有一定关联，视觉编码器（Visual Encoder）作为 VLM 基础组件存在但未作为创新点。其余关键词如 Tokenizer、World Models、RL、Agentic 及 Unify Models 在摘要中未体现或关联度低，故评分较低。

Cross-Modal Masked Compositional Concept Modeling, Visio-Linguistic Compositionality, Vision-Language Models, Masked Reconstruction, Multimodal Representation Learning, Text-to-Image Generation, MLLM Enhancement

Chinese Title: 跨模态掩码组合概念建模以增强视觉-语言组合性

Summary: 本文针对对比学习训练的视觉语言模型（如CLIP）在组合理解上的不足（如“词袋”行为、难以捕捉对象关系、属性绑定和词序依赖），提出MACCO框架。该框架通过在一个模态中掩码组合概念，并利用另一模态的完整上下文信息进行重构，从而更有效地捕获和对齐跨模态组合结构。具体地，文本掩码后利用完整图像特征重构组合概念词，图像掩码后利用完整文本特征重构对应区域。为辅助重构，引入两个辅助目标：掩码增强跨模态对齐损失（MCA）和掩码增强模态内正则化损失（MIR），分别用于对齐和正则化掩码特征。实验在五个组合性基准上验证了有效性，并表明该方法不仅提升了组合性，还增强了模型捕获句法结构和语言信息的能力，同时改善了文本到图像生成和多模态大语言模型的表现。

Innovations:

• 提出无需显式构造困难负样本的MACCO框架，通过跨模态掩码重构提升组合性。
• 设计参数无关的全局到局部语义注入操作，增强局部token的上下文全局语义。
• 引入两个辅助目标：掩码增强跨模态对齐损失（MCA）和掩码增强模态内正则化损失（MIR），分别促进跨模态对齐和防止表征坍塌。
• 证明改进的组合性可迁移至文本到图像生成和多模态大语言模型等下游任务。
• 框架与现有困难负样本挖掘方法兼容，可进一步获得增益。

Methodology: 首先，利用场景图解析器从文本中提取组合概念（关系、属性短语）并生成掩码MT，利用GroundingDINO定位图像中对应区域并生成掩码MI。然后，将掩码token替换为可学习的掩码标记，并添加位置编码，分别输入图像编码器和文本编码器得到掩码和完整特征。在重构过程中，对掩码文本特征和图像特征应用全局到局部语义注入（将全局CLS特征注入局部token）。文本预测器使用两层交叉注意力从掩码文本token关注完整图像特征，并通过分类头预测词汇；图像预测器使用三层交叉注意力以掩码图像token为查询、完整文本特征为键值，重构像素值。同时，将掩码实例的全局特征加入标准对比学习（MCA损失），并在模态内对掩码全局特征进行正则化（MIR损失）。训练时仅优化文本编码器（冻结图像特征梯度），推理时移除预测器。

Key Results:

• 在五个组合性基准（如SugarCrepe、VL-CheckList等）上，MACCO显著提升了CLIP等模型的组合理解能力。
• 模型捕获句法结构和语义细微差别的能力增强，产生更概念感知的嵌入。
• 对语义不变扰动具有更强鲁棒性，更好保留细粒度语言信息。
• 与困难负样本方法（如NegCLIP）结合可进一步获得增益。
• 改进的组合性也提升了文本到图像生成（如Stable Diffusion）和多模态大语言模型（如LLaVA）的表现。

Tech Stack:

• CLIP (图像编码器ViT, 文本编码器Transformer)
• 场景图解析器 (Scene Graph Parser, Wu et al., 2019)
• GroundingDINO (目标检测与定位)
• 交叉注意力 (Cross-Attention)
• 掩码语言建模 (MLM) 和掩码图像建模 (MIM)
• InfoNCE对比损失
• 均方误差 (MSE) 损失
• 全局到局部语义注入 (Global-to-Local Semantic Injection)
• 梯度停止 (stopgrad)

Strengths:

• 无需额外构造困难负样本，降低了成本和噪声，且避免了过拟合特定负样本模式。
• 框架简洁有效，可即插即用于现有CLIP模型，兼容其他方法。
• 深入分析了模型在句法、语义鲁棒性等方面的提升，并展示了在下游任务中的迁移价值。
• 实验充分，覆盖多个基准和骨干网络，并提供了消融研究和可视化分析。

Limitations:

• 依赖场景图解析器和GroundingDINO提取组合概念，可能引入额外计算开销和误差。
• 重构损失仅优化文本编码器，图像编码器未直接受益，可能限制图像侧组合性提升。
• 在极端复杂场景（如长文本、密集关系）下效果可能有限。
• 未在更大规模模型（如EVA-CLIP）或更多模态上验证。

Relevance To Keywords:

• 表征学习: 论文通过掩码重构和对比学习增强视觉-语言表征的组合性，属于表征学习范畴。
• 多模态大模型的理解和生成一体化: 方法提升了CLIP的理解能力，并验证了对文本到图像生成和多模态大语言模型的正面影响，体现了理解与生成的协同。
• 世界模型: 组合性理解是构建世界模型的基础能力之一，论文工作有助于模型更准确地建模对象关系与属性。
• 后训练: MACCO作为CLIP的后训练微调方法，无需从头预训练，符合后训练范式。
• 原生多模态大模型: 虽然基于CLIP，但方法可推广至其他多模态模型，提升其组合推理能力。

气候与环境决策日益需要对异构输入进行推理，这些输入包括网格化物理数据、卫星影像、地理空间上下文以及模拟器输出。天气与气候基础模型虽能做出良好预测，却无法在语言中进行交互推理；而大型语言模型（LLMs）虽能在语言中进行推理，却无法直接处理高维地球系统数据。因此，地球科学领域的真实科学工作流程仍面临服务不足的问题。我们介绍了 TerraBench，这是一个基于 TerraAgent 构建的接地式地球科学推理基准。TerraAgent 是一种 ReAct 风格的可执行框架，它交织推理、工具调用和观察，从而将 LLM 规划与环境检索、地理空间处理、模拟及基于产物的计算等科学工具耦合起来。TerraBench 在单一可执行接口中统一了地球观测影像、网格数据、GIS 推理和模拟的分析，而此前的基准将这些能力隔离为狭窄的独立任务。此外，它也是该领域首个将过程级工具使用指标与容差感知数值评分相结合的基准。该基准涵盖三个赛道（基础、基于模拟器的、基于文档的验证）和八个应用领域的 403 个广泛智能体任务，共计 24,500 个验证执行步骤。结果表明，可靠的地球科学智能体必须超越简单的工具访问，能够协调异构工作流、精确参数化工具并保留产物溯源。

Climate and environmental decision-making increasingly requires reasoning across heterogeneous inputs, including gridded physical data, satellite imagery, geospatial context, and simulator outputs. Weather and climate foundation models can forecast well, but do not reason interactively in language, while large language models (LLMs) reason in language but cannot operate directly on high-dimensional Earth-system data. As a result, real scientific workflows in Earth-science remain underserved. We introduce TerraBench, a benchmark for grounded Earth-science reasoning, built on TerraAgent, a ReAct-style executable framework that interleaves reasoning, tool calls, and observations to couple LLM planning with scientific tools for environmental retrieval, geospatial processing, simulation, and artifact-backed computation. TerraBench unifies analysis of Earth observation imagery, gridded data, GIS reasoning and simulation in a single executable interface, whereas prior benchmarks isolate these capabilities into narrow individual tasks. It is also the first in this space to pair process-level tool-use metrics with tolerance-aware numeric scoring. The benchmark comprises 403 extensive agentic tasks across three tracks (Fundamentals, Simulator-Grounded, and Document-Grounded Verification) and eight application domains with 24,500 verified execution steps. These results indicate that reliable Earth-science agents must go beyond tool access to coordinate heterogeneous workflows, parameterize tools precisely, and preserve artifact provenance.

评分理由: 论文核心在于地球科学代理基准（TerraBench）与框架（TerraAgent），因此'Agentic Reasoning'相关性最高（9 分）；处理多模态数据（图像、网格、文本），'MultiModal'相关性较高（6 分）；涉及 LLM 与工具交互，'MLLM'和'Unify Models'中度相关（5 分）；其余关键词如 Tokenizer、Visual Encoder、World Models 等未在摘要中作为核心方法提及，相关性较低（1-3 分）。未发现指定专家作者。加权总分 51.0，高于动态及格分 35.2。

TerraBench, Agentic Reasoning, Earth-System Data, Heterogeneous Inputs, ReAct-style Framework, Grounded Reasoning, Scientific Tools

Chinese Title: TerraBench：智能体能否在异构地球系统数据上进行推理？

Summary: 论文提出了TerraBench，一个用于评估地球科学推理能力的基准测试，并配套开发了TerraAgent可执行框架。该基准包含403个长周期可执行任务，涵盖基础、模拟器驱动和文档验证三个轨道，涉及天气、空气质量、应急响应等八个应用领域，总计约24,500个验证执行步骤。TerraAgent采用ReAct风格的推理-行动-观察范式，集成了77个科学子工具，包括再分析数据检索、卫星图像处理、GIS分析、确定性模拟（如AquaCrop、DSSAT、CLIMADA等）以及可视化等。评估协议将过程级的工具使用能力与结果级的数值容错评分分离。实验表明，最强的前沿模型（Claude Sonnet 4.6）仅达到59.2的工具使用分数和22.9的容错命中率，而开源模型Qwen3.5-35B更差。主要失败模式是参数和数值接地错误，而非工具选择错误。论文揭示了当前模型在协调异构工作流、精确参数化工具和保留工件来源方面的不足。

Innovations:

• 首次在单一可执行接口下统一了地球观测图像、网格化环境数据、GIS推理、确定性模拟和文档验证等多种异构数据源。
• 提出了TerraAgent框架，采用ReAct风格将LLM规划与科学工具耦合，生成可审计的推理轨迹和工件支持的输出（NetCDF、GeoTIFF、CSV、PNG）。
• 设计了容错感知的评估协议，将过程级工具使用熟练度与最终答案数值正确性解耦，揭示了传统工具轨迹评估无法检测的系统性差距。
• 构建了包含403个任务、约24,500个执行步骤的大规模基准，经过严格的人工筛选和多轮执行验证，仅保留50.9%的初始样本。
• 提供了四个因果推理层级（Level 0-3）的标注，从观测接地到反事实推理，为地球科学智能体的因果能力评估奠定基础。

Methodology: 论文采用以下方法：首先，基于ReAct范式设计TerraAgent框架，将用户问题转化为工具接地的工作流，通过领域组织的工具注册表（77个子工具）实现规划与执行的分离。其次，通过人工+半自动的标注流程创建基准：从真实科学问题出发，生成可执行程序，包含结构化输出合同、规范推理轨迹、工具观察、支持工件和验证答案。基准分为三个轨道：基础（确定性执行）、模拟器驱动（干预和反事实模拟）、文档验证（复现科学文献结果）。评估时，使用工具使用分数（ToolUseScore）衡量过程正确性，数值分数（NumScore）和容错命中率（Hit@tol）衡量结果准确性。实验在多个前沿和开源模型上进行，分析失败模式。

Key Results:

• 最强前沿模型Claude Sonnet 4.6达到ToolUseScore 59.2，NumScore 28.4，Hit@tol 22.9。
• 最强开源模型Qwen3.5-35B达到ToolUseScore 40.0，NumScore 7.5，Hit@tol 5.9。
• 所有模型超过84%的数值答案超出可接受误差范围。
• 模拟器驱动轨道任务尤其困难，主要失败模式是错误参数值、错误工具顺序和数值超出容差。
• 工具选择错误并非主要失败原因，参数和数值接地错误占主导。
• 基准经过严格过滤：仅50.9%的初始样本通过人工审查，其中74.4%需要多次执行才能最终确定。

Tech Stack:

• ReAct推理-行动-观察范式
• Pangu-Weather（天气预报模型）
• Aurora（天气预报模型）
• AquaCrop（作物-水分响应模拟器）
• DSSAT（作物系统模拟器）
• CLIMADA（事件影响评估模拟器）
• UTCI（热应激评估）
• EnergyPlus（建筑能耗分析）
• SUMO（交通中断分析）
• NetCDF、GeoTIFF、CSV、PNG等工件格式
• OpenStreetMap（GIS数据）
• ERA5/CMIP6/C3S（再分析/气候数据集）
• 容差感知数值评分（Hit@tol）
• 工具使用分数（ToolUseScore）
• 数值分数（NumScore）

Strengths:

• 全面性：覆盖了地球科学中多种异构数据源和任务类型，是首个统一评估框架。
• 可执行性：所有任务都是可执行的基准程序，具有结构化输出和规范轨迹，便于自动评估。
• 细粒度评估：将过程与结果分开评估，揭示了传统方法忽略的数值接地问题。
• 严格的质量控制：通过人工审查和多轮执行确保基准质量。
• 开源：代码和基准公开可用，促进可重复研究。

Limitations:

• 当前模型性能较低，表明任务难度高，但可能限制了基准的区分度（天花板效应）。
• 基准主要关注确定性模拟和文档验证，未涵盖概率性预测或不确定性量化。
• 工具集虽然广泛，但可能未覆盖所有地球科学领域（如海洋学、冰川学等）。
• 评估依赖于人工标注的规范轨迹，可能引入主观偏差。
• 未探讨模型在未见过的工具或动态环境中的泛化能力。

Relevance To Keywords:

• Unify Models: 论文通过TerraAgent框架统一了多种科学工具和数据类型，与统一模型理念相关。
• World Models: 地球系统模拟器（如AquaCrop、CLIMADA）可视为世界模型，论文评估了智能体使用这些模型进行推理的能力。
• Representation Learning: 论文未直接研究表征学习，但工具调用和数值接地依赖于对地球系统数据的有效表征。
• Model-Based RL: 论文中的模拟器驱动任务涉及干预和反事实推理，与基于模型的强化学习中的规划思想有交叉。
• 原生多模态大模型: 论文评估了多模态大模型（如Claude、Qwen）在地球科学任务中的表现，但未涉及多模态理解与生成一体化。
• 后训练: 论文未涉及后训练方法，但基准可用于评估后训练效果。

代码生成大语言模型（CodeLLMs）通过将自然语言目标和环境约束转换为结构化控制程序，为具身智能体生成可执行代码策略。然而，开放域具身环境中的策略生成存在两个基本局限性：(i) 由于长提示词上的重复预填充计算导致的解码延迟，(ii) 由于完全生成式解码导致的鲁棒性不足，这通常会产生 API 不匹配、缺失的安全防护以及不稳定的控制逻辑。为了解决这些局限性，我们提出了 FCGraft（功能缓存嫁接框架）。FCGraft 维护一个包含经过函数级验证的代码骨架及其相关的提示词级 Transformer 键值 (KV) 缓存的库，并在提供新任务时通过检索相关函数并嫁接它们的 KV 缓存来合成新策略。给定检索到的函数缓存，FCGraft 通过拼接将缓存的函数片段组合成组合策略，并通过修补仅局部适配必要的代码区域，以满足任务特定参数和约束，同时最小化额外解码开销。通过消除冗余的预填充计算，该方法减少了生成延迟，而重用验证过的控制结构提高了相对于提示词级缓存方法 RAGCache 的鲁棒性，实现了 18.31% 更高的任务成功率和提速 2.3 倍的策略合成速度。

Code-writing large language models (CodeLLMs) generate executable code policies for embodied agents by translating natural language goals and environmental constraints into structured control programs. However, policy generation in open-domain embodied environments suffers from two fundamental limitations: (i) delayed decoding caused by repetitive prefill computation over long prompts, and (ii) limited robustness due to fully generative decoding, which often produces API mismatches, missing safety guards, and unstable control logic. To address these limitations, we present FCGraft, a Functional Cache Grafting framework. FCGraft maintains a library of function-level validated code skeletons and their associated prompt-level Transformer key-value (KV) caches, and synthesizes new policies by retrieving relevant functions and grafting their KV caches when a new task is provided. Given retrieved function caches, FCGraft performs cache grafting via stitching, which composes cached function segments into a composite policy, and patching, which locally adapts only the necessary code regions to satisfy task-specific parameters and constraints with minimal additional decoding. By eliminating redundant prefill computation, this approach reduces generation latency, while reusing validated control structures improves robustness over prompt-level caching methods RAGCache, achieving 18.31% higher task success rate and 2.3x faster policy synthesis.

评分理由: Agentic Reasoning is highly relevant due to the focus on embodied agents and policy synthesis. Latent Reasoning is moderately relevant as KV caches retain latent state information. model-based RL is relevant in the context of embodied control. World Models and MLLM have low relevance since the paper focuses on CodeLLMs rather than world modeling or multimodal fusion. Unify Models, MultiModal, Tokenizer, and Visual Encoder are largely irrelevant as the text-to-code approach does not involve vision, tokenizer design, or model unification.

CodeLLMs, Embodied Agents, Functional Cache Grafting, Policy Synthesis, KV Caches, Latency Reduction, Robustness

Chinese Title: 功能缓存嫁接：面向具身智能体的鲁棒快速代码策略合成

Summary: 本文针对具身智能体在开放域环境中使用代码大模型（CodeLLM）生成策略时存在的延迟高和鲁棒性差的问题，提出了FCGRAFT框架。该框架通过维护函数级验证代码骨架及其对应的Transformer键值缓存（KV cache），在新任务到来时检索相关函数并嫁接其KV缓存，从而避免冗余的预填充计算。具体地，FCGRAFT采用缓存拼接（cache-stitching）组合已验证的函数段形成复合策略，以及缓存修补（cache-patching）仅对必要代码区域进行局部调整，以最小化额外解码。实验表明，相比RAGCache，FCGRAFT在ALFRED、TEACh、RLBench等基准测试以及真实机器人操作任务中，任务成功率平均提升18.31%，策略合成速度提升2.3倍，实现了鲁棒性与延迟之间的最佳权衡。

Innovations:

• 提出函数级KV缓存机制，将已验证的代码函数分解为键值缓存存储，实现细粒度的代码复用。
• 引入缓存嫁接（cache grafting）方法，包括缓存拼接和缓存修补两个相互依赖的阶段，分别消除结构错误和局部错误。
• 设计两层级代码缓存（接口层和实现层），支持轻量级引用和原地编辑，提高代码策略合成的效率。
• 通过动态缓存管理策略（基于最近使用频率和语义多样性）提升函数在开放域任务中的可复用性。

Methodology: FCGRAFT采用两阶段代码策略合成流程：首先，将先前生成并验证的代码策略分解为函数级KV缓存，存储在两层代码缓存中（接口层和实现层）。然后，对于新任务，通过检索相关函数，执行缓存拼接（将多个函数KV缓存组合成完整策略）和缓存修补（定位错误跨度并仅生成修正部分）。该方法利用Transformer的KV缓存机制避免重复预填充，同时通过复用已验证的控制结构提高鲁棒性。

Key Results:

• 在ALFRED、TEACh、RLBench等基准测试中，FCGRAFT的任务成功率平均比RAGCache高18.31%。
• 策略合成延迟平均降低2.3倍（即2.3×加速）。
• 在真实机器人操作任务中验证了框架的实用性和鲁棒性。
• 缓存拼接和缓存修补的联合使用有效减少了结构错误和局部错误，提升了代码质量。

Tech Stack:

• CodeLLM（代码大语言模型）
• Transformer键值缓存（KV cache）
• 检索增强生成（RAG）
• 填充中间（Fill-in-the-Middle, FIM）技术
• 函数级代码分解与缓存管理
• 语义感知的缓存替换策略（基于最近使用频率和功能多样性）

Strengths:

• 创新性地将KV缓存从文档级扩展到函数级，实现了更细粒度的代码复用。
• 缓存拼接和修补的联合设计有效解决了结构错误和局部错误两种不同类型的问题。
• 在多个具身智能体基准和真实任务上取得了显著的性能提升（成功率+18.31%，速度+2.3×）。
• 框架具有通用性，可集成到现有Code-as-Policies范式中。

Limitations:

• 依赖预先构建的函数缓存库，初始阶段需要积累一定数量的已验证代码。
• 缓存管理策略（如语义多样性评估）可能增加额外计算开销。
• 对于全新领域或与缓存函数语义差异极大的任务，检索和嫁接效果可能受限。
• 实验主要基于模拟环境和有限真实任务，大规模开放域部署的泛化性有待进一步验证。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但代码策略合成可视为多模态理解与控制的统一。
• World Models: 论文未明确构建世界模型，但通过代码策略隐式建模环境约束。
• Representation Learning: 论文使用Transformer的KV缓存作为函数表示，属于表征学习范畴。
• Model-Based RL: 论文不直接涉及强化学习，但代码策略可视为基于模型的控制方法。
• 原生多模态大模型: 论文使用CodeLLM处理自然语言指令和API调用，属于多模态大模型应用。
• 多模态大模型的理解和生成一体化: 论文中CodeLLM同时理解指令和生成代码，体现理解与生成一体化。
• 表征学习: 函数级KV缓存可视为一种高效的表征复用方式。
• 世界模型: 代码策略隐含了对环境动态的建模。
• 强化学习: 论文未使用强化学习训练，但策略合成可辅助强化学习中的策略初始化。
• 后训练: 论文不涉及模型后训练，而是利用预训练CodeLLM进行推理时优化。

数据驱动的工程设计受限于缺乏大规模 3D 数据集，这些数据集需将几何形状与基于物理的性能标签配对。特别是，现有的 3D 数据增强技术在保持细微且多样的几何变化方面存在局限，且难以自动化后续的仿真标注过程，因为边界条件会随生成的几何形状而变化。我们提出 DeepJEB++，一种基于基础模型的数据增强框架，旨在资源受限的条件下，将少量发动机支架种子集扩展为大规模、经仿真标注的 3D 数据集。我们的核心思想是在数据丰富的 2D 潜在空间中进行增强，然后转换至 3D。第一阶段，我们在多视图渲染上微调预训练的 2D 潜在扩散模型，并通过潜在插值合成新视图，通过视觉语言模型（VLM）质量过滤器保留可制造的设计。第二阶段，经过验证的图像通过领域自适应生成基础模型被提升为 3D 网格。第三阶段，自动化流水线识别每个网格上的载荷和螺栓接口，并自动分配有限元标签——包括质量、应力和位移——无需人工干预。我们从三个内在维度评估增强质量：可制造性、与 SimJEB 真实值相比的标签保真度以及分布一致性。从少于 400 个种子设计出发，DeepJEB++ 在每个阶段仅使用单个 GPU 的情况下，生成了 15,360 个仿真标注的 3D 支架，实现了 40 倍的扩展。该数据集将公开提供，以支持可复现的工程与 AI 研究。

Data-driven engineering design is constrained by the lack of large-scale 3D datasets that pair geometry with physics-based performance labels. In particular, existing 3D data augmentation techniques have limitations in preserving subtle and diverse geometric variations, and it remains difficult to automate the subsequent simulation-labeling process, where boundary conditions vary depending on the generated geometry. We present DeepJEB++, a foundation-model-driven data-augmentation framework that expands a small seed set of jet engine brackets into a large, simulation-labeled 3D dataset under constrained resources. Our key idea is to augment in the data-rich 2D latent space, then transfer to 3D. In Stage 1, we fine-tune a pretrained 2D latent diffusion model on multi-view renders and synthesize novel views by latent interpolation, retaining manufacturable designs through a vision-language-model (VLM) quality filter. In Stage 2, the validated images are lifted to 3D meshes by a domain-adapted generative foundation model. In Stage 3, an automated pipeline recognizes the load and bolt interfaces on each mesh and assigns finite-element labels -- mass, stress, and displacement -- without manual intervention. We assess augmentation quality along three intrinsic axes: manufacturability, label fidelity against the SimJEB ground truth, and distributional consistency. Starting from fewer than 400 seed designs, DeepJEB++ yields 15,360 simulation-labeled 3D brackets -- a 40x expansion -- using a single GPU per stage. The dataset will be made publicly available to support reproducible engineering-AI research.

评分理由: 论文核心在于利用基础模型（扩散模型、VLM）进行 3D 工程数据增强，与 Latent Reasoning（潜在空间增强）高度相关，与 MultiModal（多模态数据）和 MLLM（VLM 使用）有一定关联。但与 World Models、model-based RL、Agentic Reasoning 等强化学习或智能体方向关联较弱，Tokenizer 和 Visual Encoder 仅为组件非核心。Unify Models 指多模型流水线，相关性中等。加权总分为 49.5，高于动态及格分 35.2。

3D Engineering Dataset, 2D Latent Space Augmentation, Foundation Model, Automated Simulation Labeling, Diffusion Model, Vision-Language Model, Data Augmentation

Chinese Title: DeepJEB++：基于基础模型的二维潜空间增强驱动的大规模三维工程数据集

Summary: 数据驱动的工程设计受限于缺乏同时包含几何形状和物理性能标签的大规模三维数据集。现有三维数据增强方法难以保留细微且多样的几何变化，且自动化仿真标注过程因边界条件随生成几何变化而困难。本文提出DeepJEB++，一种基于基础模型的数据增强框架，将少量喷气发动机支架种子集扩展为大规模、带仿真标签的三维数据集，且资源受限。核心思想是在数据丰富的二维潜空间中进行增强，再迁移到三维。第一阶段微调预训练二维潜扩散模型，通过潜空间插值合成新视图，并利用视觉语言模型（VLM）质量过滤器保留可制造设计。第二阶段将验证后的图像通过领域适应的生成基础模型提升为三维网格。第三阶段自动化管道识别每个网格上的载荷和螺栓接口，并分配有限元标签（质量、应力、位移），无需人工干预。从少于400个种子设计出发，DeepJEB++在每阶段单GPU条件下生成15,360个带仿真标签的三维支架（40倍扩展）。数据集将公开以支持可复现的工程AI研究。

Innovations:

• 提出跨维度增强策略：在数据丰富的二维潜空间（利用数十亿图像预训练）进行增强，再通过领域适应的三维基础模型重建，克服三维数据稀缺问题。
• 利用视觉语言模型（VLM）进行工程图像质量过滤，并识别并解决了VLM描述缺陷时的否定词否定（NWN）问题。
• 实现自动化边界条件识别：通过检测生成网格上的载荷和螺栓接口，为每个样本分配适应其几何的边界条件，而非固定模板，从而恢复边界条件多样性。
• 在单GPU资源下实现40倍数据集扩展（从380个种子到15,360个带标签三维样本），证明了基础模型管道在学术和小型企业环境中的可行性。

Methodology: 采用三阶段流水线：第一阶段（2D增强）：对380个种子支架进行多视角渲染（26视角），微调Stable Diffusion（全参数微调）于7800张图像，通过潜空间插值合成新视图，并用LLaVA模型进行质量过滤。第二阶段（3D重建）：使用领域适应的TRELLIS基础模型（MIT许可）将验证后的2D图像提升为3D网格，通过单视角或多视角条件微调确保几何保真度。第三阶段（CAE标注）：自动化管道识别网格上的载荷和螺栓接口，分配有限元边界条件，运行仿真得到质量、应力、位移标签。

Key Results:

• 从380个种子设计扩展到15,360个带仿真标签的三维支架，实现40倍扩展。
• 每阶段仅使用单GPU（A100），训练时间1-2天。
• 通过VLM质量过滤，从约147,000候选图像中筛选出22,495个有效设计。
• 评估了增强质量的三条内在轴：可制造性、标签保真度（与SimJEB真值对比）、分布一致性。
• 解决了VLM中的否定词否定（NWN）问题，提高了质量过滤准确性。

Tech Stack:

• Stable Diffusion（潜扩散模型）
• TRELLIS（结构化3D潜变量，基于整流流变换器）
• LLaVA（视觉语言模型）
• BLIP-2（对比视觉语言预训练）
• DeepSDF（隐式符号距离函数）
• 有限元分析（FEA）
• 多视角渲染（26视角：8方位角×3俯仰角+顶/底视图）
• 潜空间插值（latent interpolation）
• JSON格式相机参数记录

Strengths:

• 创新性地利用2D基础模型的丰富先验来增强3D工程数据，克服了3D数据稀缺瓶颈。
• 自动化流水线从增强到标注完全无需人工干预，大幅降低数据集构建成本。
• 在单GPU资源下实现大规模扩展，具有高度可复现性和可访问性。
• 公开数据集将促进工程AI研究的可复现性。
• 解决了VLM在工程质量评估中的否定词否定问题，提升了过滤可靠性。

Limitations:

• 当前方法仅针对喷气发动机支架这一特定领域，跨领域泛化能力未验证。
• 依赖TRELLIS等基础模型，其训练数据（500K+3D资产）可能不包含所有工程几何类型，对某些复杂形状重建可能不准确。
• 自动化边界条件识别可能对极端或非标准几何失效，需要进一步鲁棒性验证。
• 数据集规模（15,360）仍远小于自然图像数据集，可能不足以支撑超大规模模型训练。
• 仅使用单视角重建，可能丢失部分几何细节，多视角条件可进一步提升质量但增加计算成本。

Relevance To Keywords:

• Unify Models: 论文未直接涉及统一模型，但使用基础模型（Stable Diffusion、TRELLIS）体现了多模态生成与理解的统一趋势。
• World Models: 论文未涉及世界模型，但通过仿真标签（应力、位移）为几何赋予物理属性，可视为对工程世界模型的构建。
• Representation Learning: 论文在2D潜空间进行增强，并利用结构化3D潜变量（SLAT）表示，涉及表征学习。
• Model-Based RL: 论文未涉及强化学习，但生成的带标签数据集可用于训练代理模型，进而支持基于模型的优化或RL。
• 原生多模态大模型: 论文使用多模态大模型（LLaVA）进行质量评估，体现了多模态理解能力。
• 多模态大模型的理解和生成一体化: 论文结合了2D生成（Stable Diffusion）和3D生成（TRELLIS），以及VLM理解，但未实现端到端一体化。
• 表征学习: 同上，潜空间和结构化潜变量属于表征学习范畴。
• 世界模型: 通过仿真标签赋予几何物理行为，可视为工程世界模型的数据基础。
• 强化学习: 间接相关：生成的数据集可用于训练工程设计的强化学习策略。
• 后训练: 论文中微调基础模型（Stable Diffusion、TRELLIS）属于后训练（fine-tuning）范畴。

大语言模型（LLM）代理的技能自演化方法旨在将执行轨迹转化为可重用的技能文档，但当前流程通常仅从每个任务的单个轨迹中学习，在验证前合并候选技能补丁，并在推理前加载整个技能语料库。我们提出 SkillCAT，这是一个无需训练的框架，将该过程分为三个阶段。对比因果提取（Contrastive Causal Extraction, CCE）为每个任务采样多个轨迹，并比较同任务的成功/失败样本对，以识别解释结果差异的证据。评估增强演化（Assessment-Augmented Evolution, AAE）在每个源任务副本上重放每个候选补丁，仅保留能改进或保持任务结果的补丁，随后进行层次化技能补丁合并。拓扑感知任务执行（Topology-Aware Task Execution, TTE）将演化后的技能编译为可路由的子技能拓扑，使得推理仅加载与任务相关的功能节点。我们在常见的代理基准上评估 SkillCAT，包括 SpreadsheetBench、WikiTableQuestions 和 DocVQA，并进一步测试跨模型及分布外泛化能力。在这些设置下，SkillCAT 相较于基线将平均得分提高了高达 40.40%，证明了无需模型训练即可实现可靠的技能演化。

Skill self-evolution methods for LLM agents aim to turn execution trajectories into reusable skill documents, but current pipelines typically learn from one trajectory per task, merge candidate skill patches before checking them, and load the full skill corpus before inference. We propose SkillCAT, a training-free framework that separates this process into three stages. Contrastive Causal Extraction (CCE) samples multiple trajectories for each task and compares same-task success/failure pairs to identify evidence that explains outcome differences. Assessment-Augmented Evolution (AAE) replays each candidate patch on source-task clones and keeps only patches that improve or preserve task outcomes before hierarchical skill patch merging. Topology-Aware Task Execution (TTE) compiles the evolved skills into a routable sub-skill topology, so inference loads only the capability nodes relevant to the task. We evaluate SkillCAT on common agent benchmarks, including SpreadsheetBench, WikiTableQuestions, and DocVQA, and further test cross-model and out-of-distribution generalization. Across these settings, SkillCAT raises the average score over baselines by up to 40.40%, demonstrating reliable skill evolution without model training.

评分理由: 论文主要研究 LLM 代理的技能自进化，与'Agentic Reasoning'高度相关；通过轨迹对比和拓扑推理优化技能，与'Latent Reasoning'和'model-based RL'有一定关联；虽涉及视觉任务基准，但核心非多模态模型架构，故'MLLM'和'MultiModal'相关性中等；'Tokenizer'、'Visual Encoder'及'Unify Models'未涉及，相关性低；'World Models'部分相关。作者列表中不包含 Yang Shi 等指定专家，故无额外加分。

Skill Self-Evolution, LLM Agents, Contrastive Causal Extraction, Topology-Aware, Training-free, Skill Documents, Trajectory Analysis

Chinese Title: SkillCAT：面向LLM智能体的对比评估与拓扑感知技能自我进化

Summary: 论文提出SkillCAT，一个无需训练的框架，用于LLM智能体的技能自我进化。当前方法存在三个问题：单轨迹偏差（单条轨迹证据不足）、未经验证的合并（补丁直接合并可能引入噪声）、上下文过载（技能库持续增长导致推理时干扰）。SkillCAT将技能生命周期分为三个阶段：对比因果提取（CCE）通过多种子采样生成同任务成功/失败对比对，提取因果分水岭处的经验；评估增强进化（AAE）在源任务克隆上回放每个候选补丁，根据结果转换打分，仅保留改善或保持行为的补丁，再进行分层合并；拓扑感知任务执行（TTE）将进化后的技能编译为可路由的子技能拓扑，推理时仅加载任务相关节点。在SpreadsheetBench、WikiTableQuestions、DocVQA等基准上，SkillCAT相比基线平均提升最高40.40%，且技能可跨模型和跨分布泛化。

Innovations:

• 提出对比因果提取（CCE），利用同任务多种子轨迹的成功/失败对比对，定位因果分水岭并提取关键经验，避免单轨迹偏差。
• 提出评估增强进化（AAE），通过源任务克隆回放验证每个候选补丁，基于结果转换打分（失败→成功最高分），仅保留有效补丁，再进行分层合并。
• 提出拓扑感知任务执行（TTE），将进化后的技能编译为可路由的子技能拓扑，推理时仅加载任务相关节点，缓解上下文过载。
• 将技能自我进化分解为三个可观测阶段（证据提取、补丁验证与集成、测试时部署），每个阶段可独立消融。
• 无需模型训练，完全基于LLM推理实现技能进化，且技能可跨模型（如gemma-4-31B-it、gpt-5.4-mini）和跨分布泛化。

Methodology: 论文采用三阶段流水线方法。第一阶段CCE：对每个任务使用多个随机种子运行智能体，收集成功和失败轨迹；当存在混合结果时，随机采样一对成功/失败轨迹，定位第一个动作分歧点（因果分水岭），由LLM提取候选经验记录；若全成功或全失败，则启用单轨迹回退提取。第二阶段AAE：对每个候选补丁，在源任务克隆上回放，比较基线结果与回放结果，根据四种结果转换（失败→成功、成功→成功、失败→失败、成功→失败）赋予分数（2,1,0,-1），仅保留分数≥2的补丁；然后按分数分层，从低层到高层合并，每层使用Map-Reduce风格合并。第三阶段TTE：将进化后的技能文档编译为有向无环图拓扑，节点为子技能，边为依赖关系；推理时根据任务上下文选择相关节点（基于嵌入相似度或LLM路由），组装成精简技能注入智能体上下文。

Key Results:

• 在SpreadsheetBench上，使用Qwen3.5-35B-A3B，SkillCAT达到55.50% Vrf，比Trace2Skill高25.83个百分点；使用Qwen3.5-122B-A10B达到69.50% Vrf。
• 在跨分布泛化测试中，WikiTableQuestions上Qwen3.5-35B-A3B和Qwen3.5-122B-A10B分别达到81.55%和84.47%准确率。
• 在多模态DocVQA上，Qwen3.5-35B-A3B和Qwen3.5-122B-A10B用户分别达到0.9159和0.7200 ANLS。
• 消融实验表明CCE、AAE、TTE三个模块均贡献显著。
• 跨模型实验显示技能可被gemma-4-31B-it和gpt-5.4-mini复用，平均提升最高40.40%。

Tech Stack:

• LLM（大语言模型）作为智能体核心
• 多种子采样（multi-seed sampling）
• 对比因果提取（Contrastive Causal Extraction）
• 因果分水岭（causal watershed）识别
• 源任务克隆回放（source-task clone replay）
• 结果转换评分（outcome transition scoring）
• 分层合并（hierarchical tiered merge）
• 有向无环图拓扑（DAG topology）
• 嵌入相似度或LLM路由（embedding similarity / LLM routing）
• Map-Reduce风格合并

Strengths:

• 无需模型训练，完全基于推理，计算成本低且易于部署。
• 通过对比因果提取有效缓解单轨迹偏差，提高经验可靠性。
• 通过回放验证机制确保补丁质量，避免有害补丁进入技能库。
• 拓扑感知路由显著减少推理时上下文长度，提升效率并减少干扰。
• 在多个基准和跨模型、跨分布场景下均取得显著提升，泛化性强。
• 模块化设计，各阶段可独立消融和替换，便于后续改进。

Limitations:

• 依赖LLM的推理能力，若LLM本身因果推理或对比分析能力不足，可能影响提取质量。
• 多种子采样增加离线阶段计算开销（每个任务需多次运行）。
• 回放验证需要源任务克隆，可能不适用于无法复现的环境（如实时交互任务）。
• 拓扑构建和路由依赖任务上下文表示，若上下文模糊可能路由错误。
• 论文主要聚焦于文本和表格任务，对纯视觉或多模态任务的适用性需进一步验证（DocVQA仅作为多模态测试）。
• 与关键词中的世界模型、表征学习、强化学习等方向关联较弱，未涉及模型内部表征或世界建模。

Relevance To Keywords:

• Unify Models: 论文未涉及模型统一，但技能进化可视为一种轻量级模型行为统一方式。
• World Models: 论文不直接构建世界模型，但技能文档可视为任务世界的结构化知识。
• Representation Learning: 论文不涉及表征学习，技能提取依赖LLM的隐式表征。
• Model-Based RL: 论文不涉及强化学习，但回放验证类似基于模型的评估。
• 原生多模态大模型: 论文主要针对LLM，但实验包含多模态DocVQA，技能可跨模态使用。
• 多模态大模型的理解和生成一体化: 论文不涉及生成一体化，仅关注理解任务。
• 表征学习: 无直接关联。
• 世界模型: 弱关联，技能拓扑可视为任务世界的抽象模型。
• 强化学习: 弱关联，回放验证类似价值评估，但无策略优化。
• 后训练: 论文无需训练，属于后训练阶段的技能进化方法。

视觉 - 语言 - 动作（VLA）策略将自然语言引入闭环机器人控制，使机器人能够直接根据文本指令执行操作任务。相同的接口使文本在控制中扮演持续的角色，因为提示在每个重规划步骤中被重用，且每个基于提示的动作都会改变策略所作用的未来观测。现有的 VLA 攻击研究对抗性提示，这些提示能诱导出目标低级动作，或使此类动作在变化的图像中持续存在。我们发现了一种更强的轨迹级故障模式：一个提示看似仍指定了预期任务，却重定向了最终的物理结果。我们在数学上将此设定形式化为“命令保持轨迹重定向”（command-preserving trajectory redirection），这是一种仅提示的威胁模型：攻击者在回合前选择一个提示，所有策略和环境组件保持固定，且提示必须接近良性指令，同时省略目标词和修正语言。为了找到此类提示，我们引入了一种同策略提示搜索方法，该方法利用轨迹模拟发现扰动，使其闭环行为跟踪目标任务，同时满足命令保持约束。在仿真和硬件上的实验表明，接近良性的提示扰动可将 VLA 轨迹重定向至攻击者指定的目标。这些结果揭示了 VLA 指令关联（grounding）中的轨迹级漏洞：看似保持预期命令的文本仍可能赋予攻击者控制机器人最终物理结果的能力。项目网站：https://vla-redirection-attack.github.io/

Vision-language-action (VLA) policies bring natural language into closed-loop robot control, enabling robots to execute manipulation tasks directly from text instructions. The same interface gives text a recurring role in control because the prompt is reused at every replanning step, and each prompt-conditioned action changes the future observations on which the policy acts. Existing VLA attacks study adversarial prompts that elicit targeted low-level actions or make such actions persist across changing images. We identify a stronger trajectory-level failure mode: a prompt that still $\textit{appears}$ to specify the intended task but redirects the final physical outcome. We mathematically formalize this setting as $\textit{command-preserving trajectory redirection}$, a prompt-only threat model in which the attacker chooses one prompt before the episode, all policy and environment components remain fixed, and the prompt must stay close to the benign instruction while omitting target words and correction language. To find such prompts, we introduce an on-policy prompt search method that uses rollouts to discover perturbations whose closed-loop behavior tracks a target task while satisfying the command-preserving constraints. Experiments in simulation and on hardware show that near-benign prompt perturbations can redirect VLA rollouts to attacker-specified targets. These results expose a trajectory-level vulnerability in VLA instruction grounding: text that appears to preserve the intended command can still give an adversary control over the robot's final physical outcome. Project website: https://vla-redirection-attack.github.io/

评分理由: The paper focuses on security vulnerabilities in Vision-Language-Action (VLA) models rather than architectural construction. MultiModal is highly relevant as VLA integrates vision, language, and action. MLLM and model-based RL are moderately relevant due to the underlying technology and use of rollouts for attack generation. Unify Models is relevant as VLA unifies modalities. Tokenizer, Visual Encoder, World Models, and Latent Reasoning are less relevant as they are not the focus of this security study. No expert authors from the specified list were found. The weighted total score is 49.5, exceeding the dynamic passing score of 35.2.

Vision-Language-Action, Adversarial Attacks, Trajectory Redirection, Prompt Perturbation, Robot Control, Command-Preserving, Rollouts

Chinese Title: 视觉-语言-动作模型的轨迹级重定向攻击

Summary: 本文研究了视觉-语言-动作（VLA）模型在闭环机器人控制中的安全漏洞。VLA模型将自然语言指令作为持久条件信号，在每个重规划步骤中重复使用，导致攻击者可以通过看似保留原始指令的文本扰动来重定向机器人的最终物理结果。作者形式化定义了“命令保持的轨迹重定向”威胁模型，要求攻击提示在文本上接近良性指令、不包含目标任务词汇且无覆盖或纠正语言。为解决该问题，提出了一种在线提示搜索方法（on-prompt search），通过rollout收集当前候选提示诱导的状态分布，并重新优化以满足约束。在仿真和硬件实验中，对多种VLA架构（包括离散token动作预测、流匹配、扩散动作头、连续动作块等）进行评估，结果显示在9种架构中有7种攻击成功率超过90%。此外，本文还评估了防御措施，指出需要命令级归一化而非仅表面清理。该工作揭示了VLA指令接地中的轨迹级脆弱性。

Innovations:

• 首次形式化定义命令保持的轨迹重定向威胁模型，明确攻击者只能修改提示文本且必须保持与良性指令的语义一致性。
• 提出在线提示搜索方法（on-policy prompt search），利用DAgger思想从当前候选提示诱导的状态分布中聚合数据，克服固定观测评分的不准确性。
• 在多种VLA架构（离散token、流匹配、扩散、连续动作块等）上系统评估攻击效果，证明该漏洞具有广泛性。
• 评估了针对轨迹级攻击的防御措施，指出仅靠表面文本清理不足以缓解，需要命令级归一化。

Methodology: 论文采用威胁模型形式化定义和在线提示搜索算法。首先定义命令保持的提示扰动约束（字符编辑距离、目标词汇检测、可读性检查等）。然后提出on-policy prompt search：对每个候选提示，在环境中执行rollout，记录访问的观测；使用冻结的VLA策略在目标指令下对这些观测重新标注动作；计算损失并优化提示，同时施加文本约束。该方法类似于DAgger，确保优化基于闭环状态分布而非离线固定观测。实验在仿真（如Maniskill2）和真实机器人上进行，评估多种VLA模型。

Key Results:

• 在9种VLA架构中，7种攻击成功率超过90%，表明轨迹级重定向攻击具有广泛性。
• 攻击提示仅需微小文本变化（如字符编辑），即可使机器人完成攻击者指定的替代任务，同时良性任务失败。
• 现有防御（如输入清洗、拼写检查）无法有效缓解，需要命令级归一化或对抗训练。
• 在线提示搜索方法优于离线固定观测优化，因为后者无法捕获闭环状态分布偏移。

Tech Stack:

• VLA模型：π0.5, OpenVLA, RT-2等
• 攻击优化：Greedy Coordinate Gradient (GCG) 算法
• 在线数据聚合：DAgger (Dataset Aggregation)
• 文本约束：字符编辑距离、词汇黑名单、可读性正则化
• 仿真环境：Maniskill2等
• 动作表示：离散token、流匹配、扩散、连续动作块

Strengths:

• 首次系统研究VLA模型的轨迹级重定向攻击，填补了现有工作仅关注单步或持久动作的空白。
• 形式化威胁模型清晰，约束合理（命令保持），排除了简单提示替换。
• 实验覆盖多种主流VLA架构，结果具有说服力。
• 提出的在线提示搜索方法有效解决了闭环状态分布偏移问题。

Limitations:

• 攻击需要访问环境进行rollout，可能不适用于完全黑盒场景。
• 防御评估仅初步，未提出强健的防御方案。
• 实验环境可能有限，真实世界复杂场景下的泛化性有待验证。
• 命令保持约束的自动化实现（如可读性检查）可能依赖人工或规则，存在主观性。

Relevance To Keywords:

• 原生多模态大模型：VLA模型是多模态大模型在机器人领域的典型应用，本文研究其安全漏洞。
• 表征学习：VLA模型涉及视觉和语言表征的联合学习，攻击利用表征的脆弱性。
• 世界模型：VLA的闭环控制依赖于对世界状态的隐式建模，攻击通过改变提示影响状态演化。
• 强化学习：VLA策略可视为从语言到动作的映射，攻击类似于策略扰动，与RL中的对抗攻击相关。
• 后训练：攻击优化过程类似于后训练中的对抗训练，但本文是攻击而非防御。

几何结构具有视图不变性，这使得任何图像集合都成为单一 3D 状态的冗余编码。现有的前馈重建模型未能利用这一点：逐视图方法生成重叠且未对齐的点图 (pointmaps)，其数量随输入数量线性增长；而全局潜在方法则局限于固定的低分辨率输出。我们提出了 Surflo，它将可变数量的未标定姿态 RGB 视图压缩为 K 个潜在标记——一个全局状态——并通过流匹配 (flow matching) 独立地将它们从噪声传输到表面上，从而解码出定向 3D 表面点。这使得输出摆脱了任何固定网格或标记预算的限制：同一个潜在变量在单次前向传播中可生成数千至百万个点。为了抑制独立逐点解码固有的局部不一致性，一个推理时引导项通过在 ODE 积分期间注入光度梯度来关联邻近点。Surflo 在表面度量上匹配或超越了前馈基准方法，比需要数百个视图的基于优化的方法快一个数量级，并且是唯一结合全局潜在变量与任意分辨率解码的前馈方法。

Geometry is invariant to viewpoint, which makes any collection of images a redundant encoding of a single 3D state. Existing feed-forward reconstruction models fail to exploit this: per-view methods emit overlapping, unaligned pointmaps that grow linearly with input count, while global-latent methods commit to a fixed, low-resolution output. We introduce Surflo, which compresses a variable number of unposed RGB views into K latent tokens-one global state-and decodes oriented 3D surface points by independently transporting them from noise onto the surface via flow matching. This frees the output from any fixed grid or token budget: the same latent yields from a few thousand to a million points in a single forward pass. To suppress the local inconsistencies inherent to independent per-point decoding, an inference-time guidance term correlates nearby points by injecting a photometric gradient during ODE integration. Surflo matches or surpasses feed-forward baselines on surface metrics, runs an order of magnitude faster than optimization-based methods that require hundreds of views, and is the only feed-forward approach to combine a global latent with arbitrary-resolution decoding.

评分理由: 论文提出 Surflo 模型，核心在于利用全局潜态（Global Latent）和流匹配（Flow Matching）将多视角图像压缩为统一表示并解码 3D 表面。相关度分析：'Latent Reasoning'（7.0）和'Tokenizer'（6.0）高度相关，因模型依赖潜态 token 和几何推理；'Unify Models'（5.0）和'Visual Encoder'（6.0）中度相关，涉及视图统一与编码；'World Models'（4.0）涉及全局状态概念但非典型时序模型；'MultiModal'（3.0）为图像到 3D 的跨模态；'MLLM'、'model-based RL'、'Agentic Reasoning'（0.0）完全无关。作者列表中不包含指定专家，无额外加分。加权总分 46.5，高于动态及格分 35.2。

3D Surface Flow, Global State, Flow Matching, Latent Tokens, Viewpoint Invariant, Feed-forward, Arbitrary-resolution

Chinese Title: Surflo：具有全局状态的一致3D表面流模型

Summary: 本文提出Surflo，一种前馈式3D表面重建模型，核心思想是将任意数量的未标定RGB视图压缩为固定大小的全局潜在表示，并通过流匹配（flow matching）从噪声中独立解码出任意数量的有向表面点。现有方法要么按视图输出点云导致冗余且难以融合，要么受限于固定分辨率输出。Surflo的编码器基于冻结的VGGT骨干提取几何特征，经Perceiver压缩为K个潜在token；解码器通过条件流匹配独立运输每个查询点至表面，并引入推理时引导项（基于光度损失和深度损失梯度）来关联邻近点，消除独立解码的不一致性。在8个基准上，Surflo匹配或超越前馈基线，且比需要数百视图的优化方法快一个数量级。此外，作者贡献了带水密网格的DL3DV数据集版本。

Innovations:

• 将可变数量未标定RGB视图压缩为固定大小的全局潜在表示，独立于视图数量。
• 基于流匹配的解码器，可从同一潜在表示解码任意数量的有向表面点（从数千到百万），实现任意分辨率输出。
• 推理时引导机制，通过注入光度梯度（和可选深度梯度）关联邻近点，抑制独立解码产生的离群点和不一致性。
• 贡献了首个大规模真实场景级水密网格数据集（DL3DV的网格版本），包含约10.5K场景及约10^7个有向点。

Methodology: 编码器：使用冻结的VGGT骨干提取多视图补丁token和相机token，通过3D位置编码（傅里叶特征）增强，再经Perceiver交叉注意力压缩为K个固定潜在token。解码器：采用流匹配框架，将查询点（3D坐标+法线）从混合高斯源分布线性插值到目标表面分布，通过条件变换器（交叉注意力+Ada-LN）预测速度，训练损失为流匹配损失。推理时：使用欧拉求解器积分ODE，并在t≥0.95时引入引导项，通过梯度下降优化全局渲染损失（基于高斯泼溅的RGB损失和可选单目深度损失）来调整速度。

Key Results:

• 在8个3D重建基准上，Surflo匹配或超越前馈基线（如VGGT、InstantSplat等）的表面指标。
• 运行速度比需要数百视图的优化方法（如Gaussian Wrapping）快一个数量级。
• 能从同一潜在表示解码从1K到1M个点，支持快速预览和密集表面。
• 引导机制有效减少离群点，恢复精细几何细节。

Tech Stack:

• VGGT（冻结骨干）
• Perceiver交叉注意力压缩
• 傅里叶特征编码（3D位置编码）
• 流匹配（Flow Matching）
• LogitNormal时间分布
• Ada-LN（自适应层归一化）
• 欧拉ODE求解器
• 高斯泼溅（Gaussian Splatting）用于渲染损失
• 单目深度估计（来自VGGT或Depth Anything）

Strengths:

• 全局潜在表示设计符合几何不变性原理，避免了视图冗余。
• 解码分辨率灵活，支持从稀疏到密集的任意输出，适应不同应用需求。
• 推理时引导机制有效解决了独立点解码的不一致性问题。
• 基于冻结VGGT骨干，利用其强几何特征，训练高效。
• 在多个基准上达到SOTA或接近SOTA，且速度快。

Limitations:

• 依赖VGGT的几何特征，若VGGT在极端视角或光照下失败，可能影响性能。
• 引导机制需要额外计算（梯度下降步骤），增加推理时间。
• 目前仅处理静态场景，未涉及动态或可变形物体。
• 训练数据依赖DL3DV网格版本，可能受限于该数据集的质量和多样性。

Relevance To Keywords:

• 表征学习：Surflo将多视图图像压缩为固定大小的全局潜在表示，属于场景级表征学习。
• 世界模型：该潜在表示可视为场景的隐式世界状态，支持从任意视角查询几何，与构建可交互的世界模型相关。
• 多模态大模型的理解和生成一体化：虽然Surflo专注于3D几何，但其编码-解码框架与多模态理解（图像到几何）和生成（从噪声到表面）一体化有相似思路。
• 后训练：论文未涉及强化学习或后训练，但流匹配训练可视为生成式后训练的一种形式。
• Unify Models：Surflo统一了不同数量输入和不同分辨率输出的处理，体现了模型统一性。

现有的 3D 场景编辑方法通常依赖于基于显式 3D 表示的逐场景优化，或级联编辑与重建流程，导致测试时成本高、3D 感知能力有限以及结构不一致。为了在编辑过程中耦合外观合成与几何预测，我们基于一个统一的 RGB-几何重建生成潜在空间，并将其适配用于前馈 3D 场景编辑。所得框架 JointEdit3D 通过仅观察一个编辑过的 RGB 参考潜在向量，并在源场景锚定下生成剩余的 RGB 视图和编辑几何潜在向量，执行非对称潜在图像修复。JointEdit3D 引入一个专用的 SceneAnchor Branch 以注入源场景结构而不强制直接复制，并采用编辑/背景感知损失来平衡编辑区域保真度与未编辑内容的保留。为了解决标准化 3D 场景编辑评估中缺乏配对数据的问题，我们引入了 SceneEdit3D-15K，这是一个包含 15K 个配对编辑样本及渲染器提供 3D 标注的数据集，以及 SceneEdit3D-Bench，一个包含 100 个样本的精选基准。实验表明，JointEdit3D 在提高编辑区域质量和 3D 结构完整性方面优于先前基线方法，同时保持了具有竞争力的背景保留效果。

Existing 3D scene editing methods typically rely on per-scene optimization over explicit 3D representations or cascaded edit-and-reconstruct pipelines, resulting in high test-time cost, limited 3D awareness, and structural inconsistencies. To couple appearance synthesis and geometry prediction during editing, we build on a unified RGB-geometry reconstruction-generation latent space and adapt it to feed-forward 3D scene editing. The resulting framework, \textbf{JointEdit3D}, performs asymmetric latent inpainting by observing only a single edited RGB reference latent and generating the remaining RGB views and edited geometry latent under source-scene anchoring. JointEdit3D introduces a dedicated SceneAnchor Branch to inject source-scene structure without forcing direct copying, and adopts edit/background-aware losses to balance edited-region fidelity with unedited-content preservation. To address the lack of paired resources for standardized 3D scene editing evaluation, we introduce SceneEdit3D-15K, a dataset with 15K paired editing samples and renderer-provided 3D annotations, together with SceneEdit3D-Bench, a curated 100-sample benchmark. Experiments show that JointEdit3D improves edited-region quality and 3D structural completeness over prior baselines while maintaining competitive background preservation.

评分理由: 论文核心在于利用统一潜空间进行前向 3D 场景编辑，与'Unify Models'和'Latent Reasoning'高度相关；涉及 RGB 与几何的多模态表示，但与 Tokenizer、MLLM、RL 及 Agent 无直接联系。作者列表中未包含指定的专家。

3D Scene Editing, Unified Latent Space, Feed-Forward, RGB-Geometry, Latent Inpainting, SceneAnchor Branch, Structural Completeness

Chinese Title: JointEdit3D：统一潜在空间中的前馈式3D场景编辑

Summary: JointEdit3D提出了一种前馈式3D场景编辑方法，旨在解决现有方法中编辑与重建分离、测试成本高、3D一致性差等问题。该方法基于统一的RGB-几何重建生成潜在空间，将编辑视为非对称潜在修复任务：仅观察单帧编辑后的RGB参考潜在，生成其余RGB视图和编辑后的几何潜在。论文引入场景锚定分支（SceneAnchor Branch）以注入源场景结构而不强制直接复制，并设计了编辑/背景感知损失以平衡编辑区域保真度与未编辑内容保持。为弥补标准化3D场景编辑评估数据的缺失，作者构建了SceneEdit3D-15K数据集（含15K配对编辑样本及3D标注）和SceneEdit3D-Bench基准。实验表明，JointEdit3D在编辑区域质量和3D结构完整性上优于现有方法，同时保持了良好的背景保持能力。

Innovations:

• 将3D场景编辑建模为统一RGB-几何潜在空间中的前馈式生成，耦合编辑决策、外观合成与几何更新，而非分离视图编辑与重建。
• 提出场景锚定分支（SceneAnchor Branch），通过交错残差调节注入源场景结构，实现编辑感知的源内容保持，无需推理时使用编辑掩码。
• 设计编辑/背景感知损失函数，分离编辑区域与背景区域的RGB和几何潜在，并强调潜在变化较大和距离参考帧较远的位置。
• 构建SceneEdit3D-15K数据集（首个配对场景级3D编辑数据集，含15K样本及渲染器提供的3D标注）和SceneEdit3D-Bench基准（100样本），推动标准化评估。

Methodology: 论文采用前馈式生成框架，基于Gen3R的联合RGB-几何潜在空间。编辑条件通过单帧修复实现：将编辑参考帧编码为潜在并放置在零填充张量的对应位置，其余位置置零，并附加二进制掩码。源场景保持通过场景锚定分支实现：该分支接收主分支的编辑线索，将源RGB-几何特征注入冻结的生成器，通过交错残差调节实现编辑感知的源内容保持。训练时使用编辑/背景感知损失，分别计算编辑区域和背景区域的MSE损失，并对潜在变化较大和距离参考帧较远的帧赋予更高权重。数据集通过Blender渲染生成，包含配对的前后场景、语言指令、编辑参考帧、编辑掩码及3D标注。

Key Results:

• JointEdit3D在编辑区域质量和3D结构完整性上优于现有优化式和前馈式基线方法。
• 在背景保持方面，JointEdit3D与现有方法相比保持竞争力，未出现明显退化。
• 场景锚定分支和编辑/背景感知损失对提升编辑保真度和源内容保持均有显著贡献。
• SceneEdit3D-15K数据集和SceneEdit3D-Bench基准为标准化3D场景编辑评估提供了基础。

Tech Stack:

• Gen3R统一RGB-几何潜在空间
• Wan视频扩散模型（Wan Flow Transformer）
• 视频VAE（Video VAE）
• VGGT特征提取器
• CLIP图像编码器（ϕCLIP）
• T5文本编码器（ϕT5）
• 3D卷积补丁嵌入
• 交错残差融合（Residual Adapter / ControlNet风格分支）
• MSE损失（编辑/背景感知加权）
• Blender渲染引擎（数据集构建）

Strengths:

• 前馈式设计大幅降低测试时计算成本，无需逐场景优化。
• 统一潜在空间耦合外观与几何生成，提升跨视图一致性和3D结构完整性。
• 场景锚定分支有效保持源场景内容，无需显式掩码，具备隐式编辑定位能力。
• 构建了大规模配对3D编辑数据集和标准化基准，填补领域空白。
• 编辑/背景感知损失设计合理，平衡了编辑区域保真度与背景保持。

Limitations:

• 依赖单帧编辑参考作为条件，对于需要多帧或复杂时空编辑的场景可能表达能力不足。
• 场景锚定分支仅使用RGB源信息，未利用源几何信息，可能限制几何保持能力。
• 数据集基于Blender合成，与真实场景存在域差异，泛化到真实场景需进一步验证。
• 编辑区域大小和位置对损失权重敏感，可能需要针对不同编辑类型调整超参数。

Relevance To Keywords:

• Unify Models: JointEdit3D将外观生成与几何预测统一在同一潜在空间中，体现了模型统一的思想。
• World Models: 通过联合RGB-几何潜在空间建模场景的视觉和结构信息，可视为对场景世界状态的隐式建模。
• Representation Learning: 论文的核心贡献之一是构建和适应统一的RGB-几何潜在表示，用于编辑任务。
• Model-Based RL: 虽未直接涉及强化学习，但前馈式编辑可视为基于模型的场景变换，未来可结合RL进行编辑策略优化。
• 原生多模态大模型: 使用CLIP和T5编码多模态条件（图像+文本），扩散模型作为生成主干，符合多模态大模型范式。
• 多模态大模型的理解和生成一体化: 模型同时理解源场景和编辑指令，并生成编辑后的多视图RGB和几何，实现理解与生成一体化。

语音驱动的说话角色动画旨在生成逼真的肖像视频，以呈现自然的对话行为，并使面部运动与语音对齐。尽管视频生成领域的最新进展显著提升了基于视频动画的真实感，但实现准确的唇部发音与富有表现力的行为仍然具有挑战性。现有方法通常在精确的音素 - 唇同步与动态面部表情及头部运动之间进行权衡，导致生成的动画要么准确但僵硬，要么表现力强但同步性不佳。为应对这一挑战，我们提出了 ReFree-S2V，这是一种基于预训练视频生成模型的流匹配 (Flow-Matching) 语音 - 肖像动画框架，旨在实现精细的语音发音与高层级的表现力提示。该模型引入了多层次语音表示，能够在局部和全局粒度下捕捉音系及韵律信息。这些表示通过可学习的层级选择器被选择性注入到 Transformer 模块中，从而实现准确的唇同步与自然的表现性运动。为实现自然的头部运动，我们进一步将一种新颖的无奖励强化学习方案引入流匹配训练，以抑制感知上不可信的运动，而无需依赖手工设计的同步指标或奖励模型，也无需承担人类偏好标注的高昂成本。大量实验表明，ReFree-S2V 达到了最先进的性能，在定量唇同步准确性以及定性人类评估的自然性和表现力方面均显著优于现有方法。

Speech-driven talking character animation seeks to generate life-like portrait videos that convey natural conversation behavior, aligning facial motion with spoken audio. Although recent advances in video generation have substantially improved realism in video-based animation, achieving both accurate lip articulation and expressive behavior remains challenging. Existing approaches typically trade off precise phoneme-to-lip synchronization against dynamic facial expressions and head motion, yielding animations that are either accurate yet rigid, or expressive but poorly synchronized. We address this challenge by proposing ReFree-S2V, a flow-matching speech-to-portrait animation framework that builds upon a pretrained video generation model to achieve fine-grained speech articulation and high-level expressive cues in speech-driven portrait animation. This model introduces a multi-level speech representation capturing phonetic and prosodic information at both local and global granularities. These representations are selectively injected into transformer blocks via learnable level selectors, enabling both accurate lip synchronization and natural expressive motion. To achieve natural head movements, we further introduce a novel reward-free reinforcement learning scheme into flow-matching training to discourage perceptually implausible motion without relying on handcrafted synchronization metrics or reward models, or the high cost of human preference annotation. Extensive experiments demonstrate that ReFree-S2V achieves state-of-the-art performance, significantly outperforming existing methods in both quantitative lip-sync accuracy and qualitative human evaluations of naturalness and expressivity.

评分理由: 论文主要研究语音驱动的视频生成，利用流匹配和奖励自由强化学习技术。MultiModal 高度相关（涉及语音与视频模态融合），model-based RL 中度相关（标题及摘要明确提及 RL 方案用于训练优化）。Unify Models 和 World Models 有一定关联（生成模型与视频预测），但非核心创新。Tokenizer、MLLM、Latent Reasoning、Agentic Reasoning 与论文核心内容关联较弱。作者列表中未包含指定的 Yang Shi 等专家，故无额外加分。加权总分为 46.5，高于动态及格分 35.2。

Co-Speech Video Generation, Reward-Free RL, Flow-Matching, Multi-level Speech Guidance, Speech-to-Portrait Animation, Lip Synchronization, Expressive Motion

Chinese Title: ReFree: 面向真实感共语视频生成的无奖励强化学习与多级语音引导

Summary: 本文提出ReFree-S2V框架，用于语音驱动的肖像动画生成。该框架基于预训练视频生成模型（Wan 5B），通过多级语音表示（从局部音素到全局韵律）和可学习的层级选择器，将不同粒度的语音特征注入到Transformer的不同层，实现精确的唇同步和自然的表情与头部运动。为解决监督微调难以同时兼顾唇同步和表现力的问题，作者引入了一种无奖励的强化学习微调策略：通过构造真实样本与负样本（包含不自然运动）的对比课程，让模型自监督地学习感知真实感，无需人工标注或手工设计的奖励函数。实验表明，该方法在定量唇同步精度和定性人类评估上均达到当前最优水平，显著优于现有方法。

Innovations:

• 提出多级语音表示，通过不同卷积核大小的CNN层和共享MLP捕获从局部音素到全局韵律的多粒度信息。
• 设计可学习的层级选择器，为每个Transformer块动态选择最合适的语音特征粒度，实现精准注入。
• 采用多头部FiLM层替代传统的窗口交叉注意力，提供更灵活的缩放和平移变换，增强语音条件控制能力。
• 提出无奖励强化学习微调策略，通过构造负样本课程（包含不自然运动）进行自监督对比学习，无需人工偏好标注或显式奖励函数。

Methodology: 基于预训练视频生成模型Wan 5B，采用两阶段训练：第一阶段使用flow-matching目标，通过LoRA微调DiT块，并完全优化语音注入块和多级语音编码器；第二阶段引入无奖励强化学习微调，在训练中同时提供真实视频和构造的负样本（如唇同步差、头部运动僵硬等），通过对比损失引导模型生成更自然的运动。多级语音编码器由不同卷积核大小的CNN层和共享MLP组成，输出经加权门控融合后输入多头部FiLM层，对视频隐状态进行缩放和平移。

Key Results:

• 在定量指标上，唇同步精度（如LMD、SyncNet置信度）显著优于Wav2Lip、SadTalker、FantasyTalking等现有方法。
• 在定性人类评估中，生成视频的自然度、表现力和唇同步质量均获得最高评分。
• 消融实验验证了多级语音表示、层级选择器和多头部FiLM的有效性。
• 无奖励强化学习微调进一步提升了头部运动的自然性和整体感知真实感。

Tech Stack:

• Flow-matching生成框架
• DiT (Diffusion Transformer) 架构
• LoRA (Low-Rank Adaptation) 微调
• 多头部FiLM (Feature-wise Linear Modulation) 层
• CNN (卷积神经网络) 与 MLP (多层感知机)
• 加权门控机制 (Weighted Gating)
• 无奖励强化学习 (Reward-Free RL) 对比学习
• 预训练模型: Wan 5B

Strengths:

• 同时实现了精确的唇同步和自然的表情/头部运动，克服了现有方法的权衡问题。
• 无奖励强化学习策略避免了昂贵的人工标注和复杂的奖励函数设计，具有可扩展性。
• 多级语音表示和层级选择器设计合理，能够灵活适应不同粒度的语音-运动关联。
• 基于预训练大模型，生成视频质量高，且通过LoRA高效微调。

Limitations:

• 依赖预训练视频生成模型（Wan 5B）的质量，若基模型存在偏差可能影响最终效果。
• 负样本的构造策略（如哪些不自然运动被纳入）可能不够全面，影响对比学习效果。
• 论文未讨论多语言、多口音或复杂背景下的泛化能力。
• 计算资源需求较高，训练和推理成本可能限制实际部署。

Relevance To Keywords:

• 多模态大模型的理解和生成一体化：论文将语音理解（多级表示）与视频生成（flow-matching）结合，实现语音到肖像动画的生成。
• 表征学习：多级语音表示从不同时间尺度提取特征，属于表征学习范畴。
• 世界模型：视频生成模型可视为对人物运动世界的模拟，论文通过语音引导生成合理运动。
• 强化学习/后训练：提出的无奖励强化学习微调属于后训练阶段，通过对比学习优化生成质量。
• 原生多模态：语音和视频两种模态在框架中深度融合，而非简单拼接。

当前基于大语言模型（LLM）的研究代理虽已通过代理编排取得进展，却很大程度上忽视了科学知识编排。现有工作常将论文简化为摘要、表面提及和扁平的引用边，遗漏了科学推理所需的关键实体、主张、证据、机制和方法谱系。为此，我们引入 Agents-K1，这是一个端到端的知识编排管道，可将原始文档转换为代理原生的科学知识图谱。Agents-K1 在统一理论基础上整合了三个组件：一个多模态解析器，其五模块模式捕获全文而非仅摘要中的实体、多模态证据、引用和实体间类型化关系；一个基于规则奖励使用 GRPO 训练的 4B 信息提取骨干网络；以及一个 graphanything CLI，一个统一网络搜索、多模态图检索和跨文档遍历的三源代理接口。在此基础上，我们处理了六个学科领域的 246 万篇科学论文以生成 Scholar-KG，其中我们发布了一百万篇论文的子集，完整的 Scholar-KG 可通过下方的 SCP 链接访问。相同的管道可扩展至通用领域语料库及符合模式的数据合成。广泛的实验表明，Agents-K1 在科学信息提取、知识图谱构建和多跳科学推理方面实现了卓越的性能。

Current LLM-based research agents have advanced through agent orchestration, yet largely overlook scientific knowledge orchestration. Existing works often reduce papers to abstracts, surface mentions, and flat \texttt{cites} edges, omitting key entities, claims, evidence, mechanisms, and method lineages essential for scientific reasoning. To this end, we introduce \textbf{Agents-K1}, an end-to-end knowledge orchestration pipeline that converts raw documents into agent-native scientific knowledge graphs. Agents-K1 integrates three components under a unifying theoretical foundation: a multimodal parser whose five-module schema captures entities, multimodal evidence, citations, and typed inter-entity relations across the full paper rather than abstracts alone; a 4B information-extraction backbone trained with GRPO under a rule-based reward; and a graphanything CLI, a tri-source agent interface that unifies web search, multimodal graph retrieval, and cross-document traversal. On top of this, we process 2.46 million scientific papers across six subjects to produce \textbf{Scholar-KG}, of which we release a one-million-paper subset, and the full Scholar-KG is accessible via the SCP link below. The same pipeline can be extended to general-domain corpora and to schema-conformant data synthesis. Extensive experiments demonstrate that Agents-K1 achieves superior performance in scientific information extraction, knowledge graph construction, and multi-hop scientific reasoning.

评分理由: 论文核心在于科学知识图谱构建与智能体编排，与 Agentic Reasoning（标题及核心内容）和 MultiModal（多模态解析器）高度相关。虽然提到统一理论基础，但未涉及 Unify Models 架构；使用 4B 骨干网络可能涉及 MLLM，但非核心贡献；未明确提及 Tokenizer、Visual Encoder、World Models 或 model-based RL（虽用 GRPO 训练，但非模型基强化学习）。作者列表中未包含指定的专家。

Knowledge Graph Construction, Scientific Reasoning, Multimodal Parsing, Agent Orchestration, Information Extraction, Scholar-KG, GRPO Training

Chinese Title: Agents-K1：迈向智能体原生的知识编排

Summary: 本文提出Agents-K1，一个端到端的知识编排管道，旨在将原始科学文献转换为智能体原生的多模态知识图谱。该管道整合了三个核心组件：一个基于五模块模式的多模态解析器，能够从全文（而非仅摘要）中提取实体、多模态证据、引用意图和类型化关系；一个使用GRPO和基于规则的奖励训练的4B参数信息提取骨干模型；以及一个GraphAnything CLI，作为三源智能体接口，统一了网络搜索、多模态图谱检索和跨文档遍历。基于该管道，作者处理了246万篇跨六个学科的科学论文，构建了Scholar-KG，并发布了100万篇论文的子集。实验表明，Agents-K1在科学信息提取、知识图谱构建和多跳科学推理任务上取得了优越性能，显著提升了LLM在科研问题上的准确率。

Innovations:

• 提出统一的智能体原生知识编排框架，将KG、LLM和CLI整合为端到端管道，专为研究智能体的完整工作流设计。
• 构建百万级全文多模态科学知识图谱Scholar-KG，覆盖246万篇论文，提取实体、主张、证据、方法谱系、引用意图等结构化知识。
• 采用GRPO和规则奖励训练4B参数的信息提取骨干模型，在NER、关系抽取和长文本结构化抽取上超越8B开源模型，接近32B模型性能。
• 开发GraphAnything CLI，提供三源知识检索（网络搜索、图谱检索、跨文档遍历）和闭环研究工作流（想法生成、方法指定、代码合成）。
• 理论分析证明将证据组织在单一连通图中比搜索独立文本片段更可靠，支持可审计的检索和知识溯源。

Methodology: Agents-K1采用三阶段管道：1) KG层：使用MinerU离线解析器对PDF进行多模态解析，应用五模块模式（元数据、显式提及、隐式抽象、引用意图、细粒度实体关系）构建知识图谱，并支持通过LLM引导的多跳QA生成数据集和通用文档的Schema自适应扩展。2) LLM层：基于4B参数模型，使用Group Relative Policy Optimization (GRPO)和规则奖励函数联合监督格式合规性、JSON有效性和任务条件F1分数，训练信息提取骨干。3) CLI层：实现三源知识检索与融合（网络搜索、多模态图谱检索、跨文档网络遍历），提供图操作符和多智能体协调，支持从想法到实验的闭环流程。理论部分通过投影规则和命题证明解释了连通图对跨源推理的可靠性优势。

Key Results:

• 在FrontierScience-Research基准上，Gemini-3总体准确率从7.9%提升至24.6%，GPT-5.2从25.2%提升至39.4%。
• 在地球科学研究问题上，Gemini-3推理准确率从52.3%提升至69.5%。
• 在多跳QA任务（HotpotQA、2WikiMultiHopQA、MuSiQue）上达到最先进性能，超越九个图增强检索基线。
• 信息提取骨干在十个基准上超越8B开源模型，在NER任务上匹配32B模型性能。
• 构建了包含246万篇论文的Scholar-KG，覆盖计算机科学、化学、生物学、地球科学、物理学和材料科学六个学科。

Tech Stack:

• MinerU（离线PDF解析器）
• Group Relative Policy Optimization (GRPO)
• 基于规则的奖励函数（格式合规性、JSON有效性、任务条件F1）
• 五模块知识图谱模式（元数据、显式提及、隐式抽象、引用意图、细粒度实体关系）
• GraphAnything CLI（三源接口：网络搜索、多模态图谱检索、跨文档遍历）
• 多智能体协调与图操作符
• LLM引导的多跳QA生成
• Schema自适应扩展（General-KG）
• 理论框架：投影规则、标识保持连接、跨视图可达性、候选覆盖证明

Strengths:

• 端到端统一管道，从原始PDF到智能体可用知识图谱，覆盖完整研究流程。
• 百万级大规模科学知识图谱，覆盖多学科，且发布子集促进社区研究。
• 强化学习训练的信息提取模型在较小参数量下达到优异性能，成本可控。
• 理论分析为图结构知识组织提供了数学基础，增强了可解释性。
• GraphAnything CLI将静态图谱转化为可执行研究工具，支持闭环科研自动化。

Limitations:

• 当前管道主要针对科学文献，通用文档的Schema自适应扩展（General-KG）仍需进一步验证。
• 信息提取骨干模型为4B参数，虽性能优异，但在极端复杂场景下可能仍不及更大模型。
• 知识图谱构建依赖PDF解析质量，MinerU对低质量PDF或非标准格式可能效果受限。
• 实验评估主要基于英文科学文献，对中文或其他语言文献的泛化能力未充分探讨。
• 多智能体协调和闭环工作流的实际科研应用效果需更多案例验证。

Relevance To Keywords:

• Unify Models: 论文提出的Agents-K1框架统一了知识图谱、LLM和CLI，体现了模型统一的思想。
• World Models: 知识图谱作为外部世界模型，为LLM提供结构化科学知识，支持推理和规划。
• Representation Learning: 信息提取骨干通过GRPO学习结构化表示，将原始文本转化为实体、关系等表征。
• Model-Based RL: 使用GRPO（基于模型的强化学习算法）训练提取模型，奖励函数基于规则而非环境交互。
• 原生多模态大模型: 管道处理文本、图表、表格等多模态证据，但未直接训练多模态大模型，而是通过解析和提取实现多模态知识整合。
• 多模态大模型的理解和生成一体化: 论文侧重于理解（提取结构化知识）而非生成，但CLI支持生成研究想法和代码。
• 表征学习: 知识图谱构建本质上是表征学习过程，将文档内容编码为图结构。
• 世界模型: Scholar-KG可视为科学领域的世界模型，支持多跳推理和因果推断。
• 强化学习: 核心训练算法GRPO属于强化学习范畴，用于优化信息提取性能。
• 后训练: 信息提取骨干在预训练模型基础上进行后训练（GRPO），适应特定提取任务。

本文提出了一种名为 Custom ZeroCLIP 的检索增强视觉 - 语言框架，用于印尼传统服饰的零样本标注。该数据集包含来自所有 38 个印尼省份的 3,800 张专家标注图像。采用基于省份的归纳零样本协议，模型在 24 个已见省份上进行训练，在 6 个已见省份上进行验证，并在 8 个未见省份上进行评估。该框架结合了冻结的 CLIP ViT-B/32 图像编码器、CLIP 文本编码器、BERT 文本编码器和 LSTM 标注解码器。推理时，未见省份的标签和标注不可用，检索仅使用来自训练省份的标注。在训练、验证及检索库构建过程中，均未使用任何未见省份的图像、标签或标注。Custom ZeroCLIP 实现了 CLIPScore 0.8536、BLEU-4 0.3342 和 METEOR 0.4859，优于现有基线模型。消融结果表明，检索机制提升了文化词汇恢复能力，使 METEOR 指标提升了 19.3%，同时人工评估证实了其在文化准确性和流畅性方面的优势。结果展示了检索增强领域适应在低资源遗产环境下生成具有文化根基的标注的有效性。该数据集公开可用，地址为 https://github.com/AnugrahAidinYotolembah/Traditional-Indonesian-Clothing-Captioning-Dataset。

This paper presents Custom ZeroCLIP, a retrieval-augmented vision-language framework for zero-shot captioning of Indonesian traditional garments. The dataset contains 3,800 expert-annotated images from all 38 Indonesian provinces. Using a province-level inductive zero-shot protocol, the model is trained on 24 seen provinces, validated on 6 seen provinces, and evaluated on 8 unseen provinces. The framework combines a frozen CLIP ViT-B/32 image encoder, a CLIP text encoder, a BERT text encoder, and an LSTM caption decoder. During inference, unseen-province labels and captions are unavailable, and retrieval uses only captions from training provinces. No unseen-province image, label, or caption is used during training, validation, or retrieval-bank construction. Custom ZeroCLIP achieves a CLIPScore of 0.8536, BLEU-4 of 0.3342, and METEOR of 0.4859, outperforming existing baselines. Ablation results show that retrieval improves cultural vocabulary recovery with a 19.3\% METEOR gain, while human evaluation confirms stronger cultural accuracy and fluency. The results demonstrate the effectiveness of retrieval-augmented domain adaptation for culturally grounded caption generation in low-resource heritage settings. The dataset is publicly available at https://github.com/AnugrahAidinYotolembah/Traditional-Indonesian-Clothing-Captioning-Dataset.

评分理由: 论文核心为多模态视觉语言任务，MultiModal (10) 和 Visual Encoder (9) 高度相关，因使用 CLIP ViT 进行图像编码。MLLM (5) 相关但架构偏传统 (LSTM/BERT 而非大语言模型)。Unify Models (4) 和 Tokenizer (2) 有一定关联但非核心。World Models, model-based RL, Latent Reasoning, Agentic Reasoning (0) 均与论文内容无关。作者列表中未包含指定专家，无额外加分。加权总分 45.0，高于动态及格分 35.2。

Zero-Shot Captioning, Cultural Heritage, Vision-Language Framework, Traditional Indonesian Clothing, Retrieval-Augmented, CLIP ViT, Multi-modal Learning, Domain Adaptation

Chinese Title: 文化遗产的零样本描述：传统印尼服饰的自动图像分析

Summary: 本文提出Custom ZeroCLIP，一种检索增强的视觉语言框架，用于印尼传统服饰的零样本描述。研究背景是现代化导致传统服饰文化词汇流失，现有视觉语言模型难以捕捉印尼文化术语。方法上，构建包含3800张专家标注图像、覆盖38个省份的数据集，采用省份级别的归纳式零样本协议：24个省份用于训练，6个用于验证，8个完全未见省份用于测试。框架使用冻结的CLIP ViT-B/32图像编码器和文本编码器，结合可训练的BERT编码器和LSTM解码器，推理时通过余弦相似度从训练描述库中检索top-K描述作为上下文。结果显示，Custom ZeroCLIP在CLIPScore（0.8536）、BLEU-4（0.3342）和METEOR（0.4859）上均优于基线，检索带来METEOR提升19.3%，人类评估确认文化准确性和流畅性。数据集已公开。

Innovations:

• 提出省份级别的归纳式零样本描述协议，训练、验证和检索库完全排除未见省份数据，严格评估泛化能力。
• 构建首个覆盖印尼全部38个省份的传统服饰数据集，包含3800张专家标注图像，支持细粒度文化描述。
• 提出Custom ZeroCLIP框架，融合冻结CLIP编码器与可训练BERT-LSTM解码器，并引入检索增强机制，在低资源场景下有效恢复文化词汇。
• 通过检索增强实现文化接地描述生成，无需未见省份标签或描述，适用于文化遗产数字化保护。

Methodology: 采用归纳式零样本学习协议，将38个省份分为24个训练、6个验证和8个未见测试省份。系统架构包括冻结的CLIP ViT-B/32图像编码器和文本编码器，以及可训练的BERT编码器、投影层和LSTM解码器。训练阶段使用配对图像-描述数据优化BERT-LSTM解码器，损失函数包括交叉熵和CLIP对比损失。推理阶段，对未见省份图像，通过余弦相似度从训练描述库中检索top-K（K=5）描述，作为LSTM解码器的上下文条件，生成无标签描述。数据增强包括随机水平翻转、颜色抖动、旋转、同义词替换和回译。

Key Results:

• Custom ZeroCLIP在未见省份测试集上取得CLIPScore 0.8536，BLEU-4 0.3342，METEOR 0.4859。
• 相比最强基线InstructBLIP，CLIPScore提升1.97%，BLEU-4提升18.64%，METEOR提升10.18%。
• 消融实验显示检索机制带来METEOR提升19.3%，有效恢复文化词汇（如kebaya, songket, Meukutop, blangkon）。
• 人类评估表明生成描述在文化准确性和流畅性上优于基线。

Tech Stack:

• CLIP ViT-B/32（冻结图像和文本编码器）
• BERT（可训练文本编码器）
• LSTM（可训练自回归解码器）
• 余弦相似度（检索）
• AdamW优化器（学习率2e-5）
• 数据增强：随机水平翻转、颜色抖动、旋转、同义词替换、回译
• 损失函数：交叉熵损失 + CLIP对比损失

Strengths:

• 严格的归纳式零样本设置，确保模型对未见省份的泛化能力评估可信。
• 检索增强机制有效弥补文化词汇缺失，显著提升METEOR。
• 数据集覆盖印尼全部38个省份，专家标注保证文化准确性。
• 在低资源文化遗产场景下取得优异性能，为类似任务提供参考。
• 公开数据集和代码，促进可复现研究。

Limitations:

• 依赖CLIP预训练，其训练数据以西方文化为主，可能对印尼文化存在偏差。
• 检索库仅来自可见省份，无法覆盖未见省份的独特文化术语，可能限制描述多样性。
• 生成描述需专家验证才能用于实际文化遗产数字化，部署门槛较高。
• 数据集规模较小（每省100张），可能影响模型对罕见服饰的泛化。
• 与BLIP-2等大型模型比较不对称（本文冻结CLIP，基线可能微调），公平性需谨慎解读。

Relevance To Keywords: 论文主要关注零样本描述和文化遗产，属于多模态理解与生成领域，但未涉及世界模型、表征学习、模型基强化学习或后训练等关键词。与“原生多模态大模型”有一定关联（使用CLIP和BERT），但未提出统一理解与生成框架。整体相关性中等偏弱。

潜在思维链（Latent chain-of-thought）通过将可见推理轨迹替换为连续隐藏状态循环（hidden-state recurrence）来压缩推理，但现有的方法难以使用标准的策略内强化学习（RL）进行优化，且在因果解释方面存在困难。我们的关键洞察是，一对明确的边界标记可以同时解决这两个问题：离散的进入和退出锚点使潜在模块与标准策略内 RL 兼容，而相同的锚点也为机制分析提供了自然的立足点。受此启发，我们提出了 SWITCH，一种可切换的潜在推理框架。该模型生成 <swi> 以进入潜在模式，并生成 </swi> 以退出。由于边界是普通的离散标记，GRPO 策略比率在每个决策点均有明确定义。相同的锚点也使潜在步骤可直接被探测和进行因果干预。我们采用可见到潜在的课程学习和 Switch-GRPO 目标函数来训练该模型，后者通过循环潜在计算传播梯度。SWITCH 在相似规模下始终优于先前的隐藏状态循环潜在推理方法。通过边界标记的机制分析进一步揭示了三个发现：(i) <swi> 是一个高度局部化、学习到的切换策略，而非风格伪影；(ii) 它所打开的潜在步骤执行问题特定的、因果重要的计算，而非充当惰性占位符；(iii) 该计算集中在进入时的单个隐藏状态转换上。综上所述，这些结果表明，隐藏状态循环潜在推理既强化学习可训练，也便于直接进行机制分析，包括策略内强化学习本身如何从内部改进模型。

Latent chain-of-thought compresses reasoning by replacing visible reasoning traces with continuous hidden-state recurrence, but existing formulations are difficult to optimize with standard on-policy reinforcement learning (RL) and hard to interpret causally. Our key insight is that a single pair of explicit boundary tokens can address both issues at once: discrete entry and exit anchors make the latent block compatible with standard on-policy RL, and the same anchors offer a natural foothold for mechanistic analysis. Motivated by this, we propose SWITCH, a switchable latent reasoning framework. The model emits <swi> to enter latent mode and </swi> to exit. Because the boundaries are ordinary discrete tokens, the GRPO policy ratio is well-defined at every decision point. The same anchors also expose the latent steps to direct probing and causal intervention. We train the model with a visible-to-latent curriculum and a Switch-GRPO objective that propagates gradients through recurrent latent computation. SWITCH consistently outperforms prior hidden-state-recurrence latent reasoning approaches at similar scale. Mechanistic analysis through the boundary tokens further reveals three findings: (i) <swi> is a sharply localised, learned switching policy rather than a stylistic artefact; (ii) the latent step it opens performs problem-specific, causally important computation rather than acting as an inert placeholder; and (iii) that computation is concentrated at a single hidden-state transition on entry. Together, these results show that hidden-state-recurrence latent reasoning is both RL-trainable and open to direct mechanistic analysis, including of how on-policy RL itself improves the model from the inside.

评分理由: 论文核心聚焦于 Latent Reasoning 与 On-Policy RL 的结合，故该两项得分最高；涉及离散 token 边界但未涉及多模态视觉编码，故 MultiModal 和 Visual Encoder 为 0；作者名单中无指定专家 Yang Shi 等。

Latent Reasoning, Hidden-State Recurrence, On-Policy Reinforcement Learning, Switchable Latent Reasoning, Boundary Tokens, Mechanistic Analysis, GRPO, Chain-of-Thought

Chinese Title: 揭秘隐状态递归：基于在线策略强化学习的可切换潜在推理

Summary: 论文针对隐状态递归（hidden-state recurrence）在潜在思维链（latent chain-of-thought）中难以应用在线策略强化学习（on-policy RL）且难以进行因果解释的问题，提出Switch框架。核心创新是引入一对显式边界标记<swi>和</swi>，使潜在块与标准GRPO策略兼容，同时为机械分析提供锚点。训练分为三个阶段：SFT阶段让模型学会在合适位置插入边界标记；课程学习阶段逐步将边界内的文本替换为潜在步骤；Switch-GRPO阶段通过重新定义轨迹似然因子，使梯度能通过递归潜在计算传播。实验表明，Switch在MATH-500上达到79.3%，比最强Coconut风格基线高25.7个百分点。机械分析通过边界标记揭示了三个发现：<swi>是学习到的切换策略而非风格伪影；潜在步骤执行问题特定的因果重要计算；该计算集中在进入潜在块时的单个隐状态转换上。

Innovations:

• 提出显式边界标记<swi>/</swi>，使隐状态递归潜在推理与在线策略强化学习（GRPO）兼容，同时为机械分析提供自然锚点。
• 设计Switch-GRPO优化器，通过重新定义轨迹似然因子（仅对文本位置计算策略密度），使梯度能通过递归潜在计算传播。
• 提出可见到潜在的课程学习策略（并行替换），逐步将文本推理替换为潜在步骤，避免模型退化为无操作。
• 通过边界标记进行机械分析，首次直接验证隐状态递归潜在步骤执行问题特定的因果重要计算，而非惰性占位符。
• 在MATH-500上取得79.3%准确率，比同规模Coconut基线提升25.7个百分点，且Switch-GRPO进一步降低潜在调用率并提升正确率。

Methodology: 论文采用三阶段训练方法：第一阶段（Phase 1）使用SFT训练模型在数学CoT语料的高熵位置插入<swi>/</swi>边界标记；第二阶段（Phase 2）采用并行课程学习，逐步将边界内的文本替换为<latent>位置，保持边界标记在损失中；第三阶段（Phase 3）使用Switch-GRPO进行在线策略强化学习，通过重新定义轨迹似然因子（仅对文本位置计算策略密度）和记忆分段反向传播，优化正确性、标记格式、潜在使用率和压缩率。推理时模型通过<swi>进入潜在模式，运行至少??min个潜在步骤（隐状态递归），然后通过</swi>退出。

Key Results:

• Switch在MATH-500上达到79.3%准确率，比最强Coconut风格基线（53.6%）高25.7个百分点。
• Switch-GRPO在SFT检查点基础上进一步将潜在调用率减半，同时将调用潜在步骤的问题准确率提升12.6个百分点。
• 机械分析发现：<swi>是学习到的切换策略而非风格伪影；潜在步骤执行问题特定的因果重要计算；该计算集中在进入潜在块时的单个隐状态转换上。
• 并行课程学习优于顺序课程学习，因为并行替换迫使模型在所有跨度上同时适应潜在计算。

Tech Stack:

• 模型：Qwen3-8B（基础模型）
• 强化学习算法：Group Relative Policy Optimization (GRPO)
• 训练框架：LoRA（低秩适应）
• 数学验证工具：math-verify
• 机械分析工具：logit lens（对数几率透镜）、线性探针（linear probing）、因果激活干预（causal activation intervention）
• 课程学习：并行替换策略，参数??=2, ??max=8
• 损失函数：交叉熵损失（SFT）、裁剪代理损失（Switch-GRPO）
• 奖励函数：正确性奖励（±1）、标记格式奖励（±1）、潜在使用奖励（{0,1}）、正确性门控简洁性奖励（[0,1]）

Strengths:

• 同时解决了隐状态递归潜在推理的两个核心挑战：RL训练不可行和难以机械分析。
• 方法简洁有效，仅通过引入两个边界标记就使标准GRPO兼容，无需修改模型架构。
• 提供了全面的机械分析，首次直接验证潜在步骤的因果重要性，增强了方法的可信度。
• 在数学推理任务上取得显著性能提升，且训练效率高（使用LoRA）。
• 开源模型权重和代码，可复现性强。

Limitations:

• 实验仅在8B规模模型上进行，更大规模模型上的效果未知。
• 课程学习中的超参数（如??, ??max）需要针对不同任务调整。
• 潜在步骤的最小停留??min是人为设定的，可能限制模型灵活性。
• 机械分析主要针对数学推理任务，其他领域（如常识推理）的泛化性未验证。
• Switch-GRPO的奖励设计依赖正确性验证器，在无验证器的任务中可能受限。

Relevance To Keywords:

• 强化学习：论文核心是使用在线策略强化学习（GRPO）训练潜在推理模型，属于后训练阶段。
• 后训练：三阶段训练（SFT+课程+RL）是典型后训练流程，与模型对齐和推理能力提升相关。
• 世界模型：潜在推理可视为在隐空间中构建内部世界模型，用于模拟推理步骤。
• 表征学习：隐状态递归本质上是利用模型自身的表征空间进行连续推理，与表征学习紧密相关。
• 模型基础：方法基于Qwen3-8B，属于原生多模态大模型（但论文仅测试文本数学任务），与多模态大模型的理解和生成一体化有潜在联系。

大型语言模型（LLMs）在自动化科学同行评审方面展现出潜力。然而，现有方法往往难以生成基于具体证据的深度评审。我们认为，关键限制在于缺乏灵活性，无法像人类评审者那样基于累积证据主动调查论文中的可疑部分。本文探讨了如何使基于 LLM 的评审代理执行此类主动调查。我们发现，这一问题可自然形式化为马尔可夫决策过程（MDP），并提出 ProReviewer，一种基于维护的结构化评审日志主动评审论文的同行评审代理。该结构化评审日志作为代理的工作空间，用于跟踪评审过程中收集的证据及中间发现。实验表明，ProReviewer 采用 8B 骨干模型，经监督微调训练并通过强化学习优化，在五个质量维度上获得最高平均分，相较于使用更大规模前沿 LLM 的基于提示的方法高出最多 39%，相对最强的微调基线高出 16%。此外，它在人类评估中也取得了相对于基线最高的胜率。

Large language models (LLMs) have shown promise in automating scientific peer review. However, existing approaches often struggle to generate in-depth reviews supported by concrete evidence. We argue that a key limitation is the lack of flexibility to proactively investigate suspicious parts of a paper based on accumulated evidence, as human reviewers do. In this paper, we explore how to enable an LLM-based review agent to perform such proactive investigation. We find that this can be naturally formulated as a Markov Decision Process (MDP), and propose ProReviewer, a scientific peer review agent that proactively reviews a paper guided by a maintained, structured review log. The structured review log serves as a workspace for the agent to track evidence and intermediate findings collected during review. Experiments show that ProReviewer with an 8B backbone, trained by supervised fine-tuning and optimized by reinforcement learning, achieves the highest average score across five quality dimensions, outperforming prompt-based methods with much larger frontier LLMs by up to 39% and the strongest fine-tuned baseline by 16% relatively. It also attains the highest win rates against baselines in human evaluation.

评分理由: 论文核心在于构建主动调查的科学同行评审代理，故'Agentic Reasoning'得分最高。论文使用 MDP 和强化学习，与'model-based RL'和'World Models'有一定关联。由于仅处理文本，'Visual Encoder'得分为 0，'MultiModal'和'MLLM'相关性较低。'Unify Models'和'Tokenizer'为通用组件，相关性一般。作者列表中未包含指定的专家（Yang Shi 等），无额外加分。

Scientific Peer Review, LLM Agent, Markov Decision Process, Reinforcement Learning, Structured Review Log, Proactive Investigation, Evidence Tracking

Chinese Title: 从被动生成到主动调查：一种主动式科学同行评审代理

Summary: 本文提出ProReviewer，一种基于大语言模型的主动式科学同行评审代理。现有自动评审方法通常采用固定流程，缺乏根据已积累证据灵活调查论文可疑部分的能力。ProReviewer将评审过程形式化为马尔可夫决策过程（MDP），通过维护结构化评审日志（记录声明、问题和笔记）来跟踪证据并指导后续检查。代理通过监督微调（SFT）和基于组相对策略优化（GRPO）的强化学习进行训练，使用多维奖励函数。实验在版本匹配的ICLR 2025/2026论文-评审对数据集上进行，ProReviewer（8B参数）在五个质量维度上平均得分最高，相对优于前沿LLM提示方法最高39%，优于最强微调基线16%，人工评估中也获得最高胜率。该方法能有效检测跨章节不一致性，且随论文长度增加保持稳健性能。

Innovations:

• 将同行评审建模为马尔可夫决策过程（MDP），使代理能够基于累积证据自适应地决定下一步调查内容，而非遵循固定流程。
• 提出结构化评审日志，包含声明、问题和笔记三类条目，支持证据追踪和选择性修订，最终评审直接引用日志条目，确保可追溯性。
• 采用监督微调（SFT）和组相对策略优化（GRPO）结合多维奖励（动作有效性、结构完整性、评分对齐、内容深度）训练评审代理。
• 构建版本匹配的ICLR 2025/2026论文-评审对数据集（5K对），确保训练和测试数据无污染（测试集论文发表于模型知识截止日期之后）。
• 实验表明ProReviewer在自动和人工评估中均优于现有方法，尤其擅长检测跨章节逻辑不一致性。

Methodology: 论文将评审过程形式化为MDP，状态包括当前上下文、评审日志和论文索引；动作分为环境动作（读取章节、关键词查找、终止）和日志动作（记录、更新、生成大纲）。使用8B参数LLM作为策略网络，先通过监督微调（SFT）在合成轨迹上训练，再使用组相对策略优化（GRPO）进行强化学习，奖励函数包含四个组件：动作有效性、结构完整性、评分对齐（与人类评分一致性）、内容深度（基于GPT-4o评估）。训练数据为4K ICLR 2025论文-评审对，测试为1K ICLR 2026论文-评审对。

Key Results:

• ProReviewer在五个质量维度（整体质量、具体性、建设性、证据性、评分准确性）上平均得分最高，相对优于Gemini-3.1-flash-lite等前沿LLM提示方法最高39%，优于最强微调基线16%。
• 人工评估中，ProReviewer在所有成对比较中胜率最高。
• ProReviewer更有效地检测跨章节不一致性（如引言声明与实验结果矛盾）。
• 随着论文长度增加，ProReviewer性能保持稳健，而基线方法性能下降。
• 消融实验表明结构化评审日志和强化学习训练均对性能有显著贡献。

Tech Stack:

• 马尔可夫决策过程（MDP）
• 组相对策略优化（GRPO）
• 监督微调（SFT）
• 8B参数大语言模型（具体未指明，可能为Qwen或类似模型）
• 结构化评审日志（声明、问题、笔记三类条目）
• 多维奖励函数（动作有效性、结构完整性、评分对齐、内容深度）
• GPT-4o（用于内容深度评估）
• ICLR 2025/2026论文-评审对数据集

Strengths:

• 提出主动式评审范式，克服了固定流程的局限性，更接近人类评审专家的行为。
• 结构化评审日志提供了可追溯的证据链，增强了评审的可信度和可解释性。
• 采用强化学习训练，使代理能够自适应地调整调查深度，而非依赖手工规则。
• 构建了版本匹配的数据集，有效缓解数据污染问题，评估更可靠。
• 在多个自动和人工评估指标上显著优于现有方法，包括前沿大模型。

Limitations:

• 当前动作空间仅限于论文本身，未包含外部检索（如文献搜索），可能影响新颖性评估。
• 训练数据仅来自ICLR会议，泛化到其他领域或会议格式的能力有待验证。
• 8B参数模型虽然高效，但可能受限于基础模型能力，更大模型可能进一步提升性能。
• 强化学习训练依赖GPT-4o评估内容深度，存在评估偏差和成本问题。
• 评审日志的维护增加了推理步骤和计算开销，实时性可能受影响。

Relevance To Keywords: 论文主要关注LLM在科学同行评审中的应用，与给定关键词（Unify Models, World Models, Representation Learning, Model-Based RL, 原生多模态大模型等）的直接相关性较低。然而，论文中使用的强化学习（GRPO）与Model-Based RL和强化学习领域相关；结构化评审日志可视为一种表征学习（将论文内容表示为结构化条目）；主动式调查策略与智能体决策相关，可推广到世界模型中的探索。但论文本身不涉及多模态或世界模型的具体构建，相关性较弱。

定义查询难度是部署工程中最困难的问题之一。现有的 LLM（大语言模型）路由器依赖于领域标签、关键词和 Token 数等表面特征，忽略了实际上决定模型成功的领域内方差。Frontier models（前沿模型）的成本是本地开源模型的十倍到一百倍，因此在生产规模下，即使每次请求的微小节省也能成为直接影响云账单的成本杠杆。我们提出了 Brick，一种多模态路由器，它在六个能力维度上对每个模型进行评分，结合单次查询难度估计，并通过成本惩罚几何规则进行调度。一个连续的偏好滑块允许操作员在部署时在最大质量模式和最大节省模式之间滑动切换。在包含 5,504 个查询的基准测试中，Brick 在最大质量模式下达到 76.98% 的准确率，优于最佳单一模型（75.02%）和所有测试的路由器。在中性成本 - 质量配置模式下，Brick 的准确率达到 74.11%，成本仅为始终使用最强模型的 4.71 分之一。在最小成本模式下，它使成本缩减至原来的 22.15 分之一，准确率下降 11.85 个百分点。中位延迟从 51.2 秒降至 22.8 秒。

Defining query difficulty is one of the hardest problems in deployment engineering. Existing LLM routers rely on surface features such as domain labels, keywords, and token count, ignoring the within-domain variance that actually determines model success. Frontier models cost ten to one hundred times more than local open-weight models, so at production scale even small per-request savings become a direct cloud-bill lever. We present Brick, a multimodal router that scores each model on six capability dimensions, combines this with a per-query difficulty estimate, and dispatches via a cost-penalized geometric rule. A continuous preference knob lets operators slide between max-quality and max-saving profiles at deploy time. On a benchmark of 5,504 queries, Brick at max-quality reaches 76.98% accuracy, beating the best single model (75.02%) and all tested routers. At a neutral cost-quality profile, Brick achieves 74.11% accuracy at 4.71x lower cost than always using the strongest model. At min-cost, it cuts cost 22.15x with 11.85 points accuracy loss. Median latency drops from 51.2s to 22.8s.

评分理由: 论文核心在于提出 Brick 多模态路由器，用于 Mixture-of-Models (MoM) 范式下的模型调度。"MultiModal" 和 "MLLM" 高度相关，因摘要明确提及"多模态路由器"及前沿模型部署场景；"Unify Models" 中度相关，因 MoM 涉及多模型能力的统一调度与整合。其余关键词如 Tokenizer、Visual Encoder、World Models、model-based RL、Latent Reasoning、Agentic Reasoning 均未在摘要中出现，属于模型架构或特定学习范式，与本文系统级路由主题关联度低，故评分为 1。作者列表中未包含指定的 Yang Shi 等专家，故无额外加分。

Multimodal Router, Mixture-of-Models, Capability Routing, Cost-Quality Tradeoff, Query Difficulty, Model Dispatch, Frontier Models

Chinese Title: Brick: 面向混合模型（MoM）范式的空间能力路由

Summary: 本文提出Brick，一种面向混合模型（MoM）范式的多模态路由器，旨在解决异构LLM池中查询调度的高成本与低效问题。现有路由方法依赖表面特征（如领域、关键词、token数），无法捕捉同一领域内不同查询的难度差异，导致过度使用昂贵模型。Brick将每个模型表示为六维能力向量，并为每个查询估计难度向量，通过带成本惩罚的几何规则进行调度。用户可通过偏好旋钮r在最大质量和最大节省之间连续调节。实验在包含5,504个查询的数据集A上进行：最大质量模式下Brick准确率达76.98%，超越最佳单模型kimi2.6（75.02%）及所有外部路由器；中性模式下成本降低4.71倍，准确率仅损失0.91个百分点；最小成本模式下成本降低22.15倍。Brick还实现了中位端到端延迟从51.2秒降至22.8秒。论文论证了MoM范式在异构定价、开放-封闭模型桥接和能力互补方面的优势。

Innovations:

• 将整个模型路由问题建模为六维能力空间中的几何覆盖问题，查询需求与模型能力均表示为向量，通过几何规则选择最便宜且能覆盖查询的模型。
• 提出用户可调的偏好旋钮r∈[-1,1]，将质量与成本的权衡转化为部署时可配置的参数，无需修改代码。
• 在混合模型（MoM）范式下，首次实现跨异构LLM池（含开放权重和封闭API模型）的实时路由，并证明其能恢复24%的可达性能差距。
• 通过实验系统性地证明基于表面特征（领域、长度/关键词）的路由策略在捕获域内难度差异方面失败，性能甚至低于始终使用最强单模型。

Methodology: 论文采用以下技术路线：1）构建包含三个模型（qwen3.5-9b、deepseek-v4-flash、kimi2.6）的固定池，并定义成本标量cm和实际成本a$m；2）设计Brick2数据集A（5,504个查询），覆盖六个能力维度，使用确定性评分（如单元测试、SymPy匹配）和LLM评判（gpt-5.4-mini）进行质量验证；3）为每个模型和查询建立六维能力向量，通过校准过程确定模型能力向量；4）路由决策基于几何规则：计算查询向量与每个模型能力向量的距离Dm，结合成本惩罚β·cm，选择综合代价最小的模型；5）通过偏好旋钮r调整成本惩罚权重，实现质量-成本连续权衡。

Key Results:

• 在最大质量模式下，Brick准确率76.98%，超过最佳单模型kimi2.6（75.02%）和所有外部路由器（RouteLLM、FrugalGPT、Cascade Routing）。
• 中性模式下，Brick准确率74.11%，成本仅为始终使用kimi2.6的4.71倍（即成本降低约79%），准确率仅损失0.91个百分点。
• 最小成本模式下，成本降低22.15倍，准确率损失11.85个百分点。
• 中位端到端延迟从51.2秒降至22.8秒。
• 三模型oracle上限为83.25%，Brick恢复了24%的可达性能差距。
• 基于表面特征的路由策略（领域、长度/关键词）均低于始终使用kimi2.6的准确率。

Tech Stack:

• 六维能力空间表示（指令遵循、数学推理、代码、世界知识、工具调用、创造性/规划）
• 几何路由规则（距离度量Dm + 成本惩罚β·cm）
• 偏好旋钮r∈[-1,1]
• 校准过程（确定模型能力向量）
• Brick2数据集A（含14个上游来源和3个自定义子集）
• 确定性评分（LiveCodeBench单元测试、SymPy匹配、IFEval/IFBench检查器、BFCL AST/状态检查器）
• LLM评判（openai/gpt-5.4-mini作为单评判模型，三评判面板用于方差表征）
• 成本模型（cm为无量纲路由标量，a$m为实际美元成本）

Strengths:

• 提出新颖的MoM范式，有效利用现有异构模型池，避免从头训练。
• 路由决策基于能力空间而非表面特征，能捕捉域内难度差异，显著提升准确率和成本效率。
• 提供连续可调的偏好旋钮，使部署者能灵活平衡质量与成本。
• 实验设计严谨，包含多维度评估、oracle上限分析以及与其他路由器的全面对比。
• 开源数据集和代码（regolo-ai/brick-SR1），可复现性强。

Limitations:

• 仅使用三个模型，未验证更大模型池下的扩展性。
• 能力向量校准过程依赖人工标注和评估，可能引入主观偏差。
• 数据集A的规模（5,504查询）相对有限，且覆盖的六个维度可能不全面。
• 路由决策基于静态校准，未考虑模型更新或价格变化后的动态适应。
• 对于拒绝回答（refusal）行为，论文仅将其计入未解决类，未深入分析其对路由的影响。

Relevance To Keywords: 论文核心关注LLM路由与混合模型范式，与研究关键词中的'Unify Models'（统一模型）和'World Models'（世界模型）相关性较弱。但论文提出的能力空间表示和几何路由思想与'Representation Learning'（表征学习）有一定关联，因为模型能力被表示为向量。'Model-Based RL'（基于模型的强化学习）和'原生多模态大模型'、'多模态大模型的理解和生成一体化'等关键词与本文主题不直接相关。本文更侧重于推理时的成本-质量优化，而非模型训练或世界模型构建。

现有的计算机使用代理在专业软件操作方面仍存在根本性局限：基于图形用户界面（GUI）的代理面临脆弱的视觉定位和长程误差积累问题，而基于 API 的方法则难以应对异构协议和无法访问的商业接口。在这项工作中，我们将组件对象模型（COM）视为一种统一的可执行抽象，提出 COM-as-Action：一种将专业软件交互重构为确定性程序合成而非顺序视觉控制的新范式。为了在最具有挑战性的环境中验证这一范式，我们引入了 ComCADBench，这是首个针对操作真实工业 CAD 软件的代理基准。我们的实验揭示了一个显著的范式差距：前沿专有模型在基于 GUI 的交互下实现近乎零的成功率，而基于 COM 的执行则带来了显著的即时收益。为了弥合语法正确性与几何精度之间剩余的差距，我们开发了 ComActor，这是一种通过渐进式三阶段框架训练的自校正代理，以及 ComForge，一个用于在 Windows Containers 中进行大规模训练的可扩展平台。广泛实验表明，ComActor 在 ComCADBench 上实现了最先进的性能，在长程任务中展现出强大的鲁棒性（基线模型在此类任务中失效），并能泛化至外部 CAD 基准。

Existing computer-use agents remain fundamentally limited in professional software manipulation: GUI-based agents suffer from fragile visual grounding and long-horizon error accumulation, while API-basedapproaches struggle with heterogeneous protocols and inaccessible commercial interfaces. In this work,we identify the Component Object Model (COM) as a unified executable abstraction, proposing COM-as-Action: a new paradigm that reframes professional software interaction as deterministic program synthesisrather than sequential visual control. To validate this paradigm in the most demanding environments, weintroduce ComCADBench, the first benchmark for agents operating real industrial CAD software. Ourexperiments reveal a substantial paradigm gap: frontier proprietary models achieve near-zero successunder GUI-based interaction, whereas COM-based execution yields substantial immediate gains. Tobridge the remaining gap between syntactic correctness and geometric accuracy, we develop ComActor, aself-correcting agent trained through a progressive three-stage framework, alongside ComForge, a scalableplatform for large-scale training in Windows containers. Extensive experiments show that ComActorachieves state-of-the-art performance on ComCADBench, with strong resilience in long-horizon taskswhere baselines collapse, and generalizes to external CAD benchmark.

评分理由: 论文核心贡献在于提出 COM-as-Action 范式重构软件操作，高度契合 'Agentic Reasoning'（ComActor 自修正代理）和 'Unify Models'（统一可执行抽象）。论文基于 LLM 进行程序合成，与 'MLLM' 和 'model-based RL' 有一定关联，但并非视觉编码、分词器或世界模型的核心研究，故相关度较低。作者列表中未包含指定的专家名单，无额外加分。

COM-as-Action, Software Manipulation, ComActor, CAD Benchmark, Program Synthesis, Self-correcting Agent, Windows Containers

Chinese Title: ComAct：通过COM即行动范式重塑专业软件操作

Summary: 论文提出ComAct（COM-as-Action）新范式，将专业软件操作从脆弱的GUI交互或碎片化的API调用转变为确定性程序合成。作者识别出组件对象模型（COM）作为Windows生态下统一的、可执行的抽象接口，使智能体能够直接生成COM程序来操控专业软件（如AutoCAD、SolidWorks），同时保留视觉感知用于粗粒度观察和验证。为验证该范式，论文构建了首个面向真实工业CAD软件的基准ComCADBench，并开发了ComActor——一个通过渐进式三阶段训练（单轮SFT、多轮SFT、基于连续几何奖励的GRPO强化学习）实现自我修正的智能体。实验表明，传统GUI智能体在ComCADBench上近乎零成功率，而COM驱动的方法带来显著提升；ComActor达到最先进性能，并在外部CAD基准（Text2CAD、CADPrompt）上展现出强泛化能力。论文还构建了ComForge平台，支持数千个并行Docker化Windows环境，实现大规模训练。

Innovations:

• 提出COM-as-Action（ComAct）新范式，将专业软件操作重构为可执行的程序合成，替代脆弱的GUI交互和碎片化的API调用。
• 构建ComCADBench，首个面向真实工业CAD软件（AutoCAD、SolidWorks）的智能体评估基准，基于最终软件工件进行评价。
• 开发ComActor，通过渐进式三阶段训练框架（单轮SFT、多轮SFT、GRPO强化学习）训练出具备自我修正能力的专业CAD智能体。
• 构建ComForge，一个高度可扩展的并行化Windows容器基础设施，支持数千个并发真实环境用于大规模训练和评估。
• 将COM作为统一动作空间，实现跨应用工作流（如Microsoft Office、Adobe套件、工业CAD）的自然支持。

Methodology: 论文采用以下技术路线：首先，从三个公开CAD数据集（SketchGraphs、Text2CAD、Fusion360Gallery）中提取结构化JSON几何规格，通过MLLM生成自然语言指令和对应COM脚本，并在Docker化Windows环境中执行验证，构建可靠的指令-代码对语料库。然后，采用渐进式三阶段训练框架：阶段一为指令到代码的单轮监督微调（SFT），阶段二为多轮智能体交互的SFT，阶段三为基于连续几何奖励的GRPO强化学习，使智能体从静态代码生成器进化为自我修正的闭环智能体。训练和推理均在ComForge平台上进行，该平台支持数千个并行Docker化Windows环境，每个环境运行真实CAD软件。智能体在推理时执行“思考-决策-行动”循环，根据实时截图和终端反馈迭代生成和修正COM脚本。

Key Results:

• 传统GUI智能体在ComCADBench上近乎零成功率，而COM驱动的方法带来显著即时提升。
• ComActor在ComCADBench上达到最先进性能，在长程任务中展现出强韧性，而基线方法完全失败。
• ComActor在外部CAD基准Text2CAD和CADPrompt上展现出强泛化能力。
• 渐进式三阶段训练框架有效提升了智能体的自我修正能力和任务完成率。
• ComForge平台支持数千个并行Windows环境，实现了大规模训练和评估。

Tech Stack:

• Component Object Model (COM) 接口
• win32com.client (Python COM绑定)
• MLLM (多模态大语言模型)
• 监督微调 (SFT)
• GRPO (Group Relative Policy Optimization) 强化学习
• 连续几何奖励函数
• Docker容器化Windows环境
• SketchGraphs、Text2CAD、Fusion360Gallery 数据集
• Python脚本生成与执行

Strengths:

• 提出了一种全新的、统一的专业软件操作范式，从根本上解决了GUI智能体的视觉脆弱性和API智能体的碎片化问题。
• 构建了完整的生态系统，包括基准、智能体、训练框架和基础设施，具有高度的系统性和实用性。
• 渐进式三阶段训练框架设计合理，逐步解决能力瓶颈，使智能体从静态代码生成进化为自我修正的闭环智能体。
• 在真实工业CAD软件上进行评估，实验结果具有强说服力，且展示了跨基准的泛化能力。
• COM作为统一动作空间具有广泛的适用性，可推广到Office、Adobe等众多专业软件。

Limitations:

• 当前工作主要聚焦于CAD领域，虽然COM接口在Windows生态中广泛存在，但论文未充分验证在其他专业软件（如Adobe、Office）上的效果。
• 依赖Windows环境和COM接口，限制了在非Windows平台上的部署和应用。
• 训练数据构建依赖公开CAD数据集，可能无法覆盖所有工业级复杂场景。
• 自我修正能力依赖于实时环境反馈，在反馈延迟或噪声较大的场景下可能性能下降。
• 论文未详细讨论COM接口的安全性和权限控制问题，在实际部署中可能面临挑战。

Relevance To Keywords:

• Unify Models: 论文使用单一MLLM模型统一处理指令理解、代码生成和自我修正，体现了模型统一的思想。
• World Models: 智能体通过COM程序与真实软件环境交互，环境反馈（截图、终端输出）可视为对世界状态的观测，但论文未显式构建世界模型。
• Representation Learning: 论文通过COM接口将软件操作表示为程序代码，是一种高层次的动作表征学习。
• Model-Based RL: 论文使用GRPO强化学习优化智能体策略，但未显式构建环境模型，属于无模型RL范畴。
• 原生多模态大模型: 智能体处理文本指令和视觉截图，生成代码，体现了多模态理解和生成的一体化能力。
• 多模态大模型的理解和生成一体化: 智能体同时具备理解自然语言指令和生成可执行代码的能力，是理解与生成的统一。
• 表征学习: COM程序作为动作表征，将复杂的GUI操作抽象为语义级别的程序调用，是一种有效的表征学习。
• 世界模型: 论文未涉及世界模型的构建，但环境反馈机制可视为对世界状态的隐式建模。
• 强化学习: 论文使用GRPO进行强化学习，通过连续几何奖励引导智能体优化行为。
• 后训练: 渐进式三阶段训练框架中的SFT和GRPO均属于后训练阶段，用于提升预训练模型的特定任务能力。

大语言模型（LLM）智能体在各类基准测试上已展现出卓越的性能，然而大多数评估仍基于静态环境的假设。相比之下，现实世界的部署本质上是动态的，要求智能体持续将其知识、技能和行为与变化的环境及更新的任务条件进行对齐。为填补这一空白，我们提出了 EvoArena，这是一个基准测试套件，它将环境变化建模为跨越终端、软件和社交领域的渐进更新序列。此外，我们还提出了 EvoMem，这是一种基于补丁的记忆范式，它将记忆演化记录为结构化更新历史，使智能体能够通过记忆中的变化来推理环境的演化。实验表明，当前智能体在 EvoArena 上表现不佳，在演化的终端、软件和社交偏好领域上的平均准确率仅为 39.6%。EvoMem 持续提升性能，在 EvoArena 上平均增益 1.5%，同时在 GAIA 和 LoCoMo 等标准基准上也分别提升了 6.1% 和 4.8%。除了单个任务之外，EvoMem 在 EvoArena 上进一步将链级准确率提升了 3.7%，其中成功需要完成一系列连续的、相关的进化子任务。机制分析表明，EvoMem 改进了记忆中的证据捕获，这意味着能够更好地保存完整的演化环境状态。我们的结果强调了在评估和记忆建模中考虑演化对于实现可靠智能体部署的重要性。

Large language model (LLM) agents have achieved strong performance on a wide range of benchmarks, yet most evaluations assume static environments. In contrast, real-world deployment is inherently dynamic, requiring agents to continually align their knowledge, skills, and behavior with changing environments and updated task conditions. To address this gap, we introduce EvoArena, a benchmark suite that models environment changes as sequences of progressive updates across terminal, software, and social domains. We further propose EvoMem, a patch-based memory paradigm that records memory evolution as structured update histories, enabling agents to reason about environmental evolution through changes in their memory. Experiments show that current agents struggle on EvoArena, achieving an average accuracy of 39.6% across evolving terminal, software, and social-preference domains. EvoMem consistently improves performance, yielding an average gain of 1.5% on EvoArena and also improving standard benchmarks such as GAIA and LoCoMo by 6.1% and 4.8%. Beyond individual tasks, EvoMem further improves chain-level accuracy by 3.7% on EvoArena, where success requires completing a consecutive sequence of related evolutionary subtasks. Mechanistic analysis shows that EvoMem improves evidence capture in the memory, indicating better preservation of complete evolving environment states. Our results highlight the importance of modeling evolution in both evaluation and memory for reliable agent deployment.

评分理由: The paper focuses on LLM agents in dynamic environments, making Agentic Reasoning highly relevant (9). World Models (4) and model-based RL (3) have moderate relevance due to environment modeling and agent interaction, though the core contribution is memory mechanisms rather than generative world models or model-based planning. Latent Reasoning (3) relates to memory evolution reasoning. MLLM (3) and MultiModal (2) are less relevant as the abstract emphasizes text/logic domains without explicit multi-modal fusion. Unify Models (2), Tokenizer (1), and Visual Encoder (1) are largely irrelevant as the paper does not discuss model unification, tokenizer design, or visual encoders. No expert authors from the specified list were found. The weighted sum is 42.0, exceeding the dynamic pass score of 35.2.

LLM Agents, Dynamic Environments, Memory Evolution, EvoArena, EvoMem, Benchmark Suite, Robustness, Reasoning

Chinese Title: EvoArena：追踪记忆演化以实现动态环境中鲁棒的LLM智能体

Summary: 论文针对现有LLM智能体评估大多基于静态环境、缺乏对持续环境演化适应能力的问题，提出了EvoArena基准套件。该基准将环境变化建模为终端、软件和社交领域的渐进式更新序列，并进一步提出EvoMem——一种基于补丁的记忆范式，将记忆演化记录为结构化的更新历史，使智能体能够通过记忆变化推理环境演化。实验表明，现有智能体在EvoArena上平均准确率仅39.6%，而EvoMem平均提升1.5%，在GAIA和LoCoMo等标准基准上分别提升6.1%和4.8%。此外，EvoMem在链级准确率上提升3.7%，机制分析显示其改善了记忆中的证据捕获。研究结果强调了在评估和记忆设计中建模演化对于可靠智能体部署的重要性。

Innovations:

• 提出EvoArena基准套件，首次系统评估LLM智能体在持久环境演化下的表现，覆盖终端工作流、软件工程和用户偏好三个领域。
• 提出EvoMem记忆范式，采用类似Git的补丁历史记录记忆更新，包括更新前/后状态、更新理由和证据，使智能体能追溯和推理环境演化。
• 发现现有智能体在演化环境中性能显著下降（平均准确率39.6%），并揭示“状态崩溃”这一常见失败模式。
• EvoMem不仅提升演化环境下的性能，还能改善标准长时任务基准（GAIA提升6.1%，LoCoMo提升4.8%），并提升链级任务完成准确率3.7%。

Methodology: 论文首先将静态智能体基准转化为版本化的演化链：Terminal-Bench-Evo（终端工作流演化）、SWE-Chain-Evo（代码库演化）、PersonaMem-Evo（用户偏好演化）。每个演化链包含多个渐进式版本，保持相同目标但改变接口、规则、代码状态或偏好。然后提出EvoMem，在标准记忆系统上附加一个仅追加的补丁历史，每个补丁存储更新前记忆、更新后记忆、更新理由和触发上下文证据。推理时，智能体默认检索最新记忆，当查询涉及被覆盖状态或早期版本时，选择性检索相关补丁。实验使用多种LLM骨干和智能体框架，在EvoArena和标准基准上评估，并进行机制分析（如证据捕获率）。

Key Results:

• 现有智能体在EvoArena上平均准确率仅39.6%，表明持久环境演化对当前智能体构成显著挑战。
• EvoMem在EvoArena上平均提升1.5%的步骤级准确率，并在GAIA和LoCoMo上分别提升6.1%和4.8%。
• EvoMem在链级准确率上提升3.7%，表明其能帮助智能体完成连续演化子任务序列。
• 机制分析显示EvoMem改善了记忆中的证据捕获，尤其在时间轨迹和多模式综合问题上表现更优。

Tech Stack:

• LLM智能体（如GPT-4、Claude等）
• 记忆系统（结构化长期记忆、生产级持久记忆）
• Git风格的补丁（patch）机制
• 终端工作流基准（Terminal-Bench）
• 软件工程基准（SWE-bench）
• 个性化记忆基准（PersonaMem）
• GAIA、LoCoMo等标准基准
• 证据捕获率分析

Strengths:

• 首次系统定义并评估持久环境演化这一重要但被忽视的智能体能力。
• EvoMem设计轻量、通用，可集成到现有记忆系统中，无需重新训练模型。
• 覆盖多个领域（终端、软件、社交），验证了方法的广泛适用性。
• 提供了详细的机制分析，揭示了补丁历史如何改善证据保留。

Limitations:

• 演化链的设计可能无法完全模拟真实世界中复杂、非线性的环境变化。
• EvoMem增加了记忆存储和检索开销，在极大规模部署中可能需要优化。
• 实验仅基于有限数量的LLM骨干和智能体框架，泛化性有待进一步验证。
• 未探讨智能体主动探测环境变化的能力，仅依赖被动记忆更新。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL: 论文主要关注LLM智能体在动态环境中的记忆演化，与统一模型、世界模型、表征学习等关键词有一定关联，因为记忆演化可视为智能体内部世界模型的动态更新，但论文未直接涉及多模态大模型的理解生成一体化或强化学习后训练。
• 原生多模态大模型: 论文未涉及多模态输入输出，但动态环境概念可扩展到多模态场景。
• 表征学习: 记忆补丁可视为环境状态演化的表征，但论文未深入探讨表征学习理论。
• 模型基RL: 环境演化类似于非平稳MDP，但论文未使用RL方法，而是基于LLM推理和记忆。

构建患者特异性心脏模型处于精准心脏病学核心地位，然而将这些模型投入临床应用却总是遭遇相同的瓶颈：网格生成缓慢、混乱且令人沮丧。标准工作流程——图像分割、运行 Marching Cubes（行进立方体算法），随后手动清理结果——耗时漫长、操作员间结果不一致，且需要大多数临床团队所不具备的专业知识。我们采取了一种根本不同的方法。不再将分割和网格生成视为两个独立问题，而是训练了一个单一的端到端网络，直接将原始 3D 医学图像映射为平滑的、可直接用于仿真的心脏表面网格。其核心是一个 3D Swin Transformer 编码器 - 解码器，用于从 CT 或 MRI 体数据中提取体积特征，并结合一个图注意力网络 (GAT) 头，该头迭代变形模板网格以拟合患者的心脏边界。我们在 MM-WHS 2017 基准测试上分别使用 CT 和 MRI 数据进行了测试。分割分数具有竞争力（CT 上 Dice 系数为 0.84，MRI 上为 0.83），但主要关注网格质量：平均 Chamfer 距离为 1.8 mm，第 95 百分位表面距离低于 5 mm。每个网格均通过单次前向传播生成——无需 Marching Cubes 算法，无需平滑滤波器，也无需手动清理。我们认为，在心脏数字孪生流程中，几何保真度和拓扑正确性比像素级 Dice 分数更为重要。通过消除后处理瓶颈，该方法使患者特异性心脏模拟在临床应用上显著更易实现。

Building patient-specific cardiac models sits at the heart of precision cardiology, yet getting those models into clinical use keeps running into the same wall: mesh generation is slow, messy, and frustrating. The standard workflow -- segmenting the image, running Marching Cubes, and then manually cleaning up the result -- is time-consuming, inconsistent across operators, and demands specialist knowledge most clinical teams do not have. We take a fundamentally different approach. Instead of treating segmentation and mesh generation as two separate problems, we train a single end-to-end network that goes directly from a raw 3D medical image to a smooth, simulation-ready cardiac surface mesh. The core is a 3D Swin Transformer encoder-decoder that extracts volumetric features from CT or MRI volumes, paired with a Graph Attention Network (GAT) head that iteratively deforms a template mesh to fit the patient's cardiac boundary. We tested on the MM-WHS 2017 benchmark using both CT and MRI. Segmentation scores were competitive (Dice of 0.84 on CT, 0.83 on MRI), but the primary focus is mesh quality: mean Chamfer distance of 1.8 mm, with 95th-percentile surface distance below 5 mm. Every mesh is produced in a single forward pass -- no Marching Cubes, no smoothing filters, no manual cleanup. We argue that for cardiac digital twin pipelines, geometric fidelity and topological correctness matter more than pixel-level Dice scores. By removing the post-processing bottleneck, this approach makes patient-specific cardiac simulation substantially more accessible for clinical use.

评分理由: 论文核心在于医学图像网格重建，使用了 3D Swin Transformer 作为视觉编码器（Visual Encoder），并将分割与生成任务统一为端到端模型（Unify Models），故这两项得分较高。其余关键词如 Tokenizer、MLLM、RL 及推理类关键词在论文中无体现，世界模型仅涉及数字孪生概念而非生成式动力学模型，相关度较低。

Cardiac Mesh Reconstruction, 3D Swin Transformer, Graph Attention Network, End-to-End Learning, Digital Twin, Medical Image Analysis, Surface Mesh Generation

Chinese Title: 基于Transformer引导的图注意力直接心脏网格重建：一种结构数字孪生框架

Summary: 本文提出了一种端到端的深度学习框架，用于直接从原始3D医学图像（CT或MRI）生成平滑、可用于仿真的心脏表面网格，以解决传统分割-网格生成流程耗时且需要大量人工干预的问题。该框架结合了3D Swin Transformer编码器-解码器来提取丰富的体素特征，以及图注意力网络（GAT）头，通过迭代变形模板网格以匹配患者心脏边界。在MM-WHS 2017基准测试上，该方法在CT和MRI数据上分别取得了0.84和0.83的Dice系数，平均Chamfer距离为1.8毫米，95%表面距离低于5毫米。所有网格均通过单次前向传播生成，无需Marching Cubes、平滑或手动清理。作者认为，对于心脏数字孪生管道，几何保真度和拓扑正确性比像素级Dice分数更为重要。

Innovations:

• 提出了一种直接到网格的端到端架构，结合3D Swin Transformer和图注意力网络，无需依赖Marching Cubes即可直接输出平滑的心脏表面网格。
• 在单一框架内统一了分割和网格重建任务，通过联合训练体素分割目标和几何网格质量目标，同时保证解剖准确性和仿真兼容性。
• 在MM-WHS 2017多模态数据集上进行了全面评估，报告了CT和MRI两种模态下的网格质量指标，平均Chamfer距离为1.8毫米，95%表面距离低于5毫米。
• 消除了传统流程中的后处理瓶颈（如Marching Cubes、平滑和手动清理），使网格生成完全自动化，便于临床部署。

Methodology: 论文采用两阶段端到端架构：首先，使用3D Swin Transformer编码器-解码器处理体素图像，通过分层窗口自注意力机制提取多尺度上下文特征；然后，图注意力网络（GAT）头以模板网格（如球体或椭球体）为起点，通过从编码器特征图中采样顶点特征，并经过多层图注意力层迭代变形网格，使其贴合心脏边界。训练时联合优化体素分割损失和几何网格质量损失。数据预处理包括重采样至160×160×80体素、z-score标准化以及随机旋转、翻转和弹性变形等数据增强。

Key Results:

• 在MM-WHS 2017数据集上，CT模态的Dice系数为0.84，MRI模态为0.83。
• 平均Chamfer距离为1.8毫米，95%表面距离低于5毫米。
• 所有网格均通过单次前向传播生成，无需Marching Cubes、平滑或手动清理。
• 网格质量满足仿真要求，可直接用于有限元或流体动力学计算。

Tech Stack:

• 3D Swin Transformer（编码器-解码器）
• 图注意力网络（Graph Attention Network, GAT）
• Marching Cubes（仅用于对比，本文未使用）
• Chamfer距离（几何质量评估）
• Dice系数（分割评估）
• z-score标准化
• 数据增强（随机旋转、翻转、弹性变形）
• MM-WHS 2017数据集

Strengths:

• 端到端直接生成网格，消除了传统流程中的后处理瓶颈，显著提高了效率和自动化程度。
• 结合Transformer的全局上下文建模能力和GAT的拓扑感知变形能力，同时保证了分割精度和网格质量。
• 在CT和MRI两种模态上均进行了验证，展示了良好的跨模态泛化能力。
• 强调几何保真度和拓扑正确性，更贴合数字孪生和仿真应用的实际需求。

Limitations:

• 网格质量指标（如Chamfer距离）虽优于传统流程，但绝对数值（1.8毫米）在临床高精度场景中可能仍有提升空间。
• 模板网格的初始形状（球体或椭球体）可能限制对复杂解剖结构的拟合能力，尤其对于非典型心脏形态。
• 仅基于MM-WHS 2017数据集进行验证，缺乏在更大规模、更多样化临床数据上的测试。
• 未详细讨论模型的计算成本和推理速度，可能影响实时或近实时临床部署。

Relevance To Keywords: 该论文与所提供的研究关键词（Unify Models, World Models, Representation Learning, Model-Based RL, 原生多模态大模型等）的直接相关性较低。论文主要聚焦于医学图像分割和网格重建，属于计算机视觉和数字孪生领域，而非多模态大模型、世界模型或强化学习。然而，其端到端框架和特征表示学习的思想与表征学习（Representation Learning）有一定关联，但整体上不属于核心关键词范畴。

从含噪高维测量中识别潜在动力系统是表示学习、系统辨识和科学发现交叉领域的核心问题。我们提出 DYSCO，这是一种多视角时序对比学习算法，通过利用同一底层过程的多个独立含噪视图来分离信号与噪声，从而从此类观测中联合恢复潜在轨迹和支配动力学。通过在结构化函数基上参数化动力学，我们的框架进一步能够在仿射规范下实现支配方程的符号恢复。我们提供了理论保证，表明在仿射不确定性范围内可实现强识别，将先前的可识别性结果扩展到含噪非线性观测的实际场景。实验上，我们在多种动力学 regime（如混沌、振荡和亚稳态）下，展示了在高斯和泊松观测噪声中准确恢复潜在轨迹和流场的能力，后者尤其适用于神经记录。

Identifying latent dynamical systems from noisy, high-dimensional measurements is a central problem at the intersection of representation learning, system identification, and scientific discovery. We present DYSCO, a multi-view temporal contrastive learning algorithm that jointly recovers latent trajectories and the governing dynamics from such observations, by leveraging multiple independent noisy views of the same underlying process to disentangle signal from noise. By parameterizing the dynamics in a structured functional basis, our framework further enables symbolic recovery of the governing equations within an affine gauge. We offer theoretical guarantees for strong identification up to an affine indeterminacy, extending prior identifiability results to the realistic setting of noisy nonlinear observations. Empirically, we demonstrate accurate recovery of both latent trajectories and flow fields across a diverse set of dynamical regimes (e.g., chaotic, oscillatory, and metastable) under both Gaussian and Poisson observation noise, the latter being particularly relevant for neural recordings.

评分理由: 论文核心在于利用多视角对比学习从噪声高维测量中恢复潜在轨迹和支配方程，因此与'Latent Reasoning'高度相关（得分 9）。'MultiModal'因涉及多视角表示学习而中度相关（得分 5）；'model-based RL'和'World Models'因涉及动力学建模而有一定关联（得分 4 和 3）。其余关键词如'Tokenizer'、'MLLM'、'Agentic Reasoning'等与本文科学发现及系统识别主题无直接关联（得分 1-2）。加权总分为 40.5，高于及格线 35.2。

Multi-View Contrastive Learning, Latent Dynamics, Governing Equations, System Identification, Symbolic Recovery, Noisy Measurements, Temporal Contrastive Learning

Chinese Title: 通过多视图对比学习从潜在动力学中提取控制方程

Summary: 该论文提出了一种名为DYSCO的多视图时间对比学习算法，旨在从高维、噪声观测数据中联合恢复潜在轨迹及其控制动力学。研究背景涉及神经科学和机器学习中从噪声观测中提取系统计算法则的挑战。方法上，DYSCO利用多个独立噪声视图来分离信号与噪声，并通过结构化函数基参数化动力学，支持控制方程的符号恢复。理论贡献包括在噪声非线性观测下提供仿射变换下的可辨识性保证。实验验证了该方法在混沌、振荡和亚稳态等动力学系统上的有效性，包括高斯和泊松噪声场景。结论表明，对比学习结合多视图一致性可有效解决Marr逆问题，从实现层恢复可解释的计算描述。

Innovations:

• 提出多视图对比系统识别框架DYSCO，利用时间结构和多噪声视图联合恢复潜在状态和动力学。
• 提供理论可辨识性保证，在噪声非线性观测下将潜在动力学系统识别到仿射变换。
• 将符号回归与对比学习结合，通过结构化函数基参数化动力学实现控制方程的符号恢复。
• 在多种动力学系统（混沌、振荡、亚稳态）上验证了方法对噪声的鲁棒性，包括高斯和泊松噪声。

Methodology: 论文采用多视图时间对比学习框架，通过编码器hθ将高维观测映射到潜在空间，并用符号动力学模型f̂Ξ（基于多项式基函数）参数化潜在动力学。训练目标为InfoNCE损失函数，通过最大化正样本对（同一潜在状态的不同噪声视图）的相似性并最小化负样本对的相似性来学习。模型利用时间前向积分生成轨迹，并通过多视图一致性约束分离信号与噪声。理论分析基于渐近假设证明可辨识性。

Key Results:

• DYSCO在混沌（Lorenz系统）、振荡和亚稳态动力学系统上准确恢复潜在轨迹和流场。
• 在高斯和泊松观测噪声下均保持鲁棒性能，泊松噪声特别适用于神经记录场景。
• 通过符号回归成功恢复Lorenz系统的控制方程，验证了仿射规范结构的兼容性。
• 理论证明在渐近条件下，多视图对比学习可将潜在动力学系统识别到仿射变换。

Tech Stack:

• 对比学习（InfoNCE损失函数）
• 多视图编码器（神经网络hθ）
• 符号动力学模型（多项式基函数库Ξ）
• 时间前向积分（轨迹滚动）
• 负对数似然最小化
• 仿射变换可辨识性分析

Strengths:

• 理论严谨：提供了噪声非线性观测下的可辨识性保证，扩展了先前工作。
• 方法统一：将表示学习、系统识别和符号回归整合在一个对比学习框架中。
• 鲁棒性强：在多种噪声类型和动力学系统上验证了有效性。
• 可解释性：通过符号恢复控制方程，支持科学发现。

Limitations:

• 依赖多视图观测，在单视图场景下可能不适用。
• 符号基函数的选择（如多项式次数）需先验知识，可能限制表达力。
• 理论可辨识性基于渐近假设，有限样本下的性能可能偏离。
• 实验仅涉及低维潜在系统（如Lorenz），高维潜在空间的扩展未充分验证。

Relevance To Keywords:

• 表征学习：论文核心是学习潜在表示，与表征学习高度相关。
• 世界模型：通过恢复潜在动力学，DYSCO可视为构建世界模型的一种方法。
• 模型基强化学习：潜在动力学模型可用于规划和控制，与模型基RL相关。
• 多模态大模型：多视图对比学习思想可扩展至多模态数据，但论文未直接涉及大模型。
• 后训练：论文未涉及后训练，但符号恢复可视为后训练解释性步骤。

工具增强的 LLM 代理通常依赖逐步原子化的工具调用，其中每次调用、观察和值传递均在主推理轨迹中暴露。这造成了一个“执行粒度不匹配”：局部确定性的工具工作流被展开为重复的模型可见决策，消耗上下文，并迫使模型在轨迹中管理低级数据流。我们引入了 HyperTool，这是一种统一的可执行 MCP 风格工具接口，它改变了工具执行的模型可见单元。模型通过代码块调用 HyperTool，该代码块可通过其原始模式调用现有工具，操纵返回值，并本地传递中间结果，从而将确定性工具子程序折叠为单次外层调用。为了训练模型使用此接口，我们从跨工具组合任务中合成 HyperTool 格式的轨迹，并在真实 MCP 环境中进行验证。在 MCP-Universe 上，HyperTool 将 Qwen3-32B 的平均准确率从 15.69% 提升至 35.29%，将 Qwen3-8B 的平均准确率从 9.93% 提升至 33.33%，并在平均准确率上超越 GPT-OSS 和 Kimi-k2.5，表明我们的 HyperTool 能够显著改进多步工具使用。

Tool-augmented LLM agents commonly rely on step-wise atomic tool calls, where each invocation, observation, and value transfer is exposed in the main reasoning trace. This creates an \emph{execution-granularity mismatch}: locally deterministic tool workflows are unfolded into repeated model-visible decisions, consuming context and forcing the model to manage low-level dataflow in the trace. We introduce \textbf{HyperTool}, a unified executable MCP-style tool interface that changes the model-visible unit of tool execution. A model invokes HyperTool with a code block that can call existing tools through their original schemas, manipulate returned values, and pass intermediate results locally, folding deterministic tool subroutines into a single outer call. To train models to use this interface, we synthesize HyperTool-format trajectories from cross-tool compositional tasks and verify them in real MCP environments. On MCP-Universe, HyperTool improves average accuracy from 15.69\% to 35.29\% on Qwen3-32B and from 9.93\% to 33.33\% on Qwen3-8B, and surpass GPT-OSS and Kimi-k2.5 on average accuracy, showing that our HyperTool can substantially improve multi-step tool use.

评分理由: The paper focuses on tool-augmented LLM agents, achieving high relevance for Agentic Reasoning (9.0) due to its focus on agent tool usage logic and Unify Models (7.0) regarding the unified MCP-style interface. Latent Reasoning (5.0) is moderately relevant as it abstracts tool subroutines into single calls. MLLM (6.0) is relevant as the method is evaluated on Qwen3 models. Keywords related to vision, tokenization, world models, and RL are not addressed in the abstract (0.0). No expert authors from the specified list were found.

HyperTool, Tool-Augmented Agents, Unified Interface, Execution-Granularity Mismatch, MCP, Tool Composition, LLM Agents

Chinese Title: HyperTool：超越逐步工具调用的工具增强型代理

Summary: 论文针对工具增强型LLM代理中逐步原子工具调用导致的上下文膨胀和推理碎片化问题，提出HyperTool——一种统一的MCP风格可执行工具接口。该接口允许代理在单个代码块中调用现有工具、操作返回值并传递中间结果，将确定性工具子程序折叠为一次外部调用。通过合成跨工具组合任务的HyperTool格式轨迹，并在真实MCP环境中验证后用于监督微调，模型学会了何时调用代码块、如何组合工具以及何时返回中间结果。在MCP-Universe基准上，基于Qwen3-32B和Qwen3-8B的HyperTool模型平均准确率分别从15.69%提升至35.29%、从9.93%提升至33.33%，甚至超越了GPT-OSS和Kimi-k2.5等先进模型。

Innovations:

• 识别出逐步原子工具调用导致上下文膨胀和推理碎片化的关键局限性
• 提出HyperTool统一可执行工具接口，保持原始MCP工具模式的同时允许原子调用和多工具工作流在同一代码块中表达
• 构建经过验证的HyperTool格式轨迹用于监督微调，将监督从孤立原子调用转移到可执行工具子程序
• 在多个模型上实现显著性能提升，并超越非HyperTool基线及部分先进模型

Methodology: 论文采用三阶段数据合成管道：首先构建跨工具组合任务，然后通过局部修复和轨迹级上下文压缩生成HyperTool格式轨迹，最后对轨迹进行执行正确性和证据一致性验证。使用监督微调（SFT）训练模型使用HyperTool接口。评估在MCP-Universe基准上进行，对比基线和先进模型。

Key Results:

• Qwen3-32B平均准确率从15.69%提升至35.29%
• Qwen3-8B平均准确率从9.93%提升至33.33%
• HyperTool模型在平均准确率上超越GPT-OSS和Kimi-k2.5
• 所有基于Qwen3骨干的非HyperTool基线均被HyperTool模型超越

Tech Stack:

• MCP（Model Context Protocol）风格工具接口
• 代码块执行（Python风格可执行程序）
• 监督微调（Supervised Fine-Tuning, SFT）
• 轨迹合成与验证（执行正确性、证据一致性检查）
• Qwen3-8B和Qwen3-32B大语言模型

Strengths:

• 问题定位精准：指出逐步调用导致的上下文和推理问题，具有实际意义
• 方案简洁有效：通过改变执行粒度而非替换工具接口，兼容现有MCP生态
• 数据合成方法可靠：在真实环境中验证轨迹，保证训练数据质量
• 实验结果显著：在多个模型上取得大幅提升，且超越更强基线

Limitations:

• 仅针对确定性工具工作流有效，对于需要模型实时决策的复杂任务可能仍需逐步调用
• 数据合成依赖预定义组合任务，可能无法覆盖所有真实场景
• 未讨论HyperTool在长上下文或极端复杂任务中的扩展性
• 实验仅在MCP-Universe基准上进行，泛化性需进一步验证

Relevance To Keywords: 论文主要关注工具增强型LLM代理的执行粒度优化，与用户指定的研究背景（原生多模态大模型、世界模型、表征学习、强化学习、后训练）相关性较低。论文未涉及多模态理解与生成一体化、世界模型构建或表征学习，也未使用强化学习或后训练方法。其核心贡献在于工具调用接口设计，属于LLM代理的工程优化方向。

语音表示的选择在语音驱动的 3D 面部动画中至关重要。这些表示在编码内容上有所不同：自监督学习（SSL）特征强调音段和语义线索，神经编解码器产生针对声学重建优化的潜在表示，而自动语音识别（ASR）风格的目标则生成基于标签的空间。我们评估了四种语音表示类别用于 3D 面部合成，通过客观指标和感知评估，在两种面部解码器上比较了它们的面部重建质量。此外，我们还进行了探测分析，将离散表示与语音单位及发音形变相关联。我们发现，在语义表示和基于标签的表示中，编码音类均有利于准确的面部动画预测，且两者具有相当的面部动画质量。基于后者，我们提出了一种视听文本到语音（AVTTS）管道，利用离散表示作为共享空间来联合解码语音和 3D 面部运动。

The choice of speech representation is critical in speech-driven 3D facial animation. Representations differ in what they encode: SSL features emphasize segmental and semantic cues, neural codecs yield latents optimized for acoustic reconstruction, and ASR-style objectives produce label-based spaces. We evaluate four speech representation families for 3D facial synthesis, comparing their facial reconstruction quality across two facial decoders using objective metrics and a perceptual evaluation. We additionally conduct probing analyses that relate tokenized representations to phonetic units and to articulatory deformations. We found that encoding phonetic classes is beneficial for accurate facial animation prediction on both semantic and label-based representations with comparable facial animation quality. From the latter, we introduce an Audio Visual Text-to-Speech (AVTTS) pipeline that leverages, as a shared space, discrete representations to decode speech and 3D facial motion.

评分理由: 论文主要研究语音表示与 3D 面部动画的生成，与 MLLM、世界模型及强化学习等核心关键词关联度较低。但涉及离散语音表示（Tokenizer）和音频 - 视觉多模态（MultiModal），相关性较高。未包含指定专家作者。

Discrete Speech Representations, 3D Facial Animation, Audio-Visual Synthesis, Tokenized Representations, Phonetics, Neural Codecs, Facial Decoders, Shared Space

Chinese Title: 从令牌到面孔：探究用于3D面部动画的离散语音表示

Summary: 本文系统评估了四种语音表示家族（声学、语义+声学、语义、基于标签）在语音驱动3D面部动画中的效果。通过两种面部解码器（GRU和Transformer）进行客观指标和感知评估，并进行了探针分析，将令牌化表示与音素单元和发音变形相关联。研究发现，编码音素类别对准确的面部动画预测有益，语义和基于标签的表示在面部动画质量上相当。基于此，本文提出了一种音频视觉文本转语音（AVTTS）流水线，利用离散表示作为共享空间，同时解码语音和3D面部运动。

Innovations:

• 首次系统比较了四种不同性质的离散语音表示（声学、语义+声学、语义、基于标签）在3D面部动画中的表现。
• 引入了探针分析，将令牌化表示与音素单元和发音变形（blendshape聚类）相关联，揭示了表示中编码的信息。
• 提出了一个音频视觉文本转语音（AVTTS）流水线，利用离散表示同时生成语音和3D面部动画，无需单独的音频驱动阶段。
• 在客观指标（LVE、Jitter、Bilabial Closure Score）和主观感知评估（MUSHRA）上进行了全面比较。

Methodology: 采用对比实验框架，固定四个语音编码器（HuBERT、SpeechTokenizer、WavTokenizer、CosyVoice2）的预训练权重，训练两个面部解码器（GRU和Transformer）从BEAT2数据集映射到ARKit blendshapes。使用线性回归和事后比较分析客观指标，使用beta回归分析MUSHRA评分。探针分析通过量化HuBERT表示、对齐音素和面部特征、聚类visemes等方法进行。

Key Results:

• 基于标签的表示（CosyVoice2）在客观指标上表现最佳，与语义表示（HuBERT）相当。
• 纯声学表示（WavTokenizer）在面部动画预测上表现较差。
• Transformer解码器在大多数情况下优于GRU解码器。
• 感知评估中，CosyVoice2+Transformer与HuBERT+Transformer表现接近，均优于基线HuBERT+GRU。
• 探针分析表明，语义和基于标签的表示编码了清晰的音素类别信息，而声学表示缺乏此类结构。

Tech Stack:

• HuBERT (自监督学习)
• SpeechTokenizer (残差向量量化+语义蒸馏)
• WavTokenizer (单码本极端压缩)
• CosyVoice2 (ASR标签监督)
• GRU (门控循环单元)
• Transformer (交叉注意力解码器)
• ARKit blendshapes (51维)
• BEAT2数据集
• L1损失, 平滑损失 (速度、加速度)
• MUSHRA感知评估协议
• 线性回归 (lme), beta回归 (glmmTMB), emmeans事后比较

Strengths:

• 系统全面的比较框架，覆盖了多种主流离散语音表示。
• 结合客观指标和主观感知评估，增强了结论的可靠性。
• 探针分析提供了对表示内部编码信息的深入理解。
• 提出的AVTTS流水线具有实际应用价值，实现了文本到语音和面部动画的联合生成。

Limitations:

• 仅使用了BEAT2数据集，可能限制了泛化性。
• 面部解码器架构相对简单（GRU和Transformer），未探索更复杂的模型。
• 感知评估仅比较了三个代表性模型，未涵盖所有组合。
• 探针分析中的viseme聚类基于测试集，可能引入数据泄露。

Relevance To Keywords: 论文核心关注语音表示学习（Representation Learning）在3D面部动画中的应用，涉及离散令牌化表示（与多模态大模型中的令牌化思想相关）。虽然不直接研究世界模型或强化学习，但其提出的AVTTS流水线体现了多模态理解与生成一体化（语音和面部动画联合生成）。论文对表示性质的探针分析有助于理解表征学习中的语义/声学信息编码。整体相关性中等，主要与“表征学习”和“多模态大模型的理解和生成一体化”相关。

从自然经验中学习具象化词语意义，需要解决婴儿视角录像中的两个歧义：命名指称物何时出现，以及它在杂乱画面中的位置。在 SAYCam 风格数据中，看护者语音稀疏且与第一人称视频弱同步，导致单帧对比配对产生噪声正样本，其中目标对象要么缺失，要么与干扰物纠缠。我们提出 BabyMind，这是一种面向儿童视角对比学习的物体优先偏差，适用于稀疏且噪声的监督环境。BabyMind 利用基于掩码的离线区域接口提取候选对象嵌入，通过跟踪将候选对象在短话语中心窗口内链接为轻量级对象文件，并利用原型空间多实例对比目标将话语对齐至对象文件袋。轨迹一致性和全局对象一致性正则化器稳定了学习过程，并将对象文件结构迁移至评估时使用的全局帧嵌入中。在 SAYCam-S 数据集上，BabyMind 相比 CVCL 将 Labeled-S 15 强制选择准确率提高了 2.6 个百分点，并在词汇内分布外基准上取得了稳定提升。代码可在 https://github.com/sathiiii/BabyMind 获取。

Learning grounded word meaning from natural experience requires resolving two ambiguities in infant-view recordings: when the named referent appears and where it is in a cluttered frame. In SAYCam-style data, caregiver speech is sparse and weakly synchronized with egocentric video, so single-frame contrastive pairing yields noisy positives in which the intended object is absent or entangled with distractors. We propose BabyMind, an object-first bias for child-view contrastive learning under sparse, noisy supervision. BabyMind extracts candidate object embeddings using an offline mask-based region interface, links candidates across a short utterance-centered window into lightweight object files via tracking, and aligns utterances to bags of object files with a prototype-space multiple-instance contrastive objective. Track-coherence and global-object agreement regularizers stabilize learning and transfer object-file structure into the global frame embedding used at evaluation. On SAYCam-S, BabyMind improves Labeled-S 15 forced-choice accuracy by +2.6 points over CVCL and yields consistent gains on in-vocabulary out-of-distribution benchmarks. Code is available at https://github.com/sathiiii/BabyMind.

评分理由: The paper focuses on object-first contrastive learning for grounding language in child-view video, showing moderate relevance to MultiModal (7) and Visual Encoder (5) due to video-text alignment and object embeddings. It does not address model unification, tokenization, world models, reinforcement learning, or agentic reasoning, resulting in low scores for those keywords (1-3). No matching expert authors from the provided list were found in the author list. The weighted total score is 40.5, exceeding the dynamic passing score of 35.2.

Object-First Inductive Biases, Child-View Video, Contrastive Learning, Grounding Language, SAYCam Dataset, Object Embeddings, Multiple-Instance Learning

Chinese Title: 对象先于词汇：面向儿童视角视频中语言接地的对象优先归纳偏置

Summary: 该论文针对儿童视角视频中语言接地学习面临的时空歧义问题（命名参照物何时出现、在杂乱画面中位于何处），提出了一种名为BabyMind的对象优先归纳偏置方法。在SAYCam风格数据中，看护者语言稀疏且与自我中心视频弱同步，单帧对比配对会产生噪声正样本（目标对象缺失或被干扰物混淆）。BabyMind通过离线自动掩码生成提取候选对象嵌入，利用轻量级跟踪在短语音窗口内将候选对象链接为对象文件，并采用原型空间多实例对比目标将语音与对象文件包对齐。此外，引入轨迹一致性和全局-对象一致性正则化项来稳定学习，并将对象文件结构迁移到评估时使用的全局帧嵌入中。在SAYCam-S数据集上，BabyMind在Labeled-S 15强制选择准确率上比CVCL提升2.6个百分点，并在词汇内分布外基准测试中取得一致增益。该方法有效缓解了稀疏、噪声监督下的接地学习问题。

Innovations:

• 提出BabyMind，一种对象优先的归纳偏置扩展，通过将语音与短窗口内跟踪的实例候选对齐，解决时空歧义，同时保留原始CVCL全局对比目标和评估接口。
• 采用离线自动掩码生成（AMG）获取实例级区域掩码，并通过轻量级跟踪形成短窗口对象文件，适用于自我中心视频。
• 设计原型空间多实例对比目标，结合轨迹一致性和全局-对象一致性正则化，稳定对象选择并将对象中心结构注入全局嵌入。
• 在SAYCam-S数据集上实现Labeled-S 15强制选择准确率提升2.6个百分点，并在词汇内分布外评估中取得一致改进。

Methodology: 论文采用对比学习框架，在CVCL基础上增加对象文件通路。具体步骤：1）对每个语音锚点帧及其附近帧，使用SAM等离线自动掩码生成器提取候选区域，并通过掩码平均池化获得区域嵌入；2）在短窗口内通过贪心相似性跟踪将候选嵌入链接为对象文件（轨迹），每个轨迹嵌入为分配候选的均值；3）引入可学习原型记忆，将文本嵌入和对象文件嵌入投影到原型空间，通过软分配计算相似度；4）采用多实例对比损失（MIL）将语音与对象文件包对齐，使用log-sum-exp池化聚合；5）添加轨迹一致性正则化（KL散度）和全局-对象一致性损失，将对象文件信号迁移到全局帧嵌入。训练使用对称对比损失，温度参数调节。

Key Results:

• 在SAYCam-S数据集上，BabyMind在Labeled-S 15强制选择准确率上比CVCL基线提升2.6个百分点。
• 在词汇内分布外（IV OOD）基准测试中，BabyMind取得一致但适度的增益。
• 定性分析显示，对象文件通路能更准确地选择与语音相关的目标对象，减少背景干扰。
• 消融实验验证了原型空间MIL、轨迹一致性和全局-对象一致性正则化的有效性。

Tech Stack:

• 离线自动掩码生成（AMG）：使用SAM（Segment Anything Model）生成实例掩码。
• 轻量级跟踪：基于余弦相似度的贪心跨帧链接。
• 原型记忆：可学习原型向量，通过EMA和Sinkhorn归一化更新（类似SwAV）。
• 多实例对比学习（MIL）：使用log-sum-exp池化聚合实例相似度。
• 对比损失：对称InfoNCE损失，温度参数调节。
• KL散度正则化：用于轨迹一致性。
• 全局-对象一致性损失：将对象文件嵌入投影到全局嵌入空间。
• 特征提取：文本编码器（如CLIP文本编码器）和视觉编码器（如ResNet或ViT），输出归一化嵌入和空间特征图。

Strengths:

• 针对儿童视角视频中语言接地的核心歧义问题（时空不确定性）提出了有效的对象优先偏置，符合认知科学中婴儿通过对象跟踪学习语言的发现。
• 方法设计巧妙，在保持CVCL全局对比框架不变的情况下，通过辅助对象文件通路引入归纳偏置，易于集成。
• 利用现成的SAM模型获取实例掩码，无需额外标注，具有可扩展性。
• 多个正则化项（轨迹一致性、全局-对象一致性）稳定了多实例学习，并促进了对象结构向全局表示的迁移。
• 在标准基准上取得显著提升，且代码开源，可复现。

Limitations:

• 依赖离线自动掩码生成（SAM），增加了计算开销和预处理步骤，可能不适用于实时或大规模场景。
• 轻量级跟踪基于简单的余弦相似度，在快速运动或严重遮挡时可能失效。
• 原型记忆的规模（原型数量）需要手动设定，可能影响长尾概念的学习。
• 实验仅在SAYCam-S子集上进行，未在完整SAYCam或其它儿童视角数据集上验证泛化性。
• 提升幅度相对有限（+2.6个百分点），且分布外评估增益“适度”，说明仍有改进空间。
• 未与近期基于世界模型或多模态大模型的方法进行比较，相关性分析不够深入。

Relevance To Keywords:

• 表征学习：论文核心是学习视觉-语言联合表征，通过对象优先偏置改进表征质量，与表征学习高度相关。
• 世界模型：对象文件通路和轨迹一致性可视为构建短期世界模型（对象持久性）的一种形式，但论文未明确使用世界模型框架，相关性中等。
• 多模态大模型：论文方法基于对比学习，未采用大规模生成式多模态模型，但所解决的语言接地问题与多模态理解相关，相关性较弱。
• 原生多模态大模型的理解和生成一体化：论文不涉及生成任务，仅关注理解（接地），相关性低。
• 强化学习：论文未使用强化学习，相关性低。
• 后训练：论文方法属于预训练/训练阶段，未涉及后训练（如指令微调），相关性低。

大语言模型（LLM）智能体日益被期望在长期交互中运行，其中必须保留并回忆过去对话中的信息以支持未来任务。然而，随着交互的积累，记忆库无限增长并充满冗余条目，这不仅增加了存储成本，还通过排挤最有用的证据而损害了检索性能。此外，这对具有硬性内存预算的资源受限平台尤其构成限制，促使我们提出存储预算约束的记忆管理任务，即在固定预算内维持已构建的记忆库，同时保留对未来交互有用的信息。为此，我们提出了 MemRefine，一个基于 LLM 的指导框架。由于表面相似性难以准确反映事实价值，该框架仅利用相似性提出候选对，并将删除、合并及保留的决策委托给基于事实内容的 LLM 评判器，迭代直至满足预算限制。在多个记忆框架和长期对话基准上，MemRefine 始终满足目标预算，同时保留下游性能，并在严格预算下优于基于规则的基线。

Large language model (LLM) agents are increasingly expected to operate over long-term interactions, where information from past dialogues must be preserved and recalled to support future tasks. However, as interactions accumulate, the memory store grows without bound and fills with redundant entries that inflate storage cost and degrade retrieval by crowding out the most useful evidence. Furthermore, this is especially limiting on resource-constrained platforms with hard memory budgets, motivating us to formulate storage-budgeted memory management, the task of keeping an already constructed memory store within a fixed budget while preserving information useful for future interactions. To this end, we then propose MemRefine, an LLM-guided framework that, since surface similarity poorly reflects factual value, uses similarity only to propose candidate pairs and defers delete, merge, and preserve decisions to an LLM judge based on factual content, iterating until the budget is met. Across multiple memory frameworks and long-term conversation benchmarks, MemRefine consistently meets target budgets while preserving downstream performance and outperforming rule-based baselines under tight budgets.

评分理由: The paper focuses on LLM agent memory compression and budget management, showing high relevance to Agentic Reasoning. It has moderate relevance to World Models and Latent Reasoning due to internal state management and LLM judging logic. It has low relevance to multimodal-specific keywords (Visual Encoder, MultiModal, MLLM) as the abstract lacks vision or modality fusion content. Tokenizer and Unify Models are not central contributions. No matching expert authors were found.

LLM Agent Memory, Memory Compression, Storage Budget, LLM-Guided, Factual Content, Long-Term Interaction, Memory Management

Chinese Title: MemRefine：LLM引导的长期智能体记忆压缩

Summary: 论文针对LLM智能体在长期交互中记忆存储无限增长、冗余信息增多导致存储成本上升和检索性能下降的问题，提出了存储预算约束下的记忆管理任务。作者设计了MemRefine框架，该框架在记忆构建完成后、检索之前，利用表面相似性筛选候选记忆对，但将删除、合并或保留的决策交由LLM法官基于事实内容进行判断，迭代执行直至记忆存储满足预算。在多种记忆框架和长期对话基准上的实验表明，MemRefine能在满足目标预算的同时保持下游任务性能，并在严格预算下优于基于规则的基线方法。

Innovations:

• 首次形式化存储预算约束下的长期智能体记忆管理任务，提出查询无关的最大-最小优化问题。
• 提出后构建记忆压缩范式，将压缩模块独立于记忆构建和检索管道，具有通用性。
• 利用LLM对语义相似记忆对进行事实级判断（冗余/互补/不同），而非仅依赖表面相似性。
• 设计迭代式成对精炼算法，通过LLM法官的删除、合并、保留决策逐步压缩记忆至目标预算。

Methodology: 论文首先将存储预算记忆管理形式化为一个查询无关的最大-最小优化问题，然后提出MemRefine框架：1）候选对选择：基于嵌入余弦相似度选取最相似的未处理记忆对；2）LLM法官决策：由LLM根据事实内容判断该对是冗余（删除）、互补（合并）还是不同（保留）；3）迭代执行：重复上述步骤直至记忆存储满足预算或无可处理候选对。算法在A-MEM图记忆和Mem0管道两种代表性记忆框架上验证，使用LoCoMo基准及扩展版本进行评估。

Key Results:

• MemRefine能在各种压缩预算下稳定达到目标存储预算，同时保持下游任务性能。
• 在中等压缩率下，MemRefine几乎不损失性能；在严格预算下性能下降平缓而非崩溃。
• 与基于相似度或图结构启发式的规则基线相比，MemRefine在所有设置下表现更鲁棒。
• LLM法官的事实判断能力是压缩决策的关键，仅靠相似性无法有效区分冗余、互补和不同内容。

Tech Stack:

• LLM（作为法官进行事实判断）
• 余弦相似度（用于候选对选择）
• 嵌入向量（记忆条目表示）
• A-MEM图记忆框架
• Mem0记忆管道
• LoCoMo基准（长期对话记忆评估）
• Token-level F1（下游任务评估指标）

Strengths:

• 问题定义清晰，针对实际部署中存储预算硬约束提出新任务。
• 方法模块化，可插入现有记忆框架而不修改其构建和检索流程。
• 利用LLM进行事实推理而非简单统计，更符合记忆压缩的本质需求。
• 实验覆盖多种记忆框架和不同压缩预算，验证了方法的通用性和鲁棒性。

Limitations:

• 依赖LLM作为法官，可能引入额外推理成本和延迟。
• 候选对选择仅基于余弦相似度，可能遗漏语义相似但嵌入不接近的对。
• 未考虑记忆条目的时间顺序或交互上下文对压缩决策的影响。
• 实验仅在对话场景下评估，对其他类型智能体记忆（如任务日志）的适用性未验证。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL：论文主要关注LLM智能体的长期记忆压缩，与统一模型、世界模型、表征学习、基于模型的强化学习等关键词的直接关联较弱，但记忆管理可视为智能体系统的重要组成部分，间接涉及表征学习（嵌入表示）和模型决策（LLM法官）。

强化学习已迅速成为推理与代码模型训练中的关键组成部分，但从机制视角来看，其理解仍不充分。我们研究了通过强化学习后训练，能力是如何以及通过何种底层过程被获取或增强的。基于 Qwen-2.5-1.5B 的受控数学推理实验分析揭示了两个核心机制：策略选择和策略改进。我们的结果突出了 SFT（监督微调）数据和强化学习数据在激活这些机制中的作用，特别是展示了通过在多样化的推理策略上对模型进行监督来实现策略选择，以及通过在强化学习数据中增加难度来实现策略改进。总体而言，我们的结果为强化学习训练提供了机制性见解，并提出了一些实用干预措施，以继续扩展推理能力。

Reinforcement learning has rapidly emerged as a key component in the training of reasoning and coding models, yet it remains poorly understood from a mechanistic perspective. We study how and through what underlying processes capabilities are acquired or enhanced via reinforcement learning post-training. Our analysis, based on controlled math reasoning experiments with Qwen-2.5-1.5B, reveals two core mechanisms: strategy selection and strategy improvement. Our results highlight the role of SFT data and reinforcement learning data in activating these mechanisms, in particular showing how supervising the model on diverse reasoning strategies can enable strategy selection and how increasing difficulty in reinforcement learning data can enable strategy improvement. Taken together, our results provide mechanistic insight into RL training and suggest practical interventions to continue scaling reasoning capabilities.

评分理由: The paper focuses on mechanistic analysis of RL post-training for reasoning (Qwen-2.5), highlighting strategy selection and improvement. It shows high relevance to Reasoning and RL keywords (Latent Reasoning, model-based RL) but low relevance to Multimodal/Visual components (Visual Encoder, MultiModal, Tokenizer) and World Models. No expert authors from the specified list are present.

Reinforcement Learning, Post-Training, Reasoning Mechanisms, Strategy Selection, Strategy Improvement, Qwen-2.5, SFT Data, Model Analysis

Chinese Title: 选择与改进：理解推理后训练的机制

Summary: 本文通过控制实验（基于Qwen-2.5-1.5B模型和有限域算术任务）系统研究了强化学习（RL）后训练提升推理能力的底层机制。研究发现两个核心机制：策略选择（strategy selection）和策略改进（strategy improvement）。策略选择将问题路由到预训练阶段已存在的推理模式，是性能提升的主要驱动力；策略改进则优化现有推理模式，但需要RL数据难度高于SFT数据才能激活。实验还观察到策略放大和策略组合现象，但前者可归因于策略选择，后者是策略改进的特例。研究强调高质量预训练数据的重要性，并指出RL训练主要精炼而非创造全新行为。

Innovations:

• 首次提出并区分了RL后训练的两个核心机制：策略选择与策略改进，并揭示了它们对性能提升的不同贡献。
• 通过控制SFT数据中推理策略的多样性（前向/后向推理），证明了策略选择依赖于预训练数据中存在多种可选的推理模式。
• 发现策略改进需要RL数据难度显著高于SFT数据，否则无法提升OOD泛化能力。
• 将策略放大和策略组合现象统一归因于策略选择与策略改进，提供了更简洁的机制解释。
• 实验设计精巧，使用有限域算术任务隔离并控制推理策略，为后续机制研究提供了可复现的范式。

Methodology: 采用标准的两阶段训练流程：先对Qwen2.5-1.5B-Instruct进行监督微调（SFT），再使用GRPO算法进行强化学习（RL）。SFT数据包含前向推理、后向推理或混合推理的解题步骤；RL数据则通过改变问题难度（算术步数）和问题类型比例（评估/逆问题）来制造分布偏移。使用LoRA进行参数高效微调，以AdamW优化器训练。通过规则分类器识别模型输出中的推理策略类型，分析训练过程中的策略分布变化。

Key Results:

• 策略选择是RL后训练性能提升的主要驱动力，其激活需要SFT数据包含多种推理策略。
• 单策略模型（仅前向或仅后向）在自然类型问题上接近100%准确率，但在非自然类型问题上仅55-65%。
• 混合策略模型（FB）在SFT阶段达到约80%准确率，RL后进一步提升至约90%。
• 策略改进仅在RL数据难度（6-9步）高于SFT数据（2-5步）时发生；若难度相同，则RL无法提升OOD泛化。
• RL训练不会创造全新的推理模式，仅对已有模式进行精炼和路由选择。

Tech Stack:

• Qwen2.5-1.5B-Instruct（预训练语言模型）
• LoRA（低秩适配，rank=64, α=128, dropout=0.05）
• GRPO（Group Relative Policy Optimization，组大小8，KL参数β=0.05，温度0.7）
• AdamW优化器（SFT: lr=2e-4, RL: lr=1e-5）
• 有限域算术任务（GF(11)和GF(13)）
• 规则分类器（用于识别前向/后向推理策略）

Strengths:

• 提供了RL后训练机制的清晰分类和实验证据，填补了该领域机制理解的空白。
• 实验设计高度可控，通过合成任务隔离了推理策略、难度、问题类型等变量，结论可靠。
• 发现了数据难度和多样性对RL效果的关键影响，对实际训练有直接指导意义。
• 将多个先前观察到的现象（策略放大、策略组合）统一解释，提升了理论简洁性。
• 使用开源模型和标准训练框架，结果易于复现和扩展。

Limitations:

• 实验局限于数学推理任务（有限域算术），结论向其他领域（如代码生成、通用推理）的泛化性有待验证。
• 仅使用1.5B参数模型，更大模型的行为可能有所不同。
• RL训练仅使用结果奖励（正确/错误），未探索过程奖励或更复杂的奖励设计。
• 策略选择机制依赖于预训练数据中已存在的推理模式，未研究预训练阶段如何形成这些模式。
• 未深入分析策略改进的具体内部机制（如梯度更新如何优化推理步骤）。

Relevance To Keywords:

• Unify Models: 论文研究的是语言模型后训练，未直接涉及多模态统一模型，但机制理解可迁移。
• World Models: 有限域算术任务可视为简单世界模型，但论文未明确讨论世界模型概念。
• Representation Learning: 策略选择和改进涉及模型内部表征的利用和优化，与表征学习相关。
• Model-Based RL: 论文使用GRPO（无模型RL），未涉及基于模型的RL。
• 原生多模态大模型: 论文仅使用文本模型，不涉及多模态。
• 多模态大模型的理解和生成一体化: 不直接相关。
• 强化学习: 核心研究RL后训练机制，高度相关。
• 后训练: 论文主题即为后训练（post-training），高度相关。

现有的多模态变分自编码器（VAE）方法在生成质量与一致性之间面临权衡——即它们难以同时生成真实且多样的样本，而这些样本在模态间保持语义一致性。最近的一项研究表明，使用 Hölder 池化的简单近似作为聚合方法，相比当前最先进的 MMVAE+（SOTA），能提高一致性，尽管它假设所有模态之间共享单一表示。然而，这种方法略微牺牲了样本多样性。受此启发，我们提出了 Hölder++，一种新颖的多模态 VAE，它通过以下方式改进了生成质量 - 一致性权衡：(i) 首次实现了适用于多模态 VAE 且无需任何近似的 Hölder 池化；(ii) 一种扩展架构，用于建模不同的共享表示和私有表示（即模态特定的表示，称为 Hölder+）；以及 (iii) 分层推理，进一步增强了共享表示与私有表示之间的解耦（即 Hölder++）。我们的实验证实，Hölder++ 一致改进了生成质量 - 一致性权衡，产生了更结构化的潜在空间，并学习了对下游任务具有信息量的共享表示。

Existing approaches for multimodal variational autoencoders (VAEs) face a trade-off between generative quality and coherence-i.e., they struggle to generate realistic and diverse samples that, at the same time, are semantically consistent across modalities. A recent work shows that using a simple approximation to Hölder pooling as an aggregation method improves coherence over the SOTA MMVAE+, despite assuming a single shared representation across all modalities. Yet, it slightly compromises sample diversity. Inspired by this insight, we propose Hölder++, a novel multimodal VAE that improves the generative quality-coherence trade-off through: (i) the first implementation of Hölder pooling without any approximation for multimodal VAEs; (ii) an extended architecture that models distinct shared and private (i.e., modality-specific) representations (Hölder+); and (iii) hierarchical inference that further enhances the disentanglement between the shared and private representations (Hölder++). Our experiments corroborate that Hölder++ consistently improves the generative quality-coherence trade-off, yields more structured latent spaces, and learns shared representations that are informative for downstream tasks.

评分理由: 论文核心为多模态变分自编码器（Multimodal VAEs），因此'MultiModal'高度相关（10）。论文通过 Hölder pooling 统一模态表示并优化潜空间结构，故'Unify Models'和'Latent Reasoning'中度相关（4）。'Visual Encoder'隐含在多模态架构中（3），'MLLM'和'World Models'作为生成模型领域有弱关联（2）。'Tokenizer'、'model-based RL'和'Agentic Reasoning'与论文内容无关（0）。加权总分 37.5 高于及格线 35.2。作者列表中不包含指定的专家，无额外加分。

Multimodal VAEs, Hölder Pooling, Shared Representations, Private Representations, Generative Quality, Coherence Trade-off, Hierarchical Inference

Chinese Title: Hölder++：提升多模态变分自编码器中的质量-一致性权衡

Summary: 论文针对多模态变分自编码器（VAEs）中生成质量与跨模态语义一致性之间的权衡问题，提出了一种名为Hölder++的新型多模态VAE模型。现有方法如Product-of-Experts（PoE）和Mixture-of-Experts（MoE）分别存在一致性差或多样性不足的问题。受Hölder池化方法的启发，论文首先实现了精确的对称Hölder池化（α=0.5）作为聚合机制，无需近似；其次，引入共享与私有（模态特定）潜变量分解，形成Hölder+模型；最后，通过层级推理结构进一步促进共享与私有表征的解耦，得到Hölder++。在PolyMNIST、MNIST-SVHN、CUBICC和CelebAMask-HQ四个基准数据集上的实验表明，Hölder++在生成质量与一致性权衡上持续优于现有方法，学习到更结构化的潜在空间，且共享表征对下游任务具有信息性。

Innovations:

• 首次在多模态VAE中实现精确的对称Hölder池化（α=0.5）作为聚合机制，无需近似。
• 将Hölder池化扩展为包含共享和私有潜子空间的Hölder+模型。
• 引入自上而下的层级推理结构，通过设计促进共享与私有表征的解耦，形成Hölder++。
• 在多个基准数据集上持续改进生成质量与一致性权衡，学习到更结构化的潜在空间。

Methodology: 论文采用概率意见池化框架，基于α-散度最小化推导出对称Hölder池化（α=0.5）的精确形式，并将其表示为包含单模态和成对分量的高斯混合分布。在此基础上，将潜空间分解为共享变量z和私有变量w，并采用类似MMVAE+的交叉重构目标防止捷径学习。进一步，引入层级推理结构，通过顶层共享变量和底层私有变量的条件依赖关系增强解耦。模型通过最大化证据下界（ELBO）进行训练。

Key Results:

• Hölder++在生成质量与一致性权衡上持续优于MMVAE+、HELVAE等现有方法。
• Hölder++学习到更结构化、解耦性更强的潜在空间。
• 共享表征对下游任务（如分类）具有更高的信息性。
• 在PolyMNIST、MNIST-SVHN、CUBICC和CelebAMask-HQ四个数据集上验证了有效性。

Tech Stack:

• Hölder池化（对称α=0.5）
• 高斯混合模型（GMM）
• α-散度（α-divergence）
• Bhattacharyya系数
• 变分自编码器（VAE）
• 证据下界（ELBO）
• Product-of-Experts (PoE)
• Mixture-of-Experts (MoE)
• 层级推理（Hierarchical Inference）
• 交叉重构损失（Cross-reconstruction loss）

Strengths:

• 首次实现精确Hölder池化，避免了近似误差。
• 通过共享-私有分解和层级推理有效改善了生成多样性和一致性。
• 方法适用于任意数量模态，具有通用性。
• 实验充分，在多个数据集上验证了优越性。

Limitations:

• Hölder池化需要计算所有模态对的Bhattacharyya系数，计算复杂度为O(M^2)，在模态数量多时可能成为瓶颈。
• 论文未讨论模型在大规模真实多模态数据上的扩展性。
• 层级推理结构可能增加模型训练难度和超参数调优需求。

Relevance To Keywords:

• Unify Models, World Models, Representation Learning, Model-Based RL：论文聚焦于多模态表征学习，通过改进VAE架构实现更优的共享与私有表征解耦，与表征学习高度相关。
• 原生多模态大模型，多模态大模型的理解和生成一体化：论文提出的方法可视为多模态生成模型的基础组件，有助于提升多模态大模型在生成任务中的一致性和质量。
• 世界模型，强化学习，后训练：论文未直接涉及世界模型或强化学习，但其学习到的结构化潜在空间可用于构建更鲁棒的世界模型，从而间接支持模型基强化学习和后训练场景。

超长上下文能力对于前沿大语言模型（LLM）而言正变得不可或缺：智能体工作流、仓库级代码推理和持久化记忆均要求模型联合关注数十万至数百万个 token，然而 Softmax 注意力的二次计算成本使得这一需求在部署规模下难以实现。我们提出了 MiniMax 稀疏注意力（MSA），这是一种基于分组查询注意力（GQA）构建的块级稀疏注意力机制。轻量级的索引分支会对键值块进行打分，并为每个 GQA 组独立选择一个 Top-k 子集，从而实现组特定的稀疏检索，同时保持高效的块级执行；随后，主分支仅在选定的块上执行精确的块稀疏注意力。MSA 围绕简单性和可扩展性原则设计，经过刻意精简，使其能够轻松地在各类 GPU 上高效部署。为了将稀疏性转化为实际加速，我们协同设计了 MSA 与一个 GPU 执行路径，该路径采用无指数运算的 Top-k 选择及 KV-outer 稀疏注意力，以提高块粒度访问下的张量核利用率。在具有原生多模态训练的 109B 参数模型上，MSA 的表现与 GQA 相当，同时在 1M 上下文长度下将每个 token 的注意力计算量减少了 28.4 倍。与我们的协同设计内核配合，MSA 在 H800 上实现了 14.2 倍的预填充加速和 7.6 倍的解码墙钟加速。我们的推理内核可在 https://github.com/MiniMax-AI/MSA 获取。一个由 MSA 驱动的生产级原生多模态模型已在 https://huggingface.co/MiniMaxAI/MiniMax-M3 公开发布。

Ultra-long-context capability is becoming indispensable for frontier LLMs: agentic workflows, repository-scale code reasoning, and persistent memory all require the model to jointly attend over hundreds of thousands to millions of tokens, yet the quadratic cost of softmax attention makes this untenable at deployment scale. We introduce MiniMax Sparse Attention (MSA), a blockwise sparse attention built upon Grouped Query Attention (GQA). A lightweight Index Branch scores key-value blocks and independently selects a Top-k subset for each GQA group, enabling group-specific sparse retrieval while maintaining efficient block-level execution; the Main Branch then performs exact block-sparse attention over only the selected blocks. Designed around a principle of simplicity and scalability, MSA is deliberately streamlined, making it straightforward to deploy efficiently across a broad range of GPUs. To translate sparsity into practical speedups, we co-design MSA with a GPU execution path that uses exp-free Top-k selection and KV-outer sparse attention to improve tensor-core utilization under block-granular access. On a 109B-parameter model with native multimodal training, MSA performs on par with GQA while reducing per-token attention compute by 28.4x at 1M context. Paired with our co-designed kernel, MSA achieves 14.2x prefill and 7.6x decoding wall-clock speedups on H800. Our inference kernel is available at: https://github.com/MiniMax-AI/MSA. A production-grade natively multimodal model powered by MSA has been publicly released at: https://huggingface.co/MiniMaxAI/MiniMax-M3.

评分理由: The paper proposes MiniMax Sparse Attention (MSA) for ultra-long-context efficiency in LLMs. It explicitly mentions native multimodal training and agentic workflows as motivations, justifying moderate scores for MultiModal, MLLM, and Agentic Reasoning. However, it does not discuss world models, RL, tokenizers, visual encoders, or latent reasoning mechanisms, resulting in low scores for those keywords. No expert authors from the target list were found in the author list, so no bonus points were added.

MiniMax Sparse Attention, Ultra-long-context, Grouped Query Attention, Blockwise Sparse Attention, GPU Optimization, Native Multimodal Training, Inference Efficiency

Chinese Title: MiniMax 稀疏注意力

Summary: 本文提出 MiniMax 稀疏注意力（MSA），一种基于分组查询注意力（GQA）的块级稀疏注意力机制，旨在解决超长上下文场景下 softmax 注意力的二次计算开销问题。MSA 包含一个轻量级索引分支，该分支对每个 GQA 组独立进行 top-k 块选择，并始终保留局部块；主分支仅对所选块执行精确的块稀疏注意力。为将理论稀疏性转化为实际加速，论文设计了无指数 top-k 选择内核和 KV-外稀疏注意力内核，以提升张量核心利用率。在 109B 参数的 MoE 多模态模型上，MSA 在 1M 上下文长度下将每 token 注意力计算量减少 28.4 倍，并在 H800 GPU 上实现 14.2 倍预填充和 7.6 倍解码加速，同时保持与 GQA 相当的性能。论文还提供了开源推理内核和基于 MSA 的生产级多模态模型。

Innovations:

• 提出 MSA，一种极简、可扩展且加速的块级稀疏注意力机制，支持从头训练和从预训练 GQA 检查点近乎无损转换。
• 设计无指数 top-k 选择内核，针对小 k 场景优化，避免在选择前进行不必要的 softmax 计算。
• 提出 KV-外稀疏注意力组织方式，将选中的 KV 块聚集其关联查询并拼接，以填充张量核心 MMA，并通过预调度分块和两阶段合并处理高度倾斜的块流行度，无需原子更新。
• 在训练中融合辅助 LSE 计算到前向传播，并在反向传播中使用持久负载均衡，实现高效训练。
• 在 109B 参数 MoE 多模态模型上验证了 MSA 在文本和多模态能力上与 GQA 持平，同时获得显著加速。

Methodology: MSA 采用两阶段稀疏注意力架构：索引分支使用一个共享的索引键头和每个 GQA 组一个索引查询头，通过最大池化将 token 级分数聚合到块级，然后执行 top-k 选择（始终包含局部块）；主分支仅对选中块内的 token 执行标准缩放点积注意力。训练时，通过 KL 散度损失对齐索引分支分布与主分支分布（在选中块上），并采用梯度分离、索引器预热和强制局部块机制稳定训练。推理时，设计了专用 GPU 内核：无指数 top-k 选择内核利用块级索引器绕过 softmax；KV-外稀疏注意力内核将选中 KV 块对应的查询分组并填充张量核心，使用两阶段合并处理非均匀块访问。

Key Results:

• 在 109B 参数 MoE 多模态模型上，MSA 在 1M 上下文长度下将每 token 注意力计算量减少 28.4 倍。
• 在 H800 GPU 上，MSA 实现 14.2 倍预填充加速和 7.6 倍解码加速。
• MSA 在多个下游基准测试（文本和多模态）上与 GQA 性能相当，无明显损失。
• 通过消融实验验证了块大小、top-k 数量、KL 损失、梯度分离等设计选择的有效性。

Tech Stack:

• 分组查询注意力 (GQA)
• 块级稀疏注意力 (blockwise sparse attention)
• 最大池化 (max-pooling) 用于块分数聚合
• Top-k 选择算法
• KL 散度损失 (KL divergence loss)
• 梯度分离 (stop-gradient / gradient detach)
• 无指数 top-k 内核 (exp-free TopK kernel)
• KV-外稀疏注意力内核 (KV-outer sparse attention kernel)
• 张量核心 MMA (tensor-core matrix multiply-accumulate)
• 两阶段合并 (two-phase combine)
• 持久负载均衡 (persistent load balancing)
• LSE (log-sum-exp) 辅助计算融合

Strengths:

• 设计简洁，遵循奥卡姆剃刀原则，仅保留必要组件，易于部署和扩展。
• 算法与 GPU 执行路径协同设计，将理论稀疏性转化为实际墙钟加速，在长上下文场景下效果显著。
• 支持从头训练和从预训练 GQA 模型转换，兼容性强。
• 在 109B 参数多模态模型上验证了性能无损，证明了方法的可扩展性和实用性。
• 开源推理内核和发布生产级模型，促进社区复现和应用。

Limitations:

• 索引分支引入额外参数和计算开销，在短上下文场景下可能得不偿失。
• 块级选择粒度可能丢失细粒度 token 级注意力模式，影响某些任务精度。
• 训练时需要 KL 损失和预热等辅助机制，增加了训练复杂度。
• 当前仅支持因果注意力，对于双向注意力（如编码器）需要额外适配。
• 加速效果依赖于 GPU 架构和块大小等超参数，在不同硬件上可能有所差异。

Relevance To Keywords:

• 原生多模态大模型：论文在 109B 参数 MoE 多模态模型上训练和验证 MSA，直接支持多模态理解与生成一体化。
• 表征学习：MSA 通过稀疏注意力机制学习高效的长上下文表征，索引分支的 KL 损失对齐有助于学习更好的注意力模式。
• 世界模型：超长上下文能力是构建世界模型（如 agent 工作流、持久记忆）的关键，MSA 提供了高效实现。
• 模型基础强化学习 (Model-Based RL)：长上下文 agent 工作流常涉及强化学习后训练，MSA 的加速能力有助于 RL 训练和推理。
• 后训练：论文提到 MSA 可从预训练 GQA 检查点转换，支持后训练阶段的高效微调。
• Unify Models：MSA 作为统一注意力机制，可应用于不同模态和任务，促进模型统一。

检索增强生成正从文本领域扩展至长时、第一人称视角的视频中，在此场景中，系统需在多种模态和时间粒度下选择与查询相关的片段。然而，VideoRAG 的进展受限于两个缺陷：现有的基准允许在不使用视频的情况下回答查询，从而掩盖了检索错误；而先前方法对每个查询仅应用单一的模态 - 粒度配置，忽略了片段级别的差异性。我们通过引入 V-RAGBench 和 CARVE 来解决上述问题。V-RAGBench 是一个基于 $\langle$查询，证据片段，答案$\rangle$ 三元组的基准，能够实现检索与生成过程的忠实且解耦的评估；CARVE 是一种简单的方法，它在不同配置下并行运行检索器，并采用片段自适应重排序来为每个片段确定获胜配置。随后，每个片段均以其在检索阶段选定的获胜配置进入生成器，从而形成一种交错证据形式，使得片段级别的决策贯穿了这两个阶段。CARVE 的性能优于八种近期 VideoRAG 基线方法，其提供给生成器的片段交错使用了多种配置，而非共享单一配置，这是查询级别方法无法实现的行为。

Retrieval-augmented generation is moving beyond text into long, egocentric video, where systems must select query-relevant chunks across multiple modalities and temporal granularities. Yet progress in VideoRAG is limited by two gaps: existing benchmarks allow queries to be answered without the video, obscuring retrieval errors, and prior methods apply a single modality-granularity configuration per query, ignoring chunk-level variability. We address both by introducing V-RAGBench, a benchmark of $\langle$query, evidence chunk, answer$\rangle$ triplets that enables faithful, decoupled evaluation of retrieval and generation, and CARVE, a simple method that runs parallel retrievers across configurations and employs chunk-adaptive reranking to identify the winning configuration for each chunk. Each chunk then enters the generator under its winning configuration selected during retrieval, yielding an interleaved evidence form where the chunk-level decision propagates across both stages. CARVE outperforms eight recent VideoRAG baselines, with the chunks supplied to the generator interleaving multiple configurations rather than sharing a single one, a behavior unattainable by query-level methods.

评分理由: 论文主要关注长视频检索增强生成（VideoRAG），与 MultiModal（8 分）高度相关，因摘要明确提及多模态数据与时间粒度；与 MLLM（5 分）中度相关，因生成器可能基于 MLLM 架构。其余关键词如 World Models、model-based RL、Tokenizer 等与论文核心贡献（检索策略与基准构建）关联度低，故评分为 1-2 分。加权总分 36.0，高于动态及格分 35.2。

VideoRAG, Long Videos, Chunk-adaptive reranking, V-RAGBench, MultiModal, Retrieval-Augmented Generation, Egocentric Video

Chinese Title: 重新思考长视频中的检索增强生成：检索什么以及如何使用？

Summary: 本文针对长视频场景下的检索增强生成（VideoRAG）进行了重新思考。现有基准允许不依赖视频回答查询，掩盖了检索错误；现有方法对每个查询使用单一模态-粒度配置，忽略了块级差异。为此，作者提出了V-RAGBench基准，包含<查询，证据块，答案>三元组，支持检索和生成的解耦评估；并提出了CARVE方法，通过并行检索和块自适应重排序，为每个证据块选择最优配置，并将块级决策传递到生成阶段。实验表明，CARVE在检索和生成上均优于八种基线方法，且块级决策在四个配置间均匀分布，超越了查询级路由方法。

Innovations:

• 提出V-RAGBench基准，确保查询不可通过非视频线索回答，实现检索与生成的独立评估。
• 提出CARVE方法，通过并行多配置检索和块自适应重排序，实现每个证据块的模态-粒度最优选择。
• 将块级配置决策从检索阶段传递到生成阶段，形成模态交错证据形式，提升生成准确性。
• 揭示了无单一配置在所有块上最优，块级多样性是真实存在的，而非坍缩到单一选择。

Methodology: 论文采用两阶段方法：第一阶段，并行运行四个检索器（视觉帧级、视觉片段级、文本帧级、文本片段级），每个检索器贡献top-k块到候选池；第二阶段，使用多模态交叉编码器对每个候选块按其检索配置重新评分，排序后得到最终top-k证据，每个块携带其获胜配置。生成时，将不同配置的证据以交错形式输入生成器。基准构建基于Ego4D和EgoLife的长视频，通过时间分割、聚类确保非重复证据，通过后置过滤确保视觉基础和证据定位。

Key Results:

• CARVE在检索和生成指标上显著优于八种VideoRAG基线方法。
• 模态-粒度消融实验显示，不同配置在检索和生成阶段性能差异大，无单一配置普遍最优。
• CARVE的块级决策在四个配置间分布均匀，表明块级多样性真实存在。
• 在生成阶段，CARVE甚至超越了经过训练的查询级路由方法，无需额外训练。

Tech Stack:

• 检索器：视觉嵌入（如CLIP）、文本嵌入（如Sentence-BERT）
• 重排序：多模态交叉编码器（如CLIP-based cross-encoder）
• 基准构建：时间分割、聚类算法、后置过滤（视觉基础检查、证据定位检查）
• 评估指标：检索召回率、生成准确率（基于V-RAGBench三元组）
• 基线方法：包括多模态融合、查询分解、迭代代理循环等

Strengths:

• 提出了专门针对VideoRAG的基准，解决了现有基准无法独立评估检索的问题。
• CARVE方法简单有效，无需训练即可实现块级自适应配置选择。
• 实验设计全面，包括消融、分布分析和与查询级路由的对比。
• 揭示了块级配置决策在生成阶段的重要性，为后续研究提供新视角。

Limitations:

• 基准仅基于Ego4D和EgoLife，可能不覆盖所有长视频场景。
• CARVE依赖四个固定配置，未探索更细粒度的模态或粒度组合。
• 重排序阶段使用交叉编码器，计算成本较高，可能影响实时性。
• 未讨论不同视频类型（如第三人称、多视角）下的泛化能力。

Relevance To Keywords:

• Unify Models: 论文涉及多模态大模型在视频检索与生成中的统一应用。
• World Models: 视频理解与检索可视为构建世界模型的一部分，但论文未直接讨论。
• Representation Learning: 论文探索了视觉和文本表示在不同粒度下的检索效果。
• Model-Based RL: 论文未涉及强化学习，但检索-生成框架可类比模型预测控制。
• 原生多模态大模型: 论文使用多模态嵌入和交叉编码器，与原生多模态模型相关。
• 多模态大模型的理解和生成一体化: 论文的检索和生成阶段均依赖多模态表示，体现一体化思想。
• 表征学习: 论文通过对比不同配置的表征效果，间接研究表征学习。
• 世界模型: 不直接相关。
• 强化学习: 不直接相关。
• 后训练: 论文方法无需训练，但基准构建涉及后处理过滤。

基于图像的 AI 助手现已在电商平台以生产规模部署，其中单个上传图像可触发截然不同的用户意图：产品搜索、风格推荐、视觉百科或实用工具调用，每种意图均需其独特的响应格式、工具调用及领域知识。若缺乏基于意图的行为约束，基于大语言模型（LLM）的系统便会混淆这些异构模式，难以达到领域质量标准；同时，意图空间的广度与动态性使得人工工程变得不可行。为此，我们提出 SkillChain，该机制闭环了技能演化的生产反馈回路，通过三个阶段自动化技能的生命周期：Skill Creator 用于基于任务规范和轨迹进行自举，Route Optimizer 用于路由对齐，Body Refiner 则通过双路径 LLM-Judge 评估迭代优化 Skill Body（技能主体）。在生产规模的电商图像助手上部署后，SkillChain 显著提升了整体响应质量，其中在结构合规性和内容质量方面的提升最为显著；为期一周的在线 A/B 实验进一步证实了其在用户参与度、内容消费及长期留存方面均取得了显著收益。

Image-based AI assistants are now deployed at production scale on e-commerce platforms, where a single uploaded image can trigger fundamentally different user intents: product search, style recommendation, visual encyclopedia, or utility tool calls, each demanding its own response format, tool invocation, and domain knowledge. Without per-intent behavioral constraints, LLM-based systems conflate these heterogeneous modes and fall short of domain quality standards, while the breadth and dynamism of the intent space render manual engineering infeasible. To address this, we present SkillChain, which closes the production feedback loop on Skill evolution, automating the lifecycle of Skills through three stages: Skill Creator for bootstrapping from task specs and trajectories, Route Optimizer for routing alignment, and Body Refiner for iterative Skill Body refinement via dual-path LLM-Judge evaluation. Deployed on a production-scale e-commerce image assistant, SkillChain substantially improves aggregate response quality, with the strongest gains on structural compliance and content quality; a one-week online A/B experiment further confirms significant gains in user engagement, content consumption, and long-term retention.

评分理由: 论文聚焦于电商图像助手的技能生命周期管理，虽涉及多模态输入（图像）与 LLM 决策（MLLM, MultiModal），并具备工具调用能力（Agentic Reasoning），但未涉及 Tokenizer、视觉编码器、世界模型或强化学习等核心模型架构创新，也未强调模型统一架构，因此相关关键词得分较低。作者列表中未发现指定的专家作者。

Image-based AI Assistants, Skill Evolution, Tool Invocation, Feedback Loop, E-commerce, LLM-based, Route Optimization, Skill Lifecycle

Chinese Title: SkillChain：为基于图像的电商AI助手闭环技能演化

Summary: 论文提出SkillChain框架，用于解决基于图像的电商AI助手在多意图场景下的技能退化问题。电商用户上传一张图片可能触发产品搜索、风格推荐、百科查询或工具调用等多种意图，而现有LLM系统缺乏逐意图的行为约束，导致响应格式混乱、工具调用错误。SkillChain通过三个闭环阶段自动化技能生命周期：技能创建器（Skill Creator）从任务规范和用户轨迹中引导生成技能，并通过人工审核保证初始质量；路由优化器（Route Optimizer）持续挖掘路由失败并更新技能描述以对齐流量分布；身体精炼器（Body Refiner）通过双路径LLM评估和跨样本归因迭代修复技能体缺陷。该框架在工业级电商图像助手上部署，离线评估显示在结构合规性和内容质量上显著提升，在线A/B实验证实用户参与度、内容消费和长期留存均有明显改善。关键特性是各阶段修改互不干扰，保证单调质量提升。

Innovations:

• 识别出路由漂移和行为漂移作为生产环境中技能退化的两个独立阶段，并分别设计专用链路解决。
• 提出首个在基于图像的电商场景中闭环所有三个技能反馈循环的框架，具有阶段单调质量保证。
• 引入双路径评估（规则+LLM Judge）和跨样本归因机制，避免单样本噪声，聚焦系统性缺陷。
• 实现技能描述（路由）与技能体（行为）的解耦更新，确保各阶段修改互不干扰。
• 在工业级生产规模上验证了五个视觉意图类别的严格累加阶段增益，并通过在线A/B实验证明有效性。

Methodology: 论文采用三阶段流水线方法：Stage 1（技能创建）利用LLM从任务规范和用户轨迹引导生成技能初稿，经工程师循环验证静态组件和动态算子，再通过人工审核门控后部署；Stage 2（路由优化）通过Judge LLM比较路由决策与人工标注，收集失败案例并分类为边界模糊、缺失技能或视觉解析错误，然后迭代执行更新/合并/丢弃操作，以F1单调提升为接受条件；Stage 3（身体精炼）采用双路径评估（规则检查+四维度LLM Judge评分），将每个评分离散化为三级，计算跨样本的层级分布，当某维度不良比例超过阈值时触发LLM生成结构化指令（技能建议、规则违规、理想差距），经人工审核门控后更新技能体。整个流水线单向进行，各阶段修改互不干扰。

Key Results:

• 离线评估中，完整SkillChain（Stage 3）在所有配置中取得最高聚合LLM Judge分数，尤其在结构合规性（CCC）和内容质量（CQ）上增益最大。
• 在线A/B实验（一周）对比Stage 3与已部署的Stage 2基线，用户参与度、内容消费和长期留存均有显著提升。
• 路由失败分析表明边界模糊是主要失败类型，初始技能库覆盖核心意图后缺失技能案例罕见。
• 各阶段增益严格累加：Stage 1优于无技能基线，Stage 2进一步改善路由，Stage 3提升响应质量。
• 技能身体精炼中，跨样本归因有效过滤单样本噪声，聚焦系统性缺陷。

Tech Stack:

• LLM（大语言模型，如Qwen系列）
• MLLM（多模态大语言模型）
• Skill Bank（技能库）
• LLM-as-Judge（LLM作为评估器）
• Dual-Path Evaluation（双路径评估：规则路径+LLM Judge路径）
• Cross-Sample Attribution（跨样本归因）
• Engineer Loop（工程师循环验证）
• Human Reflection Gate（人工审核门控）
• F1分数（路由优化接受条件）
• 四维度评分：Tool Call Rationality (TCR), Card Composition Compliance (CCC), Content Quality (CQ), Constraint Adherence (CA)
• 层级离散化（Good/Average/Poor三级）
• 阈值校准（θd）

Strengths:

• 针对电商图像助手的多意图歧义问题提出了系统性的解决方案，覆盖技能创建、路由优化和身体精炼全生命周期。
• 各阶段解耦设计，保证单调质量提升，避免修改冲突。
• 工业级部署验证，离线评估和在线A/B实验均显示显著效果。
• 双路径评估结合规则和LLM，覆盖互补失败模式；跨样本归因有效降低单样本噪声。
• 路由优化阶段自动检测边界模糊并迭代更新描述，适应流量分布变化。

Limitations:

• 依赖人工审核门控，可能成为规模化瓶颈（尽管论文声称仅用于初始创建和关键更新）。
• 路由优化依赖人工标注的ground truth，标注成本高且可能引入偏差。
• 技能身体精炼的阈值θd需要经验校准，不同维度可能需不同设置。
• 实验仅在单一电商平台进行，泛化性有待验证。
• 未讨论技能库版本管理、冲突解决等工程细节。

Relevance To Keywords: 论文研究背景涉及原生多模态大模型、多模态大模型的理解和生成一体化、表征学习、世界模型、强化学习、后训练。SkillChain框架直接应用于基于图像的电商AI助手，依赖多模态大模型（MLLM）进行视觉理解和意图路由，属于多模态大模型的应用。论文中的技能演化可视为一种后训练或持续学习机制，通过生产反馈闭环优化模型行为。路由优化和身体精炼涉及强化学习中的奖励信号（LLM Judge评分）和策略更新。表征学习体现在技能描述和身体约束中。世界模型概念未直接涉及，但技能库可视为对用户意图世界的结构化表示。总体相关性较高，尤其与多模态大模型、后训练、强化学习方向紧密相关。

我们提出了 Flex4DHuman，一种多视角视频扩散模型，它仅利用相对相机姿态条件，将动态主体的单目或稀疏多视角视频转换为同步密集多视角视频。不同于依赖骨架、深度图、法线或渲染目标视角几何的先前以人为中心的方法，Flex4DHuman 无需显式几何先验，而是通过相对相机姿态位置编码来调节生成。生成的视频可直接被下游重建管线摄入，以创建动态 4D Gaussian Splatting（4D 高斯泼溅）。该模型基于 Wan 2.1 1.3B 文本到视频模型构建，保留了骨干架构，并通过一种五轴位置编码编码相机和视图信息，该编码通过视图索引和连续 SE(3) 相对相机几何扩展了时空 RoPE（旋转位置嵌入）。三阶段课程学习逐步训练模型进行姿态跟随、灵活的参考视角到目标视角生成及时序扩展。为了支持时序扩展，我们使用干净的历史目标视角标记进行训练。我们还添加多视角描述以支持测试时的文本控制。结合现成的 4D Gaussian Splatting 阶段，我们的框架将单目静态相机视频转换为动态 4D Gaussian Splatting。在 DNA-Rendering 和 ActorsHQ 上的实验表明，Flex4DHuman 超越了先前的最先进方法，且相同的公式在混合人类 - 动物训练后可泛化至动物类别。这些能力使 Flex4DHuman 成为从日常单目视频进行可扩展 4D 内容创建的实用步骤，适用于模拟、游戏、AR/VR 和视频重拍。

We present Flex4DHuman, a multi-view video diffusion model that transforms a monocular or sparse multi-view video of a dynamic subject into synchronized dense multi-view videos using only relative camera-pose conditioning. Unlike prior human-centric methods that rely on skeletons, depth maps, normals, or rendered target-view geometry, Flex4DHuman requires no explicit geometry priors and instead conditions generation through relative camera-pose positional encoding. The generated videos can be directly ingested by downstream reconstruction pipelines to create dynamic 4D Gaussian splats. Built on the Wan 2.1 1.3B text-to-video model, Flex4DHuman preserves the backbone architecture and encodes camera and view information through a five-axis positional encoding that extends spatio-temporal RoPE with view indices and continuous SE(3) relative camera geometry. A three-stage curriculum progressively trains the model for pose following, flexible reference-to-target view generation, and temporal rollout. To support temporal rollout, we train with clean historical target-view tokens. We also add multi-view captions to enable test-time text control. Combined with an off-the-shelf 4D Gaussian Splatting stage, our framework lifts monocular static-camera videos into dynamic 4D Gaussian splats. Experiments on DNA-Rendering and ActorsHQ show that Flex4DHuman surpasses prior state-of-the-art methods, while the same formulation generalizes to animal categories after mixed human-animal training. These capabilities make Flex4DHuman a practical step toward scalable 4D content creation from casual monocular videos for simulation, gaming, AR/VR, and video re-shooting.

评分理由: 论文聚焦于多视角视频扩散模型用于 4D 人体重建，属于计算机视觉与生成模型领域。Unify Models 仅基于现有架构扩展，相关性低；Tokenizer 为内部组件，非核心；Visual Encoder 使用骨干网络，有一定关联；World Models 涉及动态生成，部分契合；MLLM 非语言模型，相关性低；MultiModal 处理视频与文本/姿态，相关性中等；model-based RL 与 Latent Reasoning、Agentic Reasoning 均涉及强化学习与智能体推理，与本文生成重建任务无关，故得 0 分。加权总分 36.0，高于及格线 35.2。作者列表中未包含指定的 Yang Shi 等专家。

Multi-view Video Diffusion, 4D Human Reconstruction, Camera-pose Conditioning, Relative Camera-pose Positional Encoding, 4D Gaussian Splatting, Text-to-video Model, Temporal Rollout

Chinese Title: Flex4DHuman：用于4D人体重建的灵活多视角视频扩散模型

Summary: 本文提出Flex4DHuman，一种多视角视频扩散模型，能够将单目或稀疏多视角视频转换为同步的密集多视角视频，仅依赖相对相机姿态条件，无需骨架、深度图、法线等显式几何先验。模型基于Wan 2.1的1.3B文本到视频DiT架构，通过五轴位置编码（融合空间坐标、时间索引、视角索引和连续SE(3)相对相机几何）注入多视角结构。采用三阶段课程训练：姿态跟随、灵活参考到目标视角生成、时间展开。生成的视频可直接用于下游4D高斯泼溅重建，实现从单目静态相机视频到动态4D高斯泼溅的完整流程。在DNA-Rendering和ActorsHQ数据集上超越先前方法，并泛化到动物类别。该方法为从随意单目视频创建可扩展的4D内容提供了实用途径。

Innovations:

• 无需显式几何先验：仅通过相对相机姿态位置编码进行条件生成，不依赖骨架、深度图、法线或渲染的目标视角几何。
• 灵活同步生成：支持单目或可变稀疏视角输入、任意目标视角、动态参考到目标视角条件以及时间展开，实现多视角视频的联合生成。
• 单目视频到4D高斯泼溅：展示生成的同步多视角视频可直接用于下游动态4D高斯泼溅重建，构建完整流程。
• 五轴位置编码：扩展时空RoPE为包含视角索引和连续SE(3)相机几何的五轴编码，实现相机姿态的置换不变性和泛化能力。
• 三阶段课程训练：逐步引入姿态跟随、灵活参考-目标生成和时间展开，提升模型稳定性和一致性。

Methodology: 基于Wan 2.1的1.3B文本到视频DiT模型，仅修改自注意力位置编码为五轴（帧、视角、SE(3)几何）。输入采用36通道布局（16噪声+16干净+4掩码），参考视角填充干净潜变量和全1掩码，目标视角置零。通过PRoPE将连续SE(3)相机变换编码到注意力机制中。三阶段课程训练：第一阶段学习姿态跟随；第二阶段引入灵活参考-目标视角条件；第三阶段进行时间展开，使用干净历史目标视角令牌。训练数据来自DNA-Rendering，并添加多视角字幕实现测试时文本控制。推理时，联合生成多视角视频，再通过4D高斯泼溅重建动态3D资产。

Key Results:

• 在DNA-Rendering上，相比Diffuman4D的GT骨架设置，PSNR提升1.21 dB，SSIM提升0.0037，LPIPS降低0.0127。
• 相比单目基线Diffuman4D-mono-skeleton和MV-Performer，PSNR分别提升9.32 dB和8.00 dB。
• 在零样本ActorsHQ上，相比Diffuman4D单目设置，PSNR提升3.35 dB，SSIM提升0.041，LPIPS降低0.030。
• 模型在不同参考视角下保持鲁棒的跨视角一致性，且质量随参考视角数量单调提升。
• 通过混合人类-动物训练，模型泛化到动物类别，无需架构修改或人类特定先验。

Tech Stack:

• Wan 2.1 T2V DiT 1.3B
• PRoPE（投影旋转位置编码）
• RoPE（旋转位置编码）
• SE(3)连续相机几何编码
• 三阶段课程训练
• 4D Gaussian Splatting
• DNA-Rendering数据集
• ActorsHQ数据集
• DFA动物数据集
• 多视角字幕（Multi-view Captions）

Strengths:

• 无需显式几何先验，避免估计误差传播，降低对特定人体模型的依赖。
• 灵活支持多种输入输出组合（单目/稀疏、任意目标视角），泛化性强。
• 生成的视频具有强时间一致性和跨视角一致性，可直接用于下游重建。
• 基于预训练大模型，仅需少量架构修改，训练效率高。
• 可泛化到非人类主体（动物），展示通用性。

Limitations:

• 依赖Wan 2.1预训练模型，可能受限于其训练数据的分布和分辨率。
• 对于极端姿态、快速运动或严重遮挡的场景，生成质量可能下降。
• 时间展开依赖历史干净令牌，长视频生成中可能出现误差累积。
• 目前仅在有限数据集上验证，真实世界复杂场景的鲁棒性有待进一步测试。
• 模型参数量较大（1.3B），推理计算成本较高。

Relevance To Keywords:

• Unify Models: 模型基于Wan 2.1文本到视频模型，融合多视角生成与文本控制，体现多模态生成与理解一体化趋势。
• World Models: 视频生成作为世界模型的一种形式，Flex4DHuman通过生成多视角视频模拟动态场景，可用于下游规划与模拟。
• Representation Learning: 五轴位置编码（PRoPE）是一种新颖的表示学习方法，将相机几何、时间、视角信息编码到注意力机制中。
• Model-Based RL: 生成的4D高斯泼溅可作为环境模型，用于强化学习中的模拟和交互，但论文未直接涉及RL训练。
• 后训练: 模型通过三阶段课程训练进行微调，属于后训练策略，提升特定任务性能。

视觉语言模型（VLMs）在通用视觉语言任务上取得了显著成果，但在应用于专用 OCR 场景时，却面临幻觉、定位不精确以及过高的计算成本问题。本文提出了 PP-OCRv6，这是一种结合架构创新与数据为中心的优化的轻量级 OCR 系统。PP-OCRv6 围绕统一的 MetaFormer 风格构建块（具备结构重参数化机制）重新设计了骨干网络、检测颈部和识别颈部，解耦了空间令牌混合与通道混合，并通过任务特定的步长配置同时支持这两项任务。三种模型层级（medium、small、tiny）共享相同的构建块原语，覆盖从服务器到边缘设备的部署场景。在我们的内部基准测试中，PP-OCRv6_medium 实现了 83.2% 的识别准确率和 86.2% 的检测 Hmean，分别比 PP-OCRv5_server 高出 5.1% 和 4.6%，同时以数量级更少的参数超越了 Qwen3-VL-235B、GPT-5.5 和 Gemini-3.1-Pro。在 Intel Xeon CPU 上，tiny 层级的推理速度比 PP-OCRv5_mobile 快 3.9 倍，同时保持相当的准确率。

Vision-Language Models (VLMs) have achieved impressive results on general vision-language tasks, yet they suffer from hallucination, imprecise localization, and prohibitive computational cost when applied to dedicated OCR scenarios. This paper presents PP-OCRv6, a lightweight OCR system that combines architectural innovation with data-centric optimization. PP-OCRv6 redesigns the backbone, detection neck, and recognition neck around a unified MetaFormer-style building block with structural reparameterization, decoupling spatial token mixing from channel mixing and supporting both tasks through task-specific stride configurations. Three model tiers (medium, small, tiny) share the same block primitives, covering deployment scenarios from server to edge. On our in-house benchmarks, PP-OCRv6_medium achieves 83.2% recognition accuracy and 86.2% detection Hmean, outperforming PP-OCRv5_server by +5.1% and +4.6% respectively while surpassing Qwen3-VL-235B, GPT-5.5, and Gemini-3.1-Pro with orders of magnitude fewer parameters. The tiny tier achieves 3.9$\times$ faster inference than PP-OCRv5_mobile on Intel Xeon CPU while maintaining comparable accuracy.

评分理由: The paper focuses on efficient OCR architecture (MetaFormer) rather than World Models or RL. It unifies detection/recognition tasks (Unify Models) and involves Vision+Text (MultiModal, Visual Encoder) but lacks Tokenizer, RL, or Reasoning components. Total weighted score: 36.0 (Passes 35.2 threshold). No expert authors found.

PP-OCRv6, MetaFormer, Lightweight OCR, VLMs Comparison, Structural Reparameterization, Detection and Recognition, Parameter Efficiency

Chinese Title: PP-OCRv6：从1.5M到34.5M参数，在OCR任务上超越十亿级视觉语言模型

Summary: 本文提出PP-OCRv6，一个轻量级OCR系统，通过架构创新和数据中心优化，在参数规模远小于十亿级视觉语言模型（VLM）的情况下，在OCR任务上超越它们。PP-OCRv6重新设计了骨干网络、检测颈和识别颈，基于统一的MetaFormer风格模块，结合结构重参数化，将空间token混合与通道混合解耦，并通过任务特定的步长配置支持检测和识别。系统提供三个模型层级（medium、small、tiny），覆盖从服务器到边缘的部署场景。在内部基准上，PP-OCRv6_medium达到83.2%的识别准确率和86.2%的检测Hmean，分别比PP-OCRv5_server提升5.1%和4.6%，同时以数量级更少的参数超越Qwen3-VL-235B、GPT-5.5和Gemini-3.1-Pro。tiny层级在Intel Xeon CPU上比PP-OCRv5_mobile快3.9倍，同时保持相当精度。论文证明了轻量级专用OCR系统在大模型时代的实用性和有效性。

Innovations:

• 提出统一可扩展的模型家族，覆盖1.5M到34.5M参数，三个层级共享相同模块原语，降低工程复杂度。
• 设计LCNetV4骨干网络，采用MetaFormer范式，将空间token混合与通道混合解耦，并引入结构重参数化（RepDWConv）提升训练表达能力而不增加推理成本。
• 提出RepLKFPN（可重参数化大核特征金字塔网络），利用膨胀可重参数化深度卷积实现大感受野，用于检测颈。
• 提出EncoderWithLightSVTR识别颈，结合局部-全局注意力和加法跳跃连接，提升识别性能。
• 支持50种语言和多种工业场景（数字显示、点阵字符、轮胎印等），显著增强专用场景OCR性能。

Methodology: 论文采用架构创新与数据中心优化相结合的方法。架构方面：基于MetaFormer范式设计LCNetV4骨干，将每个块分解为token mixer（3×3深度可分离卷积+重参数化）和channel mixer（1×1点卷积扩展-激活-压缩+残差连接）；检测颈RepLKFPN使用膨胀可重参数化深度卷积替代密集大卷积；识别颈EncoderWithLightSVTR采用局部-全局注意力机制。数据方面：继承PP-OCRv5的数据筛选方法论（难度、精度、多样性三个维度）。通过任务特定的步长配置（检测使用标准stride-2下采样，识别使用非对称stride (2,1)）实现单一骨干支持检测和识别。训练时采用多分支重参数化，推理时融合为单卷积。

Key Results:

• PP-OCRv6_medium在内部基准上达到83.2%识别准确率和86.2%检测Hmean，比PP-OCRv5_server分别提升5.1%和4.6%。
• PP-OCRv6_medium以34.5M参数超越Qwen3-VL-235B、GPT-5.5、Gemini-3.1-Pro等十亿级VLM。
• PP-OCRv6_tiny在Intel Xeon CPU上推理速度比PP-OCRv5_mobile快3.9倍，同时保持相当精度。
• 统一模型家族支持50种语言和多种工业场景（数字显示、点阵字符、轮胎印等）。

Tech Stack:

• MetaFormer架构范式
• 结构重参数化（RepVGG风格）
• 深度可分离卷积（DW Conv）
• 膨胀可重参数化深度卷积（Dilated Reparameterizable Depthwise Convolution）
• 局部-全局注意力机制（Local-Global Attention）
• 加法跳跃连接（Additive Skip Connection）
• Squeeze-and-Excitation (SE)模块
• GELU激活函数
• 批归一化（BN）零初始化技巧
• 非对称步长（Asymmetric Stride）
• CTC/NRTR解码

Strengths:

• 轻量级设计，参数效率极高，在极小参数下超越十亿级VLM，适合实际部署。
• 统一架构支持检测和识别两种任务，减少工程维护成本。
• 三个层级覆盖从服务器到边缘的多种场景，灵活性高。
• 结构重参数化在不增加推理成本的前提下提升训练表达能力。
• 支持多语言和多种工业场景，泛化能力强。

Limitations:

• 论文未公开内部基准的具体构成和规模，可复现性受限。
• 与VLM的比较可能未涵盖所有最新模型，且VLM在通用视觉语言任务上的优势未被充分讨论。
• 轻量级模型在极端复杂场景（如严重遮挡、模糊）下的性能可能仍不及大型VLM。
• 数据筛选方法论继承自PP-OCRv5，缺乏对数据质量提升的详细消融实验。

Relevance To Keywords:

• Unify Models: 论文提出统一模型家族（LCNetV4），通过单一骨干支持检测和识别，体现了统一模型的思想。
• World Models: 论文未直接涉及世界模型，但OCR作为感知任务可视为世界模型的一部分。
• Representation Learning: LCNetV4的MetaFormer设计解耦空间和通道混合，属于表征学习优化。
• Model-Based RL: 论文未涉及强化学习，相关性弱。
• 原生多模态大模型: 论文对比了原生多模态大模型（如Qwen3-VL），但自身是专用OCR模型，非多模态大模型。
• 多模态大模型的理解和生成一体化: 论文未涉及生成任务，仅关注文本检测与识别（理解）。
• 后训练: 论文未提及后训练策略，相关性弱。

微动作（MGs）是自发且细微的身体运动，通常能传达隐藏的人类情感。在未剪辑视频中识别 MGs 仍然极具挑战性，原因在于其信噪比极低、类别分布存在严重的长尾现象，以及在跨受试者评估场景中遇到的固有域偏移。本文针对第 4 届 MiGA-IJCAI 挑战赛赛道 1，提出了一种综合多模态框架。为了捕捉细粒度表示，我们设计了一种显著性引导的多模态提取管道，整合了 68 关键点骨骼关节坐标、3D 热力图体积以及高分辨率 RGB 视觉特征。我们引入了一种温和的平方根平滑加权机制，并配合正交语义嵌入损失，以保护尾部类别而不损害整体识别能力。更重要的是，为了缩小跨受试者泛化差距，我们提出了一种用于无监督域适应的跨模态伪标签（CMPL）策略，显著提升了单模态的鲁棒性。最后，利用温度缩放软投票机制来缓解晚期融合过程中的过度自信问题。大量实验表明，我们的框架实现了具有竞争力的 68.13% F1 分数，获得了第四名。

Micro-gestures (MGs) are spontaneous and subtle body movements that frequently convey hidden human emotions. Recognizing MGs in untrimmed videos remains highly challenging due to their extremely low signal-to-noise ratio, severe long-tailed class distribution, and the inherent domain shift encountered in cross-subject evaluation scenarios. In this paper, we propose a comprehensive multi-modal framework for Track 1 of the 4th MiGA-IJCAI Challenge. To capture fine-grained representations, we design a saliency-guided multi-modal extraction pipeline integrating 68-keypoint skeleton joint coordinates, 3D heatmap volumes, and high-resolution RGB visual features. We introduce a gentle square-root smoothed weighting mechanism paired with an Orthogonal Semantic Embedding Loss to protect tail classes without compromising overall recognition capabilities. More importantly, to bridge the cross-subject generalization gap, we propose a Cross-Modal Pseudo-Labeling (CMPL) strategy for unsupervised domain adaptation, which significantly boosts single-modal robustness. A temperature-scaled soft-voting mechanism is finally utilized to alleviate overconfidence during late fusion. Extensive experiments demonstrate that our framework achieves a competitive F1-score of 68.13\%, securing the 4th place.

评分理由: The paper focuses on micro-gesture recognition using multi-modal fusion (skeleton, heatmap, RGB) and domain adaptation techniques. It scores high on 'MultiModal' (9) and moderate on 'Visual Encoder' (6) due to the explicit use of visual feature extraction pipelines. Scores are low (1-3) for others as the paper lacks content on World Models, MLLM, Reinforcement Learning, Tokenizers, or Agentic Reasoning, which are central to the provided keyword list but irrelevant to this specific computer vision task. Total weighted score is 36.0. No expert authors from the target list were found in the authorship.

Micro-gesture Recognition, Multi-Modal Framework, Cross-Subject Pseudo-Labeling, Semantic Alignment, Domain Adaptation, Skeleton Joint Coordinates, RGB Visual Features

Chinese Title: 面向微手势识别的跨主体伪标签与语义对齐多模态框架

Summary: 本文针对微手势识别中低信噪比、严重长尾分布和跨主体域偏移三大挑战，提出了一种多模态框架。该框架通过显著性引导的多模态提取管道，整合68关键点骨骼坐标、3D热图体积和高分辨率RGB视觉特征。为保护尾部类别，设计了平方根平滑加权机制和正交语义嵌入损失。更重要的是，提出跨模态伪标签（CMPL）策略进行无监督域适应，显著提升跨主体泛化能力。最后采用温度缩放软投票机制缓解后融合中的过度自信。实验表明，该框架在MiGA-IJCAI挑战赛Track 1中取得68.13%的F1分数，排名第四。

Innovations:

• 提出显著性引导的多模态提取管道，结合骨骼关键点、3D热图和RGB视觉特征，有效抑制背景噪声。
• 引入平方根平滑加权与正交语义嵌入损失，在极端长尾分布下保护尾部类别而不牺牲整体性能。
• 设计跨模态伪标签（CMPL）策略，利用测试集高置信度共识构建超级数据集，实现无监督域适应，显著提升跨主体泛化。
• 采用温度缩放软投票融合机制，缓解多模态模型过度自信问题，提升预测可靠性。

Methodology: 首先，使用OpenPose提取68关键点骨骼序列，经中心归一化后输入解耦时空CNN；同时将关键点渲染为3D热图，由3D-ResNet处理；RGB分支通过骨骼边界框显著性裁剪后，由Video Swin Transformer和R(2+1)D提取特征。其次，采用平方根平滑加权Focal Loss和正交语义嵌入损失（基于QR分解的语义矩阵）处理长尾分布。然后，迭代执行跨模态伪标签（CMPL）：利用多模态模型在测试集上的高置信度共识生成伪标签，与训练集合并形成超级数据集，重新训练模型。最后，通过温度缩放软投票融合各分支预测。

Key Results:

• 在iMiGUE数据集上，所提框架达到68.13%的F1分数，在MiGA-IJCAI挑战赛Track 1中排名第四。
• 跨模态伪标签策略显著提升了单模态鲁棒性和跨主体泛化能力。
• 平方根平滑加权和正交语义嵌入损失有效缓解了长尾分布对尾部类别的偏见。
• 温度缩放软投票融合优于直接平均或硬投票，降低了模型过度自信。

Tech Stack:

• OpenPose（68关键点提取）
• 解耦时空CNN（1×3空间卷积 + 5×1时间卷积）
• PoseC3D（3D热图渲染 + 3D-ResNet50）
• Video Swin Transformer (Swin3D)
• R(2+1)D
• Focal Loss（平方根平滑加权）
• 正交语义嵌入损失（QR分解初始化语义矩阵）
• 跨模态伪标签（CMPL）迭代策略
• 温度缩放软投票（σ(z/T)）
• Kinetics-400预训练

Strengths:

• 多模态融合设计全面，同时利用骨骼拓扑、热图连续性和RGB纹理，互补性强。
• 针对长尾分布和域偏移的解决方案新颖且有效，平方根平滑避免了梯度爆炸，正交语义损失扩大了类间间隔。
• 跨模态伪标签策略无需目标域标签，实用性强，且迭代过程提升了模型鲁棒性。
• 温度缩放软投票机制简单有效，缓解了多模态融合中的置信度偏差。

Limitations:

• 依赖OpenPose进行关键点提取，在低质量视频或遮挡场景下可能引入噪声。
• CMPL策略需要多模态模型在测试集上具有较高初始置信度，若初始预测错误可能误导伪标签。
• 实验仅在iMiGUE单一数据集上验证，泛化性有待更多基准测试。
• 未与其他域适应方法（如对抗训练）进行直接对比，优势量化不够充分。

Relevance To Keywords: 论文聚焦于微手势识别，属于多模态表征学习范畴，与“表征学习”直接相关。其多模态融合（RGB+骨骼+热图）体现了“原生多模态大模型”的思路，但未使用大模型架构。跨模态伪标签策略可视为一种无监督域适应方法，与“世界模型”和“模型基于强化学习”无直接关联。论文未涉及生成一体化或后训练。整体相关性中等，主要贡献在表征学习和多模态融合领域。