HF Papers 日报 | 2026-03-05

当前的 LLM 强化学习主流方式是每个模型独立用自己的 on-policy rollout 训练，不同模型之间没有知识共享。传统多Agent RL（MARL）需要协调部署，知识蒸馏只能单向传递。HACRL（Heterogeneous Agent Collaborative RL）提出一种新范式：训练时协作，推理时独立——异构Agent在训练阶段共享经过验证的rollout数据，互相改进，推理时各自独立运行。

核心算法 HACPO（Heterogeneous Agent Collaborative Policy Optimization）的关键设计包括：(1) 双向rollout共享：不是传统的教师→学生单向传递，而是异构Agent之间双向互利——弱模型从强模型的正确rollout中学习，强模型也从弱模型的有效探索中获益；(2) 验证过滤：只共享通过正确性验证的rollout，避免噪声数据污染；(3) 原则性的off-policy修正：通过重要性采样比率剪裁，确保使用其他Agent生成的rollout时策略更新稳定。

实验在数学推理任务上验证：以 Qwen2.5-{7B, 32B} 作为异构Agent对，HACRL 在 AIME 2025 上将 7B 模型准确率从约 40% 提升至 61%（+21%），32B 模型也同时获益。HACRL 最大化了样本利用效率，特别是在 rollout 生成成本高昂的数学推理场景中，共享验证数据显著减少了冗余计算。

Helios 的标题用了「Real Real-Time」双重强调——它是首个在单张 NVIDIA H100 GPU 上实现 19.5 FPS 的 14B 参数视频生成模型，同时支持分钟级长视频生成，质量匹配强基线。三个关键突破让它区别于此前所有视频生成工作：

(1) 无需抗漂移技巧即可长视频稳定——不用 self-forcing、error-bank 或关键帧采样等常见启发式方法，Helios 依靠统一的输入表示和自回归扩散架构内在地保持时序一致性。(2) 无需标准加速技巧即可实时——不用 KV-cache、稀疏/线性注意力或量化，而是通过架构层面的重设计（统一输入表示 + 高效注意力机制）直接达到实时速度。(3) 训练无需并行/分片框架——在 80GB GPU 内存中可容纳最多四个 14B 模型，达到图像扩散模型级的 batch size。

Helios 采用自回归扩散模型架构，关键创新在于统一输入表示：将条件帧和生成帧统一到同一个表示空间，使得模型可以原生地处理任意长度的视频序列。在质量方面，Helios 匹配了远更慢的基线模型，同时生成速度快了一个数量级以上。这意味着交互式视频生成和实时视频编辑正在从理论走向实践。

人类处理复杂阅读任务时，会标记要点、推断关系、组织结构。Structure of Thought (SoT) 将这一思路转化为提示技术：显式引导模型先构建中间文本结构（关键节点+关系链接），然后再生成最终答案。这不是 CoT 的变体——CoT 关注推理链条，SoT 关注信息结构化，让模型在回答前先「画出思维导图」。

配套的 T2S-Bench 是首个专门评估文本到结构能力的基准，包含 1.8K 样本，覆盖 6 个科学领域和 32 种结构类型。对 45 个主流模型的评测揭示了巨大的改进空间：多跳推理任务平均准确率仅 52.1%，最强模型也只有 58.1%。

在 Qwen2.5-7B-Instruct 上，SoT 单独使用在 8 个文本处理任务上带来平均 +5.7% 提升；在 T2S-Bench 上微调后增益进一步提升至 +8.6%。结果表明显式文本结构化是一个通用的中间表示（IR），可以系统性地增强模型在检索、融合、生成等多种文本处理任务上的表现。

做一个好的 AI 游戏伴侣需要解决三个难题：(1) 在连续视频流下实现低延迟推理；(2) 自主判断何时该说话；(3) 控制内容质量和数量以满足实时约束——说太多会干扰体验，说太少又失去伴侣感。Proact-VL 正面攻克这三个问题，通过三大组件实现人类级的环境感知和交互。

框架设计包含：(1) Chunk-wise 输入输出：将视频流切分为固定长度的片段逐段处理；(2) 轻量主动响应机制：基于视觉和上下文线索自主决策何时回应；(3) 多层级损失函数：确保训练稳定性。配套构建了大规模 Live Gaming Benchmark，覆盖独立解说、多人联合解说、用户引导三种场景。

实验表明 Proact-VL 在 TimeDiff 和 F1 等指标上优于现有方法，说明它更好地对齐了人类解说模式。同时保持了通用视频理解能力不下降——这是「专精不牺牲通用」的典型案例。

LLM 长期记忆面临一个根本性权衡：简单存储检索不准，复杂索引计算太重。Memory Graph 等结构化增强方法需要大量预处理（摘要、实体提取、图构建），而且大部分记忆永远不会被重用，前期索引成本基本浪费。让工作 LLM 自己读记忆又太贵——双重负担。

MemSifter 的核心思路是将记忆检索卸载给一个小规模代理模型。小模型先对任务进行推理，理解需要什么信息，然后检索必要的记忆。索引阶段零重计算，推理阶段仅增加最小开销。优化小模型使用了任务结果导向的强化学习：奖励基于工作 LLM 实际完成任务的表现，而非检索本身的精度——这确保检索到的是真正对任务有帮助的记忆。

在 8 个 LLM 记忆基准（包括 Deep Research 任务）上，MemSifter 在检索精度和最终任务完成度上达到或超过现有最优方法。模型权重、代码和训练数据均已开源。

其余论文速览 · #11-21

今日趋势

• Agent 记忆双响：MemSifter（小模型代理检索）和 Memex(RL)（索引式经验记忆+RL）从不同路径攻克同一问题——LLM Agent 的长期记忆管理。两者都指向一个方向：让 Agent 自主学会记忆策略，而非依赖手工设计。
• 视频生成从「能生成」到「能实时」：Helios 的 19.5 FPS 和 CubeComposer 的原生 4K 360° 标志着视频生成正在突破速度和分辨率的双重瓶颈，交互式应用和 VR 内容创作的门槛大幅降低。
• 结构化思维超越链式推理：SoT 的 +5.7% 一致性提升表明，在 CoT（链式推理）之外，「先结构化再推理」是一个通用且被低估的增强维度。