HF Papers 日报 | 2026-03-04

点云数据来自遥感、自动驾驶 LiDAR、室内 RGB-D、CAD 模型等截然不同的传感器，尺度、密度、采样模式差异巨大，此前的自监督点云模型只能在单一域内训练。Utonia 迈出关键一步：用一个 Point Transformer 编码器，在五个域（遥感、室外LiDAR、室内 RGB-D、物体CAD、视频点云）上联合自监督预训练。

核心技术挑战在于域间极端的分布差异。Utonia 采用自适应颜色/法向量输入机制（adaptive C/N），当某些域缺少颜色或法向量信息时自动降级，避免模型被域特异性的捷径特征主导。预训练使用 masked autoencoding 范式，将离散 token 的前向过程建模为逐步 mask，逆过程预测被 mask 的 token。

实验显示，联合训练不仅不降低各域性能，反而带来跨域涌现行为：在 ScanNet 语义分割上超越单域预训练 2.1 mIoU，在 nuScenes 检测上提升 1.8 NDS。更值得关注的是 Utonia 在下游的泛化能力——将 Utonia 特征接入视觉语言动作策略（VLA），机器人操作成功率提升 8.3%；接入视觉语言模型用于空间推理也有增益。

统一多模态模型（如 Janus、Show-o、BAGEL）宣称「理解+生成一体化」带来互利，但生成能力是否真的提升了理解这一核心问题一直缺乏系统验证。UniG2U-Bench（Generation-to-Understanding）是目前最全面的统一模型理解评测基准，覆盖 7 大评测维度、30 个子任务，涉及空间推理、视觉错觉、多轮推理等需要不同程度视觉变换的场景。

研究团队对 30+ 模型进行了大规模评测，严格配对统一模型与其基础 VLM，在匹配推理协议下隔离「生成-to-理解」（G2U）效果。三个核心发现：(1) 统一模型普遍不如其基础 VLM；(2) 只在空间智能、视觉错觉和多轮推理子任务上有提升；(3) 具有相似推理结构的任务和共享架构的模型表现出相关的行为模式。

这项工作为「统一 vs 分离」的架构辩论提供了迄今最系统的实证证据。结论并非全盘否定统一模型，而是指出当前的统一训练策略需要更多样的数据和新范式才能真正释放生成对理解的辅助潜力。

视觉世界是推动基础模型超越语言的关键维度，但原生多模态模型的设计空间仍然不透明。来自 Meta FAIR + NYU（Yann LeCun 等参与指导）的团队通过严格控制变量的从头预训练实验，在不依赖语言预训练的前提下，系统性地隔离多模态预训练的核心因素。

研究采用 Transfusion 框架——语言用 next-token prediction，视觉用 diffusion。四个关键发现：(1) RAE 是最优统一视觉表征，同时擅长理解和生成；(2) 视觉和语言数据互补，联合训练产生跨模态协同；(3) 世界建模能力从通用训练中自然涌现；(4) MoE 架构高效且自然诱导模态专业化。

通过 IsoFLOP 分析，团队揭示了关键的缩放不对称性：视觉比语言需要更多数据。MoE 恰好能调和这种不对称——为语言提供高模型容量，同时适应视觉的数据密集特性。这篇论文为多模态基础模型的设计提供了迄今最系统的实验指导。

SWE-bench 已成为代码 Agent 的标准评测，但其任务本质上仍局限于单仓库内的函数级 Bug 修复。BeyondSWE 沿解决范围和知识范围两个轴扩展评测，包含 500 个真实实例，覆盖四个全新设置：CrossRepo（跨仓库推理）、DomainFix（领域专用修复）、DepMigrate（依赖迁移）、Doc2Repo（整库生成）。

实验结果暴露了当前代码 Agent 的严重能力缺口：即使是前沿模型，成功率也低于 45%，且没有任何模型在所有任务类型上一致表现良好。团队还开发了 SearchSWE 框架集成深度搜索，但搜索增强效果并不一致，有时甚至降低性能。

生成式奖励模型（GRM）通过输出推理过程再给出评分，已被证明比直接打分更可靠。但现有方法盲目加长 CoT，忽略了不同推理机制的效果差异。Mix-GRM 将推理拆分为两种结构化通道：Breadth-CoT（广度思考，多维度原则覆盖，适合主观偏好类任务）和 Depth-CoT（深度思考，逐步逻辑验证，适合客观正确性任务）。

训练采用 SFT + RLVR 两阶段。特别值得注意的是 RLVR 阶段出现的涌现极化现象：模型自发地将推理风格与任务需求匹配——面对主观任务自动切换到 B-CoT，面对客观任务自动切换到 D-CoT。在 5 个基准上平均超出领先开源奖励模型 8.2%。