Anthropic 联合创始人 Jared Kaplan 在 YC 活动中分享:从理论物理学家到 AI 研究者的转变,Scaling Laws 的发现历程,以及为什么预训练和强化学习的规模化正在可预测地推动 AI 走向人类水平
「AI 进步的根本原因不是研究者突然变聪明了,而是我们找到了一种非常简单的方法来系统性地让 AI 变得更好,然后不断转动这个曲柄。」—— Jared Kaplan
Jared 在 2019 年发现,随着计算量、数据量和模型规模的增大,AI 模型的性能以惊人的精度遵循幂律改善。这种趋势跨越了多个数量级,「和你在物理学或天文学中看到的一样精确」。正是这一发现给了 Anthropic 团队坚定的信心:AI 将以可预测的方式持续变得更聪明。
研究组织 METR 发现,AI 模型能够完成的任务时间跨度正以约每 7 个月翻一倍的速度增长。从最初只能完成几分钟的任务,到现在能处理数小时的工作,未来几年可能扩展到数天、数周甚至数月的任务,最终百万个 AI 模型协同工作可能完成整个人类组织的工作。
Jared 认为实现广义人类级 AI 还需要:(1) 组织知识 -- AI 需要像老员工一样理解公司上下文;(2) 记忆 -- 在超长任务中追踪进度、构建和检索相关记忆;(3) 精细监督 -- 不仅会写代码过测试,还要会讲好笑话、写好诗,有研究品味;(4) 从文本到多模态再到机器人的能力延伸。
Jared 将 Scaling Laws 的发现归功于物理学家的思维习惯:看大局、问最基础的问题。当所有人都说「大数据很重要」时,他只是问了一句「到底有多重要?」当别人说「学习是指数收敛」时,他会反问「你确定不是幂律?」正是这种对精确性的执着,让他发现了 AI 领域最重要的经验规律之一。