← Back to Videos
YC Lightcone 2024.11.01

10 万亿参数、300 IQ 的 AI 模型

YC Lightcone 团队深度讨论:当大语言模型参数规模达到 10 万亿、智能水平达到 300 IQ 时,将对创业者、开发者和整个社会带来怎样的根本性变革

Speaker
YC Lightcone
Duration
33:44
Date
2024.11.01
Category
YC Lightcone

「如果我们让模型足够聪明,能够进行原创思考和深度分析,并释放近乎无限的智能去处理我们已知的近乎无限的数据和知识,你可以想象它将产生疯狂的科学发现 -- 室温聚变、室温超导、时间旅行、飞行汽车。」

💬 关于本期

YC Lightcone 团队在 OpenAI 刚完成史上最大风投融资(66 亿美元)之际,深入探讨了一个关键问题:当模型参数从当前的 5000 亿跃升两个数量级达到 10 万亿时,世界会发生什么?讨论涵盖了 Scaling Laws 的历史类比、o1 推理模型的突破、YC 创业公司的 LLM 使用趋势、AI 语音应用的爆发,以及 ASI 对人类科学发现能力的终极加速。

📑 内容章节

00:00开场:o1 对创业者意味着什么
00:49OpenAI 66 亿美元融资与算力竞赛
01:3910 万亿参数模型:两个数量级的飞跃
05:30Fourier 变换的启示:150 年才被普通人感知
10:17蒸馏技术:大模型教小模型
14:00o1 黑客马拉松:前所不可能的 demo
21:00YC 批次数据:Claude 市场份额暴涨、Cursor 碾压 Copilot
31:5510 万亿参数的世界:ASI 与科学突破

💡 核心观点

1

两个数量级的跃迁将再次改变世界

从 GPT-2 的 10 亿参数到 GPT-3.5 的 1700 亿参数,两个数量级的跃迁催生了整个 AI 创业浪潮。从当前 5000 亿参数到 10 万亿参数的下一个两个数量级跃迁,可能带来 2022-2023 年那种「一切都变了」的颠覆感。

2

蒸馏是大模型真正的价值传递方式

10 万亿参数模型的推理成本极高,但其真正价值在于作为「教师模型」,通过蒸馏技术训练更小、更快、更便宜的「学生模型」。Meta 的 Llama 405B 最大的贡献就是让 70B 模型变得更好。OpenAI 也已开放从 o1 到 GPT-4o mini 的蒸馏 API。

3

模型竞争格局正在快速洗牌

YC S24 批次数据显示:Claude 从 5% 市场份额暴涨到 25%,Llama 从 0% 到 8%。Cursor 使用率是 GitHub Copilot 的 5 倍。OpenAI 每次推出新模型都会短暂夺回领先,但 6 个月内竞争对手就会追上。

4

AI 准确率的提升将释放全新应用场景

o1 模型将准确率从 80% 提升至接近 100%,这不只是渐进式改良,而是质变。许多高风险、高后果的应用场景(如法律、税务、医疗)之前因准确率不够而无法投产,随着模型更可靠,这些场景将被解锁。