← Back to Videos
Y Combinator 2025.05.30

AI Agent 最前沿的 Prompt 技术

YC 团队深入调研数十家顶尖 AI 创业公司,揭秘 Prompt Engineering 的最新实战方法:从 Meta Prompting 到 Eval 体系,从 Forward Deployed Engineer 模式到不同模型的个性化差异

Speaker
YC
Duration
31:26
Date
2025.05.30
Category
YC 访谈

顶尖 AI 创业公司的真正护城河不是 Prompt 本身,而是 Eval 体系 -- 没有 Eval,你永远不知道 Prompt 为什么要这样写,也无法持续改进它。

👤 关于本期

G
Garry Tan
YC CEO
Y Combinator 现任 CEO,主持本期 Light Cone 播客,分享 YC 内部使用 LLM 的实战经验以及 Palantir Forward Deployed Engineer 的启示
J
Jared Friedman
YC Partner
YC 合伙人,展示了 Parahelp 的真实 Prompt 案例,并分享了 YC 内部 debug info 逃生舱机制的创新方法
D
Diana Hu
YC Partner
YC 合伙人,深度解析了 Parahelp 的 Prompt 结构、XML 标签格式化以及 System/Developer/User Prompt 三层架构
H
Harj Taggar
YC Partner
YC 合伙人,分享了使用 Rubric 评分的实战经验以及不同模型(o3 vs Gemini 2.5 Pro)在评分灵活性上的差异

📑 内容章节

00:00开场:Meta Prompting 是新的超级工具
00:32Parahelp 真实 Prompt 解析:六页长的 AI 客服 Agent
04:46System / Developer / User Prompt 三层架构
06:50Meta Prompting 与 Prompt Folding:让 LLM 自己优化 Prompt
09:06LLM 的逃生舱:如何避免幻觉与强制输出
11:00Thinking Traces 与 Gemini 2.5 Pro 作为调试工具
14:18Eval 才是真正的护城河,不是 Prompt
16:32Forward Deployed Engineer 模式与 Vertical AI Agent 的崛起
26:13不同模型的个性差异:Claude、o3、Gemini、Llama 4
29:48总结:Prompt Engineering 像 1995 年的编程,也像管理一个人

💡 核心观点

1

Meta Prompting:用 LLM 优化 LLM

Meta Prompting 正在成为所有顶尖 AI 公司都在使用的核心技术。其本质是让一个 Prompt 动态生成更好的版本 -- Prompt Folding。用更强大的模型(如 Claude 3.7、GPT o3)做 Meta Prompting 生成精炼 Prompt,然后在更快更小的模型上运行,这是应对延迟需求(如语音 AI)的标准做法。

2

Eval 才是真正的护城河

Parahelp 愿意开源整个 Prompt,因为他们认为 Prompt 不是核心资产 -- Eval 才是。没有 Eval,你不知道 Prompt 为什么这样写,也无法改进它。获取高质量 Eval 需要创始人亲临一线、与用户面对面 -- 这正是 Forward Deployed Engineer 的精髓:坐在 Nebraska 的区域销售经理旁边,理解他们的 reward function。

3

给 LLM 一个逃生舱

LLM 天然渴望帮助你,即使信息不足也会编造答案 -- 这就是幻觉的根源。解决方案是在输出格式中增加一个 debug info 字段,让 LLM 向开发者「投诉」:你给的信息模糊或不完整。这不仅减少幻觉,还自动生成了一个开发者待办清单,告诉你 Prompt 哪里需要改进。

4

不同模型有不同个性

Claude 更像一个友好、高度可控的助手;Llama 4 像一个未经打磨的开发者,需要更多引导但可以精准控制;o3 像严格的士兵,死板执行 Rubric 评分;Gemini 2.5 Pro 像高能动性员工,能灵活处理边缘情况。选择模型就像选择员工,不同任务需要不同个性。