📝 本期播客简介

本期我们克隆了 AI 领域极具影响力的播客《Latent Space》，对话开源向量数据库 Chroma 的创始人兼 CEO Jeff Huber。在这期深度访谈中，Jeff 犀利地批判了当下被过度炒作的 RAG 概念，并首次系统性地提出了“上下文工程”（Context Engineering）这一核心理念。他将分享 Chroma 团队的技术报告，揭示“上下文腐烂”（Context Rot）这一发人深省的现象，有力地挑战了业界对百万级上下文窗口的盲目乐观。这不仅是一场关于技术的探讨，更是一堂关于如何将构建 AI 应用从碰运气的“炼金术”转变为严谨“工程学”的实战课。

⚙️ 本期嘉宾

Jeff Huber，开源向量数据库 Chroma 的创始人兼 CEO。作为一位连续创业者和 AI 工程领域的思想领袖，Jeff 致力于解决 AI 应用从演示到生产环境的鸿沟问题。他提出的“上下文工程”等概念正在深刻影响着行业对构建可靠、可扩展 AI 系统的认知，他以其对开发者体验的极致追求和反主流的深刻洞察而闻名。

📒 文字版精华

见微信公众号（点击跳转）

🌟 精彩内容

🛠️ 告别炼金术：AI 应用开发的工程学之道

构建 AI 应用不应像搅动一锅热气腾腾的垃圾，期待它奇迹般地变好。Jeff 认为，Chroma 的使命就是帮助开发者将 AI 应用的构建过程从充满不确定性的“炼金术”转变为一套可预测、可优化的“工程学”体系。搜索和检索是这套体系的核心基础设施。

“做一个演示（demo）很容易，但要构建一个生产环境中稳定可靠的系统却极具挑战。从演示到生产的鸿沟，感觉不像是工程问题，更像是炼金术。”

💡 RAG 已死？上下文工程才是未来

Jeff 尖锐地指出，流行的术语“RAG”将检索、增强、生成三个概念混为一谈，极具误导性。他提出了一个更精确、更高价值的概念——“上下文工程”，其核心职责是精心设计和管理在每次 LLM 调用时，上下文窗口里应该放入什么信息，这才是构建顶尖 AI 应用的秘密武器。

“我讨厌 RAG 这个词... ‘上下文工程’是一项高价值的工作。坦白说，今天你所知道的任何一家做得非常好的 AI 创业公司，他们从根本上擅长什么？他们最擅长的那一件事是什么？就是上下文工程。”

⚡️ 上下文的诅咒：揭秘“上下文腐烂”现象

别再迷信百万级上下文窗口！Chroma 的研究报告揭示了一个残酷的真相：“上下文腐烂”。即随着上下文窗口中 Token 数量的增加，语言模型的关注能力和推理能力会显著下降，甚至会忽略明确的指令。这证明了精心筛选和排序上下文信息至关重要。

“当你使用的 token 越来越多，模型能关注到的信息就越少，推理能力也会下降。我认为这真正凸显了问题的所在。‘上下文腐烂’意味着‘上下文工程’的必要性。”

🚀 开发者体验至上：从 pip install 到无服务器云

Chroma 的成功始于极致的开发者体验——一条 `pip install` 命令即可运行的数据库。Jeff 将这一哲学贯彻到了云产品中，坚持打造“零配置、无需手动调整”的无服务器体验。他认为，真正的卓越是让开发者无需关心底层复杂性，就能获得稳定、高效且经济的服务。

“它必须是‘零配置、无需任何手动调整’。无论你的流量如何波动，数据规模如何增减，它都应该始终快速、极具成本效益并且数据保持最新，而你无需做任何事或思考任何事。这就是我们的设计初衷。”

🌐 播客信息补充

翻译克隆自：Latent Space: Long Live Context Engineering - with Jeff Huber of Chroma

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight