主播
节目简介
来源：小宇宙
如果AI模型能像人类一样拥有真正的记忆，而不是每次都依赖昂贵的外部搜索，世界会变成什么样？本期节目，我们邀请到了AI记忆与持续学习研究实验室Engram的联合创始人Dan Biderman和Jessy Lin，他们将揭示一种颠覆性的方法：将知识深深“烙印”在模型权重中，让AI拥有真正的内在直觉，并实现百倍的效率提升。
Engram的两位创始人认为，当前AI模型依赖外部数据库（如RAG）或超长上下文窗口来获取新知识，就像人类只靠便利贴记事，却缺乏真正内化的记忆与直觉。他们提出了一个大胆的设想：“模型应该永远处于训练之中”。通过独特的适配器微调技术，Engram致力于将企业或个人的私有数据、独特工作流和隐性知识，直接训练并融入模型权重。这种方法不仅能让模型像经验丰富的员工一样，对特定领域形成深刻理解，更旨在将推理成本降低高达100倍，彻底颠覆我们与AI协作的方式。
您将了解到：
* 如何让AI模型像人类一样拥有真正的记忆，而不是依赖昂贵且低效的“外部数据库”？
* 将知识“烙印”在模型权重中，如何能让推理成本降低100倍，并成为颠覆RAG的“杀手级”策略？
* 未来的AI是由一个无所不能的通用大模型主导，还是每个人都将拥有一个为自己量身定制、持续进化的专属模型？
💡时点内容 | Key Topics
* [01:35] 超越预训练的视角：Dan Biderman阐述了Engram“模型永远在训练中”的核心理念，并指出当前模型发展的瓶颈在于如何理解不断变化的新信息。他认为，真正的持续学习是将新知识“像预训练和后训练那样，深深地融入到模型的权重里去”。
* [07:38] 权重内化与百倍效率：Dan Biderman分享了将知识训练到模型权重中的核心优势，并强调这能让token推理消耗降低两个数量级。他指出，通过训练，模型能隐式学会复杂信息，并用“不到100个token就能回答的问题，那些最顶尖的前沿模型可能需要消耗十万个token才能做到”。
* [11:34] 事实与技能的共生：Jessy Lin回顾了将算法与数据库分离的传统计算机科学思路，并指出深度学习的魔力在于“它把这两样东西完全融合在了一起”。Dan Biderman补充道，为了进行复杂思考，模型必须先内化一些基础知识，才能将它们组合成更抽象的概念。
* [14:34] 模型的“梦境”与内化：Dan Biderman将模型的内化过程比作人类的梦境，并认为当前模型缺少一个消化经验的阶段。他解释说，这个过程是“给模型时间，让它能从实际的交互中抽身，去实验自己能力的边界，看看它在一个环境中到底能做什么”。
* [15:04] 通用AGI与专属模型：Dan Biderman分享了他对未来AI形态的设想，并预测世界将由无数专属模型构成，而非一个愈发强大的通用模型。他认为，这种设想更符合现实需求，因为很多知识是私密的，甚至是相互冲突的，而“我们设想的世界是，每个人都拥有自己的专属模型”。
* [28:32] 超越检索的“RAG杀手”：Dan Biderman将Engram的技术定位为“RAG杀手”，并强调其优势在于建立深层联系。他认为，单纯依赖检索无法形成真正的直觉，而通过训练，模型能将知识内化为“本能”，从而进行“那种非常复杂、冗长的循环来解决”问题之外的关联性思考。
* [31:32] 记忆的“ChatGPT时刻”：Dan Biderman预测了“持续学习”领域的“ChatGPT时刻”，并将其描述为一个可以被持续教导并真正变好的“实习生”模型。他认为，真正的突破是当用户能直观感受到“哇，这个模型真的在变聪明，跟昨天完全不一样了”，而不是只能被动等待下一个版本。
📺相关链接与资源
[视频来源]《Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin》
本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来怪怪的。如想了解更多信息，请关注微信公众号"AI西经东译"获取AI最新资讯。如有后续想要听的其他外文播客，也欢迎联系微信：mayday2303。
Engram的两位创始人认为，当前AI模型依赖外部数据库（如RAG）或超长上下文窗口来获取新知识，就像人类只靠便利贴记事，却缺乏真正内化的记忆与直觉。他们提出了一个大胆的设想：“模型应该永远处于训练之中”。通过独特的适配器微调技术，Engram致力于将企业或个人的私有数据、独特工作流和隐性知识，直接训练并融入模型权重。这种方法不仅能让模型像经验丰富的员工一样，对特定领域形成深刻理解，更旨在将推理成本降低高达100倍，彻底颠覆我们与AI协作的方式。
您将了解到：
* 如何让AI模型像人类一样拥有真正的记忆，而不是依赖昂贵且低效的“外部数据库”？
* 将知识“烙印”在模型权重中，如何能让推理成本降低100倍，并成为颠覆RAG的“杀手级”策略？
* 未来的AI是由一个无所不能的通用大模型主导，还是每个人都将拥有一个为自己量身定制、持续进化的专属模型？
💡时点内容 | Key Topics
* [01:35] 超越预训练的视角：Dan Biderman阐述了Engram“模型永远在训练中”的核心理念，并指出当前模型发展的瓶颈在于如何理解不断变化的新信息。他认为，真正的持续学习是将新知识“像预训练和后训练那样，深深地融入到模型的权重里去”。
* [07:38] 权重内化与百倍效率：Dan Biderman分享了将知识训练到模型权重中的核心优势，并强调这能让token推理消耗降低两个数量级。他指出，通过训练，模型能隐式学会复杂信息，并用“不到100个token就能回答的问题，那些最顶尖的前沿模型可能需要消耗十万个token才能做到”。
* [11:34] 事实与技能的共生：Jessy Lin回顾了将算法与数据库分离的传统计算机科学思路，并指出深度学习的魔力在于“它把这两样东西完全融合在了一起”。Dan Biderman补充道，为了进行复杂思考，模型必须先内化一些基础知识，才能将它们组合成更抽象的概念。
* [14:34] 模型的“梦境”与内化：Dan Biderman将模型的内化过程比作人类的梦境，并认为当前模型缺少一个消化经验的阶段。他解释说，这个过程是“给模型时间，让它能从实际的交互中抽身，去实验自己能力的边界，看看它在一个环境中到底能做什么”。
* [15:04] 通用AGI与专属模型：Dan Biderman分享了他对未来AI形态的设想，并预测世界将由无数专属模型构成，而非一个愈发强大的通用模型。他认为，这种设想更符合现实需求，因为很多知识是私密的，甚至是相互冲突的，而“我们设想的世界是，每个人都拥有自己的专属模型”。
* [28:32] 超越检索的“RAG杀手”：Dan Biderman将Engram的技术定位为“RAG杀手”，并强调其优势在于建立深层联系。他认为，单纯依赖检索无法形成真正的直觉，而通过训练，模型能将知识内化为“本能”，从而进行“那种非常复杂、冗长的循环来解决”问题之外的关联性思考。
* [31:32] 记忆的“ChatGPT时刻”：Dan Biderman预测了“持续学习”领域的“ChatGPT时刻”，并将其描述为一个可以被持续教导并真正变好的“实习生”模型。他认为，真正的突破是当用户能直观感受到“哇，这个模型真的在变聪明，跟昨天完全不一样了”，而不是只能被动等待下一个版本。
📺相关链接与资源
[视频来源]《Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin》
本播客采用虚拟主持人进行播客翻译的音频制作，因此有可能会有一些地方听起来怪怪的。如想了解更多信息，请关注微信公众号"AI西经东译"获取AI最新资讯。如有后续想要听的其他外文播客，也欢迎联系微信：mayday2303。
外观
