约翰·卡马克——《毁灭战士》、《quake》以及现代 3D 游戏时代的传奇程序员——将目光投向了新的前沿：人工智能

00:00 科技传奇人物JN Carmax的跨领域探索与AI转型本期播客深入探讨了科技界传奇人物JN Carmax的职业生涯及其对多个领域的贡献。

他作为大神级程序员，不仅定义了第一人称射击游戏（FPS）类型，还推动了GPU技术的发展，对早期游戏对3D图形性能的极致追求影响深远。

从游戏领域到火箭制造，再到VR领域的创新，如解决VR延迟问题，他的每一次探索都推动了技术进步。最终，他转向AI领域，并与OpenAI的几位创始人合作，这表明了他敏锐的科技嗅觉和自我驱动力，以及对通用人工智能（AGI）的深深好奇和追求。

05:34 从独行侠到团队协作：探索AGI的复杂旅程起初，他计划以维多利亚时代的绅士科学家身份独立进行研究，但意识到AGI的复杂性后，接受了风险投资，成立了king technologies，并组建了一个六人的研究团队。与强化学习领域的专家Richard Sun的思想共鸣进一步推动了他的研究方向。

尽管对LLM（大型语言模型）如transformer模型的成就表示肯定，但他认为LLM并非通往AGI的全部答案。他比喻LLM像是把所有知识扔进搅拌机，虽然有时表现惊人，但缺乏生物智能的学习和适应能力。

LLM在逻辑推理、处理新颖或反事实情况，以及持续学习方面存在明显不足，更像静态的知识库而非动态智能体。因此，他坚信LLM与生物智能之间存在巨大鸿沟，不会是最终答案。

09:28 从工程到科学探索：AGI研究的本质转变对话讨论了从从事游戏、VR等工程性质工作转向进行AGI（通用人工智能）研究的本质不同。

强调了工程与科学研究之间的根本性区别，前者通常有明确的目标和技术路径，而后者是在探索未知，面对更多的不确定性、更高的失败风险和可能更长的时间投入。

这种转变要求研究者接受科学探索的不确定性，尽管AGI研究特别难，但因其可能取得的突破和价值，现在被认为是进行AGI研究的关键时期。

11:33 Kar Mark的AI研究路径与反思Kar Mark最初计划通过构建一个能理解视频的AI系统，连接游戏、强化学习和现实世界，但因技术难度高而调整方向。

他反思了早期过于追求底层优化、偏好物理硬件、选择研究平台不当等失误，并意识到在AI研究中，效率与深度的权衡至关重要。

最终，他选择了Atari平台，认为通过研究不同游戏可以有效解决强化学习的核心问题，如学习效率、泛化能力和灾难性遗忘等。

这一选择体现了对主要矛盾的把握和研究策略上的取舍。

16:52 Atari游戏平台在AI研究中的核心价值对话深入探讨了Atari游戏平台在人工智能研究中的价值。

首先，Atari Learning Environment (ALE) 作为强化学习的经典研究平台，承载了丰富的历史基础和传承。

其次，尽管有些人认为Atari已被研究者充分探索，但其依然包含了解决AGI核心问题的所有必要元素，包括游戏的多样性、无偏性以及持续的挑战性。

Atari平台上的100多款不同类型的游戏提供了测试算法通用性的绝佳机会，而其无偏性确保了游戏设计不会迎合特定算法的弱点。

即使在某些游戏中AI取得了超人类的分数，这种成绩并不意味着完全理解或解决了问题，因为算法在不同任务间的敏感性和脆弱性揭示了对鲁棒性通用学习机制的深入理解仍有待提高。

此外，Atari游戏的复杂性持续提醒研究者，高分不代表真正理解，背后还有更多深层次问题待解。

20:57 强化学习中的数据效率和环境选择对话聚焦于强化学习中学习速度和数据效率的问题，特别是与Atari游戏相关的研究。

讨论指出，传统的训练方法需要大量游戏数据才能取得好成绩，而人类玩家则能以更少的数据迅速上手。

因此，研究社区引入了Atari 1K基准，严格限制智能体使用更少的数据来学习，以筛选出真正高效的学习算法。

此外，讨论还涉及环境选择的重要性，强调了游戏环境，尤其是Atari游戏，因其适中的复杂度成为研究的理想选择。

特别提到了避免直接使用游戏内部状态信息以避免绕过学习关键特征的难题，坚持让AI从原始像素画面中学习和理解游戏状态，实现端到端的学习。

23:46 物理机器人实验中的实时性和延迟挑战在物理机器人实验中，提出了现实世界不是回合制游戏的观点，强调了实时性和延迟的关键性。

传统的强化学习交互模式在现实世界中因环境的持续变化而显得不足，因此需要环境调用agent的模式，即环境持续运行并在特定时间点询问agent的决策。

这种模式对算法的响应速度提出了极高要求，使得在模拟器中表现良好的算法在真实时间约束下可能失效，特别是那些依赖于大量重复计算和构建复杂世界模型的算法。

为了检验算法在真实延迟下的表现，实验中使用了一个摄像头对着运行Atari游戏的电视屏幕，通过特制的机械手柄和高性能游戏笔记本电脑的组合来模拟真实世界的学习挑战，从而挑战了AI的奇点临近论。

27:52 使用机械臂和深度学习玩Atari游戏的挑战与创新讨论了利用机械臂和深度学习技术玩Atari游戏的复杂性和创新方法。

重点在于通过按手柄上的fire键重启游戏以简化设置，使用CUDA graphs技术优化端到端计算流程，以及解决摄像头低延迟视频流、同步问题和屏幕识别校正等挑战。

此外，还探讨了机械手柄引入的真实物理延迟导致的“幻影动作”问题，以及强化学习agent需要理解和预测动作执行时间的必要性。

最后，提到了物理磨损和延迟对实验的影响，强调了现实世界操作的复杂性。

34:51 物理机器人实验中的分数检测挑战与强化学习启示在物理机器人项目的挑战中，最令人头疼的部分是分数检测，即通过摄像头图像识别屏幕上的分数，这一过程对光照变化、屏幕反光等异常敏感，导致识别错误或失败，严重影响了基于奖励信号的强化学习训练。

为了应对这一问题，开发了一个特殊的开发盒子，通过显示专门设计的视觉标志来辅助传递分数信息，但这牺牲了在纯粹真实硬件上运行的初衷。

从实验中得出的启示包括：

卷积神经网络对于处理真实世界的视觉干扰是稳健的；

标准时序差分学习算法在有额外延时的情况下仍能工作，但学习效率和性能会下降；

高延迟会直接导致在模拟器中表现优异的脆弱算法崩溃。

因此，建议在强化学习研究的模拟环境中加入可调节的延迟队列，以测试算法对延迟的鲁棒性，同时避免通过在算法其他部分添加匹配延迟来作弊，而是从根本上解决问题，例如将动作历史或尝试的动作意图作为输入信息。

38:38 AI的灾难性遗忘与持续学习挑战讨论了AI在学习多个任务时面临的灾难性遗忘问题，即在学习新任务时忘记旧任务的知识。

解释了这种现象在实际应用中的影响，以及目前缓解该问题的一些方法，如同时训练所有任务或使用经验回放缓冲。然而，这些方法都有其局限性，且可能导致离线强化学习的挑战。最终，持续学习和解决灾难性遗忘仍然是AI领域的一大开放性问题。

43:22 迁移学习在AI中的挑战与困境对话聚焦于迁移学习在人工智能中的挑战和失败。

讨论指出，尽管人类能够将一个任务中获得的知识应用到新任务中，但当前的AI在这一方面表现极差，即使在学过多个游戏后，在面对新游戏时几乎无法展示任何先前经验带来的益处。

举了OpenAI的Sonic游戏挑战赛和DeepMind的GOTTO模型的例子，说明即便在新关卡上学习速度更快，也没有有效利用旧关卡的知识，甚至出现了副迁移现象。

因此，提出建立新的Atari基准测试，以专门评估AI的持续学习和迁移能力，希望通过这一提议推动迁移学习领域的研究进展。

47:14 强化学习面临的七大挑战对话讨论了强化学习（RL）领域面临的七大挑战。首先，稀疏奖励（SPA rewards）问题，即在现实世界任务中，奖励信号往往非常稀疏，导致AI难以设定目标和持续探索。

其次，内在奖励和好奇心驱动的探索机制成为研究热点，以使AI能自主设定目标并从中获得满足感。

第三，探索（exploration）挑战与高效探索方法有关，传统的epsilon-greedy方法效率低下，现代游戏复杂的手柄操作更是加剧了探索难度。第四，高维动作空间的处理，如通过将复杂动作分解为独立部分来控制，是当前研究方向之一。

最后，时间尺度与层级（time scales and hierarchy）的挑战，探讨如何让AI形成跨时间尺度的连贯策略，这是接近智能本质的难题。

52:52 探讨AGI挑战与循环神经网络在Atari游戏中的应用对话深入探讨了AGI（通用人工智能）面临的八大挑战，包括学习速度、实时延迟、灾难性遗忘、迁移失败等。

讨论中指出，尽管理论上循环神经网络（如RNN、LSTM或GRU）适用于处理需要记忆的任务，但在Atari游戏上，由于游戏画面通常已包含大部分决策所需信息，简单的四帧画面堆叠输入方法效果已足够，无需复杂RNN结构。

此外，讨论还涉及了新的序列学习benchmark的必要性和设计哲学，以及内在奖励机制的设计，强调其应服务于提升最终任务表现的目标。这些讨论反映了通往AGI之路的复杂性和基础性科学挑战。