主播
节目简介
来源:小宇宙
在 Transformer 统治 AI 界的今天,那个曾经被称为“循环神经网络(RNN)”的技术似乎已退居二线。然而,很多人并不知道,今天 GPT、豆包身上那些令人惊艳的能力——预测下一个词的核心机制、脱胎换骨的“自注意力机制”,其实全都是在研究 RNN 的过程中被“逼”出来的。
如果不理解 RNN,你就无法真正读懂 AI 是如何从“只会看图”进化到“能够思考”的。本期节目,我们将开启本书第四章《机器之心:RNN 与序列记忆》,带你回到 20 世纪 80 年代,看数学宗师乔丹与心理语言学家艾尔曼如何通过截然不同的逻辑,赋予了机器最原始的“记忆力”。这不仅是技术的演进,更是人类模仿自身心智的一场伟大实验。
* 00:00 为什么要聊“过时”的 RNN?它是通往 Transformer 的必经之路。
* 01:07 从 CNN 到 RNN:当 AI 面对“狗咬人”和“人咬狗”,顺序为何如此致命?
* 02:02 语义的迷宫:为什么“想一个人”在不同上下文里有完全相反的含义?
* 03:03 AI 的“断片”时刻:揭秘早期神经网络缺乏上下文记忆的致命缺陷。
* 04:05 双雄会:数学大师 Michael Jordan 与认知科学家 Jeffrey Elman 的思想碰撞。
* 04:46 Jordan 网络:在标准网络里加个“补丁”,让输出值学会“回流”。
* 07:11 语言是天生的吗?艾尔曼如何用 AI 挑战主流语言学观点。
* 09:12 隐藏层的秘密:为什么传递“激活值”比传递“结果”更有深远影响?
如果不理解 RNN,你就无法真正读懂 AI 是如何从“只会看图”进化到“能够思考”的。本期节目,我们将开启本书第四章《机器之心:RNN 与序列记忆》,带你回到 20 世纪 80 年代,看数学宗师乔丹与心理语言学家艾尔曼如何通过截然不同的逻辑,赋予了机器最原始的“记忆力”。这不仅是技术的演进,更是人类模仿自身心智的一场伟大实验。
* 00:00 为什么要聊“过时”的 RNN?它是通往 Transformer 的必经之路。
* 01:07 从 CNN 到 RNN:当 AI 面对“狗咬人”和“人咬狗”,顺序为何如此致命?
* 02:02 语义的迷宫:为什么“想一个人”在不同上下文里有完全相反的含义?
* 03:03 AI 的“断片”时刻:揭秘早期神经网络缺乏上下文记忆的致命缺陷。
* 04:05 双雄会:数学大师 Michael Jordan 与认知科学家 Jeffrey Elman 的思想碰撞。
* 04:46 Jordan 网络:在标准网络里加个“补丁”,让输出值学会“回流”。
* 07:11 语言是天生的吗?艾尔曼如何用 AI 挑战主流语言学观点。
* 09:12 隐藏层的秘密:为什么传递“激活值”比传递“结果”更有深远影响?