白话-大模型

生成式AI的第一步，为什么不是创作，而是压缩？ 本期《白话大模型》从费曼那句“凡我不能创造的，我便无法理解”出发，回到2006年，认识辛顿与深度自编码器（AE）。 一张30000维的图片，如何被压缩成300维的低维向量？Encoder、Decoder和Latent Space究竟是什么？更关键的是：AE为什么能够学会数据的结构，却只能复原，不能真正创造？ 00:00｜从理解世界，到创造世界 02:02｜新篇章：AI生成纪元的黎明 03:02｜费曼：创造，是更深的理解 03:44｜AI想要创造，为什么要先学会压缩？ 04:04｜2006：辛顿与自编码器 AE 05:25｜AE的核心：先压缩，再还原 06:27｜Encoder与Decoder：抽象与具象之间 07:06｜什么是低维向量Z和潜空间？ 09:34｜AE如何训练？从重建到表征学习 11:33｜AE不会创造，却找到了创造发生的地方

【第28期】我们将深度拆解 2014 奇迹年的第三篇、也是最重要的一篇论文：蒙特利尔团队提出的注意力机制（Attention Mechanism） 看巴赫达诺（Bahdanau）如何用一次精妙的“微创手术”，打破 Seq2Seq 的信息瓶颈，让 AI 学会像人类翻译官一样，动态地、有选择地划重点。我们将不用复杂公式，逐词拆解注意力的三步计算：相关性打分 🡪 Softmax 转权重 🡪 加权求和。看 AI 如何从死记硬背进化到动态检索。 注意力机制的诞生，证明了处理序列信息的核心不在于循环，而在于依赖关系。这就为下一章那个真正终结 RNN、统治大模型时代的绝对王者Transformer埋下了最关键的伏笔。 00:00:00 至 00:01:54 闭卷考试的困境 00:01:55 至 00:04:34 动态聚焦的智慧 00:04:35 至 00:06:11 惊艳的微创手术 00:06:12 至 00:10:06 核心计算三步曲 00:10:07 至 00:12:15 打破信息压缩瓶颈 00:12:16 至 00:15:13 28年进化史回望 #AI #人工智能 #AI科普 #注意力机制 #Attention #深度学习 #RNN #Seq2Seq #大语言模型

同名视频号有视频版。 在生成式人工智能席卷全球的今天，技术的狂飙突进让无数科技探索者感到兴奋，但也伴随着失控的隐忧。 本期节目我们将把目光聚焦于一位极其特殊的重量级人物伊利亚 苏茨克维。他不仅是辛顿的得意门生，更是AlexNet Seq2Seq以及GPT系列背后的核心技术大脑。就是这样一个亲手缔造了现今AI繁荣的技术天才，却在OpenAI如日中天之际策划了一场震惊硅谷的行动，试图为这辆狂奔的列车踩下刹车。 他为何要在火焰最旺时选择做个灭火者？跟随我的视角，一起走进这位顶尖AI科学家的理想、妥协与最终的坚持。 时间轴 [00:00] 开场：从 Seq2Seq 讲到伊利亚·苏茨克维——这一次，他成为本期故事的主角。 [01:04] 少年伊利亚：从苏联出生、以色列成长，到追问“为什么人类会学习，而计算机不会”。 [01:28] 遇见辛顿：16 岁进入多伦多大学，在 AI 寒冬中走进连接主义的核心火种。 [02:31] AlexNet 一战封神：两块显卡训练出的深度网络，正式点燃深度学习时代。 [03:13] 从视觉到语言：伊利亚转向 NLP，推动 Seq2Seq 打开机器翻译与语言模型的新阶段。 [04:20] 加入 OpenAI：从谷歌离开，参与创立一个以 AGI 安全为理想起点的研究机构。 [05:08] GPT 路线成型：押注大规模无监督预训练、Transformer 与 Scaling Law，等待智能的“涌现”。 [07:06] OpenAI 宫斗爆发：伊利亚参与推动罢免 Sam Altman，安全理想与商业速度的矛盾彻底公开化。 [08:37] 离开 OpenAI，创立 SSI：不发产品、不做 API，把“安全超级智能”作为唯一目标。 [11:03] 回看伊利亚的三次点火：AlexNet、Seq2Seq、GPT 之后，他选择在技术狂飙中按下暂停键。

你好，欢迎来到白话大模型的第26期。在人工智能的发展史上，2014年是一个被称为奇迹年的特殊节点。在短短四个月内，三篇重磅论文的相继问世彻底改变了机器翻译乃至整个自然语言处理的版图。今天这期节目，我将带大家回到奇迹年的开篇，去认识一个叫做 Seq2Seq 的全新架构。在它出现之前，系统庞大且繁复的统计机器翻译法主宰了业界近20年。Seq2Seq 是如何通过先理解再生成的两步走战略，巧妙解决输入输出长度不一致难题的？AI 又是怎么利用向量把感性概念变成可计算数字的？让我们一起探索这把打开 AI 黑箱的钥匙。 * 00:00:48 见证人工智能的历史节点：2014 奇迹年与改变机器翻译版图的重磅论文 * 00:01:48 传统统计机器翻译法的困局：像几十个老师傅组成手工作坊一样繁杂的系统 * 00:03:21 革命性的两步走战略：由编码器与解码器组成的 Seq2Seq 核心思想揭秘 * 00:04:34 案例沙盘推演：模型是如何把英文原句逐词阅读并生成上下文向量再解码成中文的 * 00:08:32 打开黑箱的万能钥匙：什么是向量以及 AI 如何通过数字加减法推导出女王的概念 * 00:12:38 碾压传统模型的工程奇迹：伊利亚如何运用四层 LSTM 架构与庞大算力取得业界最佳成绩 * 00:13:54 下期重磅预告：贯穿两次技术革命的探索者伊利亚的现代传奇故事