← AI自习课
2026.09.22
Show notes
节目简介
你有没有注意过,AI 回答问题的时候,答案总是一个字一个字从左往右"蹦"出来的?这不是界面设计,而是今天几乎所有大模型的工作方式- 自回归(auto-regressive) 模型,像一台打字机,一次敲一个键,敲错了也没法回头改。
但人写文章不是这样的。我们会先列提纲,先想好结论,写完了再回头改开头。
这期我们聊一种"不按顺序写字"的大模型:扩散语言模型。它是 Midjourney、Stable Diffusion 这些图像生成工具,现在它搬到了文字上。它能先定结尾再填中间,能写完推理再回头改答案,速度快到每秒上千个词。让我们来聊聊它是什么,它的发展历程,和它与自回归模型的对比吧
本期关键词
扩散模型|自回归|掩码扩散|完形填空|块扩散|双向注意力|DiffusionGemma|LLaDA|Mercury|JEPA|表示空间|思维链可监控性
参考资料
学术脉络
* SEDD,离散扩散,ICML 2024 最佳论文:https://arxiv.org/abs/2310.16834
* MDLM,把文本扩散化简成完形填空:https://arxiv.org/abs/2406.07524
* Block Diffusion,在自回归与扩散之间插值:https://arxiv.org/abs/2503.09573
* DiT,扩散模型换上 Transformer 骨架:https://arxiv.org/abs/2212.09748
* LLaDA,人民大学与蚂蚁集团:https://arxiv.org/abs/2502.09992
* 数据受限时扩散胜过自回归(CMU):https://arxiv.org/abs/2507.15857
模型与产品
* DiffusionGemma 官方博客:https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/
* DiffusionGemma 透明度研究:"3 变 Gold"与"先写答案再改"两个例子都出自这里:https://arxiv.org/abs/2606.20560
* DiffusionGemma 的解码到底并不并行:https://arxiv.org/abs/2606.14620
* LLaDA 2.X 系列:https://github.com/inclusionAI/LLaDA2.X
但人写文章不是这样的。我们会先列提纲,先想好结论,写完了再回头改开头。
这期我们聊一种"不按顺序写字"的大模型:扩散语言模型。它是 Midjourney、Stable Diffusion 这些图像生成工具,现在它搬到了文字上。它能先定结尾再填中间,能写完推理再回头改答案,速度快到每秒上千个词。让我们来聊聊它是什么,它的发展历程,和它与自回归模型的对比吧
本期关键词
扩散模型|自回归|掩码扩散|完形填空|块扩散|双向注意力|DiffusionGemma|LLaDA|Mercury|JEPA|表示空间|思维链可监控性
参考资料
学术脉络
* SEDD,离散扩散,ICML 2024 最佳论文:https://arxiv.org/abs/2310.16834
* MDLM,把文本扩散化简成完形填空:https://arxiv.org/abs/2406.07524
* Block Diffusion,在自回归与扩散之间插值:https://arxiv.org/abs/2503.09573
* DiT,扩散模型换上 Transformer 骨架:https://arxiv.org/abs/2212.09748
* LLaDA,人民大学与蚂蚁集团:https://arxiv.org/abs/2502.09992
* 数据受限时扩散胜过自回归(CMU):https://arxiv.org/abs/2507.15857
模型与产品
* DiffusionGemma 官方博客:https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/
* DiffusionGemma 透明度研究:"3 变 Gold"与"先写答案再改"两个例子都出自这里:https://arxiv.org/abs/2606.20560
* DiffusionGemma 的解码到底并不并行:https://arxiv.org/abs/2606.14620
* LLaDA 2.X 系列:https://github.com/inclusionAI/LLaDA2.X