斯坦福AI大模型

这段内容源于 2017 年 UAI 大会的教程，由研究员 Shakir Mohamed 和 Danilo Rezende 深入探讨了生成式模型的前沿发展。文本通过将概率图形模型与深度学习计算图相结合，系统地介绍了如何构建能够理解复杂数据分布的智能体。作者详细对比了显式模型（如自回归模型）与隐式模型（如生成对抗网络 GANs），并阐述了变分推断在处理潜在变量中的核心作用。文中特别强调了随机优化技术的应用，包括评分函数估计器和路径积分梯度等，旨在降低模型训练中的方差。此外，教程还展示了生成模型在超分辨率、药物发现及强化学习等多元领域的广泛潜力。最后，作者通过介绍正规化流（Normalizing Flows）等技术，展示了如何利用深度神经网络构建比传统高斯分布更复杂的后验概率分布。

揭秘大模型长文本检索的幕后功臣：不到5_的“检索头”如何终结AI幻觉与提升效率

《检索头》论文精读：如何用“稀疏”且“因果”的机制，让大模型准确检索长文本信息？

解密谷歌DeepMind“广义知识蒸馏”GKD：如何让强大AI模型更小、更快、成本降百倍？