大家好！这里是「氪地说」第二期。 今天，让我们来聊一个听起来有点魔幻又神秘的话题：“为什么说大模型训练是西方的炼丹术？这种炼丹术和中国古代的占卜又有什么关系” 我们先来回顾这场被称作“大模型革命”的变局。多年来，学术界受到传统统计学的影响，坚信再大的模型，也会过拟合，离真正的泛化性能越来越远，这几乎是写在教科书上的定论。所以当 Google 等大公司把大笔资金投入前沿研究时，他们会非常看重数理推导的“安全边界”，倾向于用新的算法结构或精巧的机制来解决问题，而不会轻易把规模和算力推到极限。 深度学习“炼丹”式的特点，在其早期就已经被学术圈、工业界戏称为“Alchemy（炼金术）”或“黑魔法”等。这种说法并非完全调侃，它折射出了现代深度学习的一部分现实——很多关键决策其实包含了很高的不确定性，需要依赖经验、直觉和“勇气”**来做“超大规模押注”，而不纯粹是从严格的数学推导或商业逻辑里“精算”出来。之所以会出现这样的情况，原因可以概括位： 1、深度学习在某些层面仍缺乏精确的理论保证 • 目前对深度神经网络为何能在过参数化、大数据场景下依然有良好泛化性能，还没有一个完全统一、严谨的理论。 • 因此，大模型究竟能不能训好、要调多少层、多少参数、更换哪些架构，这些决策往往是“试出来”的，而不是从头到尾用公式就能演算确定的。 • **“要多大算力、要多少数据才能收敛到满意效果”**等问题并无放之四海而皆准的标准答案。 • 研究者只知道“模型更大、数据更多”通常有利于提升上限，但会不会出现边际收益递减、乃至跑不出预期效果，很大程度上要看实验结果。 这就造成了“炼丹”式的局面：要做就得投入大量资源先烧起来，否则压根不知道能不能成功。 2. 巨头在大额投入前更看重“可预期收益”和“风险可控” • 对于像 Google 这样成熟的科技巨头，他们需要对股东、管理层、品牌形象负责。一旦要投入几十亿美金来训练一个“还不知道能不能学得好、是否适合大规模商业化”的模型，内部必然会提出无数疑问： • “训练不成功怎么办？” • “万一出来效果很差、或者没有明显领先竞争对手，投入就打水漂？” • “即使效果不错，但跟我们的搜索和广告业务冲突怎么办？” • “这是不是对于现有生态而言，风险大于机会？” • 即便 Google 家底殷实，也会考虑大笔资金的ROI。如果这笔投入一旦在短期内无法转化为实际收益，还可能影响现有业务，对股价和市场预期都有潜在负面影响。 所以，当年 Google 即便在内部“炼丹”，也更倾向于先在小范围研究和测试中反复验证，尽可能保证“出手即成功”，而不是像 OpenAI 那种在不确定很高的阶段就“放手一搏”。OpenAI孤注一掷的豪赌更多的不是基于完备的逻辑上，而是经验、勇气、直觉或者可能得到了某种更深层次的暗示有关，这种激进策略在商业史上也能留下一笔，但还是很少有人能把这个过程讲的很透彻，“愿不愿意去炼丹”背后的决策，更像是综合了公司文化、业务结构、风控策略，以及对未来趋势的感性判断。 参考或延伸阅读： • OpenAI 官方博客中关于 GPT-3 / GPT-4 训练的报告及 Scaling Law 经验总结 • DeepMind/Google 近年来关于大规模模型训练的相关论文 • 2019 年 Jonathan Frankle 等人提出的 “Lottery Ticket Hypothesis” • 各大脑科学实验室关于人脑可塑性、功能重组的研究 • 部分量子脑、意识物理学的前沿假说，虽非主流，但为“神经网络能否隐藏更深层物理机理”提供想象空间

大家好！ 这里是氪地说的第一期。 KFK像是一个异类，他在各种媒体大力煽动刺激消费的时代，提出未来的世界是一个回归到内在精神的时代，而这种觉醒是伴随着巨大苦难与人们意想不到的科技研究成果出现的，这样的设定不自觉的引人遐想和反思：我们所处的社会如果站在未来的角度来回看是否是仍然处于愚昧无知的阶段呢？ 我第一次听说KFK是2019年上半年，那时在豆瓣上出现了一个自称来自2060年的未来人，很多人持续在微博、虎扑和豆瓣上讨论着他。我的第一反应跟很多人一样，想着这又是哪个人来编故事蹭流量了，在19年时并没有非常重视他留下的东西，只是走马观花的浏览，但当去年11月特朗普成功当选美国总统以及OpenAI发布了o3新版本的ChatGPT，KFK的多个预言再次命中，于是我再次，仔细研究起了KFK的所有预言，这次的深入分析和思考希望能对大家有所启发。