来自OpenAI和佐治亚理工联合发表的论文《为什么语言模型会有幻觉（Why Language Models Hallucinate）》。这篇论文的价值在于，它没有把幻觉归咎于“模型不够大”、“训练数据不够多”这类表面的原因，而是用严谨的统计理论和实证案例证明，幻觉本质上是两个核心问题的产物，分别是预训练阶段的“统计误差传导”，以及后训练阶段的“评估机制激励错位”。换句话说，幻觉不是技术上的“意外”，而是现有训练和评估逻辑下的“必然结果”。今天我们就从这两个核心问题入手，一步步搞懂幻觉的来龙去脉，以及到底该怎么解决它。

cdn.openai.com

聊天讨论群，微信群二维码，可加个人微信gxjdian入群