本期播客精华汇总

• Deep Learning is Not So Mysterious or Different：深度学习的泛化能力并非神秘，用“软性归纳偏置”就能解释，其独特优势在于表示学习。


• How Do Language Models Track State?：语言模型通过关联算法和奇偶关联算法追踪状态，展示了内部机制的多样性。


• Forgetting Transformer: Softmax Attention with a Forget Gate：遗忘Transformer用遗忘门提升了长文本建模能力，还简化了设计。


• Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks：解码器模型适配编码器任务，证明了其多才多艺。


• How to Steer LLM Latents for Hallucination Detection?：TSV通过操控潜空间高效检测幻觉，少量数据也能大放异彩。

完整推介：https://mp.weixin.qq.com/s/hSr8tyi0T4cPOx5Y5PgwOg