AI前沿:从注意力革命到数学证明

AI可可AI生活

本期《TAI快报》深入探讨了五篇AI领域的前沿论文,揭示了从注意力机制优化到数学推理的最新突破: 1. Softpick: No Attention Sink, No Massive Activations with Rectified Softmax 提出Softpick函数,打破Softmax的和为一约束,消除注意力沉没和巨量激活,提升模型量化性能,但在长上下文任务中存在分数压缩问题。 2. WebThinker: Empowering Large Reasoning Models with Deep Research Capability 通过深度网络探索器和自主思考-搜索-起草策略,赋予AI自主研究能力,生成更全面的报告,但系统复杂且需应对网络信息质量问题。 3. Equivariant non-linear maps for neural networks on homogeneous spaces 构建了非线性等变神经网络的通用数学框架,统一解释卷积和注意力机制,为未来模型设计提供理论指导,但缺乏实验验证。 4. DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition 利用子目标分解和强化学习提升AI形式化定理证明能力,达到SOTA水平,但依赖复杂系统和高性能外部模型。 5. Investigating task-specific prompts and sparse autoencoders for activation monitoring 发现提示式探针在数据效率和泛化上表现优越,SAE探针适合数据充足场景,为AI安全监控提供实用建议,但需警惕模型欺骗风险。 完整推介:https://mp.weixin.qq.com/s/4mm4j90-Q7-7EoFd8LSDpg

9分钟
99+
7个月前

我有个朋友 06|甜橙:为什么她总爱留在伤害她的人身边?

心理实战派

“我有个朋友,她总说‘他其实对我很好’,但我们看到的,是她一遍遍原谅、一次次受伤。” 这一集,我们认识了甜橙——一个典型的“被PUA型恋爱脑”。 在感情中,她习惯性自责,把情绪绑在对方的好坏之上;即使被伤害,也害怕离开;即使所有人都劝她清醒,她也总能找到理由留下。 本期,我们从投射性认同的心理机制出发,聊聊为什么有些关系,看似是被控制,实际上是双方无意识的合谋? 为什么“受害者”有时候,也是悄悄在操纵剧本的人? 如果你曾经在一段感情里反复原谅、反复怀疑自己; 如果你发现自己“离不开”,却不知道怎么走出来; 这集的甜橙,或许会照见你内心深处某些熟悉的声音。 ———— ✨ 酒懵子精选金句 • “受害者和施害者,往往是同一组剧本的演员。” • “不是他不放过你,是你放不下自己被需要的幻觉。” • “我们一直在教别人,怎么对待我们。” • “依赖感强烈的人,最容易掉入爱的控制与操纵。” • “爱情不是盲目的,是我们在盲目中寻找熟悉的剧本。” ———— 🍊 人物画像|甜橙(被PUA型恋爱脑) 代号:甜橙 设定:外表开朗,在亲密关系中极度缺乏自信。被贬低、被冷暴力时,总归咎于自己的“不够好”。朋友圈越来越沉默,朋友劝她清醒,她反而更努力解释“他其实对我很好”。被操控、被挽留、再被伤害,陷入痛苦又反复自责。 关键词:恋爱脑、依恋成瘾、自我怀疑、情绪勒索 象征画面:手机里反复翻看的聊天记录、删了又加的好友列表、夜晚独自哭泣又自责的自己 ———— 下集还有别的“朋友”等你认识,记得关注我们,别让他们一个人待着。 在别人的故事里,看懂自己;也在自己的故事里,放过自己。

30分钟
99+
7个月前
EarsOnMe

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧