晚点聊 LateTalk - 103: 用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进 - EarsOnMe

无人机系荔枝来

3个月前上海

23

Andrej kaparthy最新出了一个三小时的llm 101 那个讲得非常好非常适合入门

曼祺_MatchQ

3个月前北京

18

连更一下！上周 DeepSeek 发布 NSA、Moonshot 发布 MoBA，都聚焦注意力的改进。这期我邀请了两位都做过注意力改进的嘉宾一起聊——分别是 InfLLM 的作者肖朝军和 MoA 的作者傅天予。两位尽可能深入浅出地解释了 Attention 的优化历史，NSA 和 MoBA 的改进与亮点和未来趋势。 Attention 的优化过程，其实就像一根绳子，能串起大模型性能与效率优化的历史和基本思路。不是每个人都需要或有精力去了解 AI 的具体技术，但越来越多人会被 AI 影响，我们可能都要储备一点“智能思维”和理解机器的“常识”。

reddream

3个月前北京

11

对两位清华博士表达能力表示惊叹，相对于某位主播读论文的播客的最新一期

TsumetaiChiTrader

3个月前北京

8

如果想要卷的快一点，可以看我整理的这个文档。《DeepSeek认知之旅》文档链接：https://kcnrgc2yrax7.feishu.cn/docx/AJo5dVRS7ortyEx1OW8cX9KBngd?openbrd=1&doc_app_id=501&blockId=doxcncVubbqQeHtN9klREuWVgUQ&blockType=whiteboard&blockToken=KrGqwrZKDh2PkpbNR6hcWn2Rn7b#doxcncVubbqQeHtN9klREuWVgUQ

路上行人

3个月前未知

7

本来打算做“睡前听物”，结果听着听着发现无论是主持人的提问还是嘉宾的解答都非常有条理，讲的也很清楚，明显是做足了功课！给我带来很多新的了解。感谢！

豆Jayce

3个月前江苏

4

深夜突击:-D

heng_y

3个月前北京

4

同样是讲论文，这期比xiaojun那期真的是强太多了，无论是从主播还是嘉宾方面，理解力、表达力，包括共情力都强太多。加油！

到码头整点薯条a

3个月前湖北

2

15:42 主流方向分类：1.稀疏注意力(加速transformer) 2.线性注意力类似rnn (比如mamba)

ByRain

3个月前北京

2

这期播客得把倍速关了听，受益匪浅 👍

瘦子你胖了

3个月前广东

2

非常喜欢这期的内容，就像一本《注意力简史》。我想提一个和deepseek相关但是不是注意力方向的问题：我个人使用下来感觉deepseek最牛的除了做数学题写代码这些，它很会说“黑话”。让它毒舌的时候它好像吃了一个豆瓣和微博一样，让它说体制内黑话它又马上变老干部。我个人感觉这种能力是不是不是RL后训练和稀疏注意力带给它的，毕竟k1.5在这方面好像就没有那么地道。我猜想是不是ds的语料有不同？不知道曼祺有没有这方面的信息？