序列模型的滑动窗口递归 | SWR框架 | Phalanx层 | 递归架构
AI前沿

序列模型的滑动窗口递归 | SWR框架 | Phalanx层 | 递归架构

11分钟 96 2个月前
节目简介
来源:小宇宙
处理 128k 甚至更长的上下文时,你的大模型是否也快跑不动了?本期深度拆解由AI三巨头之一 Yoshua Bengio 团队发布的最新论文《滑动窗口递归用于序列模型》。他们提出了一种名为SWR的全新框架,旨在终结 Transformer 架构在长序列下的效率噩梦。
论文原文:www.arxiv.org
聊天讨论群,可加微信gxjdian入群

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧