AI自习课

Podcast

AI自习课

主播 未知 出品 Veraaaaa_ 1,203 订阅 53 集 3天前更新

在小宇宙收听
[周报] 解读 NVIDIA 爆款最新论文:AI不需要长上下文

[周报] 解读 NVIDIA 爆款最新论文:AI不需要长上下文

AI自习课

🎧 本期简介 当整个 AI 大模型社区都在盲目追求 128K、256K 甚至 1M 的“超长上下文窗口”(Long Context Window)时,NVIDIA 研究团队发表了一篇令人警醒的重磅论文——《You don’t need long context》。 研究团队直面大模型部署与运行中的现实痛点:生成靠后的 Token 成本远高于开头的 Token,不仅如此,长上下文还会导致解码吞吐量剧烈坍塌、首字延迟与内存消耗成倍剧增。 🔍 给 AI 开发者与架构师的 4 条落地建议 1. 别再凭空为超长 Context 掏冤枉钱 在实际 Agent 系统开发中,优先考虑在 Harness 层(如 LangChain、LlamaIndex、自研 Agent 框架)实现状态压缩与文件按需读取,而不是直接调用昂贵的 1M 窗口 API。 2. 良好的 Compaction 必须是“针对未来执行的简报”,而非历史叙述 论文研究表明,好的总结提示词(Compaction Prompt)不应该试图平等总结过去的每一句对话,而必须强制包含: * 明确的最终目标(Objective); * 已建立的准确事实与已修改的文件列表; * 验证状态与失败的死胡同(Dead ends); * 针对未完成子目标的下一步按顺序执行计划。 3. 赋予 Agent 强大的局部文件检索工具 针对超长文档或代码库任务,给 Agent 提供 doc-read(限定字符范围读取)、grep 等精确切片工具,其表现远优于将几十万字直接塞入 Prompt 的“大力出奇迹”做法。 4. 重新审视 Agent 架构中的 RAG 与 Memory 设计 不要把所有历史 Observation 都留在 Context 里。将复杂长流程解耦为“状态更新”与“单步决策”,不仅能显著降低 API 账单,还能防止模型在过长的历史噪点中产生迷茫(Lost in the Middle)。 🔗 论文与资源链接 * 论文原件:arXiv 2611.05306 PDF * Hugging Face Daily Papers 讨论:You don't need long context - Hugging Face * NVIDIA Lab 项目主页:Project Moonshot: Local Frontier Intelligence

22 分钟 99+ 次播放 1周前

EP-29 百万🌟 GitHub 爆火AI Skills大赏

EP-29 百万🌟 GitHub 爆火AI Skills大赏

AI自习课

本期干货满满 这期让我们一起逛一逛 GitHub 上最火的一批 Skill,星星收藏数加起来上百万。 节目最后再聊聊了一个最近外网的一个热议话题:如果现在的模型真的这么强,一天就能做一个app,模型公司为什么不干脆自己开一百家公司? 本期聊到的 Skill 开发流程类 * obra/superpowers:不让 AI 一上来就写代码,先澄清需求、做计划,再按测试驱动开发来做。 * andrej-karpathy-skills:把 Karpathy 对 AI 写代码通病的观察,浓缩成四条原则:先想再写、求简、只改该改的、用目标来验证。 * anthropics/skills:Anthropic 官方的 Skill 仓库,里面有文档处理四件套、前端设计,还有帮你写自己 Skill 的 skill-creator。 省力省钱类 * ponytail:让 AI 像房间里最懒的资深工程师那样干活,因为最好的代码就是没写出来的代码。 * caveman:让 AI 像原始人一样说短句,号称能省下大约 65% 的输出 token。 设计和文字类 * taste-skill:给 AI 一套设计师的工作流程,去掉网页的“AI 塑料味”。 * humanizer:找出 26 种 AI 写作的痕迹并改掉,去掉文字里的 AI 味。 学习类 * Understand-Anything:把一个大代码库画成一张看得懂的地图,新人入职的时候特别有用。 * ai-engineering-from-scratch:一门从零开始的 AI 工程开源课,能把你的编码助手变成一对一的私教。

26 分钟 99+ 次播放 2周前

评价

还没有人评价。听过的话,留个分数和一句短评吧。

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的单集添加进来吧