节目

你喜欢的节目都在这里

#515. GPT-5、Claude 和 Gemini 的是如何训练与部署的

跨国串门儿计划

📝 本期播客简介 本期我们克隆了硅谷硬核科技播客《Dwarkesh Patel》How GPT-5, Claude, and Gemini are actually trained and served – Reiner Pope 嘉宾 Reiner Pope 是芯片初创公司 Maddox 的 CEO,更早之前曾在谷歌负责 TPU 架构设计。整期节目采用“黑板讲座”的形式,Reiner 从最基础的 roofline 模型出发,一步步推导出批次大小如何影响大模型推理的延迟与成本,揭示了“内存墙”为什么是上下文长度的真正枷锁。他还结合 Gemini、DeepSeek 等前沿模型的公开定价,反向推算出隐藏的技术架构,甚至连 KV 缓存存储在哪一层内存都能猜出来。对话后半段更跨界到密码学,探讨神经网络与密码协议在结构上的惊人相似。这是一堂 AI 基础设施的实战大师课,听完你会对“为什么 API 定价是这样”“为什么模型扩展变慢了”这些问题豁然开朗。 👨‍⚕️ 本期嘉宾 Reiner Pope,AI 芯片公司 Maddox 的创始人兼 CEO,曾在谷歌领导 TPU 架构设计,对分布式训练、推理系统和芯片设计有极其深厚的工程与研究积淀。他还是《Scaling》一书的作者。 ⏱️ 时间戳 开场与技术形式 00:00 Yikai 开场及节目介绍 01:26 Dwarkesh 介绍嘉宾与“黑板讲座”设置 Roofline 模型与批次大小的艺术 02:53 为什么要从“批次大小”开始?它对延迟和成本的决定性影响 04:33 批处理为什么能节省上千倍成本? 07:04 一张延迟图看懂内存时间与计算时间的平衡 10:25 稀疏注意力与最优批次大小的代数推导 12:00 单用户推理为什么贵?成本曲线揭示的无穷大起点 15:20 最优批次大小≈300×稀疏度,一个跨硬件稳定的常数 17:08 推理引擎的“火车模型”:每 20 毫秒固定发车 19:35 从每秒 12.8 万 token 反推前沿模型的多大用户量 21:38 增加稀疏度划算吗?《路由语言模型统一法则》告诉你答案 模型架构与硬件拓扑 24:15 混合专家层如何分片到 GPU 机架上 27:47 机架内的 NVLink 高速网络与机架间慢八倍的“瓶颈” 32:33 为什么 GPT‑4 之后模型规模扩展变慢了?不是计算,是内存容量在等机架 35:40 流水线并行真的省了内存吗?通信模式的代数拆解 39:45 流水线气泡:训练中的微批次权衡与推理中的“不费脑”设计 内存墙、过度训练与规模法则 45:12 内存容量真的过剩吗?为何大家还在砸钱买 HBM? 49:03 为什么流水线并行对 KV 缓存无效?内存容量的死结 52:00 过度训练 100 倍?从 Chinchilla 最优到真实世界的偏离 58:23 预训练、强化学习与推理 token 的最优成本分配 01:04:24 惊人反推:预训练数据量其实约等于模型整个生命周期的推理 token 数 从 API 定价反推技术架构 01:05:26 Gemini 长上下文加价 50%的硬件解释 01:09:50 价格如何泄露秘密:每个 token 的字节数、KV 缓存大小都能算出来 01:12:47 输出 token 为什么比输入贵 5 倍?解码与预填充的内存带宽真相 01:14:51 KV 缓存命中便宜 10 倍:HBM、DDR 与机械硬盘的角色分配 01:22:00 5 分钟 vs 1 小时:定价时长正好对应闪存与机械硬盘的“排空时间” 交叉学科火花 01:24:17 神经网络与密码学:同样的“混合”结构,相反的训练目标 01:27:06 对抗攻击与后门:神经网络里的“雪崩效应” 01:28:45 从密码学借来的可逆网络:用计算换内存,反向传播不用存激活值 结尾 01:30:50 结语与致谢 🌟 精彩内容 💡 “火车模型”:理解推理延迟的钥匙 Reiner 把大模型推理比作固定时刻表的火车:每 20 毫秒发车一次,能上多少用户就上多少。这直接解释了为什么多付钱可以得到更快流式输出的“快速模式”,以及为什么存在“慢速模式”都无法突破的成本下限。 🛠️ 内存墙:限制上下文长度的真正元凶 “内存墙没有真正的解决方案”,Reiner 直言。通过 roofline 分析,他展示了为什么超出 20 万 token 左右后成本会急剧上升——不是因为算力不够,而是因为内存带宽被 KV 缓存吃满。这也是 Gemini 等模型长上下文定价加价 50%的根本原因。 🚀 用公开价格反推绝密架构 Reiner 现场演示了如何通过 API 每百万 token 的定价,推导出模型中每 token 的 KV 缓存字节数(约 2KB)、注意力头的维度,甚至推断出缓存是放在 HBM、DDR 还是机械硬盘里。一堂震撼的技术情报分析课。 💻 批次大小:从千倍成本差到硬件常数 如果不做批处理,单用户推理的成本可能比批处理高上千倍。而最优批次大小竟然可以通过一个简单的硬件常数(算力 / 内存带宽)乘以模型稀疏度直接估算出来,这个常数在不同 GPU 世代间保持惊人稳定。 ❤️ 密码学与神经网络:同构的两面 神经网络通过梯度下降学习结构,密码学却拼命制造随机性的“雪崩效应”。Reiner 指出,这恰恰是同一个混合架构的两个极端用途,而可逆网络正是从密码学中借来、用于节省训练内存的巧妙设计。 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的 使用 AI 进行翻译,因此可能会有一些地方不通顺; 如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight

92分钟
2k+
1周前

#332. 耳机维修佬对你使用了绵羊油!

声波飞行员 | sonic pilots

一夜之间,有线耳机枯木逢春,媒体上到处都是「除了有线,都是优点」的奇谈怪论,发烧友群体也突然觉得,讨论环境好像一夜间回到了十几年前,颇有穿越的错愕感觉。在提前入夏的深圳,我从西到东横穿市区,到了罗湖一处漂亮的老小区里,去采访一位穿越时空的耳机维修佬。 走进他的家可谓是真正的穿越——朴素的1990年代的装修和老家具,油画、围棋、电视、实体书,当然还有一排排的音响器材,一箱箱的耗材和挂满墙的各种耳机。他在我们节目里经常被提到。嗯,没错,这是一个老高采访另一个老高的节目。 老高的经历非常简单,从「边防证」还存在的2000年代起,在深圳当维修工程师。其间开始玩耳机和音响,也走进了深圳发烧友的圈子。十几年来,老高致力于维修和折腾,修单元、做线材、改方案都不在话下,但他很谦虚地说,自己手艺一般,更擅长「外科手术」,比如打理设计糟糕的Beyerdynamic T1 的头梁和耳罩,比如这次,帮我的Philips shp2500 换上了RODE nth50 的单元和原道的线,做出了一个声音非常不错的缝合怪。 如果你喜欢这期节目,记得去闲鱼搜索「耳机维修佬高坤」,关注他。当你的耳机或耳塞出现问题,或者单纯地想翻新一下耳罩,折腾一下头梁,换换单元、线材,甚至体验一下缝合怪的乐趣,都可以找他问问。也请继续支持「声波飞行员」,别忘了在「爱发电」平台为我们打赏,增加它继续飞行下去的动力。谢谢。 时间轴: * [00:00:03] BGM#1. Pet Shop Boys - Go West pt.1 * [00:01:57] 正式节目开始,介绍「另一个老高」; * [00:05:41] Philips shp2500 与电影《社交网络》里出镜的情节;老高觉得自己是耳机的「外科医生」;关于另外几位圈内著名的耳机医生:980202、蓝蓝海洋;一个上古的品牌「碧丽珠」; * [00:15:00] Beyerdynamic T1 的糟糕设计(老高并不认同);和老高认识的契机——Denon D2000 框架的悬挂螺丝如何维修; * [00:23:32] 修耳机这么多年,让老高评价一下各个厂家的设计和做工水平;Denon 的喇叭悬边的老化问题;为什么不去主要做维修喇叭和线材这种更「主流」的维修; * [00:33:43] 专注维修三十年,和老高聊聊「修复」与「系统性报废」;老高被闲鱼小法庭判负与唯一一次差评;老高为何挚爱Denon; * [00:47:40] 进入发烧友闲侃状态;十几年前的深圳发烧友群体;ATH-W100 和HA2002;老高能不能自己做个Yaxi 出来; * [00:59:45] BGM#2. DOPE LEMON - Slinging Dimes * [01:01:28] 为何放弃了「舒伯乐Mod」的大计划;声音记忆D50、大脑耳机这些阻挡老高做耳机的「幻神」;一个T5p 和T1 框架的缝合怪; * [01:06:28] 逼问环节:老高有没有自己做耳机的「野望」;「小不点 Little Dot R1」真空管一体机的不同听感;一些冷门真空管做胆机的思路;孟获的shp2500 上缝合了哪些东西; * [01:19:41] 让一个维修佬评价一下,十年前和现在的发烧环境哪个更好;手持ATH-W1000x 速通「飞利浦金耳朵测试」的老高; * [01:25:11] 老高自己想做的耳机是什么样子;德生 TECSUN 的两个「草根耳机」; * [01:29:30] 一个维修佬的生活; * [01:33:03] BGM#3. Paul Romero / Rob King / Steve Baca - The Pride of Erathia (Heroes III OST) * [01:33:34] Diablo 2 重制版,以及老高如何戒断游戏;老高爱读什么小说; * [01:35:28] BGM#4. Pet Shop Boys - Go West pt.2 * [01:36:04] 结束语;如何支持这位修耳机的老高。 参与录音: * 老高 (闲鱼:耳机维修佬高坤) * 孟获

96分钟
99+
1周前

有朋友问:“你是教中医养生老板怎么做流量的吗?”

小红书从入门到变现

在小红书获客一线实操,所获得的一手优质信息源。 —— “你是教中医养生老板怎么做流量的吗?” 今天有位朋友加我微信,说: 他看了一圈发现讲流量的账号不少, 但真正结合大健康中医养生业务, 来讲线上获客的目前只有我一个, 他觉得这个角度挺独特的, 分享的内容也很有价值。 听到这句话呢,我会心一笑,说明: 我在大健康这个赛道上的标签和定位, 正在一点点被看见被记住。 —— 小红书精准获客引流运营方法论、小红书博主起号运营300问。 —— 再给你分享2个“听友”福利: 1、送你一份我手写的,近1w字的电子书,《小红书半年变💰百万的 13 点经验》价值999 纯实战经验,强烈建议你看一看, 一定能让你,在线上获客这件事上,少走弯路。 2、同时我建立了一个专属“听友群”, 我会日更365天,在群内分享,我在自媒体一线实操的心得经验, 一定会对你有启发的,也可以在群内提问小红书困惑,我会进行解答。 听友群,是免飞的,可以直接找我加入。 ♈:dl958488455 备注:播客 强烈建议你关注我的公众号:大李流量笔记 我也会在这里,持续分享小红书起号运营干货,助你实现小红书低粉丝高变现。 以及《AI小红书从入门到变现》这个专栏(点击下划线查看) 我写了220+篇,小红书实战踩坑经验,拿结果的经验,认真看完,能让你少走3年弯路。 —— 我是大李流量笔记,小红书官方认证的种草营销师,小红书精准获客陪跑,找大李! 聚焦一件事:如何通过AI+小红书,解决线上获客少、获客不精准等问题,实现低粉丝高变现。 7 年资深自媒体人,20w 小红书矩阵粉丝操盘手,某自媒体平台小红书类目Top1。 目前已了几十场线下课,3000+付费客户,遍布全球 4 大洲 12 国 125 个行业。 小红书获客有很多,精准获客找大李!

2分钟
77
1周前

微解读|美国国内法下特朗普撤军DDL即将到来,5月1日之后会发生什么?

907编辑部

明天就是5月1日,对于美国总统特朗普而言,这不是普通的一个劳动节,更将面临一条严峻的法律红线。 根据美国1973年《战争权力法》,对于美国自2月底开启的对伊朗军事行动,法定的60天海外无授权用兵宽限期即将彻底耗尽。在全球关注着紧盯日历时,华盛顿早已暗流涌动。总统的左膀右臂正爆出内讧裂痕,副总统万斯私下担忧防长海格塞斯在战争倾向上“误导”了总统。特朗普本人压根没打算停手,展现了“别催我”、“赶紧放聪明点”的强硬表态,他不仅没有准备撤军报告,反而指示助手准备对霍尔木兹海峡实施“长期封锁”,甚至以“经济狂怒行动”冻结了伊朗数亿美元的加密货币。 如果大限将至特朗普依然拒绝撤军且未获国会授权,华盛顿将上演怎样的政治风暴?本期播客,我们就来深扒拥有“战争特权”的美国总统与国会之间拉扯了半个多世纪的猫鼠游戏。 节目中,我们将回溯《战争权力法》在越战废墟中的诞生背景,并盘点福特、里根等历任美国总统是如何利用法律灰带与国会见招拆招的。当白宫大玩文字游戏时,国会在干嘛?伴随战事胶着与油价物价齐飞,汹涌的民意反弹正让政客们越来越心虚。手握“钱袋子”的议员们,谁也不想在支持率暴跌的泥潭里签下自己的名字来承担政治责任。而一向被视为最后防线的联邦法院,又为何频频以“不可裁判的政治问题”为由选择回避? 此外,在国际政治的棋盘上,最致命的往往不是敌人的强大,而是自身内部裂痕的彻底暴露。美国如果因战争授权问题陷入国内撕裂、白宫内讧、司法缠斗甚至财政停摆风险,无疑会让其军事威慑力大打折扣。在惊弓之鸟般的全球能源市场中,这是否会让伊朗看穿底牌,重新计算停火谈判的筹码? -时间轴- 01:15 《战争权力法》是怎么来的? 03:05 法律的灰色地带与历史上的猫鼠游戏 05:35 谁来踩刹车?——从“政治回避”到历史的勇气 08:45 建国者的警告与国会的“叶公好龙” 11:50 牵一发而动全身——国内裂痕如何变成地缘软肋? -制作团队- 监制:吴挺 统筹:李怡清 文案:张无为 剪辑:张无为

14分钟
2k+
1周前

《不好笑就露宿街头》05期:高铁B座换F座,这是怎么张得了口的?

大声密谋

🎙️《不好笑就露宿街头》第五期:史上最高一期评价诞生! 咱们聊下来是真的上头——杨迪这回拿出了他压箱底的看家本事,吃饭专门研究差评那套理论直接把人笑不活,大张伟看完说了句“仿佛回到了《火星情报局》”;柳三便那个高铁段子更是神来之笔,从韭菜盒子的“生化攻击”讲到B座想换F座那点微妙的小心思;包可爱送外卖像跟绑匪通电话,“感觉送的不是饭,是赎金”;翟佳宁被智能马桶底下的灯整不会了,“爱迪生看了都沉默”;楚歌“天降奶奶”,银行卡没钱但医保卡有钱;孙郁拿父亲心梗住院说事,“心电图是我听过最真诚的心动信号”;大汉一句“县城婆罗门”翻个身就能把别人的优越感震塌。 我们把这期从头笑到尾聊了个遍,放心听完不用露宿,甚至还是历史新高的评分!但小心笑到有家不想回。 本期节目主播:CZ\小鸷\大林\小妹儿 欢迎加微信“大密官微”(微信号:dsmmwx0713)进听友群~ 小红书账号:大声密谋播客(ID:49590324496) 本期时点: 00:16:开场 00:24:赛前闲聊 01:14:二狗 05:38:杨迪 08:07:翟佳宁 14:20:柳三便 18:40:楚歌 25:03:包可爱 32:10:孙郁 39:28:大汗 46:44:尾声(歌曲:大张伟《万物盛开法则》)

49分钟
99+
1周前

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧