节目

你喜欢的节目都在这里

GTC 2026:AI的下一个战场不是模型,而是「推理系统」| S10E04

What's Next|科技早知道

2026 年 3 月,英伟达年度开发者大会 GTC 在美国 San Jose 开幕。这一年的 GTC 气氛与往年明显不同——黄仁勋不再需要向市场证明 AI 的价值,因为 Agent 爆发和开源模型崛起已经让算力需求成为行业共识,Token 消耗量正在以百倍速度增长。 本期节目,Diane 在 GTC 现场为大家带来了第一手的观察,也专访了推理优化初创公司 Eigen AI 的联合创始人。Eigen AI 由三位 MIT 背景的创始人于 2024 年中创立,主攻开源大模型的推理加速与企业定制化部署。这次 GTC,他们的推理速度跑分直接登上了黄仁勋 Keynote 的大屏幕,是当前推理速度最快的团队之一。 节目里我们深入聊了为什么推理层正在成为 AI 行业最重要的竞争战场、GPU 和 LPU 各自在推理过程中扮演什么角色、英伟达斥资约 200 亿美元收购 Groq 背后的战略逻辑,以及当前 AI 应用的商业模式为何正在面临系统性挑战。 本期人物 丁教 Diane,「声动活泼」联合创始人、「科技早知道」主播 Di Jin,Co-founder at Eigen AI 主要话题 [00:11] 今年 GTC 最大的不同是什么? * 黄仁勋状态明显更放松,不再需要向市场"推销" AI 的价值 * Agent 爆发让 Token 消耗量指数级增长,算力需求已成行业共识 * 开源模型崛起打开了推理层的商业空间,这一层开始变得关键 [09:13] Eigen 是一家什么样的公司,在做什么? * 三位 MIT 背景创始人,专攻模型压缩与推理加速 * Post Training 帮企业定制模型,Inference 加速让模型跑得更快更便宜 * GTC 开幕前两天完成技术突破,推理速度登上黄仁勋 Keynote 大屏幕 [13:24] 过去一年 AI 行业最大的结构性变化是什么? * 模型训练层高度集中,GPU 成本比人才成本贵 10 到 100 倍,中小公司已基本出局 * Reasoning(推理时扩展)成为新的性能提升路径,让固定模型通过多花算力输出更好结果 * Agent 工作流让 Token 消耗量远超对话场景,推理层的优化价值随之暴增 [23:34] 英伟达为什么要花约 200 亿美元收购 Groq?GPU 和 LPU 各自擅长什么? * AI 生成回答分两阶段:读懂问题(Prefill)适合 GPU 并行处理,逐字生成答案(Decoding)适合 LPU 串行提速 * 当前最快模型约每秒 1000 个 Token,Agent 场景未来可能需要每秒 10000 个,GPU 单独难以跨越这道坎 * GPU 负责前段、LPU 接手后段,两者组合是目前长序列推理的最优解 [34:04] 推理优化的技术路径有哪些,分几个层次? * 底层是 CUDA 算子优化,针对不同模型的矩阵计算特点做精细调整 * 中间层包括量化(降低数字精度)、剪枝(删除冗余专家模块)、投机解码(小模型预测 + 大模型验证) * 最上层是调度与路由,核心是把请求打到存有对应 KV Cache 的 GPU 上,避免重复计算 [44:05] 推理优化怎么在速度、精度和成本之间做取舍? * 完全不掉精度、少量掉精度、需要后训练恢复精度,三类方案对应不同客户需求 * 对话场景最看重 TTFT(第一个字的响应时间),Agent 场景更看重整体任务完成时间 * 语音交互场景存在天花板:模型再快也超不过人能听懂的速度,快到一定程度就没有意义了 [47:28] AI 应用的商业模式为什么正在出现系统性问题? * SaaS 订阅制是历史遗留:以前软件边际成本接近零,现在每用一次 AI 都在真实烧钱 * 重度用户轻松"用穿"月度套餐,公司不得不限流,引发用户强烈反弹 * 更合理的方向是按任务完成量收费,但用户心理锚点还没有完成迁移,行业仍在震荡期 [53:52] 开源模型能追上闭源模型吗?推理层未来最大的机会在哪? * 行业最大的非共识:开源模型到底能不能真正追上闭源,以及 AGI 算不算已经到来 * 推理层几乎只能服务开源模型,开源能力的拐点直接决定这个赛道的天花板 * 一旦开源模型达到拐点,Token 将像电力一样渗透各行各业,推理层的市场规模将彻底打开 [Untitled] 黄仁勋的「AI 五层蛋糕」模型 名词解释 LPU(Language Processing Unit) Groq 公司研发的专用芯片,专为大语言模型的文字生成(Decoding)环节优化,通过把高带宽内存直接集成在芯片上,大幅提升了逐字生成的速度,但牺牲了通用性。 TPU(Tensor Processing Unit) 谷歌专为自身 AI 需求定制的芯片,性能强劲且价格相对便宜,但目前仅面向 OpenAI、Anthropic 等少数大型客户供货,缺乏开放的开发者生态。 Quantization(量化) 降低模型内部数字精度以节省存储和计算量的技术。好比把精确到小数点后 10 位的数字改写成精确到 2 位——计算量大幅下降,但对最终输出影响有限。精度从高到低依次为 FP32、BF16、INT8、INT4,越低效率越高,但掉点风险也越大。 Pruning(剪枝) 识别并删除模型中冗余参数或模块的技术。以 MoE 架构为例,模型内部有大量从未被有效训练的"伪专家",将其删除后模型精度几乎不受影响,但推理速度和效率显著提升。 Speculative Decoding(投机解码) 先用小模型快速"草拟"若干 Token,再让大模型批量验证并决定是否采纳的加速技术。当草稿被采纳的概率足够高时,整体推理速度可提升 50% 以上。 KV Cache(键值缓存) AI 在生成回答过程中,将对前文的"理解结果"缓存起来,避免每次都重新读取和计算全部历史内容。合理调度 KV Cache 是 Agent 场景下降低延迟和成本的关键技术之一。 MoE(Mixture of Experts,专家混合架构) 模型内部由多个"专家"子模块组成,每次推理只激活其中最匹配当前任务的少数几个。DeepSeek、Qwen 等主流开源模型均采用此架构,可在维持大参数量的同时显著降低实际计算开销。 SLA(Service Level Agreement,服务水平协议) 对服务质量的量化约定,例如"首字响应时间不超过 300 毫秒"或"每秒至少输出多少个 Token"。推理层的大多数技术决策,都是围绕在成本约束下满足客户 SLA 要求来展开的。 TTFT(Time to First Token,首字时延) 从用户发出请求到收到第一个输出字符的时间间隔。对话类产品中这一指标最为关键,直接影响用户对系统响应速度的主观感受。 「Knock Knock 世界」 上周「Knock Knock 世界」更新了「数字收藏」话题:一段视频、一个表情为什么也能成为博物馆的收藏品?点击这里收听节目👉https://sourl.co/8F55vV 「Knock Knock 世界」是一档适合9岁以上青少年收听的播客,你可以听到全球新鲜事,还能成为「全球观察员」,报选题、参加选题会。2026 年的节目正在持续更新中,可以在各大音频平台搜索订阅。 幕后制作 监制:Yaxian 后期:迪卡 运营:George 设计:饭团 商业合作 声动活泼商业化小队,点击链接直达声动商务会客厅(https://sourl.cn/9h28kj ),也可发送邮件至 [email protected] 联系我们。 加入声动活泼 声动活泼目前开放商务合作实习生、社群运营实习生和 BD 经理等职位,详情点击招聘入口详情点击招聘入口 关于声动活泼 「用声音碰撞世界」,声动活泼致力于为人们提供源源不断的思考养料。 我们还有这些播客:声动早咖啡、声东击西、吃喝玩乐了不起、反潮流俱乐部、泡腾 VC、商业WHY酱、跳进兔子洞 、不止金钱 欢迎在即刻、微博等社交媒体上与我们互动,搜索 声动活泼 即可找到我们。 期待你给我们写邮件,邮箱地址是:[email protected] [科技早知道] 欢迎扫码添加声小音,在节目之外和我们保持联系。 Special Guest: Di Jin.

58分钟
18k+
1周前

Vol.30 睡眠:没有什么事,比今晚睡个好觉更重要

双屿拾光

世界上最好的东西,往往是免费的,比如睡眠。它是我们与生俱来对抗疲惫、修复身心的礼物,也是情绪与创造力的源泉,但却总在深夜的屏幕蓝光和清晨的闹铃声中,被我们最先牺牲。 这期节目,我们想像朋友睡前卧谈一样,和你聊聊睡眠这件事。聊聊我们共同的困惑、学到的知识,还有那些亲测有用的助眠小方法。 愿这期节目,能陪你找回那份本就属于你的、安然入睡的能力。祝你夜夜好眠! 💤 收听指南 | 你将会听到: 占据我们生命1/3时间的睡眠 02:07 羡慕天生觉少的人,也在失眠的夜里焦虑 05:15 如何判断你的睡眠是否真的充足了? 夜里,我们的身体在忙些什么? 13:39 快速眼动睡眠 vs. 非快速眼动睡眠,一个像精雕细琢,一个像打地基 23:45 晚睡和早起毁掉的是睡眠的不同部分,但伤害一样大。规律,比时长更重要 长期睡不好,身体真的会抗议 27:42 对大脑:记性变差,抑郁焦虑,甚至埋下长远的健康风险 29:30 对身体:心脏、代谢、免疫力都会悄悄亮起红灯 31:01 亲身经历:因为长期缺觉,我曾经在医院突然晕倒 奇奇怪怪的睡眠现象,你也有过吗? 35:11 快睡着时,身体突然一抖,像踩空了 38:14 鬼压床、说梦话、磨牙、打呼…到底怎么回事? 来点实际的,如何睡个好觉? 43:24 我们试过这些助眠方法,真的有用! 51:51 一个误区:为什么睡前喝酒可能帮倒忙? 💡 这几件事特别想让你记住 1. 两个自测睡眠充足的标准(来自《我们为什么要睡觉》): * 上午10-11点,能否再次入睡? * 中午前,能否在不摄入咖啡因的情况下保持最佳状态? 2. 别为睡足8小时焦虑: * 有人需要9小时,有人6小时就够。关键是白天是否精力充沛,以及睡眠是否规律。 3. 一个关于睡眠时段的真相: * 牺牲睡眠的前段(晚睡)会损失大量深度睡眠;牺牲后段(早起)会损失大部分快速眼动睡眠。两者皆不可取,规律最重要。 4. 补觉很难弥补所有伤害: * 偶尔熬夜或早起,身体能调整。但长期睡眠剥夺造成的某些损伤,可能是不可逆的。 5. 亲测有用的睡眠小方法: * 运动后补碳法:晚间运动后,吃根香蕉或小馒头,降低皮质醇助眠。 * 478呼吸法:吸气4秒,屏息7秒,缓慢呼气8秒。 * 意念放松法:从脚趾到头皮,逐个部位想象它们沉下去。 * 建立与床的关系:在床上只睡觉,不躺床上玩手机、工作,让身体形成条件反射。 6. 关于睡前饮酒/酒精性饮料: * 酒精或许能帮你快速入睡,但会严重破坏后半夜的睡眠质量,让你早醒、多梦。它不是可靠的助眠剂。 🎨 插画来源:艺术家sayu.go 【💌节目介绍】 「双屿拾光」是一档充满着探索欲与松弛感的生活漫游播客。 主播是两位咨询同行,既是彼此的“职场白月光”,也是无话不谈的生活挚友。 桃乐茜爱旅行,沉迷书籍影音里的广阔人生; 冰棍爱玩爱野,擅长在生活中积蓄内心的能量。 我们聊远方的风景,也聊日常与成长。这里没有标准答案,只有两个朋友,记录每一次出发与回归的真心,陪你积攒照亮平凡时刻的微光。 双屿拾光,两个岛屿,一片回声。期待在这里,与你相遇。 【📻收听渠道】 欢迎在小宇宙|苹果Podcast|喜马拉雅|荔枝FM|QQ音乐|网易云音乐|Spotify 搜索「双屿拾光」。 【📧联系方式】 [email protected]

58分钟
99+
1周前

046. 【六神磊磊&张佳玮】做客,你的金庸,我的琼瑶,都一样!

要不整点

[图片] 本期主播: * 六神磊磊(微博:六神磊磊) * 张佳玮(微博:某个张佳玮) * 马军(微博:不详) * 莫比(微博:不详) * 莱特(微博:不详) * 肖璐(微博:那就肖璐吧) * 大家好,这里是编辑箱。 今晚微型播客节最后一场,六神磊磊&张佳玮&莫比&马军,这次重庆播客全明星了! 本期策划最早为聊金庸,聊聊武侠的当代性,然后前几周遇到琼瑶去世,编辑箱感叹江湖已远去,爱横情仇亦不遇。像是某个跌宕起伏的时代落幕一样,岁月在不经意间跑了很远。索性,我们就一起来聊聊那个特定年代里的流行作家,聊一聊把许多人童年的岁月背景填满的两位作家。聊一聊柔情的金庸和侠骨的琼瑶! 本期邀请到金庸学集大成的六神磊磊老师;全领域作家张佳玮老师;重庆独立书店匿名书店掌柜莫比了,主持则是由「金马讲」&「不开玩笑」主播,脱口秀演员马军老师,当然也有搭配「要不整点」常驻的肖璐和莱特! 注:除此之外,本期播客录制现场还提供免费的法国热红酒(感谢张佳玮&思若夫妇的赞助),免费的德国bockwurst香肠配面包(数量不是特别多,先到先吃),也欢迎打算来的朋友,随便带些吃的喝的?就当今天是圣诞市集版「要不整点」录制吧。 #【要不整点】周二聊天会 [图片] (金庸先生&琼瑶女士) 编辑箱的这一代人是这样成长的:电视剧里,要么在演琼瑶阿姨写的恋爱,女人们天翻地覆的爱,不顾旁人感受的爱;要么在演金庸先生写的男人们总有英雄梦,总有女人守候。在今天看都不是什么进步的情节了。 但在我青葱的岁月里,却真的从他们书里学到不少东西:虽千万人吾往矣,我决定了就去做,世人眼里再坏的人我爱了我就会爱下去,世人眼里再坏的事我决定做了我就会做下去。 从另一个维度来看,这不就是先锋?从过去到现在到未来我都相信这就是先锋的! 今天我们一起来聊聊,金庸&琼瑶! 要不整点|柔情金庸&侠骨琼瑶,老派江湖和狂放爱情! 话题①:聊聊两位作家的入坑作? 电影?电视?书籍?游戏?当时有多迷?影视剧库?...... 话题②:聊一聊你深刻的一些角色? 最先锋女性角色?能翻红的男角色?谁会被批判?谁会被赞扬?意难平? 话题③:老派文学的当代性? 还有潇洒的梦吗?宏大的个人英雄主义也爹吗?恋爱脑不可以吗? 话题④:什么是金庸?什么又是琼瑶? 英雄梦?爱情梦?破碎历史观的精神世界?以及文学以外的两人? 话题⑤:新媒体时代下会有下一个金庸或者琼瑶吗? AI作家?敏感人群专属作家? 话题⑥:【玩起来】给六神老师筹拍金庸剧! 现场发言观众,将会根据发言,给每个人安排角色! 特邀嘉宾: 六神磊磊(作家,金庸学集大成) 张佳玮(作家,也是金庸爱好者) 莫比(匿名书店掌柜,爱喝酒) 主持: 马军(「金马讲」&「不开玩笑」主播,脱口秀演员) 嘉宾: 肖璐(2号检票员,电视剧无能) 莱特(宝岛科学老师,镜像琼瑶) OP:《青青河边草》高胜美 EP:《沧海一声笑》罗大佑/黄霑/徐克 本期制作:肖璐 本期策划:肖璐/马军 本期剪辑:肖璐 封面制作:肖璐

142分钟
1k+
1周前

059 我们能避免运动中的猝死吗?(第013期重发)

讲点武德

本期更新于2026年3月25日,惊闻张雪峰老师猝死,特地把之前聊过的这期再更新出来,希望能帮助大家 欢迎大家加入听友群,可以添加小助理微信:daxiongnizaiganma,小助理会将您拉进听友群中 02:43 运动中的昏厥现象 05:31 马拉松运动的猝死发生率 07:00 运动前的筛查能彻底避免猝死的发生吗? 08:54 运动前我们能进行哪些筛查项目? 11:35 插一点关于运动高血压的内容 14:10 静息心率过低时,可能有必要遵医嘱进行动态心电监测 16:12 更进一步也更贵的筛查项目:心脏超声 21:06 运动与健康之间的关系:并不是线性的 22:34 长期进行大量耐力运动对心血管健康带来的风险 26:14 尽管过量运动可能会对心血管健康带来不利影响,但仍有利于整体健康状况和预期寿命的改善 32:02 运动强度过大造成的心肌损伤和心肌纤维化的问题 35:21 心肌纤维化发生率的性别差异 37:12 因为基本不会影响心脏的整体功能,加上筛查的成本和难度,心肌纤维化很难提前发现 49:34 掌握心肺复苏技能,公共场所配备AED能进一步降低猝死的发生率 50:02 运动训练中要注意强度的控制 52:58 在青少年运动员选材时,家长和教练要特别注意马凡综合征,患者运动猝死概率极高 一些参考文献 [1] 运动性心肌纤维化的发生特征、可能机制和消退逆转. 体育科学, 2018, 38(11):81-91 [2] Diverse patterns of myocardial fibrosis in lifelong, veteran endurance athletes. DOI:10.1152/japplphysiol.01280.2010. [3] Cardiac arrhythmogenic remodeling in a rat model of long-term intensive exercise training. DOI:10.1161/CIRCULATIONAHA.110.938282. [4] Increased atrial arrhythmia susceptibility induced by intense endurance exercise in mice requires TNFα. DOI:10.1038/ncomms7018. [5] Relationship BetweenLifelong Exercise Volume and Coronary Atherosclerosis in Athletes. DOI:10.1161/CIRCULATIONAHA.117.027834. [6] Exercise and CoronaryAtherosclerosis: Observations, Explanations, Relevance, and ClinicalManagement. DOI:10.1161/CIRCULATIONAHA.119.044467. [7] 中国马拉松赛事中心脏骤停案例及医学救援分析. 中华灾害救援医学, 2017(03): p. 121-126. [8] 运动相关心脏性猝死的研究进展. 法医学杂志,2022, 38 (05): 618-624+639.

60分钟
36k+
1周前

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧