Album

晚点聊 LateTalk

《晚点 LatePost》的播客

MasterPa、曼祺_MatchQ、王与桐 晚点 LatePost
15.47万 订阅 163 集 1周前
播客简介
《晚点聊 LateTalk》由《晚点 LatePost》出品。 最一手的科技访谈,最真实的从业者思考。
节目

163: 详解DeepSeekV4:Infra巨鲸、百万上下文走进现实、极致效率优化

晚点聊 LateTalk

「走进不同团队的成果,创新从来是连续的,不是跳跃的。」 上周五,DeepSeek V4 发布。我们邀请了两位一线 AI 从业者一起详解 DeepSeek V4 的技术实现和创新想法。 如果一句话概括:DeepSeek V4 并没有带来新的“范式变化”,它是继续在 R1 的“测试时扩展”范式下,用一系列组合创新和工程优化,让百万上下文从理论进入实用。 超长上下文上的稳定表现,正是 Agent 和多步复杂任务亟需的能力之一。 本期涉及的诸多技术术语见 Shownotes 末尾注释。 本期节目的图文版也已经发布:详解 DeepSeek V4:Infra 巨鲸 “四连击”,百万上下文走进现实 本期嘉宾 赵晨阳,RadixArk 工程师,SGLang 开源推理框架开发者 刘益枫,UCLA 博士生 本期主播 程曼祺,晚点科技报道负责人 时间线: 体感、对比、消失的成本、DeepSeek 的节奏 03:01 编程能力与“御三家”有差距;不再采用 DeepSeek 自己提出的 MLA 07:44 不再披露训练成本,“用模型能力说话” 09:23 延期推测:四个耦合的新 feature (新注意力+Muon+mHC+FP4)一起上,难度爆炸 12:36 不是范式创新,沿现有范式仍有巨大提升空间 性能与效率 14:32 提出新的能力方向比刷单个 benchmark 重要 16:41 坦诚的内部评测:9% DeepSeek 工程师不会把V4 Pro 作为编程首选 23:03 单 token 推理的计算量和 KV cache 大幅优化,但解决同样问题的 token 消耗更多了 V4 具体进展 28:32 整体思路:极致的稀疏 33:45 混合稀疏注意力:放弃 MLA,SWA滑动窗口+CSA稀疏压缩+HCA稠密压缩,层间预定义分工 39:37 Muon 优化器已成检验工程能力试金石 48:52 mHC:从 Seed 提出 HC 到 mHC;Kimi 的 Attention Residuals 54:24 Infra 两个关键词:TileLang & FP4 01:10:11 多专家训练+蒸馏的后训练 01:13:20 评测危机:benchmark会过时饱和,evaluation是永恒追求,agent评估未共识 更多讨论 01:19:25 近期模型共性:架构趋同(MOE+Muon),优化方向驱动(agent、coding) 01:25:18 美国追新能力、高定价;中国追性价比、工程极限 01:28:00 V4 最有可能被记住的思想:极致压缩+低激活比+低单token成本,成为后续开源模型起点 剪辑:Nick 相关链接: 158期:V4发布前的DeepSeek:人才竞争、组织特点和独特的AGI目标 143期:再聊 Attention:阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进 104期:我给线性注意力找“金主”,字节 say No,MiniMax say Yes 103期:用Attention串起大模型优化史,详解DeepSeek、Kimi最新注意力机制改进 102期:DeepSeek 启动开源周,大模型开源到底在开什么? 附录:术语、概念解释 - 模型架构相关 Token-wise(词元级)改进:优化模型处理单 token 的过程,通常用于提升注意力计算、上下文建模或推理效率。 Layer-wise 的改进:优化模型不同网络层的结构或计算方式,通常用于提升训练稳定性、表达能力或整体计算效率。 MoE:Mixture of Experts 混合专家网络,让不同“专家”子网络处理不同输入,降低单次计算成本。 哈希路由:把 token、样本或请求分配到不同专家、节点或存储位置的方法。V4 在前几层 MoE 用了哈希路由,避免起始层路由塌缩。 Engram:DeepSeek 之前提出的一种带 N-gram 编码器的辅助模块,通过额外编码连续 token 片段,帮助模型利用局部短语级信息。V4 未使用 Engram。 - 注意力相关 MLA:Multi-head Latent Attention,多头潜在注意力,引入潜在表示压缩 KV 信息的注意力机制,能降低显存占用和计算开销。 MQA:Multi-Query Attention,多查询注意力结构,共享 Key/Value,仅保留多头 Query,提升推理效率并减少 KV cache。 线性注意力:通过核函数或近似方法将注意力复杂度从二次降低为线性(一维),是改进原初注意力随上下文长度增加,计算和显存爆炸的方向之一。 稀疏注意力:仅计算部分 token 间的注意力(而非全连接),改进原初注意力问题的另一主流方向。 滑动窗口注意力:限制注意力仅在局部窗口内计算的一种稀疏注意力。 CSA:Compressed Sparse Attention,压缩稀疏注意力。用于长上下文建模的注意力机制。把序列分组压缩成更少的token,query再从中挑选出最相关的部分。V4中的压缩比是4:1。 HCA:Heavily Compressed Attention,高度压缩注意力。同样用于长上下文建模。相比CSA压缩比例更高(128:1),query无需挑选token。 NSA/DSA:V4发布之前,DeepSeek 在年初和 9 月先后提出的两种稀疏注意力方案。 - 优化器相关 AdamW:一种改进的 Adam 优化器,通过解耦权重衰减(weight decay)提升训练稳定性和泛化能力。 Muon:一种面向大模型训练的优化算法,通过改进梯度更新或内存效率来提升训练性能。 Learning Rate:学习率,控制模型参数每次更新步长的超参数,对训练稳定性和收敛速度至关重要。 牛顿-舒尔茨迭代:一种用于矩阵归一化或求逆的数值迭代方法。Muon 作者 Jordan 提到通常使用 5 次迭代,V4 中采用了 10 次迭代。 - 残差相关 HC:Hidden/Highway Connection,一类改进残差连接的信息通路设计,用于增强信息传递或控制梯度流。 mHC:Manifold-Constrained Hyper-Connections 流形约束超连。DeepSeek 在 HC 基础上的改造,解决了 HC 在大规模训练时的数值不稳定问题。mHC 使用了双随机矩阵,即每行和、每列和都等于 1 的矩阵,以约束信息流。 Attention Residuals:注意力残差连接,将注意力模块输出与输入相加,用于稳定训练并保留原始信息。 - Infra 相关 矩阵乘法:深度学习中最核心的基础计算操作(如向量与权重相乘)。 Kernel:算子核,指在底层硬件(如 GPU)上执行的高效计算函数,是深度学习算子的实现基础。比如矩阵乘法就要写 Kernel 去实现。 CUDA:英伟达开发的能使用 GPU 的一层软件系统,也指一套语言,本次访谈语境里指编写 GPU 算子 kernel 的语言。 Triton:由 OpenAI 开源,是对 CUDA 的一层抽象,能更简单的写 Kernel。 TileLang:一种面向 AI 高性能算子的 tile 级 DSL / 编译框架,把矩阵乘法、注意力等张量计算映射到 GPU 等硬件上执行,在 Triton 的易用性和 CUDA 的控制力之间取得了较好的平衡。 FP8、FP4、INT4:低精度数值格式,分别用 8 位、4 位浮点和 4 位整数表示模型中的权重或中间数据,用于降低显存和带宽压力、提升训练或推理效率。 FP4 比 FP8 更省显存和带宽,又比 INT4 更保留浮点动态范围,因此更适合复杂训练/采样链路,但收益取决于硬件、缩放策略和 kernel 实现。V4 在 1.6T 参数规模上实现 FP4 训练是个不小的挑战。 小红书@曼祺_火柴Q即刻@曼祺_火柴Q ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章:

93分钟
11k+
1周前

162: 批量生素材、模型筛网红,与飞书深诺Meetsocial沈晨岗聊AI时代的出海营销

晚点聊 LateTalk

出海对于中国企业来说并不新鲜,无论是早年的华为、中兴,还是大疆、影石、拓竹这样的消费硬件公司,再到 Tiktok、腾讯游戏、Temu 等互联网公司,成功的例子有非常多。但之所以我们说它是一个新的话题,是因为我们来到这个 AI 的时代,不仅看到大批的 AI 创业公司正在积极的向海外拓展,也见证着 AI 改造他们出海的路径、方式、增长、营销。 过去一年,我们也看到了很多借助 AI 营销翻车的案例,比如麦当劳在荷兰上线的一支几乎是由 AI 生成的节日广告,上线后就迅速遭到了大量的吐槽:不仅仅是画面看起来比较粗糙,更在于这个广告它传达出来的气质被认为是廉价的、偷懒的,没有什么诚意。 今天的播客,我们与飞书深诺 Meetsocial 的创始人兼 CEO 沈晨岗先生一起聊了聊,AI 在今天究竟是如何改变中国企业出海模式的?中国与美国的 AI 营销生态究竟有什么区别?在 AI 时代到来以后,企业需要建立起哪些新的能力,才能在营销战中脱颖而出? 本期节目由飞书深诺特别支持播出 本期嘉宾 沈晨岗,飞书深诺集团创始人兼 CEO 本期主播 高洪浩,晚点 latepost 主笔 时间线: Part 1 中国企业出海变迁史 04:17 中国企业出海的三个阶段:产品、公司、品牌 07:43 早年中国出海企业没有认识到营销的力量 09:45 2025 年开始中国企业出海营销范式发生变化 12:32 转型成功的出海企业案例:安克 16:18 衡量企业出海能力的模型指标:D-MES Part 2 AI 时代下,中国企业出海的新变化 22:47 出海营销领域在 AI 上的共识与非共识 25:29 AI 的使用应该与企业的商业化目标相匹配 30:38 过去三年,AI 如何改变出海营销 Part 3 中国与美国的 AI 营销 34:07 硅谷观察记:中美 AI 营销的差异 38:30 美国营销公司的历史包袱导致 AI 难落地 Part 4 AI 在未来将如何改变出海营销 42:16 Agent 时代的出海营销模式 48:42 案例:Agent 变革短剧投流 51:46 AI 时代,创意和审美变得更重要 57:07 出海服务商如何适应 AI 时代 01:01:30 三年和五年后,AI 将如何改变出海营销 ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章:

71分钟
6k+
1周前

161: 中国最早AI创业者的故事,与唐文斌聊天才策略、旷视、十年前的机器人和具身新创业

晚点聊 LateTalk

「不做人形机器人的具身智能创业。」 本期嘉宾是原力灵机的联合创始人和 CEO 唐文斌。 2011 年,他和两位清华同学,印奇、杨沐一起创立旷视,这是中国最早的 AI 创业公司。比 DeepMind 晚一年。 2025 年初,唐文斌成立原力灵机,开始具身智能的新创业。 在本科到研究生时,他做过七年中国信息奥赛国家队的总教练,认识了大量奥赛 “小天才”,其中不少人之后加入了旷视,现在又在原力灵机和文斌一起创业。 本期节目也有视频版,可在小红书、B 站、抖音、视频号平台关注「晚点聊 LateTalk」收看。 本期节目的图文版也已经发布:对话原力灵机唐文斌:当中国最早的 AI 创业者做具身,他选择先不做人形 这期我们聊了竞赛往事、旷视的创业复盘和原力灵机的这 1 年:这是一家不做人形机器人的具身智能公司。也是一家会直接参与多模态基模预训练的公司。 这两件事都是非常规的少数派选择。 原力灵机会给中国具身市场带来哪些不同?请听完整节目吧。 本期嘉宾 唐文斌,原力灵机联合创始人 & CEO 本期主播 程曼祺,晚点科技报道负责人 剪辑:杨 时间线: 竞赛、姚班、IOI 国家队总教练:解题的本质是优化,出题比难题更难 01:49 同时参与三项奥赛:信息奥赛的乐趣是解法不唯一 05:50 本科继续 TopCoder :Challenge 机制下,一次干掉 19 个队 08:29 七年 IOI 国家队教练:出题比做题难 10:31 唐杰的第一个研究生,与印奇相约创业 旷视创业:从体感游戏到 AI 技术平台 15:30 以 CV 技术做体感游戏,登上 App Store 免费榜前三 21:56 Face++ 开放平台,技术驱动 vs 产品驱动的两种创业 24:45 高中生范浩强成为旷视 6 号员工,“强进(周而进)组合” 夺得 ICCV 人脸识别全球冠军 30:19 AI to B 三个总结:价值可量化、不占客户太高成本、避免项目陷阱 十年前的智能机器人 34:31 调度系统才是提效核心,5 轮竞标拿下优衣库上海大仓 41:08 从差点搞砸到见到柳井正,拿下优衣库全球订单 从旷视机器人到原力灵机:参与预训练、不做人形机器人 49:21 从范浩强到张祥雨:旷视的一些 “老人” 为何不散? 53:37 再看「天才策略」:大牛口头禅是 “这不本质”,而影响客户体验的所有东西都本质 01:00:38 具身原生:参与 VLM 预训练,一开始就加入机器人数据 01:11:01 只有具身公司能做的事 01:23:34 不做人形机器人,用模块化组合避免 overkill 或 underkill 01:27:14 RoboChallenge 和 Dexbotic,为何创业公司要开源 Infra? 01:39:39 具身行业会先分散再集中,幸存的个位数公司多数会是中国公司 01:46:34 为了低谷的绸缪:备足干粮、专注投入相信的事 01:55:33 曾做过太多加法,发现 A+B+C≈max(A,B,C) 02:03:50 创业 15 年:感谢一波又一波浪潮,依旧兴奋 02:04:51 真正的通用智能机器人,“这值得投入 lifetime” 02:06:14 连点成线 相关链接: 157 期:具身季报 26Q1:宇树招股书、人形再思考、英伟达世界模型、高自由度灵巧手 155 期:贾鹏创立至简后的首次访谈:从英伟达到理想,具身智能的六边形战士 小红书@曼祺_火柴Q即刻@曼祺_火柴Q ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章:

129分钟
9k+
2周前

160: 群核IPO后与黄晓煌聊这15年:被嫌弃的GPU、冠军酷家乐、空间智能、六小龙

晚点聊 LateTalk

「杭州六小龙开始上市了。」 4 月 17 日上午,群核科技登陆港股,成为 “杭州六小龙” 中第一家上市的企业。我们在第一时间专访了群核董事长黄晓煌。 2011 年黄晓煌从英伟达回国,和陈航、朱皓创立群核,当时科技创业还不是主流,英伟达自己也在低谷期。 过去这 15 年,黄晓煌说,他们经历过的 90% 的明星科技企业都消失了或变得默默无闻,而群核一直存在,业务还在增长,做出了中国市占率第一的在线设计软件酷家乐,历经与互联网巨头的竞争而幸存,现在又在 AI 热潮中投入空间智能。黄晓煌说: 活下来比活得亮眼重要。 如果想了解更加 “穷人版” 的 AI 创业故事,或者群核上市后的潜力如何,听听创始人怎么说吧。 本期播客也有视频版,可在小红书、抖音、B站、视频号,搜索《晚点聊》观看。 本期节目的图文版也已经发布:群核 IPO 后与黄晓煌聊这 15 年:被嫌弃的 GPU、冠军酷家乐、空间智能、六小龙 本期嘉宾 黄晓煌,群核科技联合创始人 & 董事长 本期主播 程曼祺,晚点科技报道负责人 时间线: 从 GPU 上云到家装设计软件酷家乐 01:14 2011 年回国创业,在英伟达工作过是 “减分” 的 06:54 酷家乐的诞生:13 年上线,14 年爆发,15 年赚钱 10:53 群核底层是 GPU,提前进入 “token 经济”,也跑不通广告模式 14:37 遭遇巨头竞争,更看清什么是壁垒:单纯的算法是纸老虎 从 “怀疑技术自嗨" 到投入 AI 29:48 2018 年注意到 AI 机会,但一度怀疑自嗨了 38:53 2021 年赴美上市戛然而止,山峰到谷底 40:33 2023 用 Copilot 写代码,意识到 SaaS 要变天→两条路的抉择:自己训练空间模型 vs 为大模型做配套 50:16 复盘错过:2018 年是一个做具身硬件的黄金时期 空间智能 52:10 空间智能是底层能力,不是新业务 54:27 群核的 bet:3D 路线,而非视频生成 01:00:00 欧美具身企业喜欢合成、仿真数据,国内普遍倾向真实数据 01:02:52 两百家具身智能公司不算多,各种设备都会需要智能 01:08:53 从纵到横:英伟达的启发 我创业经历的 90% 明星企业都消失了 01:12:46 先活下来,再选最大的机会 01:05:07 六小龙之后,反对的声音一下子变少了 01:21:25 现在对自己的定位:科研 leader 01:24:10 最痛苦的部分总是跟人相关 01:32:11 自由女神像下的对话,“我不是这么算的” 01:34:15 把公司带向空间智能,一半收入来自空间智能 本期剪辑:杨建宇 相关链接: 157 期:具身季报26Q1:宇树招股书、人形再思考、英伟达世界模型、高自由度灵巧手 图文版:《具身季报 26Q1:宇树招股书、人形再思考、英伟达世界模型、高自由度灵巧手》 155 期:贾鹏创立至简后的首次访谈:从英伟达到理想,具身智能的六边形战士 图文版:《至简贾鹏:最快具身独角兽半年融资 20 亿,做 “六边形战士” 才能活》 152 期:访谈千寻创始人韩峰涛:20 亿新融资、具身模型淘汰赛、落地非共识 图文版:《独家专访千寻创始人:20 亿新融资、具身模型淘汰赛、落地非共识》 149 期:具身模型哪家强?与范浩强、高阳聊具身模型的测评、RoboChallenge,26 年具身展望 148 期:访谈它石创始人陈亦伦:具身的三道曙光和第一道关卡 图文版:《陈亦伦和李震宇创立的具身公司它石智航,不做 VLA、不仿真,不走主流路线》 65 期:信仰充值的威力:与逐际动力谌骅聊聊 GTC 和人形机器人新进展 | AI 大爆炸 小红书@曼祺_火柴Q即刻@曼祺_火柴Q ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章:

100分钟
17k+
3周前
评价

空空如也

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧