时长：
58分钟
播放：
2.68万
发布：
4周前
主播...
简介...
活动预告🥳：8 月 16 日，我们会办一场线上活动，嘉宾是 Luma AI 模型产品 Lead 戴高乐、爱诗科技联创谢旭璋、前 OpusClip 增长产品负责人谢君陶，大家记得翻到 shownotes 末尾查看报名信息！
本期嘉宾朱亦博可以说是国内最懂 AI Infra 的人之一。
从微软、字节 AI Infra 负责人到谷歌、再到阶跃联创，他的职业经历几乎和 AI Infra 的发展并行，如他所说，贾扬清、李沐等人可能是 AI Infra 的开路者，而他则是紧随其后的第二批从业者。
在这期播客中，亦博不仅分享了 AI Infra 的底层认知，也讲了很多行业的内幕故事与实战细节。我们从最基础的 AI Infra 定义聊起，解答了其在模型表现中的作用、重要性，也揭示了“优化指标”的意义与评判标准，并讨论了行业现状和未来发展等等内容。
听完这期，你可能会意识到：在大模型时代，AI Infra 不只是「降本」的后台支持，也是决定一家 AI 公司能走多远的核心战斗力。
BTW：阶跃最近刚刚开源了推理效率更高的基模 Step 3（github.com），亦博自己的团队也在招人中，感兴趣的可以联系邮箱：[email protected]
【人类博物馆】
导游：曲凯，42章经创始人
39 号珍藏：朱亦博，阶跃星辰联合创始人，前字节 AI Infra 负责人，也曾在微软、Google 任职
* 1:07 AI Infra 的定义
* 2:49 贾扬清、李沐是 AI Infra 的第一批人，我属于第二批
* 4:13 为什么说 Infra 迎来了一个新的 Google 级别的机会？
* 6:21 移动互联网 vs 大模型时代：两代 Infra 有什么异同？
* 7:38 算法人可能「只有 2 年的保质期」，Infra 更吃经验
* 8:40 怎么衡量 AI Infra 的好坏？几个关键指标
* 10:09 该不该、该怎么投入 Infra？一笔很好量化的 ROI 账
* 11:20 面对云厂商和模型公司的挤压，第三方公司的突破口是什么？
* 14:17 对 Infra 人的一句忠告：要么深入模型、要么深入硬件
* 16:15 AI Infra 对模型效果到底有多大的影响？
* 17:45 DeepSeek 能冲出来，一大原因是选对了优化目标
* 20:04 阶跃现在最重视的优化目标是什么？
* 22:06 Infra、算法、数据团队之间该怎么配合？有关组织架构的心得体会
* 28:41 做 AI Infra 最大的阻碍是什么？
* 30:16 模型范式不会那么快革新，但多模态可能是一个突破口
* 32:29 简评几家硅谷当红 AI Infra 公司
* 34:15 第三方 AI Infra 的创业机会在哪里？
* 36:35 我们想提升国产卡的竞争力，哪怕只有一点点
* 39:28 介绍一下阶跃新发布的视觉推理模型
* 46:30 DeepSeek 做得好，就是因为梁文锋懂 Infra？
* 47:54 一些业内真实的踩坑案例
* 55:13 给 Infra 从业者的一些建议
* 55:43 《The Bitter Lesson》的含金量还在上升
【活动预告🥳】
8 月 16 日，我们会办一场线上活动。感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！
【The gang that made this happen】
* 制作人：陈皮、Celia
* 剪辑：陈皮
* Bgm：Mondo Bongo - Joe Strummer & The Mescaleros
本期嘉宾朱亦博可以说是国内最懂 AI Infra 的人之一。
从微软、字节 AI Infra 负责人到谷歌、再到阶跃联创，他的职业经历几乎和 AI Infra 的发展并行，如他所说，贾扬清、李沐等人可能是 AI Infra 的开路者，而他则是紧随其后的第二批从业者。
在这期播客中，亦博不仅分享了 AI Infra 的底层认知，也讲了很多行业的内幕故事与实战细节。我们从最基础的 AI Infra 定义聊起，解答了其在模型表现中的作用、重要性，也揭示了“优化指标”的意义与评判标准，并讨论了行业现状和未来发展等等内容。
听完这期，你可能会意识到：在大模型时代，AI Infra 不只是「降本」的后台支持，也是决定一家 AI 公司能走多远的核心战斗力。
BTW：阶跃最近刚刚开源了推理效率更高的基模 Step 3（github.com），亦博自己的团队也在招人中，感兴趣的可以联系邮箱：[email protected]
【人类博物馆】
导游：曲凯，42章经创始人
39 号珍藏：朱亦博，阶跃星辰联合创始人，前字节 AI Infra 负责人，也曾在微软、Google 任职
* 1:07 AI Infra 的定义
* 2:49 贾扬清、李沐是 AI Infra 的第一批人，我属于第二批
* 4:13 为什么说 Infra 迎来了一个新的 Google 级别的机会？
* 6:21 移动互联网 vs 大模型时代：两代 Infra 有什么异同？
* 7:38 算法人可能「只有 2 年的保质期」，Infra 更吃经验
* 8:40 怎么衡量 AI Infra 的好坏？几个关键指标
* 10:09 该不该、该怎么投入 Infra？一笔很好量化的 ROI 账
* 11:20 面对云厂商和模型公司的挤压，第三方公司的突破口是什么？
* 14:17 对 Infra 人的一句忠告：要么深入模型、要么深入硬件
* 16:15 AI Infra 对模型效果到底有多大的影响？
* 17:45 DeepSeek 能冲出来，一大原因是选对了优化目标
* 20:04 阶跃现在最重视的优化目标是什么？
* 22:06 Infra、算法、数据团队之间该怎么配合？有关组织架构的心得体会
* 28:41 做 AI Infra 最大的阻碍是什么？
* 30:16 模型范式不会那么快革新，但多模态可能是一个突破口
* 32:29 简评几家硅谷当红 AI Infra 公司
* 34:15 第三方 AI Infra 的创业机会在哪里？
* 36:35 我们想提升国产卡的竞争力，哪怕只有一点点
* 39:28 介绍一下阶跃新发布的视觉推理模型
* 46:30 DeepSeek 做得好，就是因为梁文锋懂 Infra？
* 47:54 一些业内真实的踩坑案例
* 55:13 给 Infra 从业者的一些建议
* 55:43 《The Bitter Lesson》的含金量还在上升
【活动预告🥳】
8 月 16 日，我们会办一场线上活动。感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！
【The gang that made this happen】
* 制作人：陈皮、Celia
* 剪辑：陈皮
* Bgm：Mondo Bongo - Joe Strummer & The Mescaleros
评价...
空空如也
小宇宙热门评论...
Baca
3周前
美国
20
这期质量真的挺高的 Infra类嘉宾访谈也比较少 把高技术门槛的东西讲的尽量浅显 不错！
小孟Lemon
3周前
山东
13
26:26 tp模型的算法效果不是算法人决定的是数据决定的。模型的效率和成本是系统决定的，结论：模型结构应该由系统的人来设计，才能获得最好的成本；模型的点数效果、刷榜应该数据的人负责；算法人最要做好的是训练的范式。
Irena_33
4周前
上海
10
模型和硬件的系统 co-design，很少有人有思考或者有条件做这个维度的思考，却关系到大模型训练和推理的效率乘法。算法、数据、系统的one team是新时代的黄金。
Deardrops
3周前
四川
8
47:55 这里提到的模型应该是 GLM 4.5 https://z.ai/blog/glm-4.5
anymore
4周前
浙江
7
33:43 emm 关于 snowflake 的理解不太认同，它的核心是 data warehouse ，做的就是计算和存储的事情，至于底层的 cloud vendor 则不是关键
巴赫门徒
4周前
北京
7
干货很多
AICRI
3周前
上海
6
非常好的一期 当大家都在谈应用谈Agent 其实更应该看一些不同角度 更底层的没有那么性感的东西
HD824042u
3周前
美国
5
我在硅谷大厂做推荐系统模型，工作几年深刻体会到做模型的人懂AI infra和GPU infra的重要性，做codesign也是我们的理想。但是因为组织架构的原因，平时很难接触ai infra，除非换组，但换组也面临离topline metrics太远以及重新build trust等种种问题。想问问主持和嘉宾，对于做模型和算法出身的人去学习ai infra打通这块，有什么建议和路径吗？
梅西不说话
4周前
上海
5
竟然没人评论，我先评论再收藏，养足精神再来听。
MISGRL13
3周前
北京
3
非常喜欢这期 嘉宾和主持人超级棒
HD眸目
3周前
河北
3
46:14 相当透彻
木木木人心
3周前
天津
3
受益良多的一期! 第一次听Infra的概念，对于非技术出身的人也能很好的理解内容。为了节省成本的infra也可以反向影响模型本身，感觉对于其他业务也是可以复用的概念。
嘻嘻艾米丽
3周前
美国
3
好硬核，求文字版，可以仔细看🧐
小竹
4周前
北京
3
必须收听啊
重塑雕像的逻辑
3周前
上海
2
非常同意，GPU胜出是因为持续的摩尔定律，指数增长带来的差距非常可观。
大伟爱偷懒
3周前
北京
2
这期受益很多
LearnWise
3周前
安徽
1
26:58 https://www.xiaoyuzhoufm.com/episode/683d2ceb38dcc57c641a7d0f 可以结合这期一起听。
五里坨
3周前
北京
1
49:50 moe这段太妙了，完全符合现实（甚至你可以用来阴阳国内六家做的次序hhhh
HD57159t
3周前
北京
1
20:00 嘉宾说ds的r1做得好因为推理优化强项赶上test time scaling东风，但v3也做得很好啊，这怎么理解
赵来福_SOqE
3周前
日本
1
有人知道这里说的是哪篇文章吗
haitaoyao
3周前
浙江
1
44:34 如何做好 infra？ 要么懂硬件，要么懂模型
haitaoyao
3周前
浙江
1
49:53 MoE 架构核心是 infra 话语权：算法认为那是降本，不是能力提升，😄
张雪Victoria
4周前
贵州
1
蹲到更新啦，感恩~
lzlzlzlz
3周前
北京
0
为什么spotify上面搜索不到博客呢
Buffer
3周前
北京
0
不给字幕是折磨人吧
捷达王
3周前
广东
0
这里模型的点数指的是什么？
leo里丁
4周前
上海
0
mark
flyisland
4周前
广东
0
42:46 关于多模态大模型，它在图形推理上是 sota ，但它怎么跟其他的模型交互？如果要把他看到的东西，交给另外一个大模型做处理，目前还是只能转换成文本，对吧？
