陈天奇:机器学习系统,长期主义,初心,XGBoost,MXNet,TVM,MLC LLM,OctoML,CMU,UW
WhynotTV Podcast

陈天奇:机器学习系统,长期主义,初心,XGBoost,MXNet,TVM,MLC LLM,OctoML,CMU,UW

160 分钟 4.5 万 次播放 1年前发布

在小宇宙收听

节目简介

来源:小宇宙
当我问陈天奇,你会对十年前二十年前的陈天奇说些什么时,他沉默了近20秒说——
“可能要反过来,我需要过去的我对现在的我,现在的我对未来的我说,记住自己对自己的承诺,坚持自己的理想,往下走下去”
那一刻我被真正感动了——因为我真正看到一个真正的理想主义者,过去二十年机器学习的历史, XGBoost、MXNet、TVM、MLC都是不可磨灭的精彩印迹,而在这几个项目名背后,有一个共同的名字,他就是本期播客嘉宾陈天奇。过去 15 年,陈天奇把让机器学习模型更轻、更快、更易部署做成了一条清晰的技术主线。从最早的把树模型系统推到极致的XGBoost,到最早的深度学习框架之一 MXNet,再到开创深度学习编译领域的TVM,和今天希望把大模型跑上所有设备的MLC LLM。
陈天奇在机器学习系统这条路上已经走了快 20 年——从陈天奇的视角看这 20 年的激荡会是什么样的风景?在这期播客,你会听到:
1. 我和陈天奇会把他的每一个开源项目都拆解清楚——他们为什么诞生、如何长成、在哪里拐弯。
2. 也会走进陈天奇的个人经历——年少如何与计算机相遇,高二的时候如何自学写编译器,在交大 ACM 班打下系统功底,在 UW 的科研突破,到最后同时走向创业和教职两条路。
3. 更重要的我们还聊到了陈天奇的底层价值观——长期主义如何落地,如何在不确定性中坚持敢失败的勇气和初心。在科研、创业、教职三条路都获得成功后,陈天奇在筹划着什么样的下一步?
这里是WhynotTV Podcast——现在,请和我一起进入陈天奇的世界。
2:06 在童年时期对什么事物最感兴趣
8:38 有没有什么十八岁之前的经历对未来产生了深远影响
10:16 温和的性格是童年时期就养成的吗?
12:08 上海交大ACM班的经历
14:33 本科ACM班教育对人生的影响
18:05 本科第一次接触机器学习科研时的挑战
20:09 手搓CUDA用深度学习尝试ImageNet
23:10 在2010年用GPU做深度学习是共识了吗
24:32 初生牛犊不怕虎做深度学习的经验教训
29:40 如何从失败的科研后反而变得不怕失败
32:16 研究视野的飞跃,20年后对研究视野的反思
39:01 来到UW读PhD的选择
41:08 XGBoost成功的关键原因:极致、社区、专注
46:14 为什么选择树方法?Carlos的严格要求
49:31 站在现在反思XGBoost当年对神经网络和深度学习的判断
53:02 MXNet的前世今生
60:03 MXNet背后的博士生团队协作
64:14 从MXNet的历史学到的经验教训
67:56 科研的风险与收益
71:40 TVM的前世今生——什么是机器学习编译
74:19 为什么做TVM这么有挑战性
77:17 选择做重要的事——做TVM的勇气
81:55 GPU/TPU/NPU的区别
83:05 初生牛犊不怕虎的勇气与初心
86:08 TVM的生态位,2025年面临的挑战与机会
90:26 机器学习系统的历史
95:03 机器学习系统的未来,挑战与机遇
96:13 MLC LLM——将大模型部署到所有设备
97:24 未来大模型的推理的格局分布——云vs端侧
101:11 AI模型的收敛趋同会持续下去吗?对机器学习系统来说意味着什么?
105:38 因为资源受限,学术界应该去解决什么样的机器学习系统的研究问题?
110:42 对开源的热情——如何做成功的开源项目?
114:50 OctoML——创业的动机与故事
116:29 基于开源项目的创业的得失与优劣
119:15 OctoML的商业模式与转型
123:00 创业过程中的收获与教训
123:58考虑过当CEO吗?当技术领袖的所需要的自我革新
126:18 创业被NVIDIA收购是符合预期的退出方式吗?
128:19 技术创业必须的自我革新
130:23 为什么决定要当教授?
130:54 一线经验的重要性——为什么当教授了还要写那么多代码?
135:03 如何做到高效的时间分配与产出?
136:28 这个时代的快节奏的机器学习系统研究——我们还能慢下来吗?
138:31 如何面对AI研究的新挑战?
139:52 现在陈天奇作为教授的风格是什么样的——如何指导学生?
141:06 工业界工作vs学术界PhD
142:19 实事求是问题导向的研究风格
143:22 对长期主义的感悟
146:12 面临人生选择的智慧
148:41 未来的陈天奇还想做什么——失败与初心
152:58 AGI需要什么样的机器学习系统
154:23 未来AI的格局会是巨头统治还是百花齐放
155:03 会对20年前10年前的陈天奇说什么?
155:52 对成功和幸福有什么新的感悟
157:51 会看这二十年的旅途——你最后想说些什么?

小宇宙热评

共 20 条 · 按点赞排序
  1. Ychao TOP 1

    · 上海

    48

    2:23:40 “但现在看来,很多困难和无助都是随机的涨落的一部分,付出足够多的时间和耐心,随机过程总会收敛到和付出相对的稳态。每个人的研究道路都各不相同,我的经历应该也是千万条道路中其中一条罢了。”

  2. 十口吃月亮 TOP 2

    · 贵州

    14

    neal 可以梦一场王兴兴做嘉宾吗?真的很喜欢这种形式的podcast

  3. 云卉Elymira TOP 3

    · 广东

    13

    我的天!谢谢泰然!很喜欢你的上一期,是一次超幸运的偶然,在B站刷到了那个视频,听了真的感觉收获很大,有很多思考!!真的很喜欢这种播客,不管是视频的还是音频的,谢谢你做的这些。虽然我只是一个刚入学的大一新生,还不是很了解这些领域,但这对我影响很大,开拓了我的视角。必须要一直支持下去!!! 明天上学路上又有高质量的播客可以听了,好开心。我是医学类专业的,希望以后也能找到方向,学科融合一下

  4. 鲸鱼聊天室

    · 江苏

    12

    太强啦,人脉区 up 主

  5. zz_nqy9

    · 上海

    10

    把神请来了

  6. 安啦安啦

    · 北京

    6

    听了两期博客,回想当时初中家里就有一个电脑,但是从来没想过能学代码之类的,都用来看番了😂,现在大学读了天坑专业,就想要转码了,道路曲折走不完

  7. babouche

    · 北京

    5

    来了!! 支持⬆️

  8. listar2000

    · 美国

    5

    这个series太棒了!加油👏

  9. John_Zhuang

    · 天津

    4

    这位又是重量级的,收获很大

  10. 鲸鱼聊天室

    · 上海

    4

    1:24:17 “平庸的问题和优秀的问题,花的时间是一样多的” 泪目了

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧