69.与田渊栋的访谈:大模型的真问题、变局、AI洪水与the path not taken
卫诗婕|商业漫谈Jane's talk

69.与田渊栋的访谈:大模型的真问题、变局、AI洪水与the path not taken

87分钟 3,771 5天前
节目简介
来源:小宇宙
本期嘉宾是华人 AI 学者田渊栋。
这个名字在社交网络上被广泛讨论,始于四个月前,时任 Meta 研究总监的田渊栋,通过社交网络宣布,自己将被 Meta 裁员。华人顶尖 AI 科学家失业的新闻,瞬时传遍网络。
2026 年的第一天,田渊栋发布了一篇对于 2025 的年度总结,再次引发全网热议——这篇通俗但深刻的 AI 总结,令许多普通人也能从中获得对于 AI 焦虑的启发和助益。
但有关田渊栋的思考和经历,其实还有许多未尽的部分——他曾任职的Meta FAIR 实验室,是由图灵奖得主、深度学习三巨头之一的Yann LeCun,一手创建的,那里曾是一个倡导自由学术氛围的创新引擎,但如何被激进的大模型竞速赛所改变。未来,当 AI 需要进一步进展,需要行业有怎样的突破?
这期访谈中,我们聊到了许多有关当下大模型的真相与真问题。
除此之外,我还特别喜欢田老师对于学术品位的定义——在查阅他的论文时,我发现他的一些研究命名有来自于文学作品和诗歌的出处。他本人,也是科幻小说的创作者。这反驳了人们对于学术研究的刻板印象。
从技术延伸,一位学者的世界观呼之欲出,让人能够感受到科技之美。
总之,这是一期很有力量的播客,非常推荐。不过,当天因为录制场地和录制时间都有限制,所以本期访谈的节奏依然很快。希望大家见谅~
(本期节目获微博开屏~欢迎前往微博等视频平台,观看完整版视频。)
本期嘉宾:
田渊栋(华人AI科学家、前 Meta 人工智能实验室研究总监、科幻小说作家)
本期 Shownotes:
一、关于田渊栋
Part 1. 03:44 摆脱裁员羞耻:顶尖科学家被裁,离职就是向更广阔的天地进发~
被裁始末:因绩效被裁可能只是大公司的话术,顶尖AI科学家也不例外
CS 软件工程师的需求,未来会越来越少
大公司可能是让能力与心气「脱钩」的笼子
顶尖 AI 科学家、前大厂高管搞科研:靠的是家里一台4090显卡
「每个人自己就是一个小闭环」
Part 2. 09:55 中美 AI 的共性:焦虑
AI 的下一个方向是什么?
2025 年 12 月- 2026年 1月:一个月的时间发生巨大变化
Coding Agent 飞速发展背后,技术上的进展是什么?基模还在快速进展吗?
基模成长的速度到底有没有放缓?
Part 3. 14:43 谷歌教会我:系统大于个人
CMU 读博,这是一个正反馈的过程
代码注释后,应该加几个空格?——不无聊,很震撼
商业系统不靠微雕算法改进,而靠系统过滤问题
Debug sucks, Testing works.
二、大模型的真相
Part 4. 19:19 关于 LeCun
一个很强的研究者,拥有极强的信仰
那时深度学习领域十分萧索,Lecun 坐了多年冷板凳
创立 Meta Fair ,他不想做管理,是一个精神领袖
人类数据标注是非常辛苦的,最好的办法是让数据自己学习自己
Part 5. 22:20 Llama:从爆红到落后
Llama 最初只是 FAIR 的一个尝试,最终成功了
FAIR 是一个自下而上的组织
「FAIR 擅长营造自由氛围,是吗?」「当时的 FAIR 是这样」
大模型榨干了所有资源:一个方向爆火,扼杀了行业的多元创新
Lecun 与 Alexander Wang:「You don' t tell researcher what to do , you certainly don' t tell researcher like me what to do.(不要命令研究员该如何做,尤其不要命令我这样的研究员该如何做)」
模型如何能真的学懂东西?可以有更好的办法来学习
Part 6. 29:49 年轻人 vs 老兵、「历史有轮回」、「坏消息是如何消失的」
一个浪潮不足以把我们送到 AGI
老兵见证过思维方式的变迁
Meta 全力追赶大模型的三年
竞争让 Llama 团队变得比较急,有很多压力
救火 Llama 4 带来的研究思路转变:不需要太多复杂调参,强化学习更重要的是稳定
从 Llama 3 到Llama 4: 团队经历了几倍的扩充
层层汇报偏离本质,幻觉会在模型发布的那一天戳破
AI 变化越来越快,热点越来越多,技术人员才能透过本质有判断的能力
谷歌被誉为管理学奇迹
三、大模型的真问题
Part 7. 44:42 田渊栋的十年研究之路
从教 AI 下棋,到教 AI 思考,再到探索 AI 的大脑回路
逐渐形成一个长期的 Bet (押注)
Streaming LLM:让上下文窗口无限长,影响力深远
GaLore:训练时提升大模型的内存效率
如何让模型的 Scaling Law 更有效率?
隐空间推理:耗能更少,推理效果更好
和 ChatGPT5 合作:一个月完成了原本需要半年时间的论文
我们会迎来研究加速时代
Part 8. 54:04 如何提升大模型效率?
AI 应该像人一样,能遗忘,也能召回一段记忆
AI为什么能学懂东西?本质靠数据本身的结构与关联性
符号表示 vs 神经表示:前者基于严格推理,后者更像是一种直觉
「 你可以说它(AI)是遗忘,但是它可能也从来没懂过」
过去都是人类定义的符号,以后会有 AI 定义的符号
Part 9. 01:06:59关于 Research taste:
「我很高兴这个名字被你挑出来」
the path not taken:科研品味是走你自己想走的路
这世界是非常复杂的,一个人必须要有信念,有能bet on 的东西,这个 bet on 构成了人之价值所在
科研的目的和最后的影响力,其实不是一个东西,这个很有意思的
Part 10. 趋势预测:大模型的 next station
近 300 万亿的 TOKEN 被喂进大语言模型之后,怎么评估这场声势浩大的实验
我不认为 2026 的 AI 行业会回调
大模型领域的真问题:效率、持续学习、自进化、数据…
AI 时代的第谷与开普勒已经出现,但牛顿还没出现
Part 11. 01:18:55 AI 发展与人类处境:「遍地神灯,愿望才稀缺」
人类拼命灌水,等待 AI 的洪流有一天淹没自己?
人类社会的费米能级,就是「AI 洪水的水位线」
人 + AI > 人(or AI)本身
Research is product: 研究与产品的距离越来越近了
遍地神灯的时代,愿望会是最稀缺的
我写科幻小说:如果人类不再站在舞台中心,而成为旁观者呢?
加入听友群👇:

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧