Album
时长:
43分钟
播放:
45
发布:
4小时前
简介...
https://xiaoyuzhoufm.com
主播的话
你的 Transformer 模型,是不是有一半的计算量都在“摸鱼”?
当所有人都在卷 SFT的时候,为什么硅谷的前沿研究者们却开始担心“模式坍缩”,转而把目光投向了 RLVR?
这期节目,我们没请 CEO,也没请投资人,而是拉来了一位最近在硅谷“跑会”跑到腿软的硬核朋友——俊帆。作为自动驾驶领域的 AI Engineer,他在短短两个月里,密集扫荡了 Pytorch Conference、Ray Summit、AMD Dev Day 甚至各类 Hackathon(还抽中了一块显卡!)。
我们把他在这些活动上听到的“内部噪音”和“前沿信号”做了一次深度 Dump。你会在节目里听到:
* 斯坦福大佬 Christopher Manning 是如何通过“残差流抹除”实验,发现 Transformer 架构其实非常浪费的;
* 为什么现在大家都说“Post-training”才是决胜局,以及 Thinking Machine 实验室是如何用轻量级的 LoRA 就能跑出逼近 97% 的 RL 效果;
* 还有字节、Google 在Infra层面上为了解决万卡训练和 Agent 显存焦虑做的“变态”优化。
如果你是正在死磕模型效果的算法工程师,或者是对 AI 技术栈演进好奇的产品人,这期“硅谷前线观察报告”绝对能帮你省下几千美金的门票钱。
戴上耳机,我们一起去湾区现场看看。
嘉宾:
朱俊帆:芝加哥大学金融数学和佐治亚理工学院计算机科学毕业,曾在自动驾驶公司从事 AI Agent 和强化学习的研发工作;在芝加哥做了几年投行的量化金融模型。
欢迎查看嘉宾的 LinkedIn 了解更多信息
主播:
Leo:硅谷大厂高级机器学习工程师,GenAI LLM发烧友
本期重点
* 00:47 嘉宾介绍
* 02:01 嘉宾的“特种兵”行程单:从 PyTorch Conf 到 AMD Dev Day
* 05:43 斯坦福教授的新发现:Transformer 后半部分的计算量,其实都被“浪费”了?
* 07:20 混合专家模型 (MoE) 的进化:如何用一半的计算量超越 Benchmark
* 12:40 硅谷热词 RLVR:当数学定理成为“裁判”,RLHF 还有必要吗?
* 15:57 像人类一样思考:解决长程推理难题的“分层推理”策略
* 19:40 过度 SFT 会导致“模式坍缩”?聊聊 Post-training 时代的 Trade-off
* 22:06 创业公司福音:只用 LoRA 也能逼近 97% 的全量 RL 效果
* 25:00 显存不够怎么办?Red Hat 提出的“睡眠模式”与 GPU 热交换黑科技
* 28:53 字节跳动 VERL 揭秘:如何搞定万卡集群上的 RL 混合编排?
* 34:06 Google 的 Agentic Browser:不只是看网页,而是直接运行代码
* 37:17 当 AI 遇见 NBA:从预测比赛到生物制药,Agent 的落地场景猜想
以上就是本期的全部内容了,欢迎您的收听,我们下期再见~
PS:AI Odyssey 听友群正式开通了,添加 vx:aiodysseyai 带你一起看 AI。
评价...

空空如也

小宇宙热门评论...

暂无小宇宙热门评论

EarsOnMe

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧