这个更新频率可以

19:15 博士起步

一周双更！大赞！

还蛮好奇达摩院的情况

👍

谢谢。

见解独到，期待蚂蚁在ai上的产品

这是不是又是飞总“坐在对面的同事”？

🌹🌹🌹

👍👍👍👍👍

飞哥本期播客主要围绕 AI 展开，涉及算力问题及挑战、蚂蚁集团的 AI 战略与应用、基础大模型的发展方向、国内芯片差距与建议，还包括对创业者的提示和风险考量。 [00:25] 关于 AI 算力相关的讨论 [00:43] 姚敏介绍在蚂蚁集团的工作经历 [01:29] AI 算力成为行业热点及变化 [04:00] 大模型训练所需算力巨大 [04:56] 训练模型面临的挑战和成本问题 [05:31] GPU 卡的高成本与稀缺性 [07:26] 芯片技术提升及散热问题 [08:45] 关于数据中心、AI 技术及蚂蚁相关业务的讨论 [08:45] 数据中心机房温度控制及液冷技术的应用 [10:24] AI 对高性能网络和数据传输的要求 [12:04] 大模型训练链路的特点与挑战 [13:22] 蚂蚁的 AI 战略及技术大模型 [14:30] 蚂蚁在数据中心的能耗与能源考虑 [16:02] 支付宝生活服务应用场景及提升需求 [17:05] 关于AI算力、人才需求及相关发展的讨论 [17:05] 希望加强规划执行能力，实现更原子化的服务 [18:05] 算力变化涉及人才要求，行业人才整体稀缺 [18:46] 构建全电路设计的专业人才最为缺乏 [22:10] 国内AI算力面临诸多挑战，需快步追赶 [24:15] AI场景兴起，国内对算力诉求强烈但存在误区 [25:10] 小模型训练推理几张卡可行，但大模型参数量等复杂情况需解决 [25:25] 关于大模型发展及相关问题的讨论 [25:54] 百模大战及追赶 GPT-4 的情况 [26:29] 蚂蚁的真实应用场景及相关产品 [28:26] AI 发展中的能耗与绿色计算 [29:56] 大模型训练场景的变化与收敛 [31:06] 国内大模型发展面临的算力挑战 [32:56] AI 创业者需考虑的算力相关问题 [33:47] 关于大模型发展的讨论及相关要点 [33:47] 存在算力墙、通讯墙、内存墙等问题需硬件厂商突破 [34:15] 国内大模型在单芯片能力上短线与海外有差距但靠平行能力发展 [35:35] 行业在等待某个垂类大模型应用改变应用生态 [36:22] 芯片能力提升，未来或有更多本地大模型架构和AI芯片成为主流 [38:27] 大模型厂商关注集中提供好模型，走到端侧有大量工作 [39:11] 做AI方向要考虑成本、难度等，垂类应用基于成熟模型可能更好

曹老师不会是飞哥阿里前同事吧（bushi）

沙发🛋️

我司也和大数据中心架构有些相关，在高温下提升芯片和交互元件的速度同时保证高可靠性是真的挺难的。

终于听到我工作内容相关的一集，我们部门说ai半年，到现在还没有找到场景落地😂