42章经

活动预告🥳：9 月 12 日，我们会请到雨鑫做一场线上活动，大家记得翻到 shownotes 末尾查看报名信息！ 最近硅谷有了新热点：主权 AI 和 Personal Intelligence。简单来说，就是很多人开始相信，未来会有越来越多的应用公司和个人，训练自己的模型。 对绝大多数人来说，训练模型仍然是一件听起来遥不可及、门槛很高的事，但我们这期节目的嘉宾逯雨鑫却认为，它非常简单，简单到他此前没有 AI Lab 的经历，也不是 AI PhD，只用了 2 周和数百美元，就后训练出了两个登顶 Hugging Face Model Trending 榜首的小模型。 他具体是怎么做到的、摸索出了怎样的 Pipeline？过程中踩过哪些坑？以及无论对个人还是公司来说，训练模型最大的卡点都是数据，那么他是怎么攻克这个难题的？在蒸馏路线、数据来源上，又有哪些 secret sauce？ 节目后半段，我们还进一步讨论了主权 AI、Personal Intelligence 和 Local AI 相关的各种问题，比如这些事情普及开来的门槛在哪里、未来 AI Lab 和应用公司的分工与价值会有什么变化等等。 就在一个月前，我们还在讲 AI 应用遭受的冷遇；但录完这期，我们好像又看到了应用的曙光。也许在不久的将来，越来越多的应用公司都会成为 Neo Lab，Local AI 也可能成为一个 PC 级别的机会。而拥抱模型训练和 Local AI，最好的时间可能就是现在。 希望雨鑫摸索出的实践路径，能给应用公司和个人带来一些启发。如果你还想了解更多，也欢迎报名 shownote 末尾的线上活动，来和雨鑫直接交流（尤其欢迎应用创业者！） 【人类博物馆】 导游：曲凯，42章经创始人 52 号珍藏：逯雨鑫，Mind Lab 研究员；以个人开发者身份、数百美元成本微调的模型两次登顶 Hugging Face 热度榜；focus 在 post-training（蒸馏、SFT）与数据工程，近期方向为 continued pre-training 【时光机】 Part 1 训模型的实操经验 * 01:33 非 PhD / AI Lab 背景，凭什么能训出榜一模型？ * 03:23 训这两个模型的成本具体有多少？ * 06:08 个人训模型的完整 Pipeline 和避坑经验 * 11:33 最大的难点和卡点：数据 * 11:48 合成数据效果并不好？ * 12:16 数据从哪来、具体要用多少、如何配比？ * 15:34 数据难以提前预估效果的原因：Capacity Gap * 17:18 简评蒸馏的各种路线，以及到底什么叫「聪明地蒸」？ * 20:01 自己训、自己用，性价比真的更高吗？ * 22:10 坑最少的开源模型是？ Part 2 对主权 AI 的思考 * 23:44 自己训模型会成为应用公司的标配吗？ * 25:25 训模型可能会成为一件商品化的事情？ * 27:01 应用公司反而可能会成为 Neo Lab? * 32:07 AI Lab 和应用公司之间的分工可能会有什么变化？ * 33:39 现在 AI Lab 砸钱买数据，就有点像移动互联网早期字节砸钱买用户 * 35:31 如果主权 AI 真的兴起，AI Lab 的价值会有什么变化？ * 36:59 Local AI 会不会成为 PC 级别的机会？ * 40:17 用户最终会不会还是希望用上 SOTA 级别的智能，而不是 Local AI？ 【活动预告🥳】 9 月 12 日，我们会请到雨鑫做一场线上活动，感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！ 【The gang that made this happen】 * 制作人：陈皮 * 剪辑：陈皮 * 片头：Mondo Bongo - Joe Strummer & The Mescaleros * 片尾：Spacemen 3 - Set Me Free (Reprise)

活动预告🥳：8 月 22 日，我们会请到繁青做一场线上活动，还会有数十位 model researchers 参与，大家记得翻到 shownotes 末尾查看报名信息！ 近几个月，我们找了很多做模型、算法的人交流，聊下来的感受之一是：数据的重要性再次凸显出来。 市场也有很明确的对应反馈，比如一批合成数据公司在很短时间内做出了可观的收入；无论是模型厂还是互联网大厂，都在数据上更为投入。 这期节目，我们请来了较早抓住这波合成数据机会的 Evolvent AI 联合创始人孟繁青。繁青是 01 年出生的 NUS PhD，曾在 Kimi 做过一年多的 Agent 和 RL Infra。 节目里，我们从他在模型厂做 Post-training 与出来创业的不同感受聊起，也相继把有关后训练、数据、RSI/Self-Evolving/AI for AI、国内模型竞争格局，甚至蒸馏这个相对敏感的话题，都比较完整地梳理了一遍，聊出的一个最大非共识，是繁青对国内外模型差异的判断： 原本我们以为，国内更有优势的会是偏工程的 Post-training；但在他看来，国内模型真正有特色的地方，反而是 Pre-training 阶段被资源限制倒逼出来的架构创新。 基于这个认知，我们也得出了一个让人乐观的结论： 很多人会说国模很依赖蒸馏，但繁青认为，蒸馏只是一个加速手段，并不是国内模型变强的决定性因素。就算有一天海外把所有蒸馏通道都封掉，国模依然可以靠预训练的创新能力，构建起自己的竞争力。 最后，Evolvent AI 最近发布了新的研究成果 RSIBench-Data。如果有朋友想在数据、RSI 方面进行交流，也欢迎联系繁青。 【人类博物馆】 导游：曲凯，42章经创始人 51 号珍藏：孟繁青，Evolvent AI 联合创始人；前 Kimi RL 实习生，foucs 在 RL Infra，参与 Kimi K2.5、Kimi Linear 等重要模型发版 【时光机】 Part 1 后训练与模型竞争 * 01:15 在 Kimi 和出来创业的感受有什么不同？ * 02:36 为什么 Post-training 背景的人更容易出来创业？有哪些可能性？ * 04:37 今天的 Bench 和 Eval，与过去相比有什么变化？ * 07:12 Post-training = 做数据、训模型的门槛在变低？ * 10:35 同样是做数据，拉开质量差距的是什么？ * 12:48 国内模型 vs 海外模型，优势其实在 Pre-training？ * 17:09 国模的竞争格局会怎样发展？最后大家要拼的是什么？ Part 2 RSI * 21:50 RSI、Self-Evolving、AI for AI、Auto-Research……该怎么理解这些词？ * 24:35 如果 RSI 真的能转起来，模型是不是真的就要吃掉一切了？ * 29:09 假设模型真能自我迭代，创业公司为什么不直接做一个更好的基模？ * 30:39 要做好 RSI，本质上要解决什么问题？ * 33:48 RSI 继续发展下去，会引发怎样的变化？ Part 3 数据 * 35:29 模型对数据的需求经历了哪几波变化？ * 39:07 模型厂自己也能造数据，为什么还要外采？ * 40:36 数据的下一波机会可能是什么？ * 43:00 现在是「算法就是数据，数据就是 Infra，Infra 就是算法」？ * 46:11 怎么理解合成数据和蒸馏之间的关系？蒸馏技法的区别在哪？ Part 4 展望 * 48:18 模型现有的技术路线还有多大空间？ * 49:33 为什么最近 AI4S 火了起来？ * 51:39 相比于大厂，长期更看好初创模型公司？ * 53:58 蒸馏对国内模型追赶的意义到底有多大？ * 56:18 从合成数据到 RSIBench-Data，Evolvent AI 最终想做成什么？ 【活动预告🥳】 8 月 22 日，我们会请到我们会请到繁青做一场线上活动，还会有数十位 model researchers 参与，感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！ 【The gang that made this happen】 * 制作人：陈皮 * 剪辑：陈皮 * 片头：Mondo Bongo - Joe Strummer & The Mescaleros * 片尾：GeGeGe - 光のサイン

这是一期单口复盘。 这一波 AI 已经进入第四年。一级市场里，模型势能达到几年来最强，应用市场的冷度却跌到了谷底；二级市场里，智谱和 MiniMax 接连上市，而股价的陡峭变化，也多少折射了当下市场的疯狂。 身处其中，最近我一直在想几个问题： 1）过去四年，市场水温经历了哪些关键变化？最值得关注的是哪些公司？ 2）模型与应用的关系是怎么演变成今天这样的？为什么国内跑出来的应用这么少？少数跑出来的公司做对了什么？ 3）模型越来越强，那下游的应用创始人到底该怎么办？ 4）在高速变化里，有哪些不变的常识，仍能帮助我们理解 AI？ 这 20 多分钟，就是我现阶段的一些思考，也是对过去四年的一次复盘。 当然，和大家一样，很多问题我仍然没有答案。比如，故事已经讲到世界模型了，那之后还能讲什么？模型交替领先的局面还会怎么变？Token 成本什么时候才能足够低、真的实现智能平权？ 无论如何，可以肯定的是，我们仍处于 AI 剧烈动荡、快速变化的中早期。那如果 GPT 3.5 代表了爆发期的开始，今天我们是否已经站在了狂热期？转折点距离我们到底还会远吗？ 【时光机】 Part 1 复盘 AI 四年 * 01:03 快速回顾：过去四年市场变化非常剧烈，且趋势跟喜好非常明显 * 02:10 投资人可能一度比张一鸣更清楚字节里谁最有能力 * 03:18 从业十多年，我还是第一次听到「应用已死」的论断… * 05:39 现在市场确实不大投应用，但这次不能只怪投资人？ * 06:50 国内为数不多跑出来的应用公司，做对了什么？ * 09:07 不管 Manus、Liblib 承受了多少争议跟骂名，我都真心希望它们好 * 09:34 模型公司里，我觉得最值得研究的不是 Anthropic / OpenAI / DeepSeek Part 2 模型交替领先，那应用创始人该怎么办？ * 14:37 一句题外话：为什么红杉投得好？ * 15:05 我反而觉得，现在是应用创始人历史上最好的时候 * 17:13 创始人应该默认要「随波逐流」：随模型的波，逐资本的流 * 17:59 建议是不要纯粹为了融资讲故事 * 18:22 Ambi 创始人莫子皓给我的一个启发 * 20:25 「今天所有的产品和创始人，都是模型的期权」 Part 3 在疯狂中，守住常识 * 21:24 一二级市场的疯狂，是 AI 走到阶段性尾声的信号吗？ * 22:33 我不相信一家公司会长期独大，也不相信模型会吃掉一切 * 23:16 IBM 收 CPU 钱，恰如今天英伟达和模型公司收 Token 钱 * 24:33 「历史上几波大的科技革命都经历过导入期、转折点和展开期」 【AI 复盘系列】 * 2025.1.4 为什么我们对 25 年 AI 极度乐观｜AI 年终复盘 * 2024.1.13 24、25 年会是下一代浪潮最关键的两年 | AI 年终复盘 【Reference】 * 这个男人帮 5 万个 AI 应用接上了大模型 | 对谈 Dify 创始人路宇 * Dify 从被低估到成为明星项目，到底做对了什么｜对谈 Dify 创始人路宇 * TikTok 商业化增长从 0 到 1 的幕后经验：关于投放、出海与组织管理等 | 对谈前 TT Ads 首席增长立东 * 信念感与硅谷顶尖孵化器的奇遇：赴美三月，实现千万刀 ARR｜对谈 ACE Studio 创始人 Joe * 从图形学到 AI 生成 3D：我们离 3D 版 Midjourney 还有多远？ | 对谈 Meshy.AI 创始人渊鸣 * 莫子皓团队的新产品 Ambi：https://mp.weixin.qq.com/s/B94bSY7aai4CM8zZ8iR3Gg * 卡萝塔·佩蕾丝《技术革命与金融资本》：https://www.douban.com/doubanapp/dispatch/book/2326852?dt_dapp=1 【The gang that made this happen】 * 制作人：陈皮 * 剪辑：陈皮 * 片头：Mondo Bongo - Joe Strummer & The Mescaleros * 片尾：太阳光明照我心 - 文兆杰

活动预告🥳：7 月 4 日，我们会请到魏小康做一场线下活动，大家记得翻到 shownotes 末尾查看报名信息！ 魏小康可能是国内最懂组织建设和招聘的人之一，也是一个先后深度参与过字节和美团组织建设的稀缺样本： 2017—2020 年，他在字节担任招聘负责人，经历了抖音的高速增长与国际化；2020—2026 年，他又在美团担任招聘负责人及 AI 产品经理。 节目一开始，我们就从小康在这两家公司的经历聊起。字节和美团分别有着怎样的组织思路？像张一鸣和王兴这样的优秀创业者，有哪些共同特质？ 随后，他展开讲了讲这些年对组织建设的诸多思考。组织建设其实可以拆成两大课题： 1）怎么让人运转起来。包括人的「选、用、育、励、汰」，以及传统 HR 领域的文化、薪酬、职级体系等； 2）怎么让人和业务一起运转。包括目标制定和拆解、团队分工与协作等。 在给出这套框架之后，小康也建议，很多创业者其实搞错了轻重缓急，把大量时间花在了错误的地方、用错了功。但在他看来，创业公司组织建设中，80% - 90% 的时间都应该花在招聘上。而招聘中最重要的并不是面试，谈 offer 时最重要的也不是钱。那真正重要的究竟是什么呢？ 节目中，小康讲了很多一手经验和认知，也提出了不少非共识观点（比如，他认为 OPC 是对时代的浪费，00 后创始人在这一波是吃亏的）。 虽然小康已经分享了很多，但其实还有不少话题没来得及讲细、讲透。所以下周六，我们会邀请他在北京做一场线下分享，欢迎大家报名参加！ （btw，这期播客我们对小康的声音经过了变声处理，倒没什么特别的原因，主要是他担心声音被拿去训 AI 哈哈 【人类博物馆】 导游：曲凯，42章经创始人 50 号珍藏：魏小康，互联网行业资深人力资源专家及 AI 产品经理，曾创办互联网猎头公司 Offercome，2017 年公司被字节收购。随后他加入字节，担任招聘负责人；2020 年加入美团，担任招聘负责人和 AI 产品经理。目前正在创业，开发一款 AI 招聘产品 【时光机】 Part 1 从字节到美团 * 02:01 简单对比两家公司组织方式的异同 * 02:44 张一鸣和王兴这样的优秀创业者，有哪些共同特征？ * 06:32 怎样区分 ego 大和自信？ * 09:55 当我们聊组织建设的时候，到底要聊什么？ Part 2 怎么让人运转起来？ * 13:59 创业公司不需要花很多时间搞文化，但要做到一件事 * 17:04 我认为创业公司不需要搞绩效体系，纯粹是浪费时间 * 17:54 培养人固然重要，但人是培养不出来的？ * 18:39 创业公司组织建设工作的 80%—90%，都应该花在招聘上 * 19:13 很多创业者都搞错了招聘的轻重缓急 * 20:38 到底该怎样定义优质的人才供给？ * 21:23 怎么判断该招熟手还是新人？能打赢仗的人有哪些共性？ * 27:08 扩大人才供给是招聘中最难的事，那有哪些可行的方法？ * 29:58 面试并不是人才评估中最重要的一环？ * 30:23 谈 offer 的重点不是谈钱 * 33:14 字节和拼多多溢价招人，算的究竟是一笔什么账？ Part 3 怎么让人和业务一起运转？ * 34:13 Google 至今仍有数千人的招聘团队 * 35:24 创业早期，有必要先招一个 HR 吗？ * 35:41 这个时代，HR 的角色有一大变化 * 36:49 展开讲讲两类组织形式：Google、字节类公司 vs. 亚马逊、美团类公司 * 39:40 OPC 不太靠谱，甚至是对这个时代和自己的浪费？ * 40:22 AI 时代组织建设的两个变化 * 42:08 怎样找到最适合自己的组织方式？ * 43:38 很多 VC 都非常爱投 00 后，但我有一些不太一样的看法 * 47:15 我认为招聘工作肯定会 AI 化 【活动预告🥳】 7 月 4 日，我们会请到魏小康在北京做一场线下活动，感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！ 【The gang that made this happen】 * 制作人：陈皮 * 剪辑：陈皮 * 片头：Mondo Bongo - Joe Strummer & The Mescaleros * 片尾：叫醒我 - Carsick Cars