一个人、两周、数百美元，如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫

活动预告🥳：9 月 12 日，我们会请到雨鑫做一场线上活动，大家记得翻到 shownotes 末尾查看报名信息！
最近硅谷有了新热点：主权 AI 和 Personal Intelligence。简单来说，就是很多人开始相信，未来会有越来越多的应用公司和个人，训练自己的模型。
对绝大多数人来说，训练模型仍然是一件听起来遥不可及、门槛很高的事，但我们这期节目的嘉宾逯雨鑫却认为，它非常简单，简单到他此前没有 AI Lab 的经历，也不是 AI PhD，只用了 2 周和数百美元，就后训练出了两个登顶 Hugging Face Model Trending 榜首的小模型。
他具体是怎么做到的、摸索出了怎样的 Pipeline？过程中踩过哪些坑？以及无论对个人还是公司来说，训练模型最大的卡点都是数据，那么他是怎么攻克这个难题的？在蒸馏路线、数据来源上，又有哪些 secret sauce？
节目后半段，我们还进一步讨论了主权 AI、Personal Intelligence 和 Local AI 相关的各种问题，比如这些事情普及开来的门槛在哪里、未来 AI Lab 和应用公司的分工与价值会有什么变化等等。
就在一个月前，我们还在讲 AI 应用遭受的冷遇；但录完这期，我们好像又看到了应用的曙光。也许在不久的将来，越来越多的应用公司都会成为 Neo Lab，Local AI 也可能成为一个 PC 级别的机会。而拥抱模型训练和 Local AI，最好的时间可能就是现在。
希望雨鑫摸索出的实践路径，能给应用公司和个人带来一些启发。如果你还想了解更多，也欢迎报名 shownote 末尾的线上活动，来和雨鑫直接交流（尤其欢迎应用创业者！）
【人类博物馆】
导游：曲凯，42章经创始人
52 号珍藏：逯雨鑫，Mind Lab 研究员；以个人开发者身份、数百美元成本微调的模型两次登顶 Hugging Face 热度榜；focus 在 post-training（蒸馏、SFT）与数据工程，近期方向为 continued pre-training
【时光机】
Part 1 训模型的实操经验
* 01:33 非 PhD / AI Lab 背景，凭什么能训出榜一模型？
* 03:23 训这两个模型的成本具体有多少？
* 06:08 个人训模型的完整 Pipeline 和避坑经验
* 11:33 最大的难点和卡点：数据
* 11:48 合成数据效果并不好？
* 12:16 数据从哪来、具体要用多少、如何配比？
* 15:34 数据难以提前预估效果的原因：Capacity Gap
* 17:18 简评蒸馏的各种路线，以及到底什么叫「聪明地蒸」？
* 20:01 自己训、自己用，性价比真的更高吗？
* 22:10 坑最少的开源模型是？
Part 2 对主权 AI 的思考
* 23:44 自己训模型会成为应用公司的标配吗？
* 25:25 训模型可能会成为一件商品化的事情？
* 27:01 应用公司反而可能会成为 Neo Lab?
* 32:07 AI Lab 和应用公司之间的分工可能会有什么变化？
* 33:39 现在 AI Lab 砸钱买数据，就有点像移动互联网早期字节砸钱买用户
* 35:31 如果主权 AI 真的兴起，AI Lab 的价值会有什么变化？
* 36:59 Local AI 会不会成为 PC 级别的机会？
* 40:17 用户最终会不会还是希望用上 SOTA 级别的智能，而不是 Local AI？
【活动预告🥳】
9 月 12 日，我们会请到雨鑫做一场线上活动，感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！
【The gang that made this happen】
* 制作人：陈皮
* 剪辑：陈皮
* 片头：Mondo Bongo - Joe Strummer & The Mescaleros
* 片尾：Spacemen 3 - Set Me Free (Reprise)