E246|何谓蒸馏?聊聊硅谷如何看中国开放模型逼近前沿
硅谷101

E246|何谓蒸馏?聊聊硅谷如何看中国开放模型逼近前沿

67 分钟 9 万 次播放 2个月前发布

在小宇宙收听

节目简介

来源:小宇宙
7月27日,月之暗面正式发布Kimi K3的完整模型权重。自7月16日API上线以来,K3就在在多项测试中展现出接近前沿模型的能力。因此,它成为了硅谷最近讨论开源时的重要案例之一。从2025年初的DeepSeek时刻,到当下的Kimi K3,中国开源模型正在从成本更低、能力稍弱的替代品,逐渐逼近甚至超过最强的闭源前沿模型。
随之而来的,是一场越来越激烈的蒸馏争论。什么是蒸馏?通过闭源模型的输出进行训练,和未经授权的大规模能力提取,有什么区别?即使中国实验室使用过美国模型生成的数据,它又究竟能解释多少最终能力?
本期播客,我们邀请到两位嘉宾来分别从开源生态和企业的视角,讨论这一波中国开源模型的影响:前Hugging Face亚太开源生态负责人王铁震,和TinyFish联合创始人Keith Zhai。
我们从K3带给硅谷的挑战聊起,讨论了为什么把中国模型的进步全部归因于蒸馏,实际上忽略了架构、强化学习、数据工程和推理基础设施上的创新。而当蒸馏从一种中性的训练技术,变成商业竞争和政策讨论中的指控时,争议的核心又变成了什么?
在此之外,我们也讨论了K3针对大型推理服务商设计的商业授权:当开源权重模型持续压低成本,它会如何冲击OpenAI、Anthropic等闭源实验室的商业模式?当模型能力逐渐商品化,未来AI行业的价值会流向模型本身、推理基础设施,还是Agent与企业工作流?
注:本期播客中提到的“开源”,更准确地说是开放权重(open weights)。K3官方称自己为开放模型,它使用的是Kimi K3 License,不是标准 MIT/Apache 这类完全开放的OSI license。
【主播】
Yiwen,硅谷101特约研究员
【嘉宾】
王铁震,Hugging Face前亚太生态负责人
Keith Zhai,TinyFish联合创始人
【你将听到】
中国开放模型,硅谷怎么看?
01:45 Kimi K3为什么突然成为硅谷关注的焦点?
03:33 从DeepSeek、GLM到K3:硅谷对中国模型的判断如何变化
06:51 企业为什么开始转向中国模型
10:23 中国开放模型推理成本
蒸馏争端始末
13:24 蒸馏争议:到底什么是蒸馏?
17:22 K3是否可能在短时间内蒸馏最强闭源模型?
19:48 蒸馏能解释模型的核心能力吗?
开放模型对闭源商业模式的影响
23:54 K3 License与开放模型商业化
34:27 开放模型会怎样冲击OpenAI和Anthropic的收入与估值?
37:39 英伟达为什么支持开放权重
43:41 中国公司为什么选择开放
强大的开放能力下,Agent生态如何变化?
45:04 Thinking Machines为什么开放权重?
48:39 开放模型催生的新生态
48:43 OpenRouter等多模型平台为什么开始受益?
49:56 对Agent产品和基础设施的影响
开放模型的安全之争
55:40 接近前沿的模型,到底应不应该开放权重?
01:04:01 开源和闭源模型,谁更容易被滥用?
【延伸阅读和相关术】
Kimi K3官方技术报告与模型权重
Kimi K3授权协议
Anthropic对蒸馏攻击的指控
《开放权重与美国AI领导力》
【相关术语】
开放权重(Open Weights):指模型开发者公开模型训练完成后的参数文件,允许用户下载模型,并在自己的设备或云端进行部署、推理、微调或进一步开发。开放权重并不意味着训练数据、训练代码和完整训练流程也同时公开,具体使用方式还会受到模型授权协议的限制。
开源模型(Open-Source Models):通常指不仅公开模型权重,还公开足以让外部开发者研究、修改和复现模型的更多组成部分,例如训练代码、模型架构、数据处理方法、训练流程,以及在部分情况下使用的训练数据。由于大模型很少完整披露所有训练材料,目前业界对什么样的模型可以被严格称为“开源”仍存在争议。
思维链(Chain of Thought):指模型在生成最终答案之前,用一系列中间步骤拆解问题、组织信息和进行推理的过程。
规模扩展效率(Scaling Effiency):指模型将计算资源转化为能力提升的效率,也就是在使用相同或更少的算力、数据或训练成本时,能否获得更好的模型表现。
键值缓存(KV Cache):指模型在处理上下文和生成内容时,保存此前token在注意力计算中产生的Key和Value数据。这样,模型在生成下一个token时不必重新计算全部历史内容,可以显著降低重复计算,提高生成速度;但上下文越长,KV Cache占用的内存通常也越大。
【硅谷101正在招聘】
《硅谷101》招聘多个全职岗位,欢迎加入我们的超酷的深度内容工作团队!
👉🏻点击查看招聘详情
【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Kablaam - Ealot
Flickering Torches - Christian Andersen
Radar Focus - Blue Saga
Pulse Runner - Helmut Schenker
【在这里找到我们】
公众号:硅谷101
收听渠道:Apple Podcast|Spotify|小宇宙|喜马拉雅|蜻蜓FM|荔枝FM|网易云音乐|QQ音乐
其他平台:YouTube|Bilibili 搜索「硅谷101播客」
联系我们:[email protected]
Special Guests: Keith Zhai and 王铁震.

小宇宙热评

共 20 条 · 按点赞排序
  1. 燎原火鍋 TOP 1

    · 中国香港

    49

    细想想,衡水中学和衡水老白干,都是干蒸馏的

  2. russell_sg9l TOP 2

    · 北京

    47

    本来是想听听蒸馏技术,这也太那啥吧,大家都知道的

  3. carterlu TOP 3

    · 重庆

    29

    挺好的 但缺少闭源的视角 两个嘉宾都是开源受益者。

  4. Ellis_319

    · 江苏

    27

    不能蒸馏这点肯定不对 姚顺宇都点名两家是硬蒸的了

  5. 永庆好公司

    · 上海

    18

    很棒的一期

  6. 阿拉琴

    · 上海

    14

    1:06:44 感觉他们的观点好矛盾。一方面说开源也不一定不安全,另一方面狂喷“安全”自检公司。所以嘉宾到底觉得有安全问题吗?如果有如何解决?

  7. N-e

    · 内蒙古

    14

    前几天看过一个关于 reasoning blob的科普贴,也有关于glm如何破解fable的加密cot的介绍,不知道嘉宾或者评论区比较懂行的人怎么看

  8. emmmmm_SHJl

    · 广东

    12

    采访的贾斌都是外行,或者出于立场考虑没办法说真话。今年初glm率先破解了claude思维链加密方式拿到了思维链输出,从此国内各家开展了声势浩大的蒸馏行动

  9. 雷丘凌凌漆

    · 北京

    10

    铁镇对开源是否就不安全的讨论让人很有收获,以一个垄断的姿态或者头部商业机构的身份去定义安全标准就是完全不安全的。在所有业务模型Maxxing 的过程里监管或者安全标准就应该跟上,但很可惜新技术兴起的发展过程里被政权加以利用,而不是加以监管和建立掣肘的制度。技术革命的确有时候会跑在猫鼠游戏之前,但是该存在的规范还是应该要有的,只不过大家都在等那个捅笼子的事件来临之前,飞速狂奔。

  10. HD588031h

    · 广东

    9

    13:33 主持人的手链摩擦声有点让人难受😣

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧