树大招风,面对横扫天下的 Deepseek,目前美国发出三招,对 Deepseek 进行围剿, 1. 来源于美国的黑客组织,对 Deepseek 网站发动攻击, 2. 马斯克指责 Deepseek 训练模型时,偷偷使用违禁的 H100 GPU卡, 3. 奥特曼指责 Deepseek 通过蒸馏技术,盗取 OpenAI 的数据。 面对来势汹汹的围剿,Deepseek 如何反击?
中美竞争日趋激烈,川普政府为了限制中国产品进入美国市场,不仅对中国加税,而且对墨西哥加拿大也严厉加税。 中国企业是否可以直接入驻美国本土?哪些企业容易入驻,哪些企业不容易。
昨天花了 15 分钟,讲解 Deepseek R1-zero 的训练过程, 节目播出后,收到若干听众反馈,其中有听众想了解,如何把 Deepseek 这个通用大模型,进行专项训练,使之与企业的专业知识和内部数据库相结合,成为具有企业特色的专项模型? 我们这一期花十五分钟时间,先讲解港大马毅教授的新作,“监督微调增强记忆,强化学习举一反三”, 然后讲解 Deepseek R1 论文的第二部分,如何对 Deepseek R1-zero 进行专项训练,强化专业知识,避免违规言论,从而对 Deepseek R1-zero 再训练,进化成 R1, 最后讲讲,如何对 Deepseek R1 进行数据蒸馏,套出 Deepseek R1 的优选数据,用于训练小型模型,让小型模型具备大型模型的专业知识和严谨推理的能力。 之所以暂时没有讲 Agent 和 LoRa 这些传统的做法,是因为感觉到 Deepseek 有可能会颠覆性重构 AI 大模型本身以及下游应用范式, 所以,暂时先放下传统的 Agent 和 LoRa,放下执念,清空大脑,腾出空间,迎接 Deepseek 的颠覆性创新。
中美围绕芯片、AI、和机器人的经济和技术领域的局部竞争,已经演变为国家战略层面的竞争。 中美都输不起,中国如何打赢这场战争?
2025年1月31日,OpenAI 发布了 O1 模型的改进版 O3 mini, O3 mini 进行推理思考时,英文和中文混着讲,一会儿英文一会儿中文。 OpenAI O3 mini 是否蒸馏了 Deepseek 模型? 要回答这个问题,我们要先了解 OpenAI 的内部工作流程,Deepseek 的内部工作流程,然后两者横向比较, 本期节目花 15 分钟,用普通人都能听得懂的语言,读解 Deepseek R1-zero 模型的工作原理。
中美两国围绕芯片、AI 和机器人的经济竞争,正在演变成大国国家战略的竞争。 中国如何打赢这场战争,长处和短板分别在哪里,如何发扬优势,弥补或规避短板?
万一 OpenAI 发起法律诉讼,指控 Deepseek 通过数据蒸馏的办法,违法盗用 OpenAI 的数据,Deepseek 可以从哪几个点,反驳 OpenAI ? 先科普数据蒸馏的技术原理,然后分析 OpenAI 诉讼的软肋,最后猜测 Deepseek 的反击策略。
Deepseek 横空出世,导致英伟达股价重挫 17%,这事基本属于短期震荡。 但是英伟达可能面临比股价下降更可怕的局面,因为 Deepseek 剥开了 CUDA 框架的外壳,直接使用 PTX 汇编语言和指令集, 一旦指令集被 Deepseek 这类团队深入研究,或许 Deepseek 这些团队会提出新的指令集, 一旦有了新的指令集,就会有华为等等厂家,制造比英伟达 GPU 算力更强大的芯片,如果出现这种局面,英伟达或许重蹈 Intel 的覆辙。
Deepseek 震撼发布 AI 大模型,这个原先名不见经传的杭州初创企业,或许将掀起 AI 界的山呼海啸,并可能激化中美已经日趋激烈的高科技竞争。
美国的科技春晚,一年一度的消费电子展 CES 的来世今生,以及对中国企业既爱又怕的纠结。
与播客爱好者一起交流
添加微信好友,获取更多播客资讯
播放列表还是空的
去找些喜欢的节目添加进来吧