欢迎收听本期《科技前沿》节目！今天的访谈专家是芯片行业的资深人士Dylan Patel。Patel先生以其对AI领域无与伦比的深度和广度知识而闻名，芯片行业在做出决策前都会参考他的观点。在本期访谈中，他将分享他对GPT 4.5失败原因、Meta收购策略、苹果AI困境以及Nvidia与AMD芯片竞争的深刻见解。

接下来，我们将直接进入正题，转述Dylan Patel的论点和论据：

• 关于GPT 4.5的失败原因：GPT 4.5，内部代号为“Orion”，曾被寄予厚望，被认为是GPT-5的雏形。它押注于全规模预训练，模型极其庞大。
  
  尽管它比GPT-4.0和4.1更加智能，甚至能让人发笑，但总体而言，它并不实用，速度过慢，且运行成本过高。
  
  主要问题在于过度参数化：模型在训练初期表现出色，因为它大量记忆了数据，但在后期停止了性能提升，未能有效泛化。
  
  数据扩展速度不足是一个关键因素。虽然投入了大量计算资源，但由于数据量未能同步扩展，导致模型在海量参数下出现了过拟合现象。这与Chinchilla论文提出的参数与token比例的最佳实践不符。
  
  此外，模型训练过程中出现了长达数月的代码错误，以及基础设施层面的巨大挑战，协调如此庞大的资源并确保稳定训练异常困难。
  
  与此同期，OpenAI的另一个团队在**“推理”（Strawberry）方面取得了突破**。这项突破的关键在于生成高质量、可验证的数据（例如，模型在数学问题或代码单元测试中生成数据，并丢弃不正确的结果）。这表明数据才是真正的“瓶颈”，仅仅增加参数并不能带来质的提升。
  
  


• 关于Meta的AI收购策略：Meta首席执行官马克·扎克伯格的战略发生了重大转变，他现在认为**“超级智能”才是最重要的事情**，不再执着于“通用人工智能（AGI）”，因为他认为AGI这个词已经“毫无意义”。
  
  Meta的目标是通过收购顶尖团队和人才来追赶超级智能竞赛。
  
  收购Scale AI并非为了公司本身，因为Scale AI作为一家公司目前“状况不佳”，谷歌和OpenAI都已撤销了与它的合作。
  
  Meta收购Scale AI的真正目的是获得Alexander Wang及其团队中的几位顶尖人才。Dylan Patel认为Alex Wang是Meta超级智能工作的理想领导者，他拥有巨大的成功，并且在产品、人员组织和说服力方面拥有超凡能力，而不仅仅是研究。
  
  Meta还尝试收购其他AI公司，包括伊利亚·苏茨克维尔（Ilia Sutskever）的Safe Super Intelligence（SSI）、Thinking Machines和Perplexity。
  
  然而，SSI拒绝了收购要约，因为伊利亚·苏茨克维尔致力于超级智能的纯粹追求，不看重金钱，并拥有强大的所有权以拒绝这类交易。
  
  Meta据传还在努力招募Daniel Gross和Nat Friedman。Patel先生指出，这两位更多是产品导向的人才，而非纯粹的AI研究员，他们一旦加入，将在Meta内部获得巨大的权力，能够利用Facebook的庞大资源和数十亿用户来推动AI产品的开发和落地。
  
  Sam Altman曾表示OpenAI的顶尖研究员没有因为Meta的巨额奖金（据说高达一亿美元，甚至有传闻称对某些人提供超过十亿美元）而离职。但Dylan Patel对此表示异议，他确信Meta正在吸引一些顶尖研究员，尽管可能不是最初报价最高的那些。Patel先生强调，Meta的策略是为了获取构建超级智能所必需的人才和团队，因为像Thinking Machines和SSI这样的公司本身并没有具体产品，其价值在于人才。
  
  


• 关于苹果的AI困境：苹果是一家非常保守和神秘的公司。他们过去进行过收购，但通常规模很小，Beats是他们最大的收购，而且是一家耳机公司。
  
  人才吸引面临挑战：AI研究人员倾向于公开发表和分享他们的研究成果，这与苹果的保密文化相冲突。尽管苹果已经改变了政策，允许AI研究人员发表论文，但与DeepMind、OpenAI、Anthropic等已经拥有强大AI人才基础或文化的竞争对手相比，苹果在吸引顶尖AI人才方面仍面临困难。
  
  
  
  **对英伟达（Nvidia）的“憎恨”**是一个重要原因。英伟达曾威胁就GPU专利问题起诉苹果。
  
  大约在2015年或更早，英伟达向苹果出售了一批笔记本电脑GPU，这些GPU的焊球因热胀冷缩导致破裂，被称为“Bumpgate”事件。苹果要求赔偿，但英伟达拒绝承担责任。
  
  由于这些历史原因，苹果很少购买英伟达的硬件。
  
  苹果在数据中心运行推理时使用Mac芯片，Patel先生认为这“非常奇怪”，也让那些想打造最好模型的AI研究人员感到挑战。
  
  
  
  关于“端侧AI”（On-device AI）的看法：苹果非常重视设备端AI，但Dylan Patel对此持“看空”态度。他认为，尽管安全性是设备端AI的一大优势，但从人类心理学角度来看，用户更倾向于免费（如Meta、OpenAI、谷歌提供的免费云服务），而不是为安全付费。
  
  硬件限制是主要问题：设备端AI的性能受限于硬件的内存带宽，而增加硬件成本（例如，iPhone多出100美元）所带来的价值，远不如免费的云服务。
  
  关于低延迟的观点，Patel先生认为对于大多数有价值的AI工作负载，如搜索、访问个人数据（Gmail/日历）、代理式工作流或预订航班等，延迟优势并不明显。这些任务通常都需要访问云端数据，而手机无法像服务器那样快速运行GPT-4.5或Claude Opus这样的大型模型。他指出，即使没有直接与Anthropic共享数据，用户也可以连接其Google Drive，这表明了云端集成的必要性。
  
  Patel先生认为，设备端AI未来可能主要应用于低价值的AI功能（即成本结构极低的功能），或用于可穿戴设备（如耳机、智能眼镜）执行简单的本地任务（如图像识别、手部追踪），而真正的推理和思考仍将在云端完成。
  
  尽管苹果在推广设备端AI，但他们也正在建立大型数据中心，并购买Mac芯片用于数据中心，甚至聘请了谷歌TPU机架架构负责人来开发加速器。这表明苹果自身也认为AI的未来在云端。
  
  


• 关于英伟达与AMD芯片竞争：AMD的努力：AMD正在非常努力地追赶。
  
  硬件方面：AMD的硬件在某些方面落后于英伟达的Blackwell芯片，特别是英伟达的NVLink网络硬件使其能够将72个芯片紧密连接协同工作，而AMD目前只能实现8个芯片的紧密协作。然而，AMD的硬件在“某些方面”也有其优势。
  
  
  
  软件（CUDA生态）：这是AMD面临的“真正挑战”。AMD的开发者体验不佳，尽管正在改善。
  
  大多数研究人员不直接接触CUDA，而是通过PyTorch等框架或VLM/SGLANG等推理库来使用GPU。
  
  英伟达的软件堆栈（包括Dynamo等库）为用户提供了更便捷的体验。
  
  AMD需要用户设置更多的“标志”或参数才能达到最佳性能，这导致用户体验较差。
  
  市场份额：Dylan Patel认为AMD今年将“获得一些份额”，但不会是市场份额的激增。尽管Nvidia的Blackwell芯片本身在某些方面可能不如AMD，但Nvidia的系统级集成（特别是NVLink带来的网络硬件优势）使其在推理和训练方面表现更优。
  
  
  
  英伟达的策略与失误：扶持“新云服务商”：英伟达将GPU分配给Coreweave、Oracle、Nebius、Together、Lambda等规模较小的云公司，这有助于降低GPU的租赁价格（亚马逊每小时6美元，而英伟达希望合理的利润率约为1.75-2美元）。此举是为了防止亚马逊和谷歌等大型云服务商攫取所有利润。
  
  收购Lepton公司：英伟达收购了Lepton，该公司专注于构建云软件，提供可靠性和调度功能。
  
  推出DGX Lepton：英伟达现在推出了DGX Lepton服务，他们从拥有闲置资源的云公司租用裸金属GPU，并集成Lepton的软件，然后将计算能力租赁给终端用户。Dylan Patel认为这意味着英伟达在直接与自己的云合作伙伴竞争，这让许多云公司感到“非常愤怒”。
  
  
  
  AMD的反击策略：“会计技巧”/资助投资：AMD正在通过回租GPU的方式，有效地资助云服务商购买其GPU。他们向Oracle、亚马逊、Crusoe、Digital Ocean、TensorWave等公司出售GPU，然后再从他们那里租回，这建立了“非常良好的关系”。
  
  Patel先生表示，这使得像TensorWave和Crusoe这样的云公司“非常喜欢AMD”，因为他们从中获利并可以进行再投资。
  
  一些云公司也转向AMD，部分原因是AMD的付款，部分是由于对英伟达竞争策略的不满。
  
  给公司的建议：Patel先生认为，为公司选择芯片组取决于AMD提供的价格。如果AMD能提供一个“非常优惠的价格”，并且公司拥有相应的软件人才，那么在某些特定工作负载下使用AMD是有意义的，就像Meta所做的那样。然而，在大多数工作负载中，英伟达仍然是最佳选择。
  
  

感谢收听本期《科技前沿》节目，希望Dylan Patel的深度解析能让您对AI和芯片行业有更深入的理解。