← AI下一帧
EP046 | vLLM:英伟达为什么不想赢这场仗?

AI下一帧

EP046

vLLM:英伟达为什么不想赢这场仗?

时长
41分钟
播放
194次
发布
2周前
在小宇宙收听 ↗

Show notes

节目简介

来源:小宇宙
一个博士生的课堂项目,凭什么打败了英伟达?
2023年春天,伯克利一个爆款聊天 demo 流量炸了,后端眼看要崩。几个博士生把一个还没公开的东西临时顶上去救场——扛住五倍流量、GPU 砍一半。大半年后才补写成论文。这个救火队员,就是今天全世界跑大模型的默认底座:vLLM。
这期我们追一个反直觉的问题:一个学生的开源项目,凭什么打败了英伟达官方的推理引擎,成了所有人脚下的地基?答案要剥三层——它的护城河根本不是技术(跑分它甚至不是第一),而是抢先变成了接口标准;它能抢先,是因为最有资格的英伟达,出于卖卡的生意逻辑压根不想赢,还顺手把所有想摆脱锁定的客户都送了过来。我们把 PagedAttention、连续批处理用游戏里的刷怪波次和对象池讲清楚,拆开"推理引擎=AI时代收费站"这盘大棋,最后聊聊这个收费站正从训练端悄悄挪到推理端,意味着什么。
适合每一个在 AI 牌桌上,总觉得自己"不够顶尖"的人听。
想听更多 AI 行业深度分析?欢迎在小宇宙搜索「AI下一帧」,每周日早上8点更新。
想聊的欢迎留言,或发邮件给主播:[email protected]
=====================================
时间轴
00:00 开场
01:58 vLLM:先有危机,后有论文
05:49 天天用 vLLM,却没想过为什么
08:40 为什么推理这层这么值钱
12:21 它凭什么快又省:PagedAttention
13:59 它凭什么快又省:连续批处理
21:32 它的护城河,根本不是技术
26:27 英伟达,根本不想赢这场
29:42 英伟达想解也解不开的死结
32:56 它会一直赢下去吗?
37:44 片尾曲《墙根》
=====================================
参考链接:
vLLM 官方 · 起源与技术
vLLM 首发博客(PagedAttention / 24倍 / LMSYS 实战)
https://blog.vllm.ai/2023/06/20/vllm.html
PagedAttention 论文(SOSP 2023)
https://arxiv.org/abs/2309.06180
vLLM V1 架构重构发布博客
https://blog.vllm.ai/2025/01/27/v1-alpha-release.html
vLLM 2024 年度回顾 · 2025 展望
https://blog.vllm.ai/2025/01/10/vllm-2024-wrapped-2025-vision.html
vLLM GitHub 仓库
https://github.com/vllm-project/vllm
连续批处理 · 性能数据
Anyscale:连续批处理第三方实测(8倍/23倍)
https://www.anyscale.com/blog/continuous-batching-llm-inference
Orca:iteration-level 调度起源(OSDI 2022)
https://www.usenix.org/conference/osdi22/presentation/yu
BentoML:推理引擎中立横评
https://www.bentoml.com/blog/benchmarking-llm-inference-backends
英伟达为何给对手贡献代码
vLLM × OpenAI gpt-oss 三方适配(含英伟达 Blackwell 内核)
https://blog.vllm.ai/2025/08/05/gpt-oss.html
治理与商业化
PyTorch 基金会托管 vLLM
https://pytorch.org/blog/pytorch-foundation-welcomes-vllm/
Red Hat 收购 Neural Magic
https://www.redhat.com/en/about/press-releases/red-hat-acquire-neural-magic
Inferact 融资 1.5 亿美元商业化 vLLM
https://techcrunch.com/2026/01/22/inference-startup-inferact-lands-150m-to-commercialize-vllm/
同门师弟 · SGLang
SGLang 与 RadixAttention
https://lmsys.org/blog/2024-01-17-sglang/
SGLang v0.4(Agent/高并发优化)
https://lmsys.org/blog/2024-12-04-sglang-v0-4/
=====================================
前游戏开发者,现海外云厂商架构师 [反向弯曲] 主理的 [AI×游戏] 播客!
帮助互联网|游戏从业人员
拆解全球游戏 AI 前沿动态,深挖技术落地干货。
让你轻松拿捏行业脉搏,预判 AI + 游戏的 "下一帧"。
对未来好奇?速戳订阅!
小红书b站同名:反向弯曲

Listeners say

小宇宙热评

共 1 条 · 按点赞排序
  1. Jocelyn_L_Li TOP 1

    · 上海

    0

    听到这期的最后主播讲到位置点的问题,联系当前自己的处境,有个问题想听听主播的高见:我是传统工程咨询转工程软件开发的,现在AI Coding利好了很多工程师,典型场景就是一些边边角角的小需求随手写个小程序就能解决了,这种程度的工具其实都谈不到所谓的决策点(我甚至觉得在许多简单甚至不简单的任务里,强调人类的判断能力是一种自我安慰),然而许许多多这样的小工具也足以影响付费软件的收入。 此前我开发的一个产品最近也被拿去复刻了。这个产品本身有一定复杂度,AI复制品出现了大大小小的可见问题,后续产品根据用户意见的升级也显得有些乏力,但它以免费的姿态出现,多少对我有些影响。 复盘这个软件的成长过程以及用户的反应,我的体感是所谓的市场抢占在小圈子里成立与否存疑,工程行业下行人们越来越价格敏感,所谓的品位、交互便捷性、产品稳定性都成了可以商量的东西,大多数人对使用频次没那么高的软件是很宽容的,当软件免费时尤其如此。但工程行业再出现一个霸道如CAD的软件几乎不现实。这种情况下,主播觉得下一个点要站在哪里?刷怪式地也驱动AI开发各种小产品线占住视野?还是坚持所谓的品质品位路线等待有缘人付费?这个问题不知会不会太重,我的圈子里做开发的不多,就当和主播简单探讨吧,感谢。

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的单集添加进来吧