
时长:
48分钟
播放:
6,327
发布:
5个月前
简介...
「我们的测试是,通过 MaaS 获得收入,代价太高了」
上周六,DeepSeek 发布开源周收官之作:概述了 DeepSeek 的推理优化思路,并放出了 2 月 27 日前后一个 24 小时时段内的线上时机测试。
据 DeepSeek 官方数据,这 24 小时里,他们处理的 Token 输入总量是 608B(6080 亿);输出的 token 量是 168B(1680 亿)。每秒每节点(一节点有 8 张 H800)的吞吐量达到了输入 73.7k Tokens,输出 14.8k Tokens。
做到这么大的吞吐量,他们平均只用了 226.75 个节点,每个节点是 8 张英伟达 H800,加起来是 1814 张卡。而这支撑了 DeepSeek 高达 2000万-3000 万的日活。
由此 DeepSeek 也根据 GPU 的市场价格,和自己的 API 定价,算了一个成本利润率,即这几天被广泛传播和讨论的 545%,换算成毛利是 84.5%。
这也让前段时间算过另一笔账,且结果大相径庭的的潞晨科技创始人尤洋的言论被推到了风口浪尖。
尤洋曾说,通过自己的实测,他发现中小云平台现在部署 DeepSeek,再售卖 API 给其它应用方,是巨亏的生意,月亏可达 4 亿。
亏损的核心是,尤洋自己测的吞吐量与 DeepSeek 公布的数据相差巨大(每节点每秒输出位 300 Tokens 左右)。由于 GPU 的价格在一定时间内是固定的,吞吐量,就决定了 API 服务能否赚钱。
在“被打脸”的争议中,尤洋接受了「晚点聊」的访谈。我们聊的时间是 3 月 1 日,尤洋没有特别提及 DeepSeek 的具体推理优化,他称自己不方便评价。
他更多聊了,为什么他认为中小云平台做 MaaS 服务不赚钱,也解释了他眼中的 MaaS 商业模式。他认为单纯卖 API 的 MaaS 可能更合适大型云厂商和自己开发独家模型,并能做相应深度优化的公司。
3 月 1 日,潞晨科技也宣布停止即将包括 DeepSeek API 在内的 MaaS 服务。
如果听友想更详细的了解,考虑到运维、折旧等成本的 DeepSeek 实际利润率怎么测算,可以看 Shownotes “附录”里贴的几篇相关链接,有非常详细的解读,并搭配了公式和图表。
本期嘉宾:
尤洋,潞晨科技创始人
时间线跳转:
00:04 DeepSeek 官方实测数据,惊人的吞吐量带来惊人利润率
03:10 尤洋此前的测算引发争议与讨论:亏损 4 亿 vs 毛利 85%
09:25 一个合格 to B MaaS 服务,冗余资源到底该备需求的几倍?
12:26 潞晨科技已不再做 MaaS 服务,MaaS 买的是 GPU 时间,卖的是 Token 调用,承担了链条上的最多亏损
17:57 专注给大小公司部署私有模型
22:15 强模型公司(如 OpenAI)和大型云厂商自己做 MaaS 更合理
26:22 高额利润才能带来创新投入,价格战会导致大家都没资源投入研发
28:20 实际服务中,输入、输出序列的波动,用户请求的多样化,会导致线上服务效率下降
34:28 云计算也是高弹性,AI 云平台不会成为新的云计算吗?
38:17 潞晨想做 AI 版 Databricks,而 Databricks 自己也在做这件事;创业公司的空间在哪儿?
43:00 新方向是自己训练视频生成模型,在热潮前的 2021 年 9 月开始创业的方向选择
46:37 技术和商业问题可以广开讨论,不打算再回应其他争议
相关链接:
再次深度拆解:Deepseek利润率高达85%,推理效率领先一个数量级,彻底颠覆认知!(老罗的暗中观察)
回应争议:Deepseek真实利润率是多少?到底需要多少算力?
光年之外联创再出发,与袁进辉聊 AI Infra 到底做什么?
剪辑制作:甜食
本期主播:小红书 @曼祺_火柴Q,即刻 @曼祺_火柴Q
☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆
欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。
这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。
请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。
关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章:
上周六,DeepSeek 发布开源周收官之作:概述了 DeepSeek 的推理优化思路,并放出了 2 月 27 日前后一个 24 小时时段内的线上时机测试。
据 DeepSeek 官方数据,这 24 小时里,他们处理的 Token 输入总量是 608B(6080 亿);输出的 token 量是 168B(1680 亿)。每秒每节点(一节点有 8 张 H800)的吞吐量达到了输入 73.7k Tokens,输出 14.8k Tokens。
做到这么大的吞吐量,他们平均只用了 226.75 个节点,每个节点是 8 张英伟达 H800,加起来是 1814 张卡。而这支撑了 DeepSeek 高达 2000万-3000 万的日活。
由此 DeepSeek 也根据 GPU 的市场价格,和自己的 API 定价,算了一个成本利润率,即这几天被广泛传播和讨论的 545%,换算成毛利是 84.5%。
这也让前段时间算过另一笔账,且结果大相径庭的的潞晨科技创始人尤洋的言论被推到了风口浪尖。
尤洋曾说,通过自己的实测,他发现中小云平台现在部署 DeepSeek,再售卖 API 给其它应用方,是巨亏的生意,月亏可达 4 亿。
亏损的核心是,尤洋自己测的吞吐量与 DeepSeek 公布的数据相差巨大(每节点每秒输出位 300 Tokens 左右)。由于 GPU 的价格在一定时间内是固定的,吞吐量,就决定了 API 服务能否赚钱。
在“被打脸”的争议中,尤洋接受了「晚点聊」的访谈。我们聊的时间是 3 月 1 日,尤洋没有特别提及 DeepSeek 的具体推理优化,他称自己不方便评价。
他更多聊了,为什么他认为中小云平台做 MaaS 服务不赚钱,也解释了他眼中的 MaaS 商业模式。他认为单纯卖 API 的 MaaS 可能更合适大型云厂商和自己开发独家模型,并能做相应深度优化的公司。
3 月 1 日,潞晨科技也宣布停止即将包括 DeepSeek API 在内的 MaaS 服务。
如果听友想更详细的了解,考虑到运维、折旧等成本的 DeepSeek 实际利润率怎么测算,可以看 Shownotes “附录”里贴的几篇相关链接,有非常详细的解读,并搭配了公式和图表。
本期嘉宾:
尤洋,潞晨科技创始人
时间线跳转:
00:04 DeepSeek 官方实测数据,惊人的吞吐量带来惊人利润率
03:10 尤洋此前的测算引发争议与讨论:亏损 4 亿 vs 毛利 85%
09:25 一个合格 to B MaaS 服务,冗余资源到底该备需求的几倍?
12:26 潞晨科技已不再做 MaaS 服务,MaaS 买的是 GPU 时间,卖的是 Token 调用,承担了链条上的最多亏损
17:57 专注给大小公司部署私有模型
22:15 强模型公司(如 OpenAI)和大型云厂商自己做 MaaS 更合理
26:22 高额利润才能带来创新投入,价格战会导致大家都没资源投入研发
28:20 实际服务中,输入、输出序列的波动,用户请求的多样化,会导致线上服务效率下降
34:28 云计算也是高弹性,AI 云平台不会成为新的云计算吗?
38:17 潞晨想做 AI 版 Databricks,而 Databricks 自己也在做这件事;创业公司的空间在哪儿?
43:00 新方向是自己训练视频生成模型,在热潮前的 2021 年 9 月开始创业的方向选择
46:37 技术和商业问题可以广开讨论,不打算再回应其他争议
相关链接:
再次深度拆解:Deepseek利润率高达85%,推理效率领先一个数量级,彻底颠覆认知!(老罗的暗中观察)
回应争议:Deepseek真实利润率是多少?到底需要多少算力?
光年之外联创再出发,与袁进辉聊 AI Infra 到底做什么?
剪辑制作:甜食
本期主播:小红书 @曼祺_火柴Q,即刻 @曼祺_火柴Q
☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆
欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。
这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。
请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。
关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章:
评价...
空空如也
小宇宙热门评论...

_Lyn_
5个月前
浙江
43
确实蛮多暴论。一开始就亮一下自己辉煌的过往,以后就那几个观点反复强调,论据单薄。这很难评。😂

老C_codedump
5个月前
广东
31
我打算在点击这期节目收听之前,虔诚默念一下“感恩” ,不然怕后续被一连串反问问得措手不及 🤣

村口集合卓进步
5个月前
浙江
20
11:50 我感觉他就是在嘴硬,纸上谈兵性能优化

reddream
5个月前
北京
18
非常愿意听到多元化的观点,听得出嘉宾的压力很大,使得很多更技术化的讨论没法展开。我认同嘉宾的观点,虽然我作为一个开发者,API成本越低越好,但是现在API白菜价,确实不容易挣到钱。DeepSeek比较特殊,自己的APP和API都非常火爆,因此GPU利用率很高,但是确实有代价,根据我自己的经验,在火之前调用V3的速度能够达到60 tokens/s,现在20 tokens/s左右。不知道他们放出来他们的成本估算是什么意思:是说我能挣到钱,大家不要替我们担心了,还是“大家都来做MAAS吧”
表现力
5个月前
新加坡
12
最近听论文解读累了还可以穿插吃瓜 晚点选题节奏实在是太棒了
cmw_swQi
5个月前
江苏
10
蛮多暴论,听到支持垄断的时候我都懵逼了,都垄断,所有人把gpt4一直重训,这不是浪费人类资源吗,开源才是节省人类资源的最佳方式
曼祺_MatchQ
5个月前
北京
10
周六想约尤洋来聊时,想更多聊 MaaS 服务本身,他为什么觉得中小云平台做 MaaS 不赚钱。后来当天发生很多事[捂脸]潞晨也宣布停止 DeepSeek 服务。
DeepSeek 放的是24小时在线服务实机测试(shownotes里贴了两篇详细测算实际成本的,来自 “老罗的暗中观察”),效率惊人。
其它公司能不能做到?借助上一周的更多开源优化成果,各家会有自己的判断和实践。喧嚣是短暂的,干活是一直的!

SinanZhou
5个月前
广东
8
记得要感恩哦

小小小肥柴
5个月前
新加坡
8
单说尤洋老师的观点,“中小厂利用自己的显卡部署deepseek的模型,来做maas生意不赚钱”,这个观点个人觉得是没问题的。
因为模型是开源的,推理框架大体是开源的(最多自己做点优化),核心竞争力只有显卡。但这个商业模式肯定也是打不过大厂的,所以maas生意不赚钱这个观点个人觉得挺合理的。
但由这个往下推的话,尤洋老师自己公司的生意模式,跟这个的差异也不大吧?最多是加上一部分私有云部署的话,按这个逻辑的话是不是也不赚钱?
如_烟
5个月前
河北
8
这小子说的要openai要保持垄断 有足够的利润 奖励创新 是有些道理,但目光短浅。
看看deepseek出来的时间, 美国星际之门绑定欧洲日本封锁中国,deepseek出来英伟达应声大跌,站在国家层面 deepseek开源就是打破封锁的一大利器 这是有战略意义的(观点来自于雪球,我只是搬运。)

浩Sean
5个月前
湖北
7
曼祺真不错!也支持尤洋敢于表达自己!关于公司要不要赔本赚吆喝,自然有市场无形的手来调节,没必要太多讨论,当下还是关注技术创新吧

生而为猫奴
5个月前
广东
6
25:19 所以苹果创新得怎样?英特尔、IBM当年可都是垄断龙头呢
豆Jayce
5个月前
江苏
6
16:32 闲置算力货币化势在必行……啥时候能有以算力为base的小金融系统

山丘1900
5个月前
广东
6
感觉 2 倍能力的机器是保证不了稳定性,看看双十一现在配多少硬件备用就知道
张俊_PYMo
5个月前
未知
5
这期嘉宾能发出不同观点,我觉得是比较好的。主持人不仅非常专业,而且声音非常悦耳,很棒的一期节目
Alex_wToP
5个月前
浙江
4
很有勇气,但是有点嘴硬。ds 自己的推理 api 资源利用率大概率是强于开源方案的,否则训练资源怎么可能节省百分之八九十。
35
4个月前
河北
4
25:25 纯纯暴论,垄断公司会去探讨新技术,并不是因为垄断本身,而是因为他想维持垄断这个地位。因果倒置,所以新技术的产生和垄断公司没有关系,只和竞争有关系
四萌X2
4个月前
上海
4
我觉得尤总觉得maas不赚钱很简单,是因为团队技术能力卷不过头部maas的技术能力,算算token产出跟折旧电费,算数谁都会做。
而deepseek说他们的价格是有赚头的,我觉得从人家开源周那么多开源项目用来提升集群算力就能管中窥豹了,应该没啥水分,是实在话。暂不考虑负载均衡问题,没有技术沉淀,单单想拿别人的开源项目+市场上能买到的硬件简单拼接就跑出别人的token效率是很不现实的
老麻雀
4个月前
广东
3
听了一下,其实感觉不用扯这么多,就是现在他的衣服模式不匹配,做不了不就行了吗?解释那么多干麻呢他做不了别人做不了了吗?没必要去硬去东拉西扯。
HD45408o
4个月前
北京
2
04:52 “为什么你知乎评论区开了精选” ,哈哈哈哈哈,这才不到 5 分钟,曼祺直接拉满