第240集 OpenAI o1 算力消耗大!
田丰说

第240集 OpenAI o1 算力消耗大!

0分钟 21 1年前
节目简介
来源:小宇宙

近期,OpenAI在博文中透露Test-Time Scaling,在训练强化学习阶段,所需要的算力并不比预训练少,这一点上人类经常会误判。OpenAI 在训练 代号草莓Strawberry的o1 模型时,通过上万张 H100训练数月,还没有结束,所以推出了o1 preview版,算力代价是非常高!后续猎户座,即GPT-5,参数量可能会继续飙升,以实现更好的推理路径。如李飞飞教授一直强调的,数据质量非常关键,怎么去构造生成数据的算法,以及self-play用的主模型能力就变得非常重要!

加入我们的 Discord

与播客爱好者一起交流

立即加入

扫描微信二维码

添加微信好友,获取更多播客资讯

微信二维码

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的节目添加进来吧