近期，OpenAI在博文中透露Test-Time Scaling，在训练强化学习阶段，所需要的算力并不比预训练少，这一点上人类经常会误判。OpenAI 在训练 代号草莓Strawberry的o1 模型时，通过上万张 H100训练数月，还没有结束，所以推出了o1 preview版，算力代价是非常高！后续猎户座，即GPT-5，参数量可能会继续飙升，以实现更好的推理路径。如李飞飞教授一直强调的，数据质量非常关键，怎么去构造生成数据的算法，以及self-play用的主模型能力就变得非常重要！