HuggingFace认为，合成数据只在特定领域有用。

8月18日，HuggingFace联合创始人兼首席科学官Thomas Wolf发布即时浏览器模型 SmolLM360，同时分享总结了研发小模型时的经验：“真实数据的潜力还没有完全发挥出来，合成数据可能只对极度缺少真实数据的领域更有意义，比如推理和数学。”目前SmolLM-360M开源模型发布了Demo，在浏览器里直接能跑出SOTA水平。研发团队将模型尺寸从1.7B下降到360M，发现与过去的研发共识不同，即使是小模型也要在数万亿token上训练，时间越长越好。因为团队花费了大量时间来制作合成数据提示，最终发现严格过滤的网络数据仍然更好，而且更加多样化。过去的对齐和微调技术，针对大模型非常有效，但对小模型效果并不理想。

家人们的点赞、收藏、分享，是对田老师录课的最大支持！关注《田丰说》，每天3分钟，掌握全球AI大事件,本视频由商汤“如影”数字人APP生成。