主播
节目简介
来源:小宇宙
本期要点
· 中端定位的 Claude Sonnet 5.5 在 Vals AI 的私有基准上排到第二,仅次于自家旗舰 Opus 5.5,并超过 GPT-5.1;但单 token 便宜不等于总花费便宜——它更「吃」token,按期望值算实际花费约为前代的两倍。
· Vals AI 的方法论:手写、按行业(金融 / 法律 / 医疗 / 编程)拆分的私有基准,测试集完全保密并采用零数据留存,杜绝「自己出卷、自己监考」式的分数虚高。
· OpenAI 搁置 Astra,真正缺的不是风险意识而是一把尺子:没有人写清楚「达到什么阈值才允许继续扩大训练规模」,竞争压力仍可能再次压倒安全判断。
· 递归自我改进(RSI)基准的推算:按当前发布节奏,Anthropic 的模型有可能在 2027 年 8 月追平人类研究员,OpenAI 大约要到 2027 年年底。
· 独立性比技术问题更难:做审计的团队不能同时是卖解决方案的团队(安然事件的教训);更长远的解法,是由政府发放评测资质的认证机制。
· 中端定位的 Claude Sonnet 5.5 在 Vals AI 的私有基准上排到第二,仅次于自家旗舰 Opus 5.5,并超过 GPT-5.1;但单 token 便宜不等于总花费便宜——它更「吃」token,按期望值算实际花费约为前代的两倍。
· Vals AI 的方法论:手写、按行业(金融 / 法律 / 医疗 / 编程)拆分的私有基准,测试集完全保密并采用零数据留存,杜绝「自己出卷、自己监考」式的分数虚高。
· OpenAI 搁置 Astra,真正缺的不是风险意识而是一把尺子:没有人写清楚「达到什么阈值才允许继续扩大训练规模」,竞争压力仍可能再次压倒安全判断。
· 递归自我改进(RSI)基准的推算:按当前发布节奏,Anthropic 的模型有可能在 2027 年 8 月追平人类研究员,OpenAI 大约要到 2027 年年底。
· 独立性比技术问题更难:做审计的团队不能同时是卖解决方案的团队(安然事件的教训);更长远的解法,是由政府发放评测资质的认证机制。