← AI下一帧
EP042 | Google、OpenAI、Anthropic 都在用的排行榜,1/3答案写在题目里

AI下一帧

EP042

Google、OpenAI、Anthropic 都在用的排行榜,1/3答案写在题目里

时长
54分钟
播放
214次
发布
1个月前
在小宇宙收听 ↗

Show notes

节目简介

来源:小宇宙
SWE-bench 67.8%——这个数字是说 AI 能帮你修 67.8% 的 bug?不是。Princeton 团队自己回头查了一遍:三成"做对"的题,答案直接写在 bug report 的评论区里;还有三成是蒙的,测试用例太弱没检测出来。过滤完,实际解决率从 12.47% 掉到 3.97%。更残酷的是:同一个模型,公开代码考 70 分,换成企业私有代码只剩 38 分。Flask 作者花了 35 小时、40 亿 token 让 GPT-6 Astra 自主做一个软件项目,结果原话是 "absolutely nothing of value"。
这期不聊哪个模型更强。我们聊那张排行榜本身——泄题、试卷过期、考场不真实、出题方开着补习班。从 MMLU 到 SWE-bench 到 Agent 评测的 pass^k,把 AI 考试的门道全拆开。
=====================================
时间轴
00:00 何为 SOTA
02:19 播客的pipeline
04:12 AI 的考试有哪些科目
04:40 第一门:"语文加综合"——MMLU
05:54 第二门:"数学"——GSM8K / MATH / AIME / FrontierMath
08:29 第三门:"编程"——SWE-bench 家族
09:19 第四门:"博士级科学推理"——GPQA Diamond
10:03 第五门:"长文阅读理解"——大海捞针 / RULER
11:31 第六门:"实操考试"——WebArena / GAIA
12:05 安全考试——TruthfulQA / BBQ
13:16 泄题:三成答案写在了卷子上
18:27 模拟考 70 分,正式考试只剩 38 分
24:49 出题的老师在考场外面开补习班
30:45 考试技术设计拆解:SWE-bench 怎么出题和阅卷
34:42 这些考试的分数到底是怎么算的?
38:19 Agent 的考试——考的不只是脑子,还有手
46:52 那这张排行榜,到底还能看吗
51:33 片尾曲《ランキングガール》
https://suno.com/s/ZepBn669PIPFUNeY
=====================================
参考链接
Benchmark 官方
* SWE-bench 官网及排行榜 https://www.swebench.com/
* MMLU (Hendrycks et al.) https://arxiv.org/abs/2009.03300
* MMLU-Pro https://arxiv.org/abs/2406.01574
* GPQA Diamond (Rein et al.) https://arxiv.org/abs/2311.12022
* FrontierMath (Epoch AI) https://epochai.org/frontiermath
* ARC-AGI (François Chollet) https://arcprize.org/
* Chatbot Arena / LMSYS https://lmarena.ai/
* LiveCodeBench https://livecodebench.github.io/
关键论文
* SWE-bench+: Enhanced Coding Benchmark — 泄题 32.67% 实证分析 https://arxiv.org/abs/2410.06992
* RULER: What's the Real Context Size of LLMs? (NVIDIA) https://arxiv.org/abs/2404.06654
* GAIA: A Benchmark for General AI Assistants (Meta) https://arxiv.org/abs/2311.12983
* WebArena: A Realistic Web Environment (CMU) https://arxiv.org/abs/2307.13854
* τ-bench: A Benchmark for Tool-Agent-User Interaction (Princeton) https://arxiv.org/abs/2406.12045
1. 全部 200。发给你:
2. 新一代 Benchmark
* Real-SWE: 企业私有代码评测 (Specific Labs) https://withspecific.com/benchmarks/real-swe
* FrontierCode (Cognition Labs) https://cognition.com/blog/frontier-code
* Terminal-Bench (Cognition Labs) https://www.terminal-bench.com/

深度分析 & 争议
* Armin Ronacher: Astra for Coding: Why Are We Doing This Again? — 40亿token "absolutely nothing of value" https://lucumr.pocoo.org/2026/9/7/astra-why/
* Artificial Analysis: 独立模型评测 https://artificialanalysis.ai/
* Epoch AI: FrontierMath 博客 https://epochai.org/blog/frontiermath
=====================================
前游戏开发者,现海外云厂商架构师 [反向弯曲] 主理的 [AI×游戏] 播客!
帮助互联网|游戏从业人员
拆解全球游戏 AI 前沿动态,深挖技术落地干货。
让你轻松拿捏行业脉搏,预判 AI + 游戏的 "下一帧"。
对未来好奇?速戳订阅!
小红书b站同名:反向弯曲

Listeners say

小宇宙热评

共 1 条 · 按点赞排序
  1. AI游探 TOP 1

    · 广东

    1

    20:34 所谓真实环境评测,包括Harvey、Mercor等,本质也是框一堆数据或文件以及既有IT工具,看能否达到业务目标,还有一个是联网搜索,真实环境是需要联网的,包括问其他人,但这个搜索能力对模型本身能力影响太大,实际环境也是懂的人就有捷径,所以这类评测可能还要找方向,包括开放环境和业务或任务目标如何定义,再反过来说是否要抽离人或抽离人后AI的意义在哪,也要斟酌

播放列表

自动播放下一个

播放列表还是空的

去找些喜欢的单集添加进来吧