Show notes
节目简介
这不是一期鼓吹OpenAI如何做的好的内容,我们尽可能将未被关注到但十分有价值的分析呈现出来,试图打破大模型领域信息的藩篱。
* 时间线
1:37 System Card白皮书具体是什么,它的受众是谁?
4:19 推理能力的加入使得模型更聪明,更好的服务意味着更好的欺骗
6:17 围绕结果的评估维度:不允许内容、越狱、幻觉、偏见
13:17 思维链过程性评估
18:19 外部红队攻击:评估AI抵抗越狱的能力
21:54 外部机构Apollo research专注“AI是否会欺骗人类”研究
28:01 外部机构METR对模型自动化能力的测试
30:19 OpenAI推出Preparedness Framework,测试模型的信息安全、CBRN、劝说能力Persuasion和模型失控Model Autonomy
53:04 MMLU(Massive Multitask Language Understanding)在多语言中测试大模型的准确性
* 提及
COT(Chain of Thought)| Ilya Sutskever Super Allignment | 夺旗比赛Catch the Flag | Theory of Mind | CBRN(Chemical, Biology, Radiology, Nuclear) | 模型自制Model Autonomy | BBQ Bias Benchmark for QA | European Nucleotide Archive | MMLU(Massive Multitask Language Understanding)
* 相关引用
assets.ctfassets.net
* 制作剪辑
大奎
Listeners say
小宇宙热评
-
1从五角场到月亮 TOP 1
· 广东
👍
-
1
石建萍 TOP 2
· 北京
感觉播客不剪辑短句好一点,节奏稍慢一点更像聊天,更容易吸收信息。不像视频,有图像,紧凑一点更好。不过内容真挺赞的👍