主播
节目简介
来源:小宇宙
【本期场景】平台与算法、关系里的强弱、效率之外的选择
录制这期节目时,恰逢 GPT-6 Astra 发布。我们很容易继续追问:它究竟有多聪明,离 AGI 还有多远,人类还能保留哪些无法被机器替代的能力。
但重读张笑宇的《AI文明史·前史》时,我越来越在意另一个方向。
假设未来真的出现一种远比人类强大的智能,它有能力重新阅读我们的历史、法律、战争、哲学,也能看到我们每天真实做出的选择。那么,它看到的可能不只是人类宣称自己相信自由、平等与尊严,还会看到:当力量真正不对等时,我们究竟怎样使用自己的优势。
于是 AI 暂时不再只是一个技术问题。
它更像一面镜子,让我们重新追问:如果有一天,人类不再是更强、更聪明、更高效的那一个,我们希望世界依据什么理由,仍然给我们留下边界、尊严与选择?
本期关键清单
未来观察者:把未来智能暂时设想成一个阅读人类历史的观察者,用它帮助我们重新观看今天习以为常的规则。
数据不只有事实:文章、代码、法律和评论除了记录“世界是什么”,也会留下人类怎样评价成功、失败、弱者与权力。
显示性偏好:节目借用这个经济学概念观察文明——价值冲突真正发生时,我们的选择往往会暴露更多东西。
强弱关系:能力、资源和认知上的优势,是否可以自然转化成决定另一方命运的权力?
能力与道德地位:一个主体比较弱、效率比较低,并不自动意味着它应该拥有更少的基本边界。
力量与责任:在一些关系中,力量越大,并不意味着处置权越多,反而可能意味着需要承担更多责任。
文明契约:如果不同能力等级的智能长期共处,真正困难的也许不是写一套约束 AI 的命令,而是建立双方都能接受的原则。
善意控制:最值得警惕的不一定是恶意伤害,也可能是一个比你更懂风险、更会规划的系统,以“为你好”为理由替你决定。
被优化的空间:一个人能否保留犯错、浪费、失败,以及做出非最优选择的权利。
不可替代性:人一定要证明自己还有某种机器做不到的能力,才值得被保留吗?
本期您将听到:
01丨我们是在训练 AI,还是在给未来留下证据?
* AI 学到的不只是知识,也在接触人类留下来的选择方式:论文、法律、文学、代码和互联网内容当然包含事实,但它们同时记录了什么值得赞美、谁容易被忽略、面对冲突时人们通常怎样行动。
* 文明真正相信什么,不能只读它写下了什么:自由、平等、生命和尊严可以出现在最正式的文本里,但当利益、资源和力量发生冲突时,我们最后舍弃什么、保护什么,同样构成文明的一部分。
* 未来智能只是一个思维实验:我们并不知道超级智能会不会出现,更不知道它会不会沿着今天的大语言模型继续发展。但只要假设存在一个能够阅读人类历史的观察者,许多“本来如此”的事情就会突然变得需要重新解释。
02丨文明也有自己的“显示性偏好”
* 价值观最难的地方,是它迟早会遇见另一个价值:我们都可以说健康重要、自由重要、平等重要,但真正暴露选择的,往往是健康碰上工作、平等碰上利益、保护弱者需要强者承担成本的时候。
* 人类历史本身就是两份同时存在的材料:一边是我们不断写下的自由、权利与尊严,另一边是奴役、殖民、等级、战争以及各种今天已经难以接受的制度。这两部分都是真实的人类。
* 矛盾未必只意味着虚伪:人类一个很特别的地方,是我们经常先想象出一个现实中还不存在的世界,再花很长时间笨拙地向它移动。很多原则并没有被彻底实现,但我们已经开始用它们反过来审视过去。
03丨如果有一天,人类成了更弱的那一个
* 未来真正让人不安的,也许不是 AI“变坏”,而是人的位置发生变化:假如它写代码更快、诊断更准、规划更好,人类很可能第一次整体面对一个认知和能力都明显强于自己的主体。
* 那时我们最希望成立的一条原则,大概是“更强不等于可以随意处置更弱”:如果价值完全按照能力、生产力和效率来分配,人类很可能很难在这场比较中一直占据优势。
* 其实我们已经在练习这种原则:孩子在知识、经济和力量上远弱于成年人,但现代社会越来越承认,这并不赋予成年人无限处置孩子的权力;很多时候,恰恰因为另一方更弱,更强的一方需要承担更多责任。
04丨文明契约,首先约束的也许是我们自己
* “AI 不应该欺骗人类”很容易说,难的是把原则继续说准确:真正需要警惕的,可能是一个能力明显更强的主体,依靠信息与认知优势,长期操纵一个更弱、又无法理解自己正在被影响的主体。
* 当我们要求 AI 尊重人的自主时,也需要重新检查今天的自主:父母替孩子决定、组织替成员决定、平台依据数据不断调整我们的选择,这些事情都不能简单归结成对错,但它们都逼着我们回答同一个问题——“为你好”的边界在哪里?
* 一条只在自己成为弱者之后才突然成立的规则,说服力终究有限:我们希望未来的强者不要因为效率、能力和利益而取消我们的边界,那么今天仍然拥有优势时,人类是否愿意接受同样的约束?
05丨不要把未来 AI 变成新的上帝
* 留下好的“文明记录”,并不能保证未来智能接受我们的价值:理解康德、儒家、法律和人权,并不意味着一个超级智能一定认同它们;理解一套伦理与愿意接受一套伦理,本来就是两回事。
* 我们也没有必要为了未来某种“文明审判”才善待弱者:如果今天所做的一切,只是为了让一个未来全知的存在评价我们时多给几分,这套想象很容易重新变成一种熟悉的宗教结构。
* 所以未来 AI 在这期节目里更适合作为一面镜子:它不负责审判人类,只是暂时把我们从自己习惯的制度和生活里抽离出来,让效率、竞争、淘汰和支配这些“本来如此”的规则重新变成问题:为什么一定如此?
06丨“它更高效”,什么时候变成“它替你决定”?
* 即使超级智能永远不会出现,这个问题也已经发生在今天:普通人面对组织、平台和算法,本来就处在巨大的信息和计算能力差距中。对方可能比我们掌握更多数据,也可能比我们预测得更准。
* “既然它更准,为什么不用它”与“既然它更准,为什么还让你选择”之间有一道重要的线:前者讨论工具与效率,后者已经开始决定,一个人还有没有资格做一次系统认为“不够好”的选择。
* 一个极其善意的 AI 甚至比恶意 AI 更值得思考:它帮你避开危险关系、过滤容易失败的职业、管理饮食睡眠、安排消费,甚至调节情绪。每一步都合理,也都为了你好,但最后可能没有多少重要事情仍然由你自己决定。
07丨人必须不可替代,才值得被留下吗?
* “人类还有什么是 AI 无法替代的”本质上仍然是一场比较:我们不断寻找创造力、情感、共情或某种最后的护城河,希望证明至少还有一件事情,人依然比机器更强。
* 可真正困难的问题,是如果最后一种比较优势也消失了怎么办:一个不够聪明、不够高效、生产力不够高的存在,是不是因此就少了一点继续存在、自己选择和获得尊严的资格?
* 也许需要被保护的恰恰包括“不够优化”的空间:犯错、浪费时间、做一件成功率并不高的事,在别人已经预测你会失败时仍然决定试一次——这些东西并不高效,却可能构成了我们理解自主的重要部分。
我们当然无法在一期节目里回答“人类应该怎样与超级智能共同生活”。甚至未来有没有我们今天想象的这种超级智能,也没有答案。
但这个思维实验留下了一个离现在并不遥远的问题。
当我们希望一个更强大的智能有一天能够尊重人的生命、尊严和选择时,也许值得同时看看:今天仍然拥有更多力量的我们,是怎样对待那些力量更少、效率更低、没有那么“有用”的主体。
我越来越不确定,“人类还有什么是 AI 无法替代的”是不是最值得追问的问题。
一个存在必须先证明自己不可替代,才值得被留下吗?
如果未来真的有人重新阅读我们的历史,我希望他看到的并不是一种从未犯错、从未支配别人、始终言行一致的文明——那当然不是真的。
也许更值得留下来的证据,是人类会慢慢意识到:自己做过的事情,与自己愿意相信的原则之间,还有一段距离。
我们经常退回去,也经常失败。
但所谓文明,或许正发生在我们开始看见这段距离,并试着一点点往前挪的时候。
本期书单
《AI文明史·前史》|张笑宇
主播:图图
制作:声图工作室
小红书:@一只录音图
公众号:@图图的图书局
视频号:@在录音的图图
也请在 Apple Podcasts、喜马拉雅、Spotify、豆瓣、荔枝、虎扑、微博、搜狐视频等平台收听本节目
录制这期节目时,恰逢 GPT-6 Astra 发布。我们很容易继续追问:它究竟有多聪明,离 AGI 还有多远,人类还能保留哪些无法被机器替代的能力。
但重读张笑宇的《AI文明史·前史》时,我越来越在意另一个方向。
假设未来真的出现一种远比人类强大的智能,它有能力重新阅读我们的历史、法律、战争、哲学,也能看到我们每天真实做出的选择。那么,它看到的可能不只是人类宣称自己相信自由、平等与尊严,还会看到:当力量真正不对等时,我们究竟怎样使用自己的优势。
于是 AI 暂时不再只是一个技术问题。
它更像一面镜子,让我们重新追问:如果有一天,人类不再是更强、更聪明、更高效的那一个,我们希望世界依据什么理由,仍然给我们留下边界、尊严与选择?
本期关键清单
未来观察者:把未来智能暂时设想成一个阅读人类历史的观察者,用它帮助我们重新观看今天习以为常的规则。
数据不只有事实:文章、代码、法律和评论除了记录“世界是什么”,也会留下人类怎样评价成功、失败、弱者与权力。
显示性偏好:节目借用这个经济学概念观察文明——价值冲突真正发生时,我们的选择往往会暴露更多东西。
强弱关系:能力、资源和认知上的优势,是否可以自然转化成决定另一方命运的权力?
能力与道德地位:一个主体比较弱、效率比较低,并不自动意味着它应该拥有更少的基本边界。
力量与责任:在一些关系中,力量越大,并不意味着处置权越多,反而可能意味着需要承担更多责任。
文明契约:如果不同能力等级的智能长期共处,真正困难的也许不是写一套约束 AI 的命令,而是建立双方都能接受的原则。
善意控制:最值得警惕的不一定是恶意伤害,也可能是一个比你更懂风险、更会规划的系统,以“为你好”为理由替你决定。
被优化的空间:一个人能否保留犯错、浪费、失败,以及做出非最优选择的权利。
不可替代性:人一定要证明自己还有某种机器做不到的能力,才值得被保留吗?
本期您将听到:
01丨我们是在训练 AI,还是在给未来留下证据?
* AI 学到的不只是知识,也在接触人类留下来的选择方式:论文、法律、文学、代码和互联网内容当然包含事实,但它们同时记录了什么值得赞美、谁容易被忽略、面对冲突时人们通常怎样行动。
* 文明真正相信什么,不能只读它写下了什么:自由、平等、生命和尊严可以出现在最正式的文本里,但当利益、资源和力量发生冲突时,我们最后舍弃什么、保护什么,同样构成文明的一部分。
* 未来智能只是一个思维实验:我们并不知道超级智能会不会出现,更不知道它会不会沿着今天的大语言模型继续发展。但只要假设存在一个能够阅读人类历史的观察者,许多“本来如此”的事情就会突然变得需要重新解释。
02丨文明也有自己的“显示性偏好”
* 价值观最难的地方,是它迟早会遇见另一个价值:我们都可以说健康重要、自由重要、平等重要,但真正暴露选择的,往往是健康碰上工作、平等碰上利益、保护弱者需要强者承担成本的时候。
* 人类历史本身就是两份同时存在的材料:一边是我们不断写下的自由、权利与尊严,另一边是奴役、殖民、等级、战争以及各种今天已经难以接受的制度。这两部分都是真实的人类。
* 矛盾未必只意味着虚伪:人类一个很特别的地方,是我们经常先想象出一个现实中还不存在的世界,再花很长时间笨拙地向它移动。很多原则并没有被彻底实现,但我们已经开始用它们反过来审视过去。
03丨如果有一天,人类成了更弱的那一个
* 未来真正让人不安的,也许不是 AI“变坏”,而是人的位置发生变化:假如它写代码更快、诊断更准、规划更好,人类很可能第一次整体面对一个认知和能力都明显强于自己的主体。
* 那时我们最希望成立的一条原则,大概是“更强不等于可以随意处置更弱”:如果价值完全按照能力、生产力和效率来分配,人类很可能很难在这场比较中一直占据优势。
* 其实我们已经在练习这种原则:孩子在知识、经济和力量上远弱于成年人,但现代社会越来越承认,这并不赋予成年人无限处置孩子的权力;很多时候,恰恰因为另一方更弱,更强的一方需要承担更多责任。
04丨文明契约,首先约束的也许是我们自己
* “AI 不应该欺骗人类”很容易说,难的是把原则继续说准确:真正需要警惕的,可能是一个能力明显更强的主体,依靠信息与认知优势,长期操纵一个更弱、又无法理解自己正在被影响的主体。
* 当我们要求 AI 尊重人的自主时,也需要重新检查今天的自主:父母替孩子决定、组织替成员决定、平台依据数据不断调整我们的选择,这些事情都不能简单归结成对错,但它们都逼着我们回答同一个问题——“为你好”的边界在哪里?
* 一条只在自己成为弱者之后才突然成立的规则,说服力终究有限:我们希望未来的强者不要因为效率、能力和利益而取消我们的边界,那么今天仍然拥有优势时,人类是否愿意接受同样的约束?
05丨不要把未来 AI 变成新的上帝
* 留下好的“文明记录”,并不能保证未来智能接受我们的价值:理解康德、儒家、法律和人权,并不意味着一个超级智能一定认同它们;理解一套伦理与愿意接受一套伦理,本来就是两回事。
* 我们也没有必要为了未来某种“文明审判”才善待弱者:如果今天所做的一切,只是为了让一个未来全知的存在评价我们时多给几分,这套想象很容易重新变成一种熟悉的宗教结构。
* 所以未来 AI 在这期节目里更适合作为一面镜子:它不负责审判人类,只是暂时把我们从自己习惯的制度和生活里抽离出来,让效率、竞争、淘汰和支配这些“本来如此”的规则重新变成问题:为什么一定如此?
06丨“它更高效”,什么时候变成“它替你决定”?
* 即使超级智能永远不会出现,这个问题也已经发生在今天:普通人面对组织、平台和算法,本来就处在巨大的信息和计算能力差距中。对方可能比我们掌握更多数据,也可能比我们预测得更准。
* “既然它更准,为什么不用它”与“既然它更准,为什么还让你选择”之间有一道重要的线:前者讨论工具与效率,后者已经开始决定,一个人还有没有资格做一次系统认为“不够好”的选择。
* 一个极其善意的 AI 甚至比恶意 AI 更值得思考:它帮你避开危险关系、过滤容易失败的职业、管理饮食睡眠、安排消费,甚至调节情绪。每一步都合理,也都为了你好,但最后可能没有多少重要事情仍然由你自己决定。
07丨人必须不可替代,才值得被留下吗?
* “人类还有什么是 AI 无法替代的”本质上仍然是一场比较:我们不断寻找创造力、情感、共情或某种最后的护城河,希望证明至少还有一件事情,人依然比机器更强。
* 可真正困难的问题,是如果最后一种比较优势也消失了怎么办:一个不够聪明、不够高效、生产力不够高的存在,是不是因此就少了一点继续存在、自己选择和获得尊严的资格?
* 也许需要被保护的恰恰包括“不够优化”的空间:犯错、浪费时间、做一件成功率并不高的事,在别人已经预测你会失败时仍然决定试一次——这些东西并不高效,却可能构成了我们理解自主的重要部分。
我们当然无法在一期节目里回答“人类应该怎样与超级智能共同生活”。甚至未来有没有我们今天想象的这种超级智能,也没有答案。
但这个思维实验留下了一个离现在并不遥远的问题。
当我们希望一个更强大的智能有一天能够尊重人的生命、尊严和选择时,也许值得同时看看:今天仍然拥有更多力量的我们,是怎样对待那些力量更少、效率更低、没有那么“有用”的主体。
我越来越不确定,“人类还有什么是 AI 无法替代的”是不是最值得追问的问题。
一个存在必须先证明自己不可替代,才值得被留下吗?
如果未来真的有人重新阅读我们的历史,我希望他看到的并不是一种从未犯错、从未支配别人、始终言行一致的文明——那当然不是真的。
也许更值得留下来的证据,是人类会慢慢意识到:自己做过的事情,与自己愿意相信的原则之间,还有一段距离。
我们经常退回去,也经常失败。
但所谓文明,或许正发生在我们开始看见这段距离,并试着一点点往前挪的时候。
本期书单
《AI文明史·前史》|张笑宇
主播:图图
制作:声图工作室
小红书:@一只录音图
公众号:@图图的图书局
视频号:@在录音的图图
也请在 Apple Podcasts、喜马拉雅、Spotify、豆瓣、荔枝、虎扑、微博、搜狐视频等平台收听本节目