延伸阅读1：

一个理想的贝叶斯代理程序

一个理想的贝叶斯代理程序最初都会设定“先验概率分布”（Prior Probability Distribution），即先把概率赋给各个“可能世界”。但这种先验概率存在着归纳偏置，即认为越是简单的可能世界，越具备较高的概率。［我们可以将可能世界的简单性问题用一个正式的术语来进行描述，即“柯尔莫哥洛夫复杂性”（Kolmogorov complexity），也就是完整描述一个世界所需要的计算机程序的最短长度。］先验概率还包含了编程者希望赋予程序的所有背景知识。

当代理程序借助传感器接收到新的信息后，它会遵循贝叶斯法则对新信息的分布进行条件化，从而更新已有的概率分布。条件化是一种数学运算，如果先验概率与新的概率不一致，那么数学运算就会对原有的可能世界中的概率进行重新设置。运算的结果就是“后验概率分布”（Posterior Probability Distribution），当然在下一轮运算开始前，这种后验概率又会被视为先验概率。代理程序能够通过观察实现概率聚合，将概率集中在几个不断缩小的与证据相匹配的可能世界中，而在这几个领域中，越简单的那些便有着越高的概率。

打个比方，我们可以把概率视为一大张纸上面的沙子。我们在这张纸上画出大小不同的区域，每一个区域都对应一个可能世界，范围越大的区域对应越简单的可能世界。再想象一下铺在整张纸上的沙子厚度相同：这就是我们的先验概率分布。每当观察者划掉一个区域时，我们就把该区域内的沙子拿走，然后平均铺到其他剩余区域内。整张纸上的沙子总量并没有发生变化，只是随着观察证据的积累，沙子越来越集中到几个较少的区域内。这就是贝叶斯学习的最单纯的模式。（要想计算出一个假设的概率，我们只需要测量出纸上已有领域中的沙子的数量就可以了，这与该假设在其中成立的可能世界相应。）

至此，我们已经定义了一个学习规则。对于代理程序而言，我们还需要一个决策规则。为了实现这一目的，我们给代理程序赋予一个效用函数，即给每个可能世界分配一个数字。具体数字代表着根据代理程序基本偏好设定的可能世界中的渴望度。现在，代理程序在每一步运行中都会选择有着最高期望效用的操作。（要寻找出最高期望效用的操作，代理程序可以先把所有可能的操作都罗列出来，然后计算出特定操作的条件概率分布，这种概率分布是通过观察刚结束的操作结果来不断调整当前的概率分布的。最终，代理程序能够计算出操作的期望值，这个期望值是每个可能世界与被赋予操作程序之可能世界的条件化概率的乘积之和。）

学习规则和决策规则一起构成了代理程序的最优概念。最优概念已经被广泛应用到人工智能、认识论、科学哲学、经济学以及统计学上。但从现实层面上看，因为所需要执行的运算是难以实现的，因而很难设置这样的代理程序。所有的尝试都死在“组合爆炸”这个问题上，我们之前讨论的GOFAI便是如此。为什么会这样？只消考虑一下所有可能世界的任何一个微小子集即可：那些构成一个计算机显示器的子集都陷入无止境的真空状态。一个显示器有1 000×1 000个像素，每一个像素的状态都有开和关两种。即使是这种可能世界的子集，数量仍旧是巨大的： 2 1 0 0 0 ×1000种可能的显示状态，这个计算量比观察宇宙所需的计算量都大。我们连可能世界的子集都无法列举出来，更别说要去计算那些更精巧的独立世界了。

虽然在物理上难以实现，最优概念依旧在理论上备受关注。这个概念给我们提供了一种标准，使我们能够判断启发式的近似算法，也让我们可以在有些时候推理出特定条件下的最优代理程序会做些什么。我们会在第十二章谈到一些人工代理程序的最优概念的替代路径。

延伸阅读2：

2010年美国股市的“闪电崩盘”

2010年5月6日下午时，对欧债危机的担忧已经造成了美国股票市场下跌4%。下午2点32分，一个大卖家（共同基金）开始启动自动卖出程序出售迷你标普500指数期货（E–Mini S&P500）合约，其执行率与分钟级别的市场流动性相挂钩。这些合约被执行自动程序的高频交易商买入，高频交易商借助自动程序迅速将自己买进的合约转卖给其他交易商。由于基本买方买盘不足，E–Mini合约开始在高频交易商之间不断买进卖出，使E–Mini合约成了烫手山芋而被不断转手，进而迅速拉升了合约交易量，而合约交易量的上升被自动卖出程序解读为市场流动性增强的信号，自动卖出程序在这一信号的刺激下加速抛售合约，最终导致市场螺旋式下跌。当市场运行到某个点时，高频交易商开始离场，买方流动性迅速枯竭，价格进一步下跌。下午2点45分，不断下跌的价格触发了自动交易系统中的跌穿断路点，中断了E–Mini合约交易。5秒钟之后，交易被重新启动，价格系统开始恢复稳定并开始补救损失。但就是在这短短的几秒钟之内，数以万亿计的美元被吸出市场，这种外溢效应导致大量的单个交易以非常不合理的价格成交，有的是1美分，有的则是10万美元。当天闭市后，证交所代表和监管机构召开会议并设定了交易取消的认定标准，宣布交易价格低于危机前交易价格60%的交易属于无效交易。此类交易被明确认定为错单是在现行交易规则下的一种补救措施。

在这里重复这一插曲有些离题，因为“闪电崩盘”时所应用的计算机程序本质上不算是一般或高级别的人工智能，并且这种计算机程序制造出的危险也完全不同于我们在本书后面要讲到的超级智能机器所带来的危险。但是我们能从这类事件中学到经验。其中一个教训就是独立简单程序的互动会造成复杂甚至是不可预期的后果，就像是自动卖出程序和高频交易程序在“闪电崩盘”中所体现出来的那样。给一个系统引入新的要素可能会引起系统性的危机，但风险并不是明显可见的，只有出现明显错误时风险才会被发现，而有时即便出现了明显的错误，风险也不见得能被意识到。

另一个教训就是聪明的专家在给一个程序下指令时，即便这个程序的假设看起来很明白也很合理，但当这个程序在出现预料之外的情况时依旧雷打不动地遵循逻辑一致性来运行先前指令的话，就会引发灾难性的后果，因为在新的情况下，原来的假设有可能是无效的。上述例子中的交易量就是一个很好的测量市场流动性的工具，但程序却无法识别交易量本质的真假。除非设定非常特殊的程序，否则程序只会按照设定的规则运转，因为程序本身是不会注意到由于自身的不恰当性所带来的让我们头大心跳的恐怖情形的。关于这一问题，我们在后面章节还会继续讲到。

从美股“闪电崩盘”中吸取的第三个教训则是自动操作系统不仅影响事件过程，还会影响事件结果。交易自动程序中前置的停止命令逻辑会在价格过度不正常时停止交易，因为自动交易会以人类无法反应的速度触发事件，所以必须要有这类设置，以便在特定情况下让自动交易停止下来。不依赖人的监管，而是设置前置命令并确保自动执行程序的安全，这再一次预示了我们将要谈到的机器超级智能中的一个重要主题。