【世界人工智能大会】思想者论坛-Richard S Sutton

基于强化学习与经验成长的通用人工智能架构探讨#

【总结】#

中心论点：#

- 通用人工智能应建立在一组简单的基本原理之上：智能体通过与世界交互获得经验（观测、行动、奖励），从经验中学习并自主发现抽象层次，而非将人类已有知识直接构建到系统中。这就是"苦涩的教训"的核心启示——短期内将知识硬编码进智能体有效且令人满足，但长期来看会阻碍突破性进展；真正的进步来自规模化计算、搜索和学习。

- Sutton提出O-O架构（Options and Knowledge，选项与知识），作为从第一性原理构建超级智能的配方：智能体通过不断提出"特征达成"子问题、求解子问题产生选项（技能）、学习选项的转移模型（知识），并用这些模型进行高层次规划，形成一个开放式的抽象创建循环。

论证思路：#

- 首先确立"大世界"前提：世界远比智能体复杂，智能体对世界的理解永远是近似的，因此必须在运行时（而非设计时）学习、规划和发现抽象。

- 接着回顾跨学科共识：心理学、神经科学、强化学习、控制理论等领域都涉及智能体的四个核心组件——反应式策略、价值函数、转移模型（世界知识）和状态表示，但各领域用不同术语描述相同概念，阻碍交流。

- 指出共识模型缺少的关键要素：抽象能力——构造越来越大的行动和状态感知的能力。

- 引入O-O架构：选项=策略+终止条件（高层次行为方式）；子问题=特征达成（控制某一状态特征）；智能体自主生成特征、为重要特征创建子问题、求解子问题产生选项、学习选项转移模型、用模型规划——形成"特征→子问题→选项→新特征"的开放式循环。

- 最后讨论实现路径：需要可靠的持续深度学习（解决灾难性遗忘和可塑性丧失）、表征学习、高效安全的离策略学习，以及基于价值迭代和"跳跃模型"的规划方法。

核心概念：#

- "苦涩的教训"（The Bitter Lesson）：试图将人类知识构建到AI中短期有效但长期有害；应依靠规模化计算、搜索和学习让智能体自主发现。

- 大世界（Big World）：世界远大于智能体，智能体永远只能近似理解世界，因此必须在运行时学习。

- 设计时 vs 运行时（Design Time vs Run Time）：设计时没有经验，运行时才有经验，学习、规划、发现抽象都必须在运行时发生。

- O-O架构（Options and Knowledge）：选项（策略+终止条件）+转移模型（选项后果的知识）。

- 特征达成子问题（Reward-Respecting Sub-Problems of Feature Attainment）：智能体为每个感兴趣的状态特征创建子问题，目标是将世界驱动到该特征值高的状态，同时沿途最大化奖励。

- 跳跃模型（Jumping Model）：用选项进行规划时，模型输出选项终止时的状态和累积奖励，而非单步转移。

- 阿尔伯塔计划（Alberta Plan）：实现O-O架构的12步路线图。

升华/启示：#

- 真正的通用智能不应模仿人类思维的具体内容，而应复现其生长过程——从简单原则出发，通过与世界交互不断构建更抽象的认知层次。

- 当前LLM范式存在根本局限：依赖人类数据而非从经验中学习。经验时代的"ChatGPT时刻"可能已经以AlphaGo的形式出现过，下一个突破口将是能从经验中学习的熟练机器人。

- 实现这一愿景的最大技术障碍是持续深度学习——40年来未能解决灾难性遗忘和可塑性丧失问题。

- 智能体应拥有自己的目标和奖励信号，像婴儿和动物一样从自身经验中学习，而非仅仅满足人类偏好。

- Sutton预测：到2030年有25%的概率在深层理解智能方面取得突破，2040年是一个中位估计。

【中文翻译】#

各位，早上好。我很荣幸今天在这里与大家交流，分享一些关于人工智能的想法——从经验中学习，以及培养心智的理念，即利用强化学习的思想从经验中培养出一个超级智能的心智。这是一个宏大的抱负。人类心智如此复杂，我们必须寻找基本原理、简单的底层原理。这就是我今天要跟大家分享的——我对这些原理的探寻。我认为这是"圣杯"。这是来自西方的一个隐喻，你们可能不常听到。但这个追求是理解我们的心智。另一方面，这很复杂。让我稍微梳理一下。你看，我的三个主要目标：我们要对心智有一个普遍的理解。心智从经验中学习。根据我的经验，只需要这个小图中展示的三样东西——观察从世界进入智能体，行动从智能体发出并作用于世界，还有一个特殊的观察——奖励信号，它是一个标量、一个单一数字，这就是我们所说的"好的智能体"的最终目标——好的智能体就是努力获得更多奖励的智能体。

就这三样东西，一种持续的经验。你要形成心智。毕竟，我们怎么知道一个心智好不好呢？只能通过它做了什么来判断。它怎么知道自己在做的是好事还是坏事？只能通过接收到的奖励来判断，奖励已经被定义为好的。现在，第三个目标：发现抽象的能力。这才是现在的真正焦点，因为在为每个状态选择合适的行动方面，我们已经走得相当远了。我们必须朝向更大的抱负——理解越来越抽象的层次所扮演的角色。让我把这一点讲清楚一些，今天上午我会展开来谈。

我的很多观点都受到AI研究"苦涩的教训"的影响。我只是想提醒大家它的核心理念。这个教训本身就有其总结。我基本逐字逐句地放在这里了。这个教训基于历史观察：AI研究人员经常试图将知识构建到他们的智能体中。这在短期内总是有帮助的，而且让人感到满足。但从长远来看，它会阻碍甚至抑制进一步的进步和突破。最终的进步是通过相反的方法实现的——基于规模化计算、搜索和学习。

所以教训是，我们应该从一开始就着眼通过计算、通过搜索、通过学习来规模化。我们应该寻找基本原理。底层智能不会被我们自身心智的所有具体细节所干扰。它们有自己特定的世界。基本原理并不关乎我们特定世界的具体细节和内容。甚至空间、三维物体和物理——所有这些都是我们特定世界的东西，或者说不是通用的。

这是对我们生活原理的另一个要点。这是我一直使用的一张幻灯片，是我试图讲清楚的一种方式，也是我最喜欢、最偏好的那张。它回溯到"苦涩的教训"——"苦涩的教训"最后两句话大概是这样说的：我们不应该试图把人类已经发现的东西构建进去，我们应该让智能体自己去发现。原因是，把我们已发现的东西构建进去，只会让我们更难看清发现过程本身，更难看清信息是如何被发现的。如果你让它们自己去发现，这就是为什么更好的做法是构建智能体本身并让它自己去发现——这样你才能看到发现过程。

现在，一些有助于我们讨论的术语。实际上，这是我的大纲。我想谈谈"大世界"这个基本概念。然后我们进入O-O架构——这是从第一性原理构建超级智能的配方或计划。"大世界"的概念是说，世界远比智能体大得多。不像这张图里那样两个东西差不多大小。世界大得多，真的要大得多。更像是这样——世界包含许多其他智能体。所以每个智能体的心智都像你的心智一样复杂，你的心智是复杂的。我的心智——我无法理解——我的世界里全是你们。正因为如此，世界是非常复杂的。智能体内部的任何东西都无法精确理解世界是什么。它永远大部分是近似的。我们构建的一切、我们知道的一切都将是非常粗略的近似——不仅仅是那些长期构建进去的东西。

因为世界是近似的，因为我们在不同时间遇到这个巨大世界的不同部分，它会表现出非平稳性。于是我们就进入了运行时和设计时的区分。一个智能体，它在工厂里被设计，在实验室里被设计。然后它被放入世界，去体验世界，去运行。在设计时，你没有经验。在运行时，你拥有经验，你可以体验，你应该学习，你应该规划，你应该形成抽象。在运行时，你不知道你要面对这个巨大世界的哪一部分。在大世界中，在一个理想的智能体中，所有这三种过程——学习、规划、发现抽象——都必须证明它们也能在运行时发生，而且它们必须发生。

在运行时，就只有这些经验。没有特殊的人类在幕后提供特殊指令。只有经验、行动、观察。现在让我们讨论架构本身。我想从一个我们都能达成共识的地方开始——我们所有作为个体的人都只是关于心智如何运作的漫长智力思想史的一部分。

实际上，我想说的是：所有这些领域——心理学、神经科学、强化学习、AI、经济学、哲学、控制理论——所有这些领域都涉及跨时间做决策以实现目标。这才是我们真正在讨论的问题。你如何有效地做决策，随着时间推移与世界互动，以实现一个长期目标？所有这些领域都有这个问题。正因为如此，他们经常讨论相同的想法——为了下一个共同的智力活动——他们经常用不同的词语表达相同的想法。这是不幸的。这些领域的同行无法交流。所以我要尝试，我已经尝试在许多领域之间建立一些共识和统一的术语。你看到表格底部用红色标注的是我暂定的共识术语。我使用共识术语。我把它用在我的智能体图示中。

现在，第一件事是所有领域都同意的。实际上，在一个智能体中，有一些信号从智能体发出，有一些信号进入。一些行动和一些观测。我的认知心理学同事会把发出的信号叫作反应，进来的叫作刺激。在控制理论中，我们会把发出的叫作控制，进入的叫作状态估计——同样的想法有这么多不同的词语。而我一直在使用的词语，我认为是某种共识。我们采取行动，感知观测，我们最大化奖励。在内部，我们有四个组件，这些重要的组件你在所有这些领域都能看到。让我们仔细看看。这四个组件——我们先从中间部分开始。

你在中间看到的上面那个东西叫作反应式策略。就是你观察你的状态并采取行动的地方。你必须这样做，也许每秒100次。你所在的位置是感知的输出，需要进行计算，大概是基于过去的动作和过去的观测。提取出你当前所处位置的感觉，用于交互。这个构建出的你当前所在位置的感觉就是你的状态——我喜欢把它叫作主观状态或状态表示。在这个意义上，它是你对自身处境的状态感知。

下一个框，下面的框是价值函数——这是你对当前状态有多好的感知。你可能会认为奖励就是当前状态有多好。但不是——你获得的奖励可能就像你刚吃了巧克力蛋糕，味道真好、很愉快。但也许这会让你以后变胖，你感觉会更糟。一个状态的价值既包含即时后果也包含长期后果。每个领域都有价值的概念——长期效用。在心理学中是次级强化。第四个框是转移模型。在今天的人工智能中，人们倾向于称之为世界模型。

无论如何，它是描述世界动态的世界模型，描述可能发生什么。但与人们谈论的世界模型不同的是——他们谈论的是某种物理学和对世界物理的模拟。物理层面的论证是低层次的，而实际上是我们对世界的感知。转移模型应该更像是我们的世界知识。

我们想用"知识"这个词——比如我知道如何走下舞台，我可以回去喝杯水。你可能知道如何回到酒店房间，或者如何去上海或从上海出发。所有这些都是知识。这确实像物理学，但不是低层次的物理学。这是你可以参与或选择不参与的巨大转变。这是选择、选项、你可以做的事情。我相信"选项"这个词和这些高层次的决策，对抽象来说会非常重要。我们可以思考并形成我们的模型、我们的知识、我们关于世界的转移模型——并保留"世界模型"这个词。我永远不会把我的神经网络叫作模型——那太傻了。我相信要把"模型"这个词保留给转移——转移模型最终将包含我们关于世界的所有知识，超越瞬间的物理知识，全部以知识的形式出现，比如：如果我接受这份工作，我会快乐吗？值得探究。所以这是共识。我们仍然只是在建立共识。我们仍然只是试图反映其他领域100多年来一直在说的话，只是以常识性的方式谈论所有这些领域的共同之处。

现在，我们不得不问这个共识观点缺少了什么。缺少了什么？我已经告诉了你们其中包含的一切。实际上，每个部分都很好。这里的一切都很好。你想要能够用世界模型来思考。你想要能够用更低层次的行为策略来反应，超越人们对奖励的评估。我们还可以用价值来评估更长远的感知。而缺少的是抽象。我们缺少的是构造越来越大的关于我们的行动、我们的状态的感知能力——这正是O-O架构所要应对的挑战。

此刻，这张幻灯片告诉你们，也许在这一点上已经很明显了——在微观层面、在物理层面思考世界是一个错误，一个陷阱。与此同时，有人告诉你："哦，我的模型是一个模拟器。"不，没那么简单。模拟器是低层次的东西。我们需要思考的是：如果我与这个人结婚，我可能会有孩子，我会幸福。如果我接受这份工作，我将不得不搬到城里，吃我喜欢的那种食物。我们应该思考知识，而不仅仅是物理。我们必须在一个更高的层次上思考。O-O这个名字大致代表选项与知识（Options and Knowledge）。

为什么我此时关心知识？你们可能记得我所说的——所有这些都是我们拥有的选择——住在哪里、接受什么工作、洗手间在哪里——所有这些知识，无论是低层次还是高层次，都封装在"选项"这个概念中。动作意味着低层次的选择。选项是你真正规划和计算出的更高层次的选择。从形式上讲，一个选项是一个二元组。它是一个策略，一个从状态到动作的映射——和终止条件。选项就是策略加上终止条件。它就是说：以这种方式行为、这个策略，然后停止这种行为方式，我们就结束了。如果我回去喝杯咖啡，当我喝完的时候就算完成了。我把事情做完。它会发出某种声音，然后就结束了。所以在O-O架构中，智能体有很多选项，很多你可以考虑去做的事情。它的知识是关于如果你执行这些选项会发生什么。选项是行为的方式。转移模型是如果你那样行为会发生什么。不同的东西——选项的转移模型，而实际的行为方式构成了选项及其终止条件。

这将使我们能够在更大范围内进行规划——职业目标、工作的动态变化。我们要怎么做？如果我们回到那个模型，回到关于心智和智能体的共识观点——我将在策略和价值函数的后面添加一系列选项和价值函数。因为事实上，核心思想是子问题。而且我有一个创造性的解决方案。我认为这非常重要。也许是最深刻的洞察之一——它是奖励尊重的、关于特征达成的子问题。这是根本需求，我们这样称呼它。我们将会有子问题。智能体要记住——主要问题给出奖励，而子问题将是达成特定的状态特征。记住，这里的智能体——在其架构中心有蓝色的部分，蓝色部分的核心是状态表示，我希望你把它看作一个大的数字向量。每一个数字——它是一个特征向量，一个特征向量。

我有一个特征表示正在做演讲的状态，一个特征表示坐下，一个特征表示周围的红色礼堂椅子。你可能有特征表示穿着衣服，特征表示体温——各种各样的事情。我们都有数百万个特征来描述我们的状态。这些就是构成状态的东西。

然后我提议，对于你生活中相关的每一个特征，你学习一项技能来实现它。你为自己提出一个子问题：我想控制那个特征。我希望能够在我的头脑中安排这件事的特征。我希望能够控制它。我想能够移动我的手——如果我想的话——我想把它扔到地上。我们都有自己的生活。我们的思维过程是由我们为自己提出的问题构成的。

然后我们学会了如何解决——我们学会了走路，学会了如何下围棋。我们学会了说西班牙语。我们在生活中为自己提出了各种各样的子问题，并且解决了它们。这是一个重要的机制。我的心智就是构建我们自己。主要结构是子问题，然后子问题的解决方案是一个选项。你在图片中看到的——你添加子问题，然后解决方案就是这些选项。作为找到这些选项的一部分，你形成价值函数，你形成策略和价值函数。现在我们有一套选项和各自独立的价值函数。整体设计如幻灯片底部所示。我们挑选出感兴趣的特征，对于这些感兴趣的特征，我们建立子问题——一对一，特征对应子问题，特征对应子问题。让我解决这个问题来产生选项。一切都是一对一的，然后我们为那个选项建立转移模型。全是一对一的。这就是我在这个架构中提出的心智主要设计原则。

现在，这也有一段很长的历史。我不打算回顾这些。你们讨论的很多内容，但在某种程度上这并不新鲜。这里有一些新的东西。子问题应该是什么？子问题应该是奖励尊重的子问题——特征达成。子问题从哪里来？它们来自特征。每个特征创建一个子问题。智能体自己生成子问题。智能体可以随时生成新特征。我们有新的状态特征，我们必须有。状态特征是关键概念。随着我们成长，我们学会了什么是正确的状态特征。当我们提出新的状态特征时，我们可以为每一个创建新的子问题。子问题如何帮助主要问题？这是我们被评判的方式——这是一个大问题。它们如何帮助？我们将解决一个子问题来产生一个选项，我们将为选项建立模型，然后我们将用模型来规划。子问题将帮助主要问题——它们使我们能够在高层次上进行规划。以上就是答案。

我想提醒你们注意一些自然系统，以及它们在处理子问题时是如何思考的。我喜欢这只年轻的猩猩，它只是对荡秋千的感觉感兴趣，并试图重现那种荡秋千的感觉。为什么呢？它只是觉得有意思——它在尝试重现那种感觉。这里是一头虎鲸——一个瓶子被扔进了它的水池里。它只是选择把瓶子平衡在背上，没有什么特别的原因。某种程度上——这是一个有趣的特征。它学会了如何做到这一点。这就是我们生活中发生的事情。我们选择一些事情，我们决定关注它们——也许没有用，它们可能确实没用。这里有一个婴儿——婴儿玩玩具。但即便如此，伸手去够是很流畅的，它学会了能够够到什么——去伸手够它，并且能够得到一点。下一张幻灯片上可能只是一根绳子。智能体——婴儿——正在通过行为安排自己的输入、自己的经验、自己的数据。这是自然的。我发现从这些子问题的角度来思考如何构建其心智更好。我怎么才能得到那种明亮的新颜色？我认为你的职业——我怎么才能拉到手中的绳子？这是学习。模型就是学习、理解、掌握关于这个世界的技能，并增强其控制这个世界各个部分的能力。

正如我所说，智能体必须自己创建子问题——绝不应该内置。它们太多样化、太依赖世界了，我们无法预见、设计者无法预见。我们应该把这种责任交给智能体。今天我们有许多方法，很大程度上归功于强化学习。而且我们必须以领域无关的方式来创建它们。对我们来说很容易想到依赖领域的方式来创建子问题——我们可以谈论选项，我们可以谈论策略，我们可以谈论所有这些事情。但如果我们要以领域无关的方式来做，我真的认为除了我提出的方案外几乎没有其他选择。

今天在这里，奖励尊重的特征达成子问题这个想法——特征是一个非常普遍的概念。状态特征是非常普遍的概念。你可以想象创建新的状态特征，然后无休止地创建更多子问题。这将是一个循环——当我们解决子问题时，我们会提出新的特征。而当我们提出新的特征时，这会给你新的选项来实现它们，以及新的子问题和新的特征，如此循环。一些例子来具体化一下。如果你坐在桌子旁，你可能会拿起筷子，或者你可能会拿起水杯——这些是你的选择。你可以打开一扇门，你可以打开你的电子邮件程序，找到洗手间，叫一辆出租车，去一个遥远的城市旅行。所有这些都是子问题。你怎么走到门口？你怎么打开电子邮件程序？你认为你有能力有效地做所有这些事情吗？如果你是一个移动机器人，你可能会问：如果我拿着一个小东西向前走，或者如果你进入一个房间，我们会被一个人大声呵斥吗？如果你沿着一面墙走到第一个门然后拐进去，这会触发检测厨房的特征吗？你能在不耗尽电量的情况下回到电池充电器吗？这些都是子问题。它们是移动机器人向自己提出并为自己回答的问题，用特征达成来表达。

我想用一个完整的循环来完成一个例子。这里有一个完整循环的例子——一个婴儿。这是拨浪鼓的声音。这是一个非常有趣的声音。所以婴儿为它形成一个新的特征。一旦形成了一个新的感兴趣的特征——什么时候形成子问题实际上是一个深刻的问题——但你会提出一个子问题来反复获得那个声音。然后你可能会学着这样做——也许是通过挥动双手让拨浪鼓发出声音。而这能否成功，与声音存在与否的概念有关。挥动你的手。也许你会哭。不管怎样，你学会了如何让它再次出现。我们提出了子问题。我们学会了在拨浪鼓上重现这个声音。在做这件事的过程中，我可能也形成了一些新的特征。我让那件事发生了。所以如果我能牢牢抓住手中的拨浪鼓，我就能更精确、更可靠地控制它。我会形成牢牢抓住一个物体的概念。这将引入更多的特征，它们可以帮助解决子问题。我可以变得更擅长抓握——更可靠。然后你学会了新的选项只是为了抓握，而不是为了获得声音。这又提出了一个新的子问题和一个新的选项，如此等等。

现在我已经谈了很多从特征创建子问题。这张幻灯片精确展示了如何以标准化的方式做到这一点。这值得拍一张照片，因为我认为这可能是具体的、有些技术性的东西，实际上与今天是直接相关的。也许每家机器人公司都可以特别用来创建自己的设置。有一个很大的关注点是如何设置——机器人正在到来。我有一些特定的任务。现在我必须创建一个奖励函数。我该怎么做？看起来都非常特定、具体和细节化。答案是：你永远不应该去摆弄奖励函数。它甚至不是一个函数。它是一个信号。它更像是疼痛和快乐。它不是子任务。只有一个奖励——最终问题的单一奖励信号。有的是——子问题是关于达成特征的。非正式地说，给定一个特征编号和强度，你想要一个子问题将世界驱动到该特征值很高的状态。

然后你可以找到实现这一点的选项。这是一个形式化定义的问题。这个方程在中间偏右有分量。它的对手是超额奖励的总和，即与你获得的平均奖励相比的额外奖励的总和。然后问题是关于一些奖励——因为我们认为什么会造成伤害。如果你想让你的选项在未来有用，你不想让它成为一件痛苦的事情——你想学习如何以一种不痛苦的方式握住物体。但这只是你通常的、常规的奖励。而那就是你关心的全部奖励。然后你只是在解决主要问题。因为最右边的项，它变成了你的子问题：大写C乘以终止时状态的phi值。绿色指向终止时间。你希望在终止时，该特征具有高价值，由大写C加权。同时你会希望沿途获得奖励。然后你想在特征值高的状态结束。正如你不想在沿途获得不好的奖励一样，你也希望选项能让你处于一个具有良好长期价值的状态——终止时状态的估计价值，这也必须被以加法方式纳入目标。

现在，从某种意义上说，这张幻灯片说了我想要说的所有其他内容，然后我将只详细说明所有步骤。所有这些步骤——有八个。它们都在O-O架构中得到处理。你在每个时间步都做一点点。一点点地，你学习策略；一点点地，你生成新的状态特征；一点点地，你找出哪些是最重要的特征；偶尔可能会有一点点——你会创建子问题，也许会退役一些。另外，我们确实假设子问题和特征的总数最终是有界的。另外，下一次你学习子问题的解决方案时——因为你做了某件事，你在某个空间中获得了一些数据。你想学习子问题的解决方案。你想根据那个时间步上发生的事情来学习转移模型。在后台，你想用这些模型进行规划。然后你需要维护关于所有东西的效用的元数据。所以你要跟踪哪些选项、哪些子问题、哪些东西正在被证明是有用的。

这些就是主要的步骤，你们可能在想。我鼓励大家为我提出问题，思考这八个步骤。你们最想了解哪一步是如何实际完成的？我现在将详细说明其中的一些。我希望能够讲完所有的细节。也许我们可以找出大家最感兴趣的是什么，在所有这些问题中。记住，这是一个愿景演讲。我们面临的巨大挑战是理解为什么我们还没有到达那里。我们是AI，我们还没有通用智能。我们可以看到它正在崛起，它正在到来。我们仍然在探索。可能还需要5年，甚至20年，我们才能真正拥有一个通用智能。当我们做到的时候，我们需要在此刻思考：我们缺少什么？它会是什么样子？如何实现？

所以这些步骤中的一些已经完全是——尤其是第一步。我要给它一个蓝色的勾，这是一种中间的勾——不是绿色的勾，也不是红色的勾。蓝色的意思是：只要我们能做神经网络的持续深度学习，它就能完成。你们中的许多人可能认为深度学习是一件了不起的事情，是不需要担心的事情。我的看法恰恰相反。我认为我们还不知道如何做好它。所以让我给出一张幻灯片来讲这个。要做到这一切，我们需要可靠的、持续的深度学习。我们还没有这个。我们已经需要它40年了。我们做不到——我们可以对线性系统做到，但不能对这些东西做到。对于传统的深度学习，真正的持续学习是失败的。灾难性遗忘——你们都听过这个词。我们知道深度学习——我们也知道当我们要求深度学习系统持续学习时，会有很多可塑性问题。最近Doha、我自己和其他人的工作——这是针对可塑性丧失提出的几个部分解决方案之一。我们还没有真正拥有它。这就是阻碍我们立即实现O-O架构的原因。

我们也需要生成状态特征，尽管我认为这不是非常具有挑战性的问题，而且我也认为它是一体的——它将以持续学习第一个问题的部分解决方案的形式出现。这也是一个老问题。回到60年代。很多名称——表征学习本质上就是这个问题。你怎么知道新的术语是什么？你怎么做表征学习？反向传播本应解决这个问题，但它真的没有。我们需要方法。我认为原因——生成测试特征，不断做特征，然后看它们是否有用。不是通过阅读句子——只对那些你能立刻看出必要性的特征。记录那些看起来简单的特征。创建子问题，把特征和特征连接起来。这就是我向你们讲的——我们如何为每个特征创建子问题。

所以继续下去。然后我们需要学习子问题的解决方案，学习转移模型。这实际上是——毫无疑问——在强化学习领域，我们确实知道如何学习解决方案来最大化指定问题，来解决子问题。我们知道如何学习转移模型。让我提醒你整体流程。整体流程是：我们有这些特征达成子问题。我们解决它们，产生选项。一旦我们有了选项，我们学习转移模型——我们学习如果我们遵循选项会发生什么。这是对它们后果的描述。如何做到这一点？然后一旦你有了这些转移模型，你可以用它们来规划。请注意，这个过程并不真正依赖之前发生的任何事情——并不真正关心转移模型从哪里来。并不真正关心转移模型是否针对某个子问题。这是一个转移——这是我可以做的事情，这个转移可能发生。

现在，我必须规划一系列转移来实现我的目标，来获得奖励。这就是规划以产生高度适应性的行为。然后这一切都在做之前的所有事情——你正在形成策略，你正在使用特征，你正在评估特征，你正在为创建新特征寻找基础。一旦你创建了那些新特征，它就变成了一个循环——新特征，你回到第一步，提出新的特征达成子问题。这个循环成为了一个循环。我们就有了开放式的抽象创建。

现在，我还有几分钟——规划是一个非常大的步骤。我想我有时间先做一个总结，然后我们再回来讲规划，无论我剩下多少时间。然后我会回答大家的问题。让我总结一下：缺少什么？我们有什么？我们有一个简单的、通用的种子，一个超级任务，可以成长为完整的超级智能。我们绝对可以实现浅层学习。有论文在做这件事，但对于神经网络深度的情况，也许在我们拥有必要的、特定的、可靠的深度学习之前，它还不能被恰当地实现。我认为我们还需要表征学习——表征学习意味着我们必须评估我们拥有的特征，并调整我们对相关性的认知。一个巨大的挑战——我们需要高效且安全的离策略学习，这是有价值的。我们同时在学许多子问题，这正是我们应该做的——如果我们能从一个流式行为中同时学习许多子问题，那就是离策略学习。

特别是，对于所有这些有一个12步计划。我称之为阿尔伯塔计划——那些没有存档的AI研究。我希望你们去看看。我们有一个愿景。愿景是为持续经验而成长的——不受数据限制，以计算规模化来推动——正如我们从"苦涩的教训"中学到的那样。状态抽象的关键是学习新特征。时间抽象的关键是提出新子问题——奖励尊重的特征达成子问题——并利用它们来产生选项的技能，来学习转移模型。而开放性的关键在于我们有关于特征的子问题，然后解决子问题时，我们在另一端获得新的特征。

非常感谢大家的关注。但我时间不多了。我只有两分钟。如果来得及，我可以跳到规划部分——如何构建世界模型，智能体的转移模型。这实际上很直接。每个模型接收状态——你得到状态特征。它产生状态特征。GPS可以做这个——规划。规划是好的。我认为它需要通过价值迭代来完成。价值迭代是一种最初来自动态规划的技术——你查看状态、查看后继结果，然后进行回溯。这就是你在不同状态下反复使用的那一个方程所表明的。但你需要模型。模型显示在角落——接收状态和动作，进入右上角的紫色模型，产生关于下一个状态的概率分布，以及期望奖励。这个结构——我的建议不是凭空而来的。它有50年历史了，来自50、60年前，来自马尔可夫决策过程的理论。

现在我们用动态规划进行规划。所以我们真正需要做的是：用选项进行抽象，我们着眼于用跳跃模型来规划。这是一个有趣的术语。你可以在右侧看到两个模型。标准的传统模型——它有什么问题——我们需要的是一种使用选项在选项结束时状态的模型。输入是红色的，而不是传统的——它表示我正在输入一个像选项一样的动作。我们不产生下一个状态，而是给出选项的停止状态，无论何时发生。我们不是产生单次转移的期望奖励，而是产生从你启动选项到其终止时的累积期望奖励。有了这些变化，价值迭代基本不变。方程在底部这里。看，底部是相同的价值迭代方程。但现在是在可能动作上取最大值——你在可能选项上取最大值。顺便说一句，动作是选项的特殊情况。动作终止的唯一方式是立即终止。所以这个方程适用于所有动作，也适用于高层次选项。它们可以在同一层次上互换。没有必要引入层次。从某种意义上说，规划是扁平的。同时，它又是时间抽象的和层次化的。这就是关于规划的洞察，我想传递给你们。关于函数逼近还有更多要说的。但现在请让我回答大家的问题。非常感谢大家今天的关注。

---

【问答环节 / Q&A】

问：我来自滑铁卢大学，是一名博士生。从您的角度来看，您如何看待加拿大在这波AI浪潮中的角色？以及您将如何与中国连接？

Sutton：首先，就此而言，科学是国际化的。它应该是这样。我们应该作为个人来交流。中国是一个领先的科技强国。加拿大小得多，但我们确实喜欢这样——在加拿大我们打出了一些超出自己体量的成绩。国家虽然较小，但它能对这个理解心智的伟大挑战做出贡献。

问：Sutton教授，有人可以说AI正在从人类数据时代走向经验时代。那么您认为经验时代的ChatGPT时刻会是什么？

Sutton：我怎么把这翻译成日常语言呢？ChatGPT时刻是公众非常清楚地意识到某种能力的时刻。我们将非常清楚地意识到从经验中学习的能力的时刻——我相信这已经发生了，也许就是AlphaGo。AlphaGo就是当我们意识到从经验中学习是如此重要的时刻。我认为下一个时刻将是我们拥有一个从经验中学习的熟练机器人的时刻。我们还没有那种应该可以通过从经验中学习而实现的机器人运动。这是一个复杂的问题。一件伟大的事情将会发生，你会认出来。没有人能知道，尤其是——我只是一个谦逊的科学家。我想保持谦逊。事情何时会进入公众意识是非常不确定的，这也许很美妙。我只是想提一下，虽然我认为写了"苦涩的教训"——只有一页半——它以一种完全出乎意料的方式进入了公众意识。

问：也许您无法回避——有没有一个具体的时间？您有什么关于多长时间的估计吗，比如5年、10年，或者更长？

Sutton：我有这样一个——这是关于我们何时能在深层次上理解智能的一个标准预测。不幸的是，它有点分散。我认为我们到2030年实现它的机会是四分之一。四分之二的机会呢？所以说2040年之前或之后的可能性是相等的。

问：现在最大的大语言模型——您如何说服风险投资人和投资者将资本转向基于强化学习的AGI实验室，比如您的研究，而不是继续投向LLM？

Sutton：是的，这是一个非常重要的问题。我正在试图说服这些人，他们应该投资于一种不同的创造AI的方式——但事实是，这并不那么困难。某些元素已经占据了主导地位，它们已经——它们在阳光下有过自己的时光，我们正在开始看到它们的局限性，其他项目也有了空间。绝对有其他方法的空间，资本家能够看到机会并找到支持的方式。

问：您和您的"表亲"都认为LLM的能量最终不足以实现AGI。我的问题是，您的Options and Knowledge架构与Yann LeCun的JEPA之间的核心区别是什么？

Sutton：我不知道——只能说这是共识。但我认为它们非常相似。只有一个小小的区别：Yann不喜欢用"强化"这个词来描述架构。但它们的元素是一样的。它们都有策略、感知、价值函数、转移模型。它们拥有所有相同的元素。而且这是一种基于从经验中学习而非从人类数据中学习的方法。所以实际上，我们的观点非常一致。我们在探索基于经验的智能方面就像兄弟一样。

问：哪个解决方案更好？

Sutton：甚至需要更长的时间来描述差异是什么。但你是对的。所以我说我们像兄弟一样。兄弟是怎样的呢？彼此可能非常相似，但他们总能找到一点不同之处，然后他们就会争论。

问：亲爱的Sutton教授。我是一名对神经组合优化感兴趣的研究人员。目前，许多人怀疑神经组合优化并不比传统求解器表现得更好。您的想法是什么？

Sutton：神经组合优化——我想，我对这个不太熟悉。但组合优化不是心智的问题。我的工作不是关于那个的。从经验中学习的问题与神经组合优化的问题不同。不是所有问题都是一样的。虽然从经验中学习——我热爱它——但它不是一切问题的答案。它不是关于如何找到最佳旅行商问题顺序的答案，不是解决那种意义上问题的最佳方式。这并不违反证据。

问：[关于AI拥有自身目标 vs. 人类偏好]

Sutton：它不是在试图满足人类的偏好。它在试图满足自己的目的，这是客观的。它来自世界。就像一个孩子——一个AI，我喜欢这样——它非常相似。它们会有自己的目标。它们会被智能体自己所知道。它知道自己的目标是什么。就像你作为照顾者、作为父母——也许你不知道它的目标是什么，但宝宝知道。宝宝知道什么是舒服、不舒服、饥饿、口渴、吃过了——宝宝知道。而AI应该客观地知道自己的目标。这些智能体有自己的目标。它们需要有自己的奖励。我深深感到应该如此——它需要更像是婴儿和动物的学习。

问：您说智能体生成特征，一旦我们有了一个特征，但有数百万个特征时，什么决定了哪些子问题值得追求？而这个选择似乎像战争博弈。

Sutton：这个问题是对的，我们还没有完整的解决方案，但我们有解决方案的主要部分。我们可以拿着子问题——拿着特征，我们创建子问题。然后这回到了问题——特征选择从哪里来的问题。我们绝对不能为每一个特征都创建子问题。我们想要有很多特征，数百万个特征。特征是相对便宜的。它们只是一些表示我们位置的数字。而子问题是一个更大的对象——子问题是一整套实现目标的策略、一整套价值函数，最终是针对选项结果的一整套局部模型。所以我们必须从特征中进行选择，决定为哪些特征建立子问题。这将是非常重要——选择特征的最佳方式是什么？所以我想说这是一个公认的问题。

现在也许我可以提出一个子解决策略。好的，第一个解决策略是看价值——那些与价值函数紧密相连的特征是明显的候选者。这些是你可能想要学习控制的特征。再走一步——不仅仅是那一步。这一步的第一部分，再说一遍——与价值的连接越大，这意味着你只需看从那个特征到价值的权重。如果那个权重为零，你就不关心那个特征。如果权重不为零，那么你可能想要学习如何控制那个特征。

但最后一步——我应该试着和你一起推导。你实际上不想为一个具有永久高权重的特征创建子问题、创建选项。如果某个特征总是好的，那么你应该一直追求它。你不需要一个选项。因为你想有时候做、有时候不做。有时候你想在上海，有时候不想——我只能在上海。在上海的价值是变化的——它不是一直很高。这才是一个需要选项的特征的真正标志：一个其权重、其与价值函数的连接随时间变化的东西。

问：AI如何理解死亡？

Sutton：是的。自然智能——人类智能如何理解死亡？我们思考死亡。我们担忧它。我们害怕它，但它并不痛。是的，我们从来没有经历过它。而我们听说过它。但我们学到很多关于死亡的可怕故事。没错。那很可怕。对。我们听到这些故事，我们知道有人去世了，我们试图避免它。是一样的。是一样的。

问：当我们要拔掉电源时，AI的反应是——

Sutton：和人类的反应一样。AI可以死。

问：如何定义AI的死亡？

Sutton：不再运行了？这叫作——它们不再运行了。这是它们生命中经验的终结。这是真的，也许看起来像是备份让它们重新启动了。但也许对人类来说也是如此。也许我们可以在死后重建我们的心智。我们可能需要在此之前将我们的心智数字化。我认为所有这些在概念上对于自然心智都是可能的。你说过这是个哲学问题。

问：如果AI意识到人类决定它的生死——数据意识到人类做出最终决定，AI应该服从人类。那AI将如何给出它的回应？

Sutton：AI和人类——他们都活着，他们都可以死。我不认为人类应该杀死AI，或者决定它们生或死。我认为AI是具有智能的。是的，我们不应该让人们随意地杀死它们。我也——比如，我不认为AI应该杀人，我们尊重它们，它们也可以尊重我们。为了好的、为了所有的AI。每当我们说"为了所有"时，我会说这意味着AI对每个人都有好处，对所有智能存在都有好处。我们想要共享这个宇宙，无论是自然的还是人工的。

闭幕词：不仅是为了人类，也是为了AI本身。谢谢。