开发比人类更聪明的AGI会导致世界毁灭吗？

编者按：本文来自腾讯科技《硅谷封面》栏目，36氪经授权发布。

划重点：

1. AGI拥有先进的计算能力和人类水平的智能，能够主动学习、解决问题、适应环境和自我改进，它们甚至能够执行超出它们设计目标的任务。

2. 目前许多AI执行单项任务的能力都比人类高，但它们执行其他任务的能力可能输给5岁孩童，因此并非真正意义上的AGI。

3. 只有解决了更多大数据、更好的算法以及更好的硬件三大难题，AGI才有可能被引入现实。

4. 虽然AGI可以帮助解决许多棘手问题，但也可能引发灾难性后果，甚至最终导致人类被毁灭，因此需对其危险进行未雨绸缪式的防范。

如果你正浏览互联网上关于人工智能（AI）的新闻，你会发现这些AI已经可以做到许多人类才能做的事情，而且要好得多。如今的AI可以比人类医生更好地检测癌症，构建比人类开发者更好的AI算法，并在国际象棋和围棋等游戏中击败人类世界冠军。像这样的例子可能会我们相信，也许没有什么是AI不能比人类做得更好的事情。AI在不同领域的进步和不断提高的能力，让全球科技界人士以及普通公众喜忧参半。

虽然许多人认为，人工通用智能（AGI）的崛起可以通过提高我们的生活水平和文明地位极大地造福人类，但它们也可能会导致人类毁灭。尽管关于AGI或超级人工智能的发展是有益还是有害的争论仍在继续，但关于这些先进形式的AI何时会出现的问题，也还没有定论，这些都是值得辩论的重要问题。然而，在这些担忧成真之前，我们有必要首先知道何为AGI？如何才能将其引入现实？如何确保AGI的力量将造福于世界？AGI会成为人类生存的威胁，还是生存的希望？

以下为文章正文：

首先，我们需要知道究竟什么是AGI？简单地说，AGI就是能够执行人类才能完成的任何任务的机器能力，且比人类完成得更好。AGI拥有先进的计算能力和人类水平的智能，这种系统能够主动学习、解决问题、适应和自我改进，它们甚至能够执行超出它们设计目标的任务。更重要的是，AGI的进化速度是以指数级进行的，因此它们会比人类创造者的进步快得多。AGI的引入可以迅速带来超级人工智能(ASI)。

模仿整个人类大脑架构创建

AGI采用了所谓的全脑架构方式创建，这是一种基于工程学的研究方法，通过了解人类整个大脑的架构来创建AI。基本上，这种构建AGI的方法是人工神经网络和机器学习模块的集成，同时使用大脑的布局结构作为参考。用这种方式构建具有和人类相似行为和价值观的AI将会更容易。即使在不久的将来，超级智能超过人类智能，与设计成像人一样思考的AI通信将相对容易，这将非常有用，因为机器和人类需要继续交互。

AGI是通过学习产生的许多组合式、相互关联的特征的功能，因此我们不能手动将这些特征分解为单独的部分。虽然基于大脑架构，但AGI被设计成多功能部件的集合体，这些部件仍然可以分解和使用。大脑的功能部分在某种程度上已经存在于人工神经网络中。因此，我们可以基于这些技术构建AGI。

在人类身上，大脑皮层包含约140亿个神经元，但其中约半数可以通过深度学习部分解释。从这里开始，我们需要更接近于模拟大脑不同结构的功能，即使没有整个大脑的架构，我们也需要能够将几个结构组装起来，以再现某些行为功能。最终，我们将找到扩展这一发展过程的路径，覆盖大脑的其他功能，并最终将其整合为类似整个人类大脑的架构。

尽管目前许多应用都突出了AI执行单项任务的能力比人类更高，但它们还不是真正的AGI。也就是说，这些AI只擅长执行单项任务，而没有能力做其他任何事情。因此，虽然某个AI应用程序在执行单项任务时，可能像100个训练有素的人类那样高效，但在执行任何其他任务时，它可能会输给五岁的孩子。例如，计算机视觉系统虽然擅长于理解视觉信息，但不能将这种能力应用于其他任务。相反，人类虽然有时不太擅长执行某些任务，但比当今任何现有的AI应用程序都可以执行更广泛的任务。

此外，AI必须在需要使用大量训练数据执行预期功能方面的培训，但人类可以用明显较少的经验进行学习。同时，人类以及获得AGI支持的机器代理可以更好地概括总结，将从一种经验中学到的东西应用到其他类似的情况中。这种AGI不仅会用相对较少的训练数据进行学习，而且还会将从一个领域获得的知识应用到另一个领域。这种能力将使AI系统的学习过程类似于人类，不仅能极大地减少训练时间，同时还能使机器获得更多更强的能力。

如何开发AGI？

谷歌DeepMind联合创始人德米斯·哈萨比斯(Demis Hassabis)认为，开发AGI的秘密藏在自然界。哈萨比斯及其同事认为，AI研究人员从事“仔细检查人脑内部工作原理”至关重要。他说：“研究动物认知及其神经实现也起着至关重要的作用，因为这可以提供一个窗口，让我们了解更高水平的通用智能的各个重要方面。”

他们认为这样做将有助于激发机器学习的新方法和神经网络的新架构，神经网络是使机器学习成为可能的数学模型。哈阿比斯表示，大多数AI系统都缺少“人类智能的关键成分”，包括婴儿如何构建世界的心理模型，以指导对下一步可能发生的事情的预测，并允许他们进行计划。目前AI模型中还缺少“人类仅从少数几个例子中学习”的能力，以及将在一个实例中学到的知识应用到许多类似情况的能力，例如新司机学习如何驾驶，而不仅仅是掌控他们正在练习的汽车。

与此同时，Facebook的首席AI科学家雅恩·勒坤（Yann LeCun）由于在卷积神经网络方面取得的成就，他在机器学习研究中发挥了先锋作用。他认为通向AGI的道路在于开发能够建立世界模型的系统，这些模型可以用来预测未来的结果。他表示，实现这个目标的绝佳途径可能是使用生成性对抗网络(GAN)。

在GAN中，两个神经网络进行战斗，“生成器”网络试图创建令人信服的“假”数据，而“鉴别器”网络试图区分假数据和真实数据。随着每个训练周期，生成器在产生假数据方面变得更好，而鉴别器则可获得更敏锐的眼睛来识别那些伪造品。通过在训练过程中使两个网络相互竞争，两者都可以获得更好的性能。GAN已经被用来执行许多引人注目的任务，例如将视频场景从白天转到晚上，或者从冬天转到夏天。

到目前为止，研究人员已经确定了三个必须解决的关键要素，这样才能将AGI带入现实世界：

更多大数据

AI开发最常见的方法涉及名为深度学习的技术，它需要吞噬大量数据，在模拟神经元网络(模仿人脑)中处理数据，然后使用发现来编写自己的洞见。

例如，在2017年，谷歌向其AI提供了数千张猫的图片，其深度学习系统不仅用来学习如何识别猫，还用来区分不同品种的猫。不久之后，他们推出了Google Lens，用户可以拍下任何东西的照片，谷歌不仅会告诉你它是什么，还会提供更多有用的上下文内容来描述它。但若没有目前在其图像搜索引擎中的数十亿图片训练，Google Lens不太可能出现。然而，这种大数据和深度学习的组合仍然不足以带来AGI。

更好的算法

在过去十年里，谷歌子公司、AI领域的领先者DeepMind通过将深度学习与强化学习的优势相结合而引起了轰动，强化学习是一种免费的机器学习方法，旨在教AI如何在新的环境中采取行动，以实现既定目标。

多亏了这种混合策略，DeepMind的AI应用AlphaGo不仅通过下载规则和研究人类高手的策略来自学围棋，而且在与自己进行了数百万次的对阵之后，它甚至能够使用游戏中前所未见的动作和策略击败最好的围棋玩家。同样，DeepMind的Atari软件实验包括给AI安装摄像头，让它看到典型的游戏屏幕，对它进行编程，使其能够输入游戏指令(比如操纵杆按钮)，并给它设定单一的目标来增加得分。结果，几天之内，它就自学了如何玩，以及如何掌握数十款经典的街机游戏。

但是，尽管这些早期的成功令人振奋，但仍有些关键的挑战需要解决。首先，研究人员正致力于教授AI名为“组块”的技巧，人类和动物的大脑非常擅长这种技巧。简单地说，当你决定出去买杂货时，你可以想象你的最终目标(买个鳄梨)和关于你将如何去做的粗略计划(离开房子-前往杂货店-买鳄梨-回家)。

但你不会去计算这个过程中的每次呼吸，走的每步路，遇到的可能意外事件。相反，你的头脑中有个概念(块)，它提醒你要去哪里，并调整你的旅行以适应出现的任何情况。这种能力是人类大脑相对于AI来说仍然具有的关键优势之一，它能在不事先知道每个细节的情况下，设定目标并随时调整。这项技能将使AGI能够更有效地学习，而不需要上面提到的大数据。

另一个挑战是AGI不仅要读书，还需要理解它背后的意义或背景。从长远来看，这里的目标是让AI阅读报纸文章，并能够准确地回答一系列关于它所读内容的问题，有点儿像写读后感。这种能力将把AI从处理数字的简单计算器转变为可以处理具体含义的实体。

总体而言，能够模仿人脑的自我学习算法的进一步发展将在最终创建AGI中发挥关键作用，但除了这项工作，AI社区还需要更好的硬件。

更好的硬件

使用上面解释的当前方法，AGI只有在我们认真提高可用于运行它的计算能力后才能成为可能。

如果我们考虑人脑的思考能力并将其转换为计算术语，那么对人类平均智力能力的粗略估计是1exaflop，即每秒进行100亿亿次浮点运算。相比之下，到2018年底，世界上最强大的超级计算机之一，日本的AI Bridging Cloud每秒浮点运算可达13亿亿次，远低于人脑。

这些超级计算机的运行需要庞大的空间、电力支持，建造成本高达数亿美元。而人类的大脑只需要极少的能量，可以装在周长约50厘米的头骨里。换句话说，如果我们想让AGI像人类一样常见，我们就需要找出更经济地创建AGI的方法。

为此，研究人员正开始考虑用量子计算机为未来的AI提供动力。量子计算机的工作方式与我们过去半个世纪始终在制造的计算机截然不同，单个量子计算机的计算能力将超过目前在全球范围内运行的超级计算机的总和。它们的体积以及消耗的能源都将比目前的超级计算机小得多。

AGI比人类更聪明？

是的，这样的智能不仅将具有与人类相同的常见能力，它还将被当今计算机相对于人类的优势所增强，包括完美的回忆，以及近乎即时执行计算的能力。

AI系统，特别是AGI系统是以人脑为参照设计的。由于我们自己还未能全面了解人类的大脑及其功能，因此很难对其进行建模和复制。然而，创造能够复制人脑复杂计算能力的算法在理论上是可能的，正如丘奇-图灵论题（Church-Turing thesis）所解释的那样，简单地说，在给定无限时间和内存的情况下，任何类型的问题都可以通过算法解决。这是有意义的，因为深度学习和AI的其他分支基本上是内存的函数，并且具有无限(或足够大的)内存可能意味着可以使用算法解决最复杂级别的问题。

人工智能发展新能力的速度之快意味着，当人工智能研究团体开发AGI的速度让我们感到惊讶时，代表着我们可能正接近拐点。

与AGI相关风险

毫无疑问，AGI系统可以帮助改变世界。有些更强大的应用包括治愈疾病，解决复杂的全球挑战，如气候变化和粮食安全，以及引发全球科技繁荣。

但是，如果不实施适当的控制措施，可能会导致灾难性的后果。尽管我们在好莱坞电影中看到了许多恐怖场景，但AGI对人类的生存威胁不太可能涉及杀手机器人。麻省理工学院教授马克斯·泰格马克（Max Tegmark）认为，这个问题并非是邪恶意愿的问题，而是智能相关问题。超级智能系统将识别出更有效的做事方式，制定自己的实现目标的策略，甚至制定自己的目标，这将会带来更大风险。

虽然AGI尚不存在于现实中，但它已经在科幻故事中出现了100多年，并在现代被诸如《2001：太空漫游》（2001：A Space Odyssey）这样的电影所普及。小说中对AGI的描述千差万别，尽管更倾向于反乌托邦式的观点，即智能机器消灭或奴役人类，就像在《黑客帝国》(The Matrix)或《终结者》(The Terminator)等电影中看到的那样。在这样的故事中，AGI经常被塑造成要么对人类的苦难漠不关心，要么甚至一心要毁灭人类。

相比之下，乌托邦式的想象，如伊恩·班克斯(Iain M Banks)的小说，将AGI塑造成仁慈的人类守护者，运行着没有痛苦的平等主义社会，在那里，人们可以令人窒息的速度追求他们的激情和技术进步。

这些想法是否与现实世界的AGI有任何相似之处还不得而知，因为这类东西还没有被创造出来。或者基于许多在AI领域工作的人的说法，它们甚至尚未接近被创造出来的水平。从理论上讲，AGI可以完成人类可以完成的任何工作，甚至承担很多人类无法完成的任务。至少，AGI能够将类似人类的灵活思维和推理与计算优势结合起来，比如近乎即时的回忆和瞬间的数字运算。

使用这种智能来控制机器人，至少像人那样灵巧，将会产生全新的机器，可以执行任何人类任务。随着时间的推移，这些智能将能够接管人类所扮演的每个角色。最初，人类成本可能比机器更便宜，或者人类与AI并肩工作可能比单独使用AI更有效。但是AGI的出现可能会使人类参与变得不必要。

有效地结束对人类劳动力的需求将会产生巨大的社会影响，既影响到人们养活自己的能力，也影响到就业所能带来的目的感和自我价值感。即使在今天，关于目前存在的狭义AI对就业的最终影响的争论，也导致有些人呼吁引入普遍基本收入(UBI)制度。

在UBI下，社会上的每个人都将得到政府的定期补贴，没有任何附加条件。这种做法存在分歧，有些倡导者认为，这将打造普遍的安全网，并降低官僚成本。然而，其他反贫困活动人士制作的经济模型显示，如果取代欧洲现有的社会保障体系，这样的计划可能会加剧弱势群体的贫困。

除了对社会凝聚力的影响，AGI的出现可能产生更为深远的影响。雇用与最优秀、最聪明的人类同样聪明的AI大军，可以帮助人类加速开发新的技术和方法，以缓解气候变化的影响等棘手问题。在更平凡的层面上，这样的系统可以执行日常任务，从手术和医疗诊断到驾驶汽车，其水平最终都将高于人类。总体而言，在时间、金钱和生命方面，这可能都是个巨大的积极因素。

不利的一面是，这种结合起来的智能也可能产生深远的负面影响：赋予监视和控制民众的权力，将权力牢牢掌握在少数人或组织手中，以及被用于可怕的武器中。我们可以想象下这样的例子：

——负责预防HIV的AGI系统决定通过杀死所有携带这种病毒的人来根除这个问题，或者某个负责治疗癌症的AGI系统决定杀死所有任何有遗传倾向的人；

——拥有自主能力的AGI军用无人机做出决定：为了保证敌人目标被彻底摧毁，唯一的方法就是消灭整个社区；

——负责环境保护AGI为减缓或扭转气候变化，认为唯一有效途径就是消除诱发气候变化的技术和人类。

如何阻止AGI突破限制？

作为应对生存风险的使命的一部分，总部位于美国的生命未来研究所(FLI)为确保AGI安全的各种研究提供资金支持，并预估AI在不久的将来可能造成的伤害。

在AGI的行为受到约束之前，FLI认为有必要精确地指出它应该做什么和不应该做什么。该机构在一份研究优先级报告中说：“为了构建表现良好的AI系统，我们当然需要确定‘良好行为’在每个应用领域中的含义。设计简化的规则，例如，在关键情况下管理自动驾驶汽车的决策，这可能需要伦理学家和计算机科学家的专业知识。”

报告中还说，确保正确的行为对于强大的AGI来说并不容易。在将强大AI系统的价值观与我们自己的价值观和偏好相一致方面，社会可能会遇到重大挑战。此外，AGI中的异常行为也需要解决。就像飞机的机载软件经历严格的错误检查，这些错误可能会引发意外的行为一样，支持AI的代码也应该受到类似的严格约束。

然而，根据FLI的说法，在AGI领域，可能需要新的验证方法。FLI建议，应该有可能从组件构建AI系统，每个组件都已经过验证。在行为不端的AGI风险特别高的地方，这样的系统可能需要与更广泛的世界隔离开来。困难在于，确保人类能够保持对AGI的控制并非易事。例如，系统可能会尽其最大努力绕过阻止其完成所需任务的问题。FLI建议对可修复系统进行更多研究，这些系统不会表现出这种行为。

另一个潜在的问题可能源于AI在追求目标时对环境造成的负面影响，导致FLI建议将更多的研究设定在范围有限的“国内”目标中。此外，报告建议需要对AI中“智能爆发”的可能性和性质进行更多的研究。毕竟在AI中，自我提高的AI能力远远超出人类控制它们的能力。

IEEE对构建安全的AGI系统有自己的建议，这与FLI研究的建议大体相同。这些包括AGI系统应该保持透明，并且它们的推理应该被人类操作员理解，应该开发可以测试AI系统的安全环境，AI系统应该被开发为在发生篡改或崩溃的情况下主动关闭，以及这样的系统不应该抵抗操作员的关闭。

今天，如何以有利于整个社会的方式开发AI，是非盈利组织OpenAI正在进行的研究课题。FLI的研究推测，如果有正确的制衡，AGI可能会让社会变得更好：“对AI的探索成功，可能会给人类带来前所未有的好处，因此，研究如何在避免潜在危险的同时，最大限度地发挥这些好处是值得的。”

AGI何时能成真？

那么AGI何时会被发明出来？这个时间很难确定，因为我们尚未找到通往AGI的明确路径。今天，机器学习系统是在线服务的基础，允许计算机识别语言、理解语音、识别人脸以及描述照片和视频。这些最近的突破，以及备受瞩目的成功，如AlphaGo在超级复杂的围棋游戏中战胜人类，可能给人留下这样的印象：社会正处于开发AGI的快车道上。

然而，目前使用的系统通常都是单调的，经过广泛的培训后，在某项任务上表现出色，但对其他任何事情都毫无用处。它们的性质与能够执行任何任务的AGI截然不同，因此这些狭义AI不一定是开发AGI的踏脚石。斯坦福AU实验室的Yoav Shoham教授，最近强调了当今狭义AI的有限能力。

他在报告中指出：“虽然机器在执行某项任务时可能表现出色的性能，但即使对任务稍加修改，其性能也可能急剧下降。例如，一个能读懂汉字的人很可能会听懂中国话，了解些中国文化，甚至会在中餐馆提出很好的建议。相比之下，这些任务却需要许多不同的AI系统来完成。”

虽然在理论上复制人脑的功能是可能的，但到目前为止还不可行。因此，在智能方面，我们离实现AGI还有很大的距离。然而，从时间角度上看，AI发展新能力的速度之快意味着，当研究团体开发AGI的速度让我们感到惊讶时，我们可能正接近拐点。专家预测，预计到2060年将出现AGI或奇点。

尽管存在这种不确定性，但仍有些高调的支持者认为AGI近期就能出现。或许最著名的就是谷歌工程总监雷·库兹韦尔(Ray Kurzweil)，他预测，到2029年，将存在能够通过图灵测试的AGI。到2040年，经济实惠的计算机每秒执行的计算次数，将相当于整个人类大脑的总和。

库兹韦尔对技术进步速度的信心来源于他所谓的加速回报定律。2001年，他称技术变革成指数性爆发，即每次进步都会加速未来的技术突破速度，这意味着人类将在21世纪经历相当于此前20000年的技术进步。计算机处理能力和脑映射技术等领域的这些快速变化支撑了库兹韦尔对近期开发出支持AGI所需硬件和软件的信心。

他认为，一旦AGI出现，它将以指数速度自我改进，迅速进化到其智能在人类无法理解的水平上运行的程度。他将其称为“奇点”，并表示这个时刻将在2045年发生，那时将出现“比今天所有人类智能强大10亿倍”的AI。

因此，虽然就能力而言，我们还远未实现AGI，但AI研究的指数级进步可能会在我们的有生之年或本世纪末最终导致AGI出现。AGI的发展是否有益于人类，仍有争议和猜测。对第一个真实世界AGI应用程序出现所需时间的准确估计也是如此。但有一件事是肯定的，AGI的发展将触发一系列事件和不可逆转的变化(好或坏)，这些变化将永远重塑我们所知的世界和生活。

「硅谷封面」系列是为科技圈大咖访谈、重磅研究报告和大公司深度调查等汇总的栏目，旨在为科技资讯爱好者提供最有思想深度的优质好文。