中国社会科学院段伟文：人和机器要互相理解对方缺陷，协同进化

编者按：本文来源于微信公众号“腾云”（ID：tenyun700），作者 段伟文，中国社会科学院科学技术和社会研究中心主任。36氪经授权发布。

“太硬核了！”“真过瘾！”

这是2019腾云峰会“科技大爆炸：AI如何向善”主题论坛结束之后，来自现场观众的反馈。

而用论坛主持人、苇草智酷创始合伙人段永朝的话来说，这场讨论让人感受到“被吊打的快乐”——来自中科院的技术专家思考哲学，来自社科院的哲学大咖思考技术，这样的跨界碰撞，只为增进我们对“AI向善”等主题的理解。

今天，我们首先分享来自中国社会科学院科学技术和社会研究中心主任段伟文老师的发言。对于“AI伦理”，段伟文老师认为，我们今天讨论的人机关系并不是一种对立关系，而是一种从建立信任到实现协同发展的关系。这需要科学家、哲学家和企业等多方共同努力。

以下为报告原文：

我今天报告的这个主题——“AI伦理：遁词抑或软着陆机制”有一些吊诡，因为面对的都是“行家”，是敢于直面世界真相的人，所以我用了“遁词”这个词。我希望提出一个质疑——这究竟是一种遁词还是一种软着陆机制？

这个话题要从人与工具的关系说起。

麦克卢汉说，“先是我们创造了工具，然后是这些工具创造了我们。”人和工具的关系就是这样。我们现在每天早上起床后都会着急去找手机，好像母亲在我们出生时给予我们拇指就是为了要亲吻手机一样。这些工具其实在重新塑造我们自己。

先看两个AI伦理原则——

其一，最近联合国教科文组织（UNESCO）提出的AI伦理准则，他们还要做进一步讨论。这里有很多我们非常熟悉的东西：责任、问责、善治、可持续等理念；

UNESCO《人工智能伦理建议书》

a. 人权：应根据国际人权标准开发和实现AI。

b. 包容性：AI应具有包容性，在促进多样性发展的同时，防止出现偏见和新的数字鸿沟。

c. 繁荣：AI应有利于提高生活质量。

d. 自主权：AI应始终确保人为控制，尊重人类的自主权。

e. 可解释性：AI应具备可解释性，能使人类深入了解其功能。

f. 透明：用于训练AI系统的数据应保持透明。

g. 意识和素养：算法意识和对Ai工作原理的基本了解是赋予公民权力的基础。

h. 责任：开发自主智能系统时，开发人员和公司应考虑到伦理规范。

i. 问责制：应能明确AI驱动决策和AI系统行为的责任归属。

j. 民主：应根据民主原则开发、实施和使用AI 。

k. 善治：政府应定期报告其在警务、情报和安全方面的AI使用情况。

l. 可持续性：所有AI应用都需在潜在好处与整个AI和信息技术生产周期的环境影响之间达成平衡。

其二，美国国防部也颁布了AI伦理准则。从今年春天开始，美国一些官方和民间机构来到中国，反复询问AI或AI伦理研究者，试图了解我们对相关问题的看法——包括对于AI军备竞赛的态度等。

美国国防部人工智能准则

负责任。在AI系统中，人类应当保留适当程度的判断能力，并且对国防部人工智能系统的开发、部署、使用和结果承担责任。

公平公正。国防部应当通过采取措施，避免作战或非作战用途的AI系统在开发和部署阶段出现偏见，防止其对人们造成伤害。

可溯源。国防部应当通过透明度和可审计的方法论、数据来源、设计流程和文档等，确保技术专家能正确理解其AI系统的技术、研发进程和运作方法。

可信赖。国防部的AI系统应当易于理解、充分界定使用领域、安全。应当确保在使用领域的整个生命周期都测试其鲁棒性。

可控。国防部的AI系统应当为满足其预设的功能而进行开发、施工，并具备检测和防止意外伤害、干扰的能力，在冲突升级或其他情况下能自动下线或停止工作。

我们仔细去看，他们的“伦理原则”实际上表现出一种“自己对自己负责”的态度，比如可溯源、可信赖等，即认为AI武器应该可控。但无论怎样都可以看出，AI对人类来说是非常巨大的力量，就算强大如美国国防部也会担心。

讲到伦理，它要么是理念主义、观念主义的善，要么就是实用主义的伪善。我不是批评伪善，因为严格来说，人是处在善和伪善之间。在一定程度上，伪善可能是文明得以维系的重要因素。

但我们还是不得不讲清楚：创新永远是先手，伦理永远是后手。当初白起埋葬了30万人，但直到司马迁才能对这段历史提出控诉，这就是文明。很多伦理审查、伦理标准不过是一种形式上的审查，实质是一种纵容。

段伟文在腾云峰会“科技大爆炸：AI如何向善”论坛现场

世界的智能化测试版与人的危机

现在AI所开创的世界还处于“测试版”。20年前，段永朝等老师在呼唤赛博时代、赛博空间的时候，宣言还是要将赛博空间和现实世界划清界限。但后来我们发现事实并非如此，互联网不是答案。

我们曾以为进入互联网世界就像扑进知识的海洋——我们称之为“冲浪”，但没想到这些行为都让我们留下了数字痕迹，所以导致从去中心化到再中心化。

现在更大的挑战是机器智能的官僚主义，这种官僚主义的排他性非常厉害。

例如，如果用机器进行大数据挖掘，可能会让一些本该接受救济的人反而失去救济；又例如，你不小心踢到垃圾筒，你感到不舒服，于是又“踹”了它一脚，这个监控录像被传到保险公司，于是你明年的保险费会因此提高。这就是一种静悄悄但非常强悍的排他性。

此外，所有智能化的世界都是能动的世界。以往我们总是探讨眼和心、心和世界的关系，但是将来世界和我们的关系是相互辨识的关系。古老的人类之所以有道德的约束，那是因为他们想象着一个万物有灵的世界，所以当他们面对天神时会有所顾忌。

我们将来的世界是“万物有智”的世界。到处都长满眼睛，到处都在观察和分析——以你不知道的目的。在这样的情况下，我们现在正在做一场数据驱动下的“认知-干预”实践。所有数据都和测量手段有关，这些数据的潜在用途还远没有被揭示出来，它将成为一些素材，这些素材会永远留下去，不断被重新解释。

我们在这个时代遇到了一种新的透镜。

十一世纪时，人类发明了透镜，所以才有了望远镜、显微镜，进而可以研究物质运动，并且在解析几何的帮助下找到物质运动的轨迹。在这个时代，数据就是我们的行为。通过数据这个新时代的透镜，我们可以掌握所有人的行为规律及可能性。

正如当初笛卡尔发明解析几何一样，数据分析、数据挖掘这样的劝说、引导、控制方法，就像解析几何一样，把我们带到一个新的社会：解析社会。它的目的不再是研究物质运动或控制物质运动，而是研究人的行为并且控制人的行为。

比如在医学研究领域，因为有了智能手环，我们可以实时收集大量的医疗数据，此时，“体检”每时每刻都在进行。目前医学中有一个“真实世界研究”，即根据实时数据研究究竟什么是真实的世界健康状况。这和传统医学的随机临床对照实验有什么不一样？这值得进一步思考。

面对AI创新带来的世界的测试版的加速升级，必须强调的一点是：人本身的脆弱性。

首先，机器在加速，我们的技能在不断被“去技能化”。更“要命”的是，我们甚至到了“无技能可去的去技能化”的境地。我们以往说无产阶层，将来我们会说“无技能阶层”，并且我们没有可以失去的东西了。

面对智能化的监测与自我监测，我们有一种迷茫：反正我们是透明的人，那就在末世里狂奔好了。有种说法是“普罗米修斯式羞愧”：普罗米修斯给人类带来了技术，也使人在技术面前感到渺小，觉得自愧不如——我们计算能力不如计算器，更不要说计算机了。

从某个角度来说，人始终是过时的。但更重要的一点，“三军可夺帅，匹夫不可夺志”，我发现人类从整体上说并没有前进的方向，我们并不知道未来在哪里。

“科技大爆炸：AI如何向善”论坛的讨论嘉宾，从左至右分别为：段永朝，王飞跃，刘伟，段伟文，刘永谋，张正友。

理想主义的药方与现实主义的药罐

对于个体来讲，没有志向怎样做一个顶天立地的人，中国文化应该有一种什么样的“精气神”？答案是：没有。所以我们只能开出一些所谓理想主义的药方放到现实主义的药罐里，有了很多“负责任的AI”、“可信任的AI”、“可解释的AI”、“可追责的AI”等。

实际上，我们现在的创新文化是从盎格鲁-撒克逊文化过来的，再与亚洲的儒家文化结合。在这种结合下，似乎“没有伦理约束”成为了一种创新优势，重视伦理又好像可以成为一种竞争优势。这和伦理没有关系，只是功利的计算。所以我们有很多关于规范的探讨，它不过是一种“糖衣”。

我只是在描述真实世界的样子，不是批评。

现在有一种基本的说辞是，首先要鼓励创新，社会企业都应该对任何新技术有开放和包容的心态，同时我们也必须严肃地探讨技术和应用场景所需的道德规范。

从创新的角度来说，我们要做一些有针对性的工作，而不是笼统的批评。我们要去解决这样一种冲突。具体来讲，面对如低俗内容的聚合或算法歧视等由于技术强化而导致的结果，我们可以考虑怎样对不良内容建模加以过滤或对数据的公平性进行修复。

人工智能伦理与治理的实践智慧

我们首先面对的挑战是，怎样最终克服人类在伦理或道德上对AI的恐慌。我们可以有一套策略，包括要预见、设计与嵌入，要有开放性共识，要有适应性治理，以及要怎样让人类的技能获得再生。最重要的是，要有一个基于行动者网络的思考。

总的来讲，我们跟技术的关系不是敌对关系而是竞争关系，在伦理和创新里也有一种竞争关系，可以称之为争胜关系。创新有悖伦理时，重要的是有没有一些公众工程师，能够站在公众的角度进行反向的争胜性的设计——通过具体的技术设计实现对创新的伦理制约。

面对人机共生的时代，我们需要构建一种分布式的道德系统。

如果马路上行驶的既有人类驾驶汽车也有自动驾驶汽车，那么此时应该有什么样的责任分担？就像我们开车时遇到不遵守交通规则的人，我们的办法是避让他，或者我们知道他的特点并适时应对。

人们已有的实践智慧为未来人机协同的分布式道德机制构建提供了很多有益的线索。

在鼓励自行车出行的荷兰，法律规定在不发生相互危害的情况下，最多允许两人并排骑自行车，如果有第三人加入并排骑行，不仅加入者，每个人都要承担全部责任。其理由是，每个人都可以且能够很容易的纠正这种情况。

同样在荷兰，在港口外面的河面上，法律允许至多三艘船并排停靠，如果有第四艘船停靠在另外三艘船旁时，相关判例的裁决是只有第四艘船需要对此负责任，因为其他三艘船纠正这个错误比加入它们的第四艘船困难得多。

在未来，人类和机器都要理解对方的缺陷，并且进行一种协同。在这种人机协同的认知生态下，人与机器才能明确责任的分担。

另外，我们需要一种Beliving，需要建立面向智能化时代的人机信任机制。如果没有人机信任关系，对人类、社会、世界都是一种灾难。

我们要从数据行为主义转到数据行动主义。现在这些人工智能体和监控设备只是根据数据——即我们的行为判断我们的特征和意图是什么，但其中有很多偏差。这就需要我们每个人拿出我们的能动性，采取行动来改变这种情况，纠正那些被采集和被分析的数据中的错误和偏见。

还有一点也需要思考。以往的社会是建立在“无知之幕”上的，但如果保险公司知道每一个人能够活多久，那保险怎么卖？现在还有一种人脸识别技术，能够通过人脸识别观察你的健康状态，当你到一家公司求职时，刚进入大门公司就可能决定是否录取你...所以问题在于，我们是不是要真的需要这样一个时代？

下面这张图就是我们最后的迷思，机器智能可以无止境地进化，但人的尊严却源于包容不完美。这就是我们要思考的，这就是我们的未来吗？

作为人与人之间第三者的机器，如何为人类创造和谐？

在主题发言后的圆桌讨论环节，段伟文对AI伦理等话题进行了更为深入的阐释，他同时提出了对“科技向善”、企业社会责任的看法——

讲到科技与创新或是与人文、伦理价值的关系，其实人类一直有两种策略。一种是审慎性原则，就是做任何事情都把坏处想到极端；一种是风险偏好性或冒险的原则，即任何时候都把好处想到最多。

在我看来，审慎性原则很难实现，大多数企业都是风险偏好的企业。但所谓风险偏好也要有一个度，对任何新事物都包容和接受是不对的。

我们在思考问题的时候要着眼整个社会环境，从技术社会系统入手分析人工智能技术和产业背后是什么。其中一个视角，是审视人工智能背后的资本，资本增值与社会价值应该如何协调。当我们考虑给每一个公园都装上人脸识别装置的时候，有没有想到一千个公园可能就有一千个人失业，是不是要为了一个完全没有必要的人脸识别装置牺牲那么多劳动力？这是应该考虑的。

我们要在更大范围内考虑相关的利益群体。一个企业如果要对社会负责，一方面要对他的产品、员工、用户负责，另一方面还要考虑受其产品或服务影响的人，特别是那些比较脆弱的相关群体。

这个责任是什么？现在整个创新政策强调包容审慎，对互联网、数字技术、人工智能等创新应用一般没有按照产品责任来严格追究责任，也没有像医药等行业那样实行严格监管。对大数据、人工智能等应用带来的社会问题，首先还是作为伦理道德问题来讨论，实际上有助于这些创新形成一种伦理软着陆机制，可以缓冲新技术带来的伦理冲突。

在此过程中，难免出现各种负面的社会评价，但通过多方的参与和互动，企业可以找到改进和自我提升的方向，在具体的担责实践中培育对社会的责任感。同时，社会的评价和参与会更富有建设性，相关群体和公众也可以看到改变的可能，学习到多元参与和共治的方法与智慧。

再就是企业社会责任。客观地讲，面对充满风险与不确定性的科技时代，“向善”是科技公司体现其社会责任的应有之意。腾讯作为一个标杆企业讲“科技向善”，这是没问题的。要明白一点，“科技向善”是作为企业应有的担当。

企业的发展与壮大，根本上源自用户和社会公众的信任与支持，源于现代文明架构下普通人对企业的群体馈赠，企业要认识到这一事实。企业一定要有这样一种谦卑，要不断强化社会责任感，要反思和追问：我的技术产品除了给我带来更多的投资和盈利，是不是能给整个社会带来更大的和谐？

最后，我们现在说的AI伦理还不是指人机对立，不是机器消灭人类，实际上是指如何协调人和机器的关系。

人机关系，说到最后还是人与人之间以机器为中介的关系。换句话说，机器是人和人之间的第三者。探讨AI伦理的初衷在于，在人与人之间，机器如何摆放，才能使人的生命得以恰当安放，才能使人们在智能化时代安心生活。

我有一个重要的人生智慧，就是简单和勇敢。在任何时候，我给大家的一句话都是——不要害怕！