杨建军｜可信人工智能发展与法律制度的构建

Original 杨建军上海市法学会东方法学

2024-09-17

人工智能的技术发展虽然取得了显著的成就，但还存在技术安全风险、背离传统法律价值等导致其不可信的诸多因素。人工智能技术的发展，须以用户信任为前提。人工智能的信任须建立在技术安全、确定性的法律管控和社会伦理正确引领的基础上。可信人工智能法律制度建构的关键在于，遵循以人为本、人类主导、技术中立等外在准则和透明、安全、可问责等内在准则，捍卫现代法治的传统和宪法确认的公民的基本权利，维护人类福祉。可通过建立和完善测试制度、监督制度和法律责任制度，保障人工智能的可信发展。

一、以可信为基础构建人工智能治理法律制度的必要性

人工智能技术发展突飞猛进，在诸多领域取得了令人瞩目的成就。但是，人工智能的发展，却因为技术的复杂性、风险的不完全确定性、技术滥用、法律规制的缺位等因素，还未完全赢得社会的信任。

（一）人工智能发展中还存在侵蚀其可信性的诸多因素

其一，人工智能技术发展还存在诸多可知或不可知的风险。当前，人工智能存在着失控性风险、社会性风险、侵权性风险、歧视性风险、责任性风险五个方面的伦理安全风险。一项针对14-28岁的中国青年关于人工智能的调查结果与谷歌学术指数的比对结果显示，人们对人工智能的担忧，焦点主要在于其可能导致战争、操纵舆论、加剧环境破坏、用于犯罪人工智能化、冲击民族文化、影响隐私与伦理、导致失业、大数据杀熟、人工智能军备竞赛、贫富分化等。显然，这些情形直接影响了人们当下对于人工智能技术的信任，也表明人工智能的“可信”问题还没得到完全解决。发展人工智能可能导致的道德风险包括“人们可能由于自动化而失业”“可能拥有过多或过少的闲暇时间”“可能会失去作为人的独一无二的感觉”“人工智能系统的使用可能会走向不期望的终点”“人工智能系统的使用可能会导致责任感的丧失”“人工智能的成功可能意味着人类种族的终结”。

其二，人工智能技术还不完全可信。（1）人工智能技术还未真正达到人们想象的发达程度，总体上还处于专用人工智能而不是通用人工智能发展阶段。人工智能固然能够在围棋等特定领域获得快速精准的处理优势，但能处理全新问题的通用人工智能目前较为缺乏；目前的人工智能无法应对特殊情境下的“异常值”问题，如能够在天气良好的情形下处理高速公路驾驶问题的人工智能不一定能够应对城市道路的复杂情景；目前的人工智能总体上还难以达到“安全、聪明、可信”的标准；人工智能理想与人工智能现实之间还存在鸿沟，如人工智能虽然可能与人交谈家庭问题，但其实它根本不懂家庭。人工智能还存在超归因错误、鲁棒性的缺失、高度依赖大数据训练的人工智能无法适应全新的环境、容易导致社会偏见、错误的数据会引发回音室效应、数据可能被公众操纵、偏见叠加、容易陷入错误目标陷阱、被用于非法目的伤害公众等不足。（2）深伪技术加剧了人们对真实性瓦解的担忧。实践中，“基于深度学习的深伪（deepfake）技术可以在图像和视频中实现‘换脸’，达到以假乱真的程度”“人们借用深伪技术和配对训练可以生成视频，让人带表情地说话”；普通人很难通过声音、表情和嘴型变化辨别视频的真假，而这些技术如果被用于普通人身上，则可能导致污证、勒索、欺诈、恶作剧的泛滥。（3）技术安全等问题未完全解决。人工智能的技术安全问题（如数据安全、网络安全、算法安全、隐私安全），人工智能的应用安全问题（如智能安防、舆情监测、金融风控、网络防护），人工智能的法律与伦理（如法律法规、标准规范、社会伦理）等问题，均未得到有效解决。此外，生成式人工智能会衍生出传播虚假信息、侵害个人信息隐私、偏见歧视等问题，给大数据和人工智能产业的安全发展留下隐患。（4）与人工智能技术关联的问题是，人工智能的良好运行高度依赖个人信息和数据，而个人信息和数据管控本身还存在诸多问题，如App违反合法、正当、必要的原则收集与所提供服务无关的个人信息，“强制授权、过度索权、超范围收集个人信息”大量存在。

其三，人工智能应用不当导致了侵权，致使人工智能不完全可信。（1）如2019年，脸书通过人工智能封停了54亿个虚假账户，这些虚假账户大多是由程序自动创建的机器人程序，它们违规发布恶意信息，操纵舆论氛围、传播虚假信息，人工智能与人工智能之间的斗争不断升级。（2）存在不合理运用人工智能技术和人工智能技术遭到恶意滥用的情形。如人脸识别技术的广泛普及，使得人脸数据采集变得轻而易举，引发了民众对面部数据泄露的广泛担忧。近期的报道如“上海已在全市严禁酒店强制刷脸”，实际上是对此前大规模违法行为的一种纠偏。

其四，人工治理的技术使用还存在与其宣示的价值取向不一致的情形，损害了人工智能发展的价值基础。人工智能在技术发展存在极大不确定性的情况下就使用，易导致“恶性竞争、误用、滥用甚至恶用”。如2016年11月美国总统大选中唐纳德·特朗普被选为美国总统，2016年英国就是否继续留在欧盟举行全民公投，结果支持退出欧盟的一方以微弱优势胜出，“在这两个案例中，都有人认为推特等社交媒体平台被用来传播有利于最终胜利方的假新闻”，这是因为人工智能有其特定的运作逻辑，“人工智能在其中所起的作用是根据你的点赞、评论，以及你点击的相关的阅读链接等行为去分析你的偏好，然后寻找到你也许会喜欢的新消息”，“向你展示你喜欢的东西，隐藏你不喜欢的”。

其五，规制人工智能的法律还不可信。传统法律主要是为规制人的行为制定的，无法适用于对人工智能新技术的监管。面对一项新技术，国家直接监管人工智能的法律规范阙如，且人们担心过于严格的法律监管会阻碍人工智能的技术创新；而规制隐私、安全、公平竞争等领域的法律，尚无法完全适应人工智能发展与规制的需要。规制人工智能的法律不可信还源于：传统法律难以有效规制人工智能；新的法律跟不上人工智能技术发展的步伐；人工智能的发展还存在很多技术上的不可预知风险，即便出台人工智能治理的法律也很难做到针对性的监管。

总之，技术和法律的发展还处在双重不确定性中，人们自然难以建立起对人工智能及规制人工智能的法律的全然信任。而一项不可信的技术，会解构它的存在和发展的价值基础，导致它的发展丧失道义正当性。

（二）人工智能法为什么要强调信任

信任，是人际关系得以长久维系的桥梁，是社会关系得以拓展的基础，是社会发展的内在条件，更是建立高效社会组织的基本前提。

1.信任是社会合作得以进行的基础

人类最早的信任可能来自生物基因，为了维系直系亲属的生存尤其是后代的生存，人们会选择信任“一个由1-10个人组成的群体（大约是我们的直系亲属的规模）”；个人之间的信任也许容易建立，但是，更大规模的信任即群体的信任的建立是困难的，因而，早期人们多选择信任自己的部落成员；人类的信任史是从一对一关系开始的，之后通过市场、宗教和政府逐步建立了较为广泛的信任；而现代国家成功的一个关键就是，“人民‘信任各种制度以及这些制度下的法治，并且不担心自己的财产安全’”。信任是一种社会资本，“信任的作用像一种润滑剂，它使一个群体或组织的运作更有效率”。

2.信任成功与否取决于信任拓展范围的大小

人类社会的信任总体上经历了“从一个依靠关系和信任来加强合作的社会进入到一个由市场和法治对合作进行协调的社会”历程；“技术的发展将我们的信任圈从我们的直系亲属和部落拓展到了国际社会中越来越多的区域”。总体来看，一项拓展信任半径越大的技术，就越容易成为世界大多数人接受的技术。人工智能的信任拓展，是一个复杂的过程。“人机之间信任链的产生过程常是：从陌生—不信任—弱信任—较信任—信任—较强信任—强信任。”特定国家的人工智能技术，无法不受世界上最发达的技术影响。人工智能技术的竞争，是全球性的，在很大程度上讲，人工智能技术竞争的结果很可能形成“赢家通吃”的局面。因此，人工智能的发展，不仅要追求进步，而且必然应追求“最优”。

人工智能技术的发展程度，不仅是由技术决定的，而且是由规制人工智能的伦理、法律等规范决定的。技术和规范，共同推动着人工智能发展的水平和高度。那些真正发展得良好的技术，必定也是法律保障有力、遵循了良好伦理规范的技术。由此，人们对人工智能技术的信任，就建立在保障人工智能发展的伦理规范和法律规范的基础上。

二、人工智能获得社会信任的法律基础

不同时代社会信任的运作机理有所差异，人工智能获得社会信任需要依靠法律制度来保障，需要妥当监管的法律制度为人工智能的可信予以背书。法律保障人工智能可信的关键在于捍卫现代法治的传统和宪法确认的公民的基本权利。

（一）人工智能的信任需要法律来保障

其一，传统社会基于血缘等关系构建了人际之间的信任，人与人之间的信任多建立在熟人关系基础上。其优点是，熟人之间需要进行的是多次博弈而不是一次行动。不足在于信任范围非常小，这是因为传统社会中人们的交往和合作主要建立在熟人关系的基础上，工商业不发达，人们需要拓展的交往半径也不需要太大。社会普遍化信任的匮乏，或者说人与人之间缺乏普遍信任，社会的“信任半径”非常狭小。这种对家庭以外成员的低信任度状况，既是由熟人文化传统决定的，也是由小农经济特点决定的。

其二，到近现代社会，法律力图建构的是一种打破血缘关系、促进陌生人合作的普遍信任机制。法律追求普遍性，强调法律面前人人平等，要求任何人不论其所处的地位或处境，都必须服从于法律和法院的司法管辖权。现代社会共同体合作的基础，主要建立在平等交换、契约自由基础上。以平等交换为核心内容的国家法律制度，奠定了陌生人之间市场交往的信任基础。

其三，人工智能时代的信任须建立在人工智能技术安全、确定性的法律管控和社会伦理引领的基础上。技术是人工智能获得可信的载体。技术视角下的人工智能信任建立在人对技术的信任基础上，使人相信人工智能技术属于“似人的技术”；技术视角下的信任主要是指“个体对信息技术的功能性、可靠性和有用性的信任信念”。数字技术促进数字经济信任的成功典型是早期淘宝的远程交易，“买方担心付款后卖方不发货，而卖方也担心发货后收不到款。于是，2004年第三方支付平台支付宝开始运行，由支付宝承担买卖双方的风险。数字交易留痕为信用评价提供了便利的技术手段”。从应然角度讲，人工智能要获取整个社会的信任，最为基础的是，它要向整个社会展示出自身的技术首先是可信的——不仅技术的确是智能的，而且是向善的，至少不能是作恶的。在人工智能技术背景下，人工智能的可信问题就首先被转换成了一个技术问题，即可信计算的问题。信息安全的最新国际标准ISO/IEC15408将“可信”界定为：“参与计算的组件、操作或过程在任意的条件下是可预测的，并能抵御病毒和物理干扰”，且这种计算机系统的可信从用户角度来看应当是可论证的。可信计算的平台的基本特征包括“真实报告系统的状态，同时绝不暴露自己的身份”，而要实现这一目标，平台必须具备三个基本特征：（1）保护能力，核心是建立平台屏蔽系统保护区域，确保数据的访问须经过授权，以控制外部实体对敏感数据的访问；（2）证明，即能够确认信息的正确性，“外部实体可以确认保护区域、保护能力和信任源”；（3）完整性的度量、存储和报告，“其基本原理是一个平台可能被允许进入任何状态，但是平台不能对其是否进入或者退出了这种状态进行隐瞒和修改”。

以上三种关于信任的“理想类型”的共性在于，都力图建立人与人之间的信任关系，以推动符合时代需要的社会合作。差异在于：（1）血缘关系、家族关系等具有鲜明的自然、天然属性，因而建立于这些因素基础上的人际信任范围具有天然的有限性，信任辐射的半径较小。与自然因素伴随的问题是，基于传统社会人际因素建立的人与人的关系往往是不平等的。等级性、差异化的人际信任关系结构，也决定了人与人之间的信任虽然紧密，但信任范围必然十分有限。（2）现代法律制度的平等性特征使得它具有拓展更大信任半径的内在因素和可能。平等性是经济契约得以成立的基础，也是长久性互惠人际关系得以实现的基础。进入关贸总协定（GATT）和世界贸易组织（WTO）时代，部分国家依靠双边或多边条约、区域协定、国际规则，开拓了超越国家领域的法律合作范围，市场化的信任得以大幅度扩展，信任合作具有了超越国家地理边界的可能。依靠法律对产品生产质量或服务质量的管控以及法律对平等交易的保障，市场合作具有了无限可能。（3）人工智能产品或服务的信任关系建立，离不开契约型法律制度的基本保障。但人工智能技术背景下的信任，还有其独特性，本质上涉及人对技术的安全性、技术对个人信息保护程度、技术被运用的价值正当性等一系列技术问题的信任。要完成人工智能产品或服务的可信交易，需要满足两个基本条件：一是公平的市场交易制度，二是可信的人工智能产品。复杂的是，人工智能的可信，至少在目前，还无法完全依靠人工智能自身建立起来，它的可信，还需要依靠法律制度来保障，需要妥当监管的法律制度为人工智能的可信予以背书。

（二）捍卫现代法治的传统和公民的基本权利系确保人工智能可信的关键

人们对人工智能技术的信赖，建立在人工智能技术的安全性、保障和规制人工智能的法律制度的正当性、规制人工智能发展的制度的价值正义性、人工智能技术的实践运作对人类基本价值追求和人的基本权利维护的有效性的基础上。智能技术被用于数字治理，可提升治理的效能，但智能技术的运用，涉及社会发展、技术创新、伦理维护、行政效率等多维度价值。人们的担心在于：一是由于认知不能，人类无法预知人工智能的风险；二是担心没有合理的管控标准和法律制度，人工智能技术风险不能够得到很好控制；三是担心虽然预知了风险，也设定了法律制度，但是无法合理预知制度能否管控技术风险；四是由于法律制度设定偏差，导致法律设定的监管人工智能的目标难以实现；五是由于技术不透明，且技术问题属于专业问题，一般公众无法合理判断一项技术是否被合理利用。作为一项具有高度不确定性风险的技术，人们担心企业或者社会管理者不能很好地管理人工智能的社会风险，而给自己、社会或者人类带来不可逆的社会风险或者损害。因此，人工智能发展和规制人工智能发展的法律制度须具备价值正义性。人工智能技术本身不足以完全促进人对人工智能技术的信任，但合理的法律制度设定可保障这种信任的达成，提升人对人工智能技术的信任度。制度视角下的技术信任实际上是通过法律制度对信任关系的重新构造，完成了对陌生人之间信任关系的构造与拓展。

在支撑人工智能信任的技术维度、法律维度、伦理维度和实践维度中，最为关键的是为人工智能发展设定法律监管标准。这是因为，人工智能技术虽然具有一定的独立性，但人工智能技术的发展方向必须由法律来引领；人工智能伦理固然具有价值引领作用，但这种价值引领作用的发挥缺乏强制性，只有通过法律把这种价值的“善”转化为强制的制度标准和具体的行为准则，伦理价值准则才具有真正得以实践的可能性；而人工智能技术的实践运作对人类基本价值追求和人的基本权利维护的有效性问题，也主要是对法律基本价值和宪法确立的公民基本权利保障的实践，这一实践如果与法律规定有偏差，就需要对其进行矫正。

三、可信人工智能法律构建的伦理基础与可信特征

包括我国在内的许多国家均将“可信”作为人工智能的核心伦理原则，而“正当性”则是保障人工智能可信法律构建的基础。

（一）正当性是保障人工智能可信法律构建的伦理基础

全球关于人工智能治理可信问题的关注最初是在伦理文件中表达的。关于发展什么样的人工智能，未来生命研究院提出了“有益的人工智能”（2017），英国上议院提出了“伦理性的人工智能”（2017），欧盟人工智能高级别专家委员会提出了“可信赖的人工智能”（2019），中国新一代人工智能治理委员会提出了“负责任的人工智能”。虽然存在一些争议，但是国际社会在“可信赖的人工智能”“负责任的人工智能”等核心理念上可能会达成一致。

思考可信人工智能治理的德性基础，实际上是从根本上思考人类社会应当发展什么样的人工智能的目标问题。早在1942年，科幻作家阿西莫夫即给出了机器人发展的三大法则：“（1）一个机器不可伤害人类，或通过交互让人类受到伤害。（2）一个机器人必须遵守人类发出的指令，除非指令与第一法则冲突。（3）一个机器人必须保护自身生存，只要这种保护不与第一和第二法则冲突。”当然，阿西莫夫为机器人设定的三大法则虽然为人工智能系统的构建提供了高层次的指导原则，但是，如果做出每一步都要考虑它带来的影响，又是不可操作的。

二十国集团强调了负责任与人工智能发展的可信赖特征。2019年6月，二十国集团贸易和数字经济部长会议公报中发布了《G20人工智能原则》，第1节提出了“负责任地管理可信赖AI的原则”。二十国集团向我们展示的人工智能的可信，是由一系列要素支撑的一个从客体到主体的价值体系。客体指的是人工智能技术稳健性、安全性和保障性，主体主要指人工智能服务的终极对象是人，人工智能技术无论如何发展，都要维持人的主体地位，捍卫人类社会数千年来努力建构起来的公平这一基本价值观。

欧盟提出了人工智能发展的“卓越与信任”目标，可信是欧盟人工智能法设定的基本准则。如欧盟出台的人工智能法在前言部分即提出，“本条例的适用应符合《宪章》所载的欧盟价值观，促进对个人、企业、民主和法治以及环境的保护，同时促进创新和就业，并且使得欧盟成为采用可信人工智能的领导者”（前言第2部分）；“促进欧洲以人为本的人工智能方法，并在安全、可信和合乎道德的人工智能发展方面成为全球领导者，同时确保按照欧洲议会的具体要求保护道德原则”（前言第8部分）。

美国将可信赖作为人工智能开发的一项原则。如美国总统拜登于2023年10月30日签署颁布了《关于安全、可靠、值得信赖地开发和使用人工智能的行政命令》，该行政命令提出其总目标是“为所有人带来正义、安全和机会”；提出了人工智能发展的政策原则包括：安全可靠；支持多元化的劳动力（包括支持工人）；促进公平；保护隐私和公民自由；造福整个世界；评估和管理生物安全风险、减少合成内容带来的风险；倡导在政府使用人工智能的实践中要管理风险，“对使用人工智能作出的不利决策给予人性考虑和补救措施”。

可信也是中国人工智能发展的基本标准。2021年9月25日国家新一代人工智能治理专业委员会发布的《新一代人工智能伦理规范》第3条提出了人工智能各类活动应遵循的基本伦理规范之一就是确保可控可信，要“保障人类拥有充分自主决策权，有权选择是否接受人工智能提供的服务，有权随时退出与人工智能的交互，有权随时中止人工智能系统的运行，确保人工智能始终处于人类控制之下”。2023年，中国发出的《全球人工智能治理倡议》强调了要“确保人工智能始终处于人类控制之下，打造可审核、可监督、可追溯、可信赖的人工智能技术”。全国信息安全标准化技术委员会、大数据安全标准特别工作组发布的《人工智能安全标准化白皮书（2023版）》中，对可信问题的关注主要集中于人工智能的“透明度、可解释性、健壮性与可控性”以及应用安全风险管理与用户对人工智能的信任之间的关系问题。

当然，多个主体关于“可信”的表达差别还较大：如前述的二十国集团关于“负责任地管理可信赖AI的原则”，几乎包含了人工智能发展的所有伦理原则；欧盟的人工智能白皮书本身就将“卓越与可信”作为其题目，所以其关于人工智能发展的具体内容表述，都必然与“卓越与可信”密切相关；美国的人工智能行政命令也将“安全、可靠、值得信赖”放在一起进行表述；我国人工智能的“伦理规范”“治理倡议”“白皮书”，也把“可信”与人类自主、安全与隐私保护、可解释与透明关联起来阐述。从前述不同的文本来看，我们似乎很难说哪一项人工智能伦理原则与“可信”人工智能的发展是没有关系的。虽然表述有所不同，但是概括起来看，有关人工智能可信的所有要求就是人工智能的发展要具有“正当性”。

可信被很多国家人工智能伦理确认为了一项基本伦理原则，这一原则的提出，是为了解决人工智能的价值对齐问题，即确保人工智能的目标与人类的目标一致，使其“行为和决定符合人类的价值、目标、道德考量”。但是，单纯从伦理准则角度构建追求人工智能的可信存在诸多问题：（1）全球关于人工智能治理存在诸多争议，不同准则之间的冲突日益凸显，如“普惠发展与隐私保护”“安全可靠与非歧视要求的冲突”等；既有准则规范可能由私人部门提出，实际上是抵制政府监管的借口等。（2）作为伦理准则的可信标准，主要是一种倡导性、自律性准则，缺乏有效的监督执行机制，强制性程度不足；准则的表达多采概括性概念，可操作性不强。因而，国家立法所要做的工作就是，将伦理准则转化为法律准则，并通过更加具体的技术规则和法律规则设计，保障可信准则在人工智能产品或服务的研究、开发、设计、部署、使用、监管等具体环节得到落实。

（二）现行可信人工智能的评估标准

何积丰院士提出，人工智能的可信特征包括四个方面，即：（1）鲁棒性，即对未知情况具备一定的应对能力；（2）自我反省，即对自身性能或错误能够有所感知；（3）自适应，即能够成为通用的系统，能被应用到新的环境；（4）公平性，如应防止被不当力量训练为种族歧视的智能。有学者提出了可信人工智能系统的质量框架，包括：（1）尊重人类自治原则，含人权代理与监督。这是最为重要的原则，人工智能应当赋予人类新的权利而不是取代人类，且处于人类控制之下，不对人类基本权利或健康造成损害。（2）伤害预防原则，包括鲁棒性、稳定性、安全性（包括保密性、完整性、可用性）、可靠性、可问责性、隐私性、可重复性、准确性等。（3）可解释性原则，包括透明性、可解释性。（4）公平性原则，即确保群体或者个体不受偏见或歧视。（5）一般软件质量属性，如兼容性、可维护性、功能适用性、可移植性、性能效率、易用性等。欧盟委员会人工智能独立高级别专家组《用于自评估的可信人工智能评估清单》（ALTAI）指出，欧盟于2019年在《可信人工智能伦理指南》中提出了7项可信的要求：人类代理与监督，技术鲁棒性及安全性，隐私与数据治理，透明度，多样性、非歧视性和公平性，社会和环境福祉，责任。

四、可信人工智能发展对法律构建提出的要求

保障可信人工智能发展的路径呈现出一定多元性，总体上是对技术、伦理和法律所作的不同程度的组合。为保障人工智能的可信发展，法律制度应遵循一系列外在准则和内在准则，前者包括以人为本原则、人类主导原则、技术中立原则，后者包括透明原则、安全原则、公平原则、隐私保护原则、可问责原则。

（一）保障可信人工智能发展的多元路径与法律路径

保障可信人工智能发展的路径是多元的，大致包括：（1）侧重行业技术保障的路径。如中国信息通信研究院和京东探索研究院通过对全球范围内已经发布的84份政策文件按照词频进行梳理发现，当前人工智能治理原则已经收敛在“透明性、安全性、公平性、可责、隐私保护等五个方面”，支撑可信的技术包括“稳定性技术、可解释性技术、隐私保护技术、公平性技术、可视化技术”等。（2）技术认证的客观标准与伦理价值评价的主观标准结合的路径。如加拿大国家治理创新中心发布的《可信人工智能的双轨认证方法》报告提出，“可信人工智能的发展出现了双轨并行的趋势：一条路径侧重于通过已成立的认证机构，使用客观标准对嵌入软件产品中的人工智能程序进行认证；另一条路径则侧重于验证可信AI是否符合主观标准，如价值观、道德规范和法规的个人权利等”。（3）人工智能的风险防控路径。中国信通院联合清华大学、蚂蚁集团发布的《可信AI技术和应用进展白皮书（2023）》提出，针对人工智能固有技术风险持续放大，可信人工智能发展应从应用AI鲁棒性技术对抗恶意攻击（提升文本识别对抗能力、提升图像伪造识别能力、提升生物核身检测能力），利用AI可解释性技术提升决策透明度，通过对营销定价歧视纠偏、改善信息茧房现象、加强对弱势群体保护等提高AI的公平性，在AI的实践中，应加强对数据模型安全和人脸识别隐私保护等。（4）法律、伦理、技术结合的路径。2019年，欧盟人工智能高级别专家组发布了《可信人工智能的伦理指南》，提出人工智能在整个生命周期中需要满足三个条件：合法性，即可信人工智能应当依法合规；道德性，即人工智能发展要符合道德原则、价值观；稳健性，即人工智能发展应避免造成无意的损害或负面影响。这实际上提出了保障人工智能可信发展的综合路径，即综合法律、伦理、技术，保障人工智能的可信。

上述路径总体上是将技术、伦理和法律做了不同组合，不同组合侧重不一，呈现出来的规制路径当然就有一定差异。（1）技术不足以保障人工智能的可信。可信人工智能的建立离不开技术准则，如开发、部署和使用人工智能的相关技术以及相关软件、算法和数据技术；重点监控“对个人或社会造成伤害或危害”的高风险技术。但技术标准是人工智能发展目标实现的手段，甚至是人工智能法律管控目标实现的具体路径。所以，我们应把人工智能可信目标的实现，植入一个相对更体系化的国家制度路径。（2）伦理准则缺乏有效的强制力。人工智能的可信离不开伦理的保障。伦理作为一种社会评价标准，固然可以通过压制个体意志与欲望的方式约束行为人，但它具有的是一种“弱强制力”，而且其运行遵循的是他律机制，无法真正保障人工智能的发展行进在正确的轨道上。（3）法律可以发挥国家的强制性与引领性来保障人工智能的可信。为人工智能设定法律标准，实际上是为人工智能的研究者、开发者、部署者等设定最为基本的标准，并通过法律的强制执行性推动各项标准的落实，以防人工智能的发展偏离人类追求的价值目标，实现对人工智能产业发展的规制、引领作用。

（二）可信人工智能对法律提出的期待

可信是一种文化，一种基于技术发展而形成的人对人工智能的认知和信任状态。为了保障人工智能的可信发展，法律制度的创设或者调整应当遵循一系列外在准则和内在准则。

1.可信人工智能法律构建应遵循的外在准则

外在准则构成了人工智能发展的国家社会目标，意在维护国家社会的福祉和法律的基本价值，是人工智能长远发展的基本准则。外在准则主要是一种理念，它无法通过人工智能技术而直接得到落实，但它可以成为评判人工智能技术发展是否正当的元准则，是人工智能发展的总的引领性准则。

其一，以人为本，捍卫人的基本权利。“以人为本”的理念，是我国在《全球人工智能治理倡议》中提出的重要理念。可信与以人为本、安全、合乎道德密切相关，故欧盟人工智能法同样提出了“以人为本”理念，强调“鉴于人工智能可能对社会产生的重大影响以及建立信任的必要性，人工智能及其监管框架的发展必须符合《欧盟条约》第2条所载的欧盟价值观、各项条约和《宪章》所载的基本权利和自由。作为前提条件，人工智能应是以人为本的技术。人工智能应作为人类的工具，最终目的是提高人类福祉”（欧盟人工智能法前言第8部分）。“人工智能法学始终是面向‘人’的研究，是智能时代的人类为了避免自身引发的风险与灾难而展开的法律学问。”人工智能立法坚持以人为本，就应当保护个人信息和数据等数据权利，保护人格权、人的自主决策（自治权）和人类的主体性，还应当重视对社会弱势群体的权益保护。发展以人为本的人工智能，既应从技术发展的角度来设定制度，还应从人的基本权利的角度规制人工智能技术。以人为本还应当认真考量新产业发展对传统产业带来的冲击，如人工智能发展对传统产业领域的就业替代，就是一个需要高度关注的问题。应考虑到那些高度流程化的岗位是最先被人工智能替代的岗位，人工智能的发展，就必须与国家的特定政策紧密结合；国家应当从税收、劳动保障、就业培训等角度完善相关法律和政策，以有效化解人工智能发展产业对就业造成的冲击、社会保障问题。

以人为本的理念与宪法确定的人的基本权利之间具有密切的联系。之所以要为人工智能设定法律制度，首先是因为人工智能的发展，衍生出了诸多传统法律制度无法有效调整的法律问题，如果不能够很好地规制这些问题，就会背离“以人为本”的发展目标。从更开阔的视野来看，人类之所以要规制人工智能，就是为了捍卫生成于工业文明时期的久远的法律传统和维护人权的基本价值观。诸如平等、自由、秩序等基本传统价值，毫无疑问是规制人工智能的法律所首先必须坚持的。一是因为人工智能法律是整个国家法律体系的组成部分，所以在整体上必须与法律精神保持一致。二是因为人工智能的发展过程中，出现了某些动摇宪法所确认的公民基本权利的倾向，人工智能运用过程中发生的歧视、侵犯隐私等，均背离了宪法确认的价值准则。三是因为借助人工智能技术赋能，公权力的掌控者不断拓展权力，而这种权力的运行，在技术上难以对其约束；很多时候，数字和人工智能领域的公权力扩张打破了“公权力，法律没有授权不得行使”的一般准则。强调人工智能发展，遵守宪法和法律，就是为了坚持宪法、法律设定的基本原则，捍卫宪法赋予公民的基本权利。四是因为学者们正在尝试起草的人工智能法（学者建议稿），虽然也强调了“公平公正原则”“正当使用原则”“知识产权保护”等原则，但似乎对宪法确认的公民基本权利的保护问题很少直接提及，尤其是对通过约束公权力而保障私权利的问题强调较少，没有很好地将人工智能立法与法律的传统价值有效对接。人工智能示范法2.0（专家建议稿）存在同样的问题。

其二，人类主导原则。人类主导原则是从人与机器关系的最终意义上说的。因为人工智能在很多方面代替人进行道德选择和决策，但智能系统要为人类作决定，不能脱离人类伦理指导。“配备完整伦理标准的人工智能机器将遵循其编程设定行事——它别无选择”，“在绝大多数时候，人工智能极有可能会反映其程序员的世界观和伦理观，然而这些程序员的信念并不统一”。当人工智能的决定不符合人类需要的时候，人类可以取代人工智能作出决定。人类主导原则还要求，人工智能的设定，还应当尊重国别文化的多元性、尊重个体差异，并采取措施防止“人类对机器人的过度依赖”。

其三，技术中立原则。技术中立原则是设计人工智能法律制度时应遵循的一项前置性原则。技术中立原则要求法律不应限制人工智能与人类竞争，尤其是当人工智能更加高效的时候，“其宗旨是法律不应当歧视人工智能”“人工智能可能更擅长某些领域的创新，倘若法律限制授予这类知识创新知识产权，那么企业可能就不会使用人工智能进行发明创造”；但“人工智能法律中立原则并不是一个决定性的决策原则，而是一种适当的默示原则，只有在具有充分理由的情况下才可以背离该默示原则”。例如，如果在交通事故中对普通驾驶人按照过错责任进行归责，而对人工智能汽车采取严格责任原则予以归责并要求车主承担交通事故责任，那么就背离了技术中立原则，而适用过错原则可能是妥当的。

2.可信人工智能法律制度构建的内在准则

内在准则主要是法律技术性准则，这些准则大多可通过人工智能的技术设计、改进而得以落实。相对来说，内在准则构成了人工智能法律的操作性准则。

其一，透明原则。人工智能的透明，首先是为了保障公民的知情权，让人们了解人工智能是如何运作的。透明原则是为了防止人工智能被运用于不法目的或不正当目的，也有助于增强人的自主性，不透明的人工智能难以获得人的信任。为此，一方面应研发“更具透明度的模型算法，开发可解释、可理解、可追溯的智能技术”；另一方面，对于达不到可解释性要求的智能技术的应用，应当“限定算法在审判分析、疾病诊断和智能武器等可能涉及重大利益的应用中的决策权，通过‘人在回路’的系统设计，将最终的决策权掌控在人类手里”。

其二，安全原则。首先应确保网络安全、数据安全与算法安全。（1）可信意味着必须降低人工智能风险，采用“强制性标准”对风险进行管控，且风险管控措施应符合比例原则，不能向人工智能开发者提出过高的要求（欧盟人工智能法第64部分）。（2）对风险宜进行分类管控或是分级管控。如2024年欧盟发布的人工智能法案将人工智能的风险分为四级，采取不同的限制措施。中国的人工智能法（学者建议稿）则将人工智能分为关键领域与一般领域进行管控，对关键领域进行重点管控。

其三，公平原则。与公平原则相对立的，往往是歧视和偏见。（1）由于人工智能的“智能”是习得的，所以克服人工智能偏见的重要一环，就在于从人工智能的训练数据入手预防偏见。核心是，在人工智能的模型训练中，排除那些明显存在或者隐性存在文化偏见、性别歧视或种族歧视的数据集。（2）算法价格歧视是不公平的人工智能算法决策的现实表现之一。2020年复旦大学的一项研究报告显示，在手机打车过程中，与非苹果手机用户相比，使用苹果手机的用户更容易被舒适型车辆司机接单，这一比例是非苹果手机用户的3倍；手机价格也与此密切相关，“手机价位越高则越有可能被舒适型车辆接走”。算法价格歧视打破了传统上人们信奉的市场应遵循“童叟无欺”“不同人同价”的市场原则，转而推行的是“千人千价”规则。显然，类似的人工智能算法决策，背离了人的基本行为准则，破坏了社会确立的人际交往最为根本的原则——公平原则。如果不能够杜绝此类人工智能，那么人工智能的可信赖就无从谈起。

其四，隐私保护原则。隐私不仅是一项民事权利，至少从全球视野观察，隐私在很多国家被看作是一项宪法性权利，被认为“是自由思想和自由企业的重要润滑剂”。隐私被侵犯，自然人的感知最为直接，显然，一个无法保护隐私利益的人工智能，是无法被人们接受的。

其五，可问责原则。确保人工智能的部署、使用产生的法律责任是可问责的。问责是对侵权者追责，也是对受害者的救济。

五、保障人工智能可信发展的具体法律制度

保障人工智能可信发展的具体法律制度，应涵盖设计、评估与测试等环节，确立AI产品从概念到应用的严格规范流程。同时，健全的监督制度可以确保人工智能领域的透明与合规，而完善人工智能的责任制度则可以明确责任归属，为AI的可信发展提供坚实的法律保障。

（一）设计、评估与测试制度

其一，设计阶段的价值对齐制度。（1）法律应当将价值对齐作为一项基本义务赋予人工智能设计者。人工智能技术在开发之初，设计者就应当将伦理价值嵌入人工智能系统。人工智能所能开展的工作，本质是逻辑推理。但是，人工智能的发展，必须追求道义。将人类的道德价值赋予人工智能似乎是一种可行的思路。当然，让机器人执行一些可简单操作的道德准则相对容易，麻烦的是，人工智能经常会面临道德选择困境，需要遵循阿西莫夫三大法则，还需要遵循不说谎、不欺骗、不偷盗、不伤害等原则，考虑财产损失、名誉损失、失业等因素，同时还应尊重人类常识和基本价值观。人工智能能否完成这一自我飞跃，似乎是难以回答的问题。但是，“我们需要经由法律规定，任何以开放的方式与人类互动的人工智能，都必须理解并尊重人类的核心价值观。例如，现有的针对盗窃和谋杀的禁令，像对人类一样，同样适用于人工智能，以及那些对人工智能进行设计、开发和部署的人”。所以，法律应推动人工智能的开发者和部署者在深度人工智能机器中植入人类的价值因子，确保人工智能既具有逻辑理性，又能尊重人类的常识和价值观，实现理性和价值的完美结合。（2）人工智能在开发阶段就应注意防止偏见和歧视。首先是识别人工智能必须遵守的伦理价值和规范，其次是将这些规范通过程序编码写入人工智能系统，最后，为了验证人工智能是否与特定价值和规范兼容，应当对人工智能的规范和价值的有效性进行评估。如在人工智能的初始设计过程中，就应当将隐私保护嵌入人工智能产品或服务系统，采取主动的、预防性的、全周期的措施保护隐私，且应当将最高的隐私保护标准作为默认设置。在技术上将伦理价值嵌入人工智能的基本方法是，“采用‘如果—那么’（if-then）结构，通过匹配条件部分和执行结论部分来控制推理过程”，如可将“挠痒”的指令设定为“如果痒，则挠痒”的规则，人工智能就会执行该指令。

其二，评估制度。人工智能开发者、提供者在开发、提供人工智能产品和服务前，可自行或委托第三方机构对数据质量、潜在偏见歧视、科技伦理审查情况、公共利益影响、保护措施等内容进行安全风险评估。如欧盟委员会人工智能独立高级别专家组《用于自评估的可信人工智能评估清单》在构建人工智能的可信自评估体系时，将欧盟宪章、欧洲人权公约及其议定书和欧洲社会宪章作为基本参照，将非歧视、儿童权利保护、个人数据保护、是否尊重言论和信息自由以及/或集会与结社自由等对基本权利的影响作为基本评估内容。评估的另一个对象是数据和信息源。“面向训练数据，打造训练数据检测工具，进行防投毒数据、侵权数据、有害数据的分析判断，保证使用合法的数据进行训练，防范与事实不符或有毒的内容注入AI系统。面向生成内容，打造内容生成检测工具，自动识别并报告通过人工智能技术生成的虚假、有害的内容，确保内容质量，保护知识产权。”此外，对高风险人工智能系统在投放市场或提供服务之前，进行合格性评估。

其三，人工智能的安全测试制度。（1）为了保证安全，一是应建立密码技术管理制度，“密码是安全的免疫基因，以密码为基因的可信计算模型改变了传统计算机封堵查杀式的被动防御，有效降低了安全风险”。二是可信计算，“核心是指通过在硬件设备上引入可信芯片，从结构上解决计算机体系结构简化带来的脆弱性问题。目前，可信计算3.0采用运算和防御并行的双体系架构，在计算运算的同时进行安全防护，将可信计算技术与访问控制机制结合，建立计算环境的免疫体系”。三是可信验证，“主要是对人工智能系统做验证、仿真、测试，这是一种很重要的智能手段，通过提供系统性训练和测试的可信保证，从而对成果进行定量形式化验证”。（2）设立沙盒监管制度，强化安全测试和安全风险监管。沙盒监管应在国家人工智能发展主管部门的监督下进行，目的是为了测试并及时发现人工智能存在的重大安全风险，防止人工智能的开发给社会造成重大损害。人工智能开发者、提供者负有安全保障义务，应定期检查和监测人工智能的漏洞和安全风险，对于重大安全事件或重大安全事件风险，应立即采取处置措施并报告主管部门。（3）人工智能提供者对人工智能生成内容的标示制度。人工智能生成物提供者应管控生成式人工智能生成内容的真实性，因为“深度合成展现了其强大的能量和可能性，但其带来效率和便利的同时，也带来了伴生风险，一旦被滥用可能会给个人肖像、企业名誉等人格和财产权益损害，甚至对社会秩序、国家政治稳定和安全造成巨大威胁”。由于人们很难将生成式人工智能的生成内容与人类生成内容区别开来，这些生成内容“引发了大规模的误导和操纵、欺诈、冒名顶替和欺骗消费者等新风险”，为了实现对生成内容的可追踪性，应当采用“水印、元数据识别、证明内容出处和真实性的加密方法、日志记录方法、指纹或其他适当的技术”或技术组合对人工智能生成内容进行标记，以便机器能够将生成内容检测出来（欧盟人工智能法第133条）。人工智能的生产者对人工智能生成信息应添加隐式标识，建立信息溯源机制，确保标识的可追溯和安全。

（二）建立针对人工智能领域的监督制度

虽然法律应尽量不对人工智能的发展进行干预，但是，高危人工智能应受到法律规制。国家应当设立人工智能发展委员会，从宏观层面指导和监管国家的人工智能产业发展。针对人工智能的监管应当涵盖人工智能开发的事前、事中和事后全链条，系统监控人工智能事故，矫正人工智能发展中的问题。（1）采用“宪法性AI”的思路，用人工智能监督人工智能，用“一个从属的AI模型评估主模型的输出是否遵循了特定的‘宪法性’原则（即原则或规则清单），评估结果被用于优化主模型”。目的在于推进价值对齐，将对可信人工智能影响最大的法律原则，落实在人工智能发展技术中。虽然人工智能监督人工智能是高效的，但考虑到人工智能法律监督仅处在初期，故设置针对人工智能法律监督的人类标注员依然是必要的、重要的。（2）分级监督制度。针对人工智能决策，针对性地建立一级监督制度或二级监督制度。一级监督制度针对部分自动化决策，即把人工智能决策作为专业人员决策的支持理由，如在医疗领域人工智能为人类提出的诊断预测和治疗建议，刑事司法中人工智能对被告所作的风险评估，这些决策最终由人类来选择；此等情形下，人工智能决策是人类决策的组成部分。二级监督针对的是完全自动化决策，即在人工智能作出决定后，人类对智能化作出的决策进行监督和纠正。总之，“一级监督在决策过程中具有构成性作用，而二级监督对一级监督进行检查和控制”。此外，还应对技术发展带来的权利侵蚀问题保持谨慎，对人工智能技术发展伴生或者引发的风险和问题强化监管。如，针对“能够设计并制造其他机器人的机器人，就应在极度审慎和密切的监督下完成设计”。（3）隐私保护监督制度。人工智能应能够维护隐私，不对人的主体性地位构成侵扰。故规制人工智能的法律，必须传承和坚守民法规定的自然人的隐私权和个人信息保护法规定的个人信息权。（4）权力制约监督制度。数字和人工智能时代的权力制约，具有两个维度，其一是对传统意义上的国家公权力机关的权力制约；其二是对掌握数字资源和人工智能技术的平台等“社会权力”的制约。如美国旧金山政府在修订后的《停止秘密监视条例》中强调：“人脸识别侵害公民权利和公民自由的可能性大大超过了其声称的好处；这项技术将加剧种族不公正，并且威胁到我们的生活不受政府持续监视的权利。”欧盟人工智能法第31条就有禁止公权力机关运用人工智能技术对人进行社会评分的条款。这些规定，体现了立法者对人工智能技术使用中的审慎态度，其本质就是对国家等公权力制约这一传统法治原则的坚守。算法决策（自动化决策）系统的出现，意味着我们将部分生活决策交给了机器决策系统，甚至私人公司滥用个人数据、公权力机关滥用智能技术推动大数据监控等。因而，人工智能技术发展中，既要注重对国家等主体的权力制约，也要注重对平台等社会主体掌握的数据权力、人工智能技术的运用权力进行制约。

（三）完善人工智能的责任制度

其一，人工智能的使用者为了安全、放心，当然期望人工智能的开发或销售企业能够承担起全部责任。人工智能系统的设计者、开发者有义务保障系统的安全性、可靠性，“如果生产商或者程序员未遵守公认的学术标准，那么他们应该为人工智能系统导致的损害承担道德责任”。人工智能的设计者应当承担更多的责任，一是角色责任，设计者需要对人工智能的安全性、可靠性负责，并提供相应的解释和说明；二是前瞻性责任，即设计者应当主动地考虑人工智能发展对用户和社会的影响；三是回溯性责任，即“人工智能系统在生产调试和投放市场之后，出现了错误或产生了负面影响之后应该承担的责任”。其中，回溯性责任应当是法律责任重点考量的问题，这种责任主要建立的是一种侵权责任或产品责任。对人工智能侵权责任的归责，“可在一定程度上参考谢勒（Matthew U. Scherer）等提出的双分支侵权体系，并在其基础上进行扩展，对于获得委员会认证或符合推荐性标准的产品，则在判断产品提供者是否侵权时适用过错责任原则；对于未获得认证或不符合推荐性标准的产品，则在判断产品提供者是否侵权时，适用严格责任原则”。

其二，在法律责任设定上，“应辅以问责框架，包括免责声明以及审查和补救机制等，以确保在开发、部署和使用之前和之后对人工智能系统及其结果负责和问责”。当然，法律责任的设定也存在一个政策选择的问题，如同样是针对自动驾驶，欧盟的主张是先制定规则，借规则引领技术发展，而美国的思路是发生问题后再思考规则；很明显，责任归属和法律规则的严格化，很容易导致不遵守规则就无法进入市场的局面，易形成非关税壁垒，阻碍新企业进入特定行业。在进行民事责任追究时，考虑到人工智能的用户与算法等人工智能运营者信息与资源不对称的现状，立法可设立集体诉讼制度，保护人工智能用户的权利。

其三，刑法应增设相关责任条款，将对非法访问AI或从事黑客攻击的严重行为或让人工智能运行实行犯罪的恶意软件行为纳入刑法调整范围，赋予相应的刑事责任。

结语

发展可信人工智能，是国际社会的基本共识。影响人工智能发展的因素有很多，信任是其中的关键因素之一。人工智能的发展，应建立在可信基础上。可信人工智能治理进程中的法律制度的构建，应以技术路径为基础，融合伦理准则，沟通人工智能发展的外在准则和内在准则，捍卫现代法治传统，保障宪法确认的公民的基本权利；同时，应当处理好人工智能发展中国际性与地方性、市场逻辑和治理逻辑、监管的包容与审慎、权力制约与权利保护、道义与理性等关系。

往期精彩回顾

目录｜《东方法学》2024年第4期（名家特刊）

张文显｜“中国式法治现代化”的语义和意义分析

黄文艺｜论习近平法治思想与自主法学知识体系建构

胡玉鸿｜论法治是国家核心竞争力的重要内容

解志勇｜习近平法治思想之监察理论研究

刘艳红｜人工智能司法安全风险的算法中心治理模式

上海市法学会官网

http://www.sls.org.cn