《赛迪译丛：2024人工智能治理：历史经验的启示（28页）.pdf》由会员分享，可在线阅读，更多相关《赛迪译丛：2024人工智能治理：历史经验的启示（28页）.pdf（28页珍藏版）》请在薪酬报告网上搜索。
1、-1-2024 年年 10 月月 14 日第日第33期总第期总第 659 期期人工智能治理：历史经验的启示人工智能治理：历史经验的启示【译者按】【译者按】今年 8 月，兰德公司发布首篇“人工智能特征”系列报告人工智能治理：历史经验的启示。报告通过回顾核技术、互联网、加密产品和基因工程四项技术的治理案例，认为人工智能治理应关注三个方面：制定技术规范时达成共识的重要性，治理有形资产与无形资产所面临的不同挑战，以及公私伙伴关系在治理中的作用。报告指出，尽管没有任何历史治理模式能完全类比人工智能治理，但由于人工智能可能以不同方式开发和应用，这些历史案例仍能为人工智能治理提供重要启示。赛迪智库电子信息研
2、究所对该报告进行了编译，期望对我国有关部门有所帮助。【关键词】人工智能治理历史类比经验启示【关键词】人工智能治理历史类比经验启示-2-一、概述一、概述人工智能的不断进化引发了一个问题：如何既能充分发挥人工智能优势，又能把风险降到最低？二战后，核技术、互联网、加密产品和基因工程成为新兴技术，但这些技术也曾面临类似的治理问题。这主要体现在三个方面：达成技术规范共识的必要性、治理有形资产和无形资产的重要区别、公私合作伙伴关系在治理中发挥的作用。上述四种新兴技术的区别体现在：开发所需的竞争资源、主要服务对象是公共部门还是私营部门、技术带来的安全风险、就风险达成的共识、可控的有形资产、能否就治理建立利益
3、共同体、风险最小化且利益最大化的最优治理方式是公共治理还是私营治理。人工智能早期治理模式的适用性取决于人工智能未来的发展。如果人工智能存在严重的广泛致害风险，在获取和使用过程会消耗大量资源，同时拥有可监控的有形资产，那么此类人工智能与核技术类似，适用于普遍的国际治理架构。而极小风险一类人工智能的适用模式与互联网治理模式类似。如果人工智能在获取时伴随巨大风险，那么此类人工智能适用于类似基因工程的治理模式，但各相关方应谨慎采用类似加密技术的治理模式。决策者应在关注人工智能的发展，追求共同治理标准、关注技术和环境变-3-化的同时，也应该借鉴历史教训。二、人工智能治理的紧迫性二、人工智能治理的紧迫性近
4、年来，人工智能的发展使大众重新关注人工智能带来的风险，这些风险既有直接的、具体的，也有未来的、推测的。研究人员警告称，人工智能可能会对社会产生负面影响，例如因其自动化程度不断提高造成工作岗位减少、重大决策发生偏差、放大虚假信息和操纵社交媒体。此外，人工智能技术对国家经济竞争力和军事优势至关重要，人工智能发展落后会威胁国家安全。还有记录表明，通用人工智能，特别是生成式人工智能和大型语言模型对人类生命和福祉构成了威胁。上述担忧使大众更加关注对人工智能的监管和治理。过去对治理新技术也存在类似担忧。本文探讨了核技术、互联网、加密产品和基因工程四种技术的治理。本文通过探讨这些技术，总结了这些技术的发展历
5、程、与人工智能的治理区别，并阐述了技术治理的三大主题：就技术规范达成长久共识；有形资产和无形资产的治理；治理方面的公私伙伴关系。第一，大量实例证明：技术治理的成功关键在于规范一致、-4-认知相同。选定的每个例子都表明，技术治理的核心在于指导技术开发与使用规范达成共识。第二，治理有形资产和无形资产会面临的挑战存在不同，但治理无形资产相对更难。这不代表无形资产的治理不重要：政府对信息分类和知识产权的保护（如经营模式）就属于主要的无形资产治理方法。无形资产治理需要方法和流程，但只有这些还不够完善，而有形资产的监控制度往往是有效治理模式的主要焦点。第三，公私互动对大多数技术治理都十分重要。公私互动可根
6、据技术性质和治理重点，采取不同形式，但对于最前沿技术，最终都需要公私互动。如果技术治理框架有这样的远见，积极主动地为公私部门创造良好的互动条件，将会更好地实现治理。最后，本文研究的人工智能等技术确切来说是研究一系列或各类相关的设备、系统和技术。本文用“技术”一词指代这一宽泛的概念，而非指这些技术中的某项特定技术。本文的人工智能仅限于“生成式人工智能”系列技术。三、历史经验对人工智能治理的启示三、历史经验对人工智能治理的启示二战结束以来，各种技术都需要新型治理方式。本文探讨了四种技术：核技术、互联网、加密产品和基因工程，在开发和应用过程中，所涉及的新型治理方式为人工智能治理提供了不同的-5-借鉴
7、。本章将探讨这些治理方式的经验教训。图 1 展示了示例技术的发展时间轴。注：黄条为核技术发展时间轴，蓝条为互联网发展时间轴，红条为加密产品发展时间轴，绿条为基因工程发展时间轴。图 1：示例技术的发展时间轴（一）核技术（一）核技术1、治理历程、治理历程在美国研发并首次使用核武器后，部分决策者认为美国将无限期保持核武器垄断，且信心十足。然而，1949 年苏联试爆了首枚核武器，打破了美国的垄断意图。到 20 世纪 60 年代，美国政府态度悲观，预测核武器会因其威力引发全球快速扩散。核扩散问题促使美国多次通过防扩散工作治理核技术（参见图 2：核技术治理时间轴）。-6-防扩散包括了一系列活动和战略，分别
8、取得了不同程度的成效。1968 年的不扩散核武器条约被视为防扩散努力的最终基石，此外其他防扩散举措还包括：成立国际原子能机构（1957 年），达成“原子能和平利用倡议”（1953 年），该倡议旨在建立一个超国家组织，该组织可拥有核材料，并传播和平利用核技术的材料和技术。设立无核武器区（限制核武器部署的区域）。二战期间使用核武器成立国际原子能机构签署不扩散核武器条约建立“导弹及其技术控制制度”朝鲜进行首次核试验图 2：核技术治理时间轴 推动签署禁止核武器试验的国际条约，包括 1963 年部分禁止核试验条约和 1996 年全面禁止核试验条约（已签署，但未执行）。监控和限制核裂变材料转让，包括 19
9、74 年成立了伦敦核供应国集团，1991 年制定了“合作减少核威胁计划”。-7-限制核武器运载系统贩运，包括 1987 年的导弹及其技术控制制度。2、治理效果、治理效果核技术治理取得了明显成效。第一，自二战结束以来，近八十年核武器没有在战争中再次使用。第二，尽管有数十个国家声称具备制造、获取核武器的能力，但只有 10 个国家真正具备核力量,其中南非已自愿拆除了其核武库。第三，各国能够传播和平利用核能的技术和能力，同时避免了核战争，并减缓了核武器技术扩散。虽然“原子能和平利用倡议”加速了核扩散，但在促成不扩散核武器条约方面做出重要贡献。（二）互联网（二）互联网1、治理历程、治理历程1995 年，
10、“互联网”一词被定义为一种全球信息系统，系统使用“网际协议”进行连接，支持使用传输控制协议/网际协议（TCP/IP）进行通信，并在相关通信基础设施上分层提供高级服务。互联网开发和治理工作可以追溯到 70 多年前（参见图 3：互联网治理时间轴）。1961 年至 1967 年间，研究人员提出了传输控制协议/网际协议的初步构想。1974 年发布的传输控制协议/网际协议细则被视为互联网起源的里程碑。后来，由美国能源部（DOE）、美国国家航空航天局（NASA）和美国国家科学基金-8-会（NSF）资助、计算机科学学术界主办的多个公有及私有传输控制协议/网际协议网络（包括其他网络）发展成为互联网。传输控制协
11、议/网际协议开发初期NSFNET网络私有化图 3：互联网治理时间轴美国国家科学基金会管理的主干网络被称为“NSFNET 网络”，在 20 世纪 80 年代互联网技术的发展过程中发挥了关键作用。1995 年，停止了对 NSFNET 网络的资助，其基础设施也被私有化。此后，互联网工程任务组（IETF）、互联网研究任务组（IERF）和万维网联盟（WWWC）等机构以及其他私营实体实现开放与协作，互联网技术由此得以发展。2、治理效果、治理效果早期互联网的发展和治理模式是私营部门主导、公私部门合作的形式。在互联网发展过程中，政府充当推手，不插手技术研发和推广进展等决定，而私营部门可进行自由创新、实验和技术
12、研发。美国政府有意将互联网技术标准和技术开发的管控权移交-9-给私营机构，是由于其对互联网的设计和治理的不可替代性。然而，私营部门的治理偶尔会限制政府维护自身利益。例如互联网工程任务组曾拒绝美国政府修改协议，以便合法获取通信内容的请求，该任务组称该请求将“损害网络安全，导致更多非法活动，更易侵犯用户隐私，通信开发商也会承受巨大成本”。（三）加密产品（三）加密产品1、治理历程、治理历程20 世纪 70 年代前，加密产品的开发使用完全由政府负责，无任何商业用途。约 50 年前，三方面的发展改变了这种状况。第一，国防部发现有必要发展加密技术。第二，计算和通信技术不断进步，信息安全密码学开始应用于商业
13、。第三，美国国家科学基金会资助的学者发明了公钥加密技术（与加密产品治理相关事件的时间轴见图 4）。发明公钥加密技术密码学在确保信息社会安全方面的作用报告结束出口管制图 4：加密产品治理的时间轴-10-密码学的使用可能引发全球性传播，并妨碍信号情报收集能力，因此美国国家安全局（NSA）部分人员感到担忧。1979 年，国家安全局与国家科学基金会和美国教育委员会合作，就国家安全局关注的问题与学术界进行接触。在随后的二十年，加密产品被归类为军需品，促进强加密的产品一律受国家安全审查和出口管制。但随着银行和金融、电子商务、医疗保健和其他行业开始发起互联网安全交互诉求，网络流量开始使用更安全的超文本传输协
14、议（HTTP），加密产品的商业用途也大幅增长。曾经存在的一点共识基本消失殆尽。密码学在美国越来越重要，限制密码学损害了美国信息技术产业的主导地位和竞争力。美国的企业利益和个人利益与美国政府的利益在密码学的既得利益开始产生冲突。1996 年，美国国家科学院发布了密码学在确保信息社会安全方面的作用，标志着加密产品治理制度的终结。修正案法院案件削弱了政府的出口管制能力，在几年内基本取消了对加密产品的出口限制。虽然取消了出口管制，但加密产品的公共利益和私人利益之间的冲突仍在持续。美国政府继续试图通过其他措施保护国家安全利益，但这些措施往往会引起公众的反感，丧失了公信力。2、治理效果、治理效果国家安全部
15、门最初在治理加密产品方面取得了成功，原因是-11-努力争取学术界和私营部门达成共识。但随着私营和公共部门在开发和治理方面的优先事项和规范出现分歧，近年来共识逐渐减弱。加密产品治理的结果归纳为以下几点：强加密技术在全球的传播很可能受限，但有动机的用户（国家安全机构最担心的用户）仍然能够获得加密技术。这说明治理无形资产面临诸多挑战。有证据表明，该政策对美国软件业造成了重大经济损失，因为美国软件企业的市场份额被国外不受政策限制的企业占据。在规范问题上缺乏共识，规范的冲突和推进工作导致了对政府（尤其是美国国家安全局）严重、持续的敌意和公信力降低。出口管制限制了美国国内对加密产品的使用和供应，削弱了网络
16、安全。管制还导致在制定标准时可以选择使用较弱的“出口级”加密技术，这导致了严重、长期的网络安全漏洞。（四）基因工程（四）基因工程1、治理历程、治理历程对人工智能治理带来启示的最后一个案例是“暂停”基因工程技术。最适用人工智能研究的是科学界的自愿暂停，包括重组-12-DNA 研究、人类基因编辑提议暂停结束等各方面（图 5：有关基因工程治理的时间轴）。20 世纪 70 年代初，科学家群体发现了促进 DNA 重组技术的方法，科学家群体承认该技术潜藏着巨大的利益，但同时担心该技术带来严重的风险。此后，美国生命科学院成立了小型科学家委员会以审议 DNA 重组技术的未来风险。该小型委员会建议全球自愿暂停某
17、些 DNA 重组试验。虽然这种暂停被批谨慎过度，但“学术界和工业研究中心都加以遵守”。召开阿西洛马会议发现CRISPR-Cas9基因治疗法首个基因编辑人类胚胎图 5：基因工程治理时间轴1975 年，加利福尼亚州太平洋格罗夫（Pacific Grove）举行了“DNA 重组问题阿西洛马会议”，与会者在会上达成共识，认为应继续进行基因研究，但要有具体限制。CRISPR-Cas9 基因治疗法也曾有类似的治理模式，该治疗法是 2013 年开发的一种更精确、更强大的基因编辑工具。这项技-13-术可提高人类各种疾病的治疗能力，此外还具备基因编辑能力。科学家群体很快公开呼吁暂停人类基因编辑。尽管如此，201
18、8 年，一名科学家声称已经制造出了第一批基因组编辑后的胚胎，目的是提高对艾滋病毒的抵抗能力。此后，科学家群体再次呼吁全球暂停所有临床人类基因编辑。然而，这一次，社会持不同意见，许多顶尖科学家表示，虽然需要解决人类基因编辑问题，但暂停既没有必要，也毫无益处。目前，尽管技术和安全问题让这场讨论继续发酵，但伦理问题也发挥着重要作用，导致治理共识缺失。美国国家科学院、国家工程院和国家医学院以及世界卫生组织后来均就这些问题发表了报告，他们拒绝暂停试验，并建议建立治理机制，包括建议出台具体标准，以推进临床试验。2、治理效果、治理效果大众普遍认为，阿西洛玛会议和最初暂停重组 DNA 实验，是面对未知风险时成
19、功进行技术治理的典范。最初的暂停呼吁得到了广泛响应。随后，国际社会就制定恰当的准则和风险治理措施达成了共识。在美国国家科学院等机构的帮助和协调下，在国际科学界的参与下，在公众（通过受邀的媒体）的见证下，科学界制定了指导方针，使研究得以安全进行。暂停后的研究工作得以恢复，共识驱动的准则和规则允许追求预期利益，同时降低已确定的风险。与此相反，在人类基因编辑政策方面，尽管世界卫-14-生组织和其他国家机构努力更新法规和指南，但全球人类基因编辑政策体系仍存在重大缺陷。未来全球在这一领域的治理工作能否取得成功还有待观察。四、人工智能治理可借鉴的经验教训四、人工智能治理可借鉴的经验教训治理人工智能的最有效
20、方法将取决于未来的特征，如进入该领域所需的资源、有效控制有形资产或无形资产的能力、人工智能的主要用途、其带来的安全风险以及就这些风险形成共识的能力。这些特征并不全是影响人工智能治理有效性的详尽因素。它们只是所选特征的一部分，因为这些特征在四个历史案例中的一个或多个案例中都有涉及。表 1 介绍了核技术、互联网、加密产品和基因工程的部分特征。本文探讨了这些特征在四项技术例子中分别是如何体现的，这些技术与人工智能的相似或不同之处，以及这些技术与人工智能治理的相关性。表 1：与治理工作最相关的技术特征核技术核技术互联网互联网加密产品加密产品基因工程基因工程是否存在安全和保障风险是否是是是否为两用技术是
21、是是否开发中是否存在高竞争门槛是门槛逐年降低否否是否为可控有形资产是是否是-15-（一）历史例子与人工智能治理的相关性（一）历史例子与人工智能治理的相关性1、核技术、核技术核技术与人工智能既有相似点，也存在差异，因此有可资借鉴的治理经验。相似之处是：人工智能和核技术都是两用技术，既有和平用途，也有军事用途，在冲突中可提供非对称的战略优势。这两种技术都要求极高的技术和专业知识门槛。部分人表示，这两种技术都会给全球带来灾难性风险，甚至威胁人类生存。不同之处是：核技术在军事上的应用是治理话题的主题；而虽然人工智能在军事上的应用早已存在治理话题，但迄今为止，人工智能和平的、商业用途一直是治理话题的主题
22、，并推动着治理发展。核武器的最终产物是有形资产或可追踪事件：如裂变材料、核试验和运载系统；而人工智能开发的最终产物是数字资产：如模型权重、代码和用户接口。核技术治理历程的经验也呼应了上述重要主题。推动核技术治理的规范是：国家安全的核心利益受到威胁，同时也存在社会-16-崩溃和人类灭绝风险。美国为了保护自身利益，最初试图垄断相关专业知识和技术基础设施。因此，1946 年的原子能法案将所有裂变材料和相关的“所有工艺和技术信息”的所有权归属于美国原子能委员会，并禁止“与其他国家交流工业原子能相关信息”。这种难以置信的观点存在了多年。现如今意欲垄断人工智能前沿发展，或独享技术所有权是不现实的。尽管多方
23、开启核技术治理工作，但决定者终归是国家。共识推动着治理，尤其是安全利益应驱动决策，努力推广和平应用技术的同时，也应顾及安全利益。尽管个别国家的政策受到政治和国内规范的影响，但社会方面几乎没有治理机会。相比人工智能治理，核技术治理提到了更具体的灾难性风险。讨论描述了一些现实的、明确的情景，在这些情景中，交战国可能会使用成百上千件核武器，最后同归于尽，引发全球“核冬天”，威胁全人类文明。目前，相比核武器情景，描述人工智能灾难性风险的情景缺乏细节和严谨性，也不确定决策是否适用。核技术风险与人工智能不同，公众对这两种风险的认识也不可能相似。广岛事件、长崎事件的伤亡、后续更大威力的热核武器试验图像，以及
24、核事故（如切尔诺贝利事故）都加深了公众对核技术的恐惧，而人工智能可能永远不存在这种恐惧。最后，防核扩散最终的重点是治理有形资产，而非治理科学-17-知识和专业技术等无形资产。防止核武器专业知识扩散到其他国家是必要的，但这远远不够。核机密一经泄露，其后果不可逆转。此外，即使不涉及盗窃和间谍活动，专门的研发工作也总能发生同样后果。尽管美国不遗余力地防止核武器机密数据传播，但防核扩散工作的重点应放在可以监控的有形资产上：裂变材料、核武器试验和武器运载系统。如果人工智能治理没有类似的有形资产，那核技术治理模式就不适用于人工智能的治理。2、互联网、互联网互联网与人工智能至少有两点相似之处：互联网与人工智
25、能都是信息和通信技术。虽然这两种技术都借助受监控的有形资产，但最终产物都是无形资产。互联网与人工智能主要是为非军事用途开发的，其治理尚未由公共实体主导（尽管国防部最初为互联网提供了资金和协调，也投资了人工智能研究）。互联网与人工智能还有一个关键区别：在互联网诞生之初，对人类和国家安全并没有显著风险。互联网早期开发者几乎从一开始就关注隐私保护和信息安全问题，互联网宣称是实现强大、可靠的通信。然而，直到很久以后才出现了安全问题，例如网络物理系统和关键基础设施之间的互动问题。在互联网诞生之初，互联网的使用给人类安全和美国国家安全带来的风险基本不可-18-预见，而人工智能从一开始就与人类和国家安全风险
26、息息相关。通过上文，可以清楚认识到公私合作伙伴关系的核心地位和重要性。互联网的发展是开发者规范和文化的产物，这也反映了本文的主题：要对技术规范达成长久共识。互联网的开发源于共享信息的文化。这正是设计者的初衷，设计者的愿景推动了开发工作和设计决策。通过意见稿流程，开放合作、创新和实验的规范一直延续至今。治理互联网生态系统的标准和制定机构不断重申这些规范，广泛地影响着互联网生态系统中的人类互动。这些标准既阐释了设计者共识规范，也干预了“将某些伦理和政治价值观纳入网络和系统的设计中”。有建议指出，人工智能治理应对标互联网治理规范，甚至采用相同策略。虽然人工智能安全与开放联合声明没有具体提及互联网，但
27、提到“为减轻人工智能系统现有和未来的危害，需要采取开放、透明和普及的措施”。该联合声明认为，公开和透明是实现安全和问责目标的最佳途径。然而，提出这种治理建议的人需要阐明，治理如何解决其他实质性风险，否则无法就人工智能发展的某些领域达成共识。对于不认同这些规范的竞争对手和对手的人工智能发展，互联网治理规范可能并不适用。事实上，国际竞争（如人工智能“竞赛”）可能是人工智能发展风险的最大驱动力。人工智能采用互联网治理模式的支持者需要明确如何-19-应对这种风险。3、加密产品、加密产品促进加密的技术与人工智能至少有以下两个相似之处：尽管这两种技术都在很大程度上以计算硬件为媒介，但最终产物都是无形资产。
28、这两项技术都是两用技术，既可用于商业，也可用于军事。美国政府出于国家安全考虑，对这两种技术都进行了合理监管。这两种技术还有以下显著区别：开发加密产品的初衷是服务公共部门的国家安全，后来才逐渐显现出商业用途。加密产品传播对国家安全造成的风险可能小于人工智能。鉴于上述异同，加密产品的治理表明两个主题适用于人工智能治理。第一，就技术治理规范达成共识是治理成功的关键。加密技术治理最初取得成效，实际上归功于不同相关方之间达成了规范共识。但随着时间的推移，这种共识并没有得到保持，导致治理的失败。第二，美国政府发现很难治理与加密产品相关的无形资产。出口管制最终未能有效阻止有关加密算法及其软件的技术传播。-2
29、0-美国政府还发现，保护言论自由，这意味信息传播相关的法律依据值得商榷。美国政府曾试图限制开放源代码加密技术（如OpenPGP）的传播，但未能成功。各国政府在治理开源人工智能模型时可能会面临类似的挑战，即使这些模型会带来重大安全风险。加密产品治理的经验可为人工智能治理提供警示。决策者应警惕严重依赖于控制无形资产（如软件或模型权重等）的治理机制，还应警惕会造成政策困境的治理策略，国家一旦处于这种困境，国家安全和经济安全就会产生对立。相反，参考加密技术治理经验，美国的经济实力和竞争力应被视为国家安全的一部分。因此，人工智能治理策略必须设法避免国家安全与经济利益之间发生冲突，并与私营部门各相关方就规
30、范达成共识。4、基因工程、基因工程基因工程和人工智能有以下三个相似之处：对于这两项技术，私营部门的参与者都是开发的主导者，但在制定指导原则时也会寻求国家机构和国际组织的帮助。研究人员和技术开发人员往往自己指出这些技术的风险，包括与安全、伦理和国际竞争有关的风险。人类基因编辑和人工智能的商业环境有几个共同点：高额-21-研发资金、对巨大利益的预期以及国际社会对研究的广泛参与和关注。基因工程和人工智能还有以下显著区别：与人工智能不同，DNA 重组技术和人类基因编辑不是两用技术。基因工程几乎总是涉及物理实体的治理，如细胞培养物或人体受试者。涉及这些物理实体的做法（特别是以人为对象的临床试验）都有严格
31、的法律法规，会对这些工作进行有效的指导、监督和控制。基因工程研究人员对基因工程技术的重大风险达成了广泛共识（即使在应对风险方面存在分歧）。而人工智能技术却未达成类似共识。在上述例子中，基因工程的两次暂停都是因为要求各相关群体形成共同的规范和价值观。相对小规模的 DNA 重组研究人员对风险的共同规范和共识成功实现了第一次暂停。重点是，与DNA 重组有关的话题范围小，主要集中在技术问题和潜在风险上，相关人员在这些方面很容易达成共识。相比之下，与人类基因编辑有关的话题则更为复杂，往往涉及重大的伦理问题，涉及更多相关方。博纳姆指出，“伦理问题可以且可能需要驱动研究暂停，但有关安全性、技术可行性和物理风
32、险的问题往往成为首要问题，-22-决定能否规避更复杂、棘手的问题”。在伦理问题上难以达成共识，也导致国际上相关的生殖克隆人技术治理的失败。此外，与几十年前相比，人类基因编辑研究的相关群体更大，商业利益更重要，人类福祉面临的风险也更大。这个案例还突出了公私伙伴关系在技术治理方面的潜在价值。可信赖的国家和国际机构是有效治理的关键。研究人员敲响了警钟，呼吁科学界采取行动，但他们依赖于各机构协调应对问题。这些机构帮助综合并阐明了自愿参与研究的人员观点，而不像权威机构一样作出决策。美国国家科学院和世界卫生组织等机构制定的准则和原则反映了研究人员现有的规范。基因工程治理历程表明，如果对必须应对的风险缺乏共
33、识，就不太可能成功暂停人工智能的开发和研究。事实上，已经有过这样的暂停建议，但很快就被忽视了，甚至被许多提案人和签署人所忽视。如果出现了严重的风险，并达成了应对问题的共识（例如，如果发生了一起事件，让公众清楚地意识到人工智能带来的灾难性风险），结果可能就不一样了。然而，即使如此，这种暂停是否有用、是否成功，可能取决于有无值得信赖的机构，这些机构能够就共同规范在相关方之间达成共识，并将这些规范具体化为应对风险的指导原则和政策。（二）为人工智能治理提供可借鉴的经验教训（二）为人工智能治理提供可借鉴的经验教训-23-人工智能的哪些因素可能会影响其未来的治理需求？本文研究了以下三种情景：人工智能发展对
34、人类造成全面损害的严重风险，需要大量资源来获取和使用，并涉及可监控的有形资产。人工智能发展带来的风险微乎其微。人工智能在发展过程中几乎没有竞争障碍，却对各国政府和人类福祉构成巨大风险。1、情景一、情景一如果人工智能技术的获取和使用需要大量资源，人工智能技术具有双重用途，带来广泛的损害风险，并且涉及可监控的有形资产，那么核技术治理的模式可能对人工智能治理有用。在这种情况下，人工智能的两用性非常重要。换言之，政府非常关注影响军事优势和人类安全的技术应用，特别是与商业应用的经济利益相比。就避免某些安全风险的必要性达成共识，这可能是最重要的动机，它可能会使所有相关方（甚至竞争对手和对手）制定共同的治理
35、机制。然而，目前尚不清楚是否能够就人工智能风险已非常高而达成共识。人工智能风险专家研究了因失去对人工智能的控制或人工智能与现有技术（如核技术或合成生物学技术）产生灾难性风险或生存风险的相关性，核技术或合成生物学具有已知的灾难性风险。如果这些风险是建立人工智能治理规范共识-24-的主要焦点，那么需要进一步澄清。人工智能的投机性或模糊性风险不太可能像核技术那样成为达成有力治理共识的基础。前沿人工智能模型在治理方面可能与核技术更相似，包括军事和非军事的双重应用。如果真是这样，而且各方都同意有必要降低某些风险，那么成立类似国际原子能机构的人工智能国际机构或许有助于人工智能的负责任发展和利益共享。该举措
36、应旨在向其他国家保证，各国可以从人工智能技术中广泛受益，而无需建立自己的人工智能研发基础设施，从而降低全球风险。2、情景二、情景二如果人工智能的发展对政府利益，特别是人类安全几乎不构成风险，那么互联网治理可能为人工智能治理提供很好的借鉴。在这种情况下，使用人工智能可能仍然存在权衡取舍，但不会涉及人身安全或国家安全，而且人工智能的双重用途（若有）在治理中的重要性较低。在这种情况下，各国政府可能会寻找机会资助或促进人工智能方法，这些方法具有广泛的潜在利益，但商业支持很少（例如，通过资助高风险、高回报的项目或在商业投资低迷时期维持研发）。在某些情况下，各国政府可能需要在涉及用户隐私或决策中的系统性偏
37、差等问题上保护公众利益。理想情况下，各国政府会将治理权下放给私营部门，特别是那些围绕共享发展规范和基于共识的标准建立的群体和机构。这种授权取决-25-于私营部门能否像互联网治理中的类似机构一样，组建能够通过共识进行治理的广泛群体。3、情景三、情景三如果人工智能开发方法在开发方面竞争门槛较低，但对政府利益或人类福祉构成重大风险。在这种情景下，以前治理模式的要素可能适用于人工智能。虽然各国政府可能倾向于积极保护自身利益，但加密产品的治理经验告诫大众行事需谨慎。就像控制互联网有形资产一样，各国政府可能总是能找到一些有形资产作为控制点。然而，如果危险的人工智能模型最终能够轻松地使用通用计算硬件创建，而
38、非专用计算硬件，那么可能就无法有效控制相关有形资产。在这种情况下，过于激进的控制可能会适得其反，导致国家安全和经济安全目标之间产生对立。在这种情况下，与基因工程更相似的治理模式可能更有效。治理的重点可能是建立或加强公私伙伴关系，以协调某些类型的人工智能开发或使用治理。在美国国家标准与技术研究院、美国国家科学基金会和美国国家科学院等机构获得了私营部门和学术界的充分信任和参与，它将成为制定正式确立负责任人工智能开发规范和准则的有力支持。支持人工智能治理的国际组织也可以效仿世界卫生组织。这种模式的风险在于：可能仍然难于在某些人工智能活动达成共识，涉及伦理或哲学问题以及安全问题时难度更大。-26-（三
39、）结论（三）结论如何描述人工智能？人工智能与核技术、互联网、加密产品和基因工程有相似之处，也有不同之处。尽管上述技术治理经验可为人工智能治理提供有益借鉴，但需谨记：“历史经验总是对错参半，但后人不知道借鉴了哪一半”。当前的全球环境与核技术、互联网、加密产品和基因工程治理时的环境存在很大差异。基于这些熟悉的例子，人们不知道这些环境差异将在多大程度上影响人工智能的成功治理。因此，必须借鉴类似的经验教训，有意识地在负责治理的群体中促成共同规范，关注技术和环境的变化，并做好适应的准备。译自：Historical Analogues That Can Inform AI Governance,August 2024by RAND Corporation译文作者：工业和信息化部赛迪研究院李牧原联系方式：13331025602电子邮件：-28-编 辑 部：工业和信息化部赛迪研究院通讯地址：北京市海淀区紫竹院路 66 号赛迪大厦 15 层国际合作处邮政编码：100048联 系 人：袁素雅联系电话：（010）8855968413263204219传真：（010）88558833网址：电子邮件：报：部领导送：部机关各司局，各地方工业和信息化主管部门，相关部门及研究单位，相关行业协会报：部领导送：部机关各司局，各地方工业和信息化主管部门，相关部门及研究单位，相关行业协会
