AI安全行业监管及标准发展现状如何？

随着人工智能 AI 技术的快速发展，各行业专家希望通过AI 来加速本行业信息技术与业务能力的建设，但与此同时安全性保障也开始被大家关注起来。

1.AI 安全的监管生态

1.1 法律法规

美国白宫 2023 年 10 月 30 日发布拜登签署的《关于安全、可靠和可信的 AI 行政命令》，以确保美国在把握 AI 的前景和管理其风险方面处于领先地位。作为美政府负责任创新综合战略的一部分，该行政令以美国总统之前采取的行动为基础，包括促使 15 家领军企业自愿承诺推动安全、可靠和可信的 AI 发展的工作。该行政令包含 8 个目标： （1）建立 AI 安全的新标准； （2）保护美国民众的隐私； （3）促进公平和公民权利； （4）维护消费者、病患和学生的权益；（5）支持劳动者； （6）促进创新和竞争； （7）提升美国在海外的领导力； （8）确保美国政府负责任且有效地使用 AI。

美国《2020 年国家人工智能倡议法案》（National AI Initiative Act of 2020）颁布于 2021 年 1 月，旨在强化和协调各联邦机构之间的人工智能研发活动，确保美国在全球人工智能技术领域的领先地位。《2020 年国家AI 倡议法案》通过将美国 AI 计划编入法典以帮助增加研究投资、改善计算和数据资源的获取、设置技术标准、建立劳动力系统并跟盟友展开合作。其中关键措施有：  设立国家人工智能倡议办公室，属于白宫科技政策办公室，承担监督和实施美国国家人工智能战略等职责。  设立国家人工智能咨询委员会，委员会应由商务部部长任命，代表广泛跨学科的学术机构、私营企业、非盈利机构等，并就人工智能相关事项向总统和国家人工智能办公警示提供建议，帮助美国保持在人工智能领域的领导地位。  加大人工智能研发投入，命令联邦机构在其研发任务中优先考虑人工智能投资的方式，保持美国对高回报、基础性人工智能研发的长期且强有力的重视。  开放人工智能资源，要求相关机构将联邦数据、模型向美国人工智能和计算资源研发专家、研究人员和产业开放，增强公众对人工智能技术的信任,提高这些资源对人工智能研发专家的价值,同时确保数据安全、保护公民自由与隐私权又不失机密性。 设定人工智能治理标准。联邦机构将通过建立适用于不同领域的技术工业部门的人工智能发展指南来增强公众对人工智能系统的信任，帮助联邦监管机构制定一套人工智能技术的治理方法。该倡议还要求美国国家标准与技术研究所领导制定人工智能系统的适当技术标准，使其可靠、安全、便捷、可互操作。

依据此法案，美国白宫科学技术政策办公室（OSTP）宣布成立国家人工智能倡议办公室和国家人工智能咨询委员会，并建立或指定一个机构间委员会，以更健全完备的组织机构推动“国家人工智能计划”实施。该法案显示了两党对美国政府在 AI 领域长期努力的大力支持，并将美国政府现有的许多AI 政策和举措编入法律并加以扩展。例如，将美国 AI 计划确立的5 项关键任务（加大人工智能研发投入、开放人工智能资源、设定人工智能治理标准、培养人工智能劳动力，以及国际协作和保护美国人工智能优势）纳入法律，扩大2018年成立的人工智能专责委员会并使其成为常设机构，承认2020 年成立的国家AI 研究所的合法地位，规定要对 2019 年发布的国家 AI 研发战略规划进行定期更新，将白宫 2019 年指导的关键 AI 技术标准活动扩展至包括AI 风险评估框架等。

美 国 《 人 工 智 能 权 利 法 案 蓝 图 》

2022 年 10 月美国白宫科技政策办公室发布了《人工智能权利法案蓝图：让自动化系统为美国人民服务》。该文件目的是支持制定政策，在自动化系统的建设、部署和治理中保护公民的权利和促进民主价值。核心内容如下： 安全和有效的系统。自动化系统应该通过咨询不同的社区、利益相关者和领域专家，以确定系统的关注点、风险和潜在影响。算法歧视的保护。系统应该以公平的方式使用和设计，当自动化系统导致人们因其种族、肤色、民族、性别（包括怀孕、性别认同等）、宗教、年龄、国籍、残疾、退伍军人身份或其他任何法律保护的分类而受到不合理的待遇或影响时，就会发生算法歧视。  数据隐私保护。系统应该通过内置的保护措施，以免受到滥用数据行为的影响，而且应该确保用户应该对关于自己数据的使用方式拥有自主权。自动系统的设计者、开发者和部署者应该以适当的方式并在最大程度上获取用户的同意，并且尊重用户关于收集、使用、访问、转移和删除用户数据的决定。  告知和解释。自动化系统的设计者、开发者和部署者应该提供可访问的通俗语言文件，包括对整个系统功能和自动化所起作用的清晰描述，关于这些系统使用的告知，负责该系统的个人或组织，应当对结果给出清晰、及时和可访问的解释。

欧 洲

欧洲拟议的《人工智能法》主要侧重于加强围绕数据质量、透明度、人类监督和责任的规则。它还旨在解决从医疗和教育到金融和能源等各个领域的道德问题和实施挑战。《人工智能法》的基础是一个分类系统，用来明确人工智能技术可能对个体的健康和安全或基本权利构成的风险水平。该框架包括四个风险等级：不可接受的、高的、有限的和最低的。具有有限和最低风险的人工智能系统，如垃圾邮件过滤器或视频游戏等是允许使用的，除了透明度义务外，没有什么要求。而如政府的社会评分和公共场所的实时生物识别系统会被认为构成不可接受的风险的系统，禁止使用且几乎没有例外。高风险的人工智能系统是被允许的，但开发者和使用者必须遵守规定，要进行严格的测试，对数据质量进行适当的记录，并制定详细的人类监督问责框架。被视为高风险的人工智能包括自动驾驶汽车、医疗设备和关键基础设施机械，以上仅为枚举。拟议的法案还概述了围绕所谓的通用人工智能的规定，这些人工智能系统可用于不同的目的，具有不同程度的风险。此类技术包括，例如，像 ChatGPT 这样的大型语言模型生成型人工智能系统。《人工智能法》提出了严厉的违规处罚措施。对于公司来说，罚款可高达 3000 万欧元或全球收入的 6%。向监管机构提交虚假或误导性文件也会导致罚款。

欧 盟 GDPR 法 规

欧盟通用数据保护监管法（GDPR）是为个人的数据在处理和数据流动方面提供保护。该监管法于 2016 年 5 月 24 日生效，并于2018 年5 月25日开始在欧盟所有成员国都具有约束力并直接适用。GDPR 要求从事个人数据处理的所有人必须遵守其规定，并赋予个人数据正在处理的个人一些重要的权利。参与个人数据处理的自然人和法人，包括公司和政府机构，都被要求按照 GDPR 行事。潜在的不合规行为可能导致高额罚金，并导致法院诉讼和名誉损害的后果。GDPR 适用于在欧盟设立的参与个人数据处理的自然人和法人。但是，对于位于欧盟以外国家的公司、机构和个人，当他们处理欧盟公民或居民的个人数据时，他们须按照 GDPR 开展活动。该法案重点保护的是自然人的“个人数据”，号称史上最严的数据保护法案。根据该法案规定的“市场地原则”，只要数据的收集方、数据的提供方（被收集数据的用户）和数据的处理方（比如第三方数据处理机构）这三方之中，有任何一方是欧盟公民或法人，就将受到该法案管辖。这就是说，任何企业只要是在欧盟市场提供商品或服务，或者收集欧盟公民的个人数据，都将受到这部法律的管辖。对于违法企业的罚金，最高可达2000 万欧元（约合 1.5 亿元人民币）或者其全球营业额的 4%，以这二者中高者为准。

中 国

中国在第三届“一带一路”国际合作高峰论坛提出了《全球人工智能治理倡议》

互 联 网 信 息 服 务 算 法 推 荐 管 理 规 定

近年来，随着中国《网络安全法》、《数据安全法》、《个人信息保护法》等相关法律的不断完善，人民群众对于个人信息、数据安全以及网络安全不断重视。党中央在《法治社会建设实施纲要（2020-2025 年）》明确提出制定完善对算法推荐等新技术应用的规范管理办法。2021 年九部委出台《关于加强互联网信息服务算法综合治理的指导意见》，为《互联网信息服务算法推荐管理规定》（以下简称“《规定》”）的制定奠定了良好的法制基础。 中国国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合发布《互联网信息服务算法推荐管理规定》（以下简称《规定》），自 2022 年 3 月 1 日起施行。 《规定》明确，应用算法推荐技术，是指利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。

《规定》明确了算法推荐服务提供者的信息服务规范，要求算法推荐服务提供者应当建立健全用户注册、信息发布审核、数据安全和个人信息保护、安全事件应急处置等管理制度和技术措施，定期审核、评估、验证算法机制机理、模型、数据和应用结果等；建立健全用于识别违法和不良信息的特征库，发现违法和不良信息的，应当采取相应的处置措施；加强用户模型和用户标签管理，完善记入用户模型的兴趣点规则和用户标签管理规则；加强算法推荐服务版面页面生态管理，建立完善人工干预和用户自主选择机制，在重点环节积极呈现符合主流价值导向的信息；规范开展互联网新闻信息服务，不得生成合成虚假新闻信息或者传播非国家规定范围内的单位发布的新闻信息；不得利用算法实施影响网络舆论、规避监督管理以及垄断和不正当竞争行为。 《规定》要求，具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报备案信息，履行备案手续；备案信息发生变更的，应当在规定时间内办理变更手续。算法推荐服务提供者应当依法留存网络日志，配合有关部门开展安全评估和监督检查工作，并提供必要的技术、数据等支持和协助。

互联网弹窗信息服务管理规定

中国国家互联网信息办公室于 2022 年 9 月 9 日，《互联网弹窗信息推送服务管理规定》（以下简称“规定”）正式发布，已于2022 年9月30 日正式施行。《规定》总共十条，条文简短，影响重大。《规定》明确了提供信息弹窗的介质包括操作系统、应用软件和网站，这也纠正了部分人的认知误区，《规定》的主要适用主体和监管对象不仅是PC 端桌面和网站弹窗，还包括移动 APP、小程序、电脑软件等各种应用软件。这对企业来说，尤其要注意，以各种操作系统或硬件类型（例如智能穿戴设备、智慧电视等）为载体的应用软件，通过所有对外接口进行的弹窗信息，均应当符合《规定》的要求。其中，《规定》第三条明确互联网弹窗信息推送服务应当遵守的法律法规明确为“宪法、法律和行政法规”。事实上，随着近两年互联网行业法律法规的不断出台，与互联网弹窗广告、信息内容安全和用户权益保护相关的上位法体系已比较完善，此类调整给监管实务与企业合规治理过程中，提供了更加清晰的合规指向。《规定》第五条第五款：提供互联网弹窗信息推送服务的，应当健全弹窗信息推送内容管理规范，完善信息筛选、编辑、推送等工作流程，配备与服务规模相适应的审核力量，加强弹窗信息内容审核。

美国人工智能监管侧重于人工智能反对歧视欺诈滥用，立法关注应对人工智能带来的危害，敦促企业遵守相关法律法规。欧洲人工智能监管侧重于可审计可理解，要求于人类交互的人工智能系统需要符合透明度规则，对于情感识别系统或者生物分类系统，系统提供者应将系统的运营情况和结果告知使用者，高风险类型的人工智能在上市前，需要进行风险评估。 中国人工智能监管侧重于明确标准具体指导，明确人工智能算法推荐服务者的主体责任，定期对算法进行审核、评估和验证，并要求算法推荐服务 i 提供者加强算法规则的透明度和解释性。

2.行业标准

2.1 汽车行业

(一)ISO/AWI PAS 8800 Road Vehicles — Safety and artificial intelligence 2022 年 9 月 20 日，国际标准 ISO/PAS 8800（Road Vehicles —Safety andArtificial Intelligence—道路车辆-人工智能 AI 安全）形成工作组草案并启动国际范围内的公开征集意见。中国作为该标准第 9 小组（AI 运行监控和持续安全保障）牵头方深度参与研究制定工作。 ISO/PAS 8800 是 ISO/TC22/SC32/WG14 道路车辆人工智能AI 安全工作组的首个国际标准，自动驾驶领域核心的 AI 安全技术受到国际广泛关注，来自中国、美国、德国、英国、奥地利、日本、韩国等 17 个国家的专家参与起草工作。由中汽中心、一汽、华为、商汤、地平线组成的中国专家代表团作为该标准第9小组（AI 运行监控和持续安全保障）牵头方参与研究制定工作。

该标准融合了功能安全ISO 26262、预期功能安全(SOTIF)ISO 21448、ISO/IECTR5469 人工智能 AI 功能安全、ISO TS 5083 自动驾驶系统安全，对车辆AI 系统提出了安全要求，涵盖 AI 安全属性定义、AI 技术选择和设计、数据定义和挑选、AI 安全措施、AI 安全性能评价、AI 验证和确认 V&V、运行监控和AI 安全保障等关键内容，以避免不合理的风险。 该标准定义了影响道路车辆环境中人工智能（AI）性能不足和故障行为的安全相关特性和风险因素。描述了一个处理开发和部署生命周期所有阶段的框架。这包括对功能的适当安全要求，与数据质量和完整性相关的考虑因素，控制和缓解故障的架构措施，用于支持人工智能的工具，验证和验证技术，以及支持系统整体安全要求的依据。 中国牵头负责的第 9 组-AI 运行监控和持续安全保障，重点关注基于目标市场的 AI 安全运行监控措施定义、车端和云端量化安全监控机制开发、现场数据搜集、AI 重训和技术完善等内容。

2.2 通信行业

(一) YD/T 4044-2022 基于人工智能的知识图谱构建技术要求 该标准规定了基于人工智能的知识图谱系统构建的技术要求、基本功能要求、非功能要求，用于规范基于人工智能的知识图谱的框架构建流程。可以为科技企业、用户机构、第三方机构等提供指导，包括对基于人工智能的知识图谱系统进行设计、开发、测试等内容。 在该标准的 8.6 章节 安全性要求部分对基于人工智能的知识图谱系统的安全性提出要求，主要关注在外部安全标准参考（例如 GB/T 22239—2019 和GB/T35273—2020），敏感数据传输相关的访问控制要求，数据传输实体限制要求，数据机密性、完整性、可用性要求，数据权限要求等。

2.3 医疗行业

(一) YD/T 4043-2022 基于人工智能的多中心医疗数据协同分析平台参考架构该标准件规定了构建多中心医学数据协同分析平台的参考构架，包括系统架构、数据存储、数据标准化、数据分析原则、平台特性、功能需求和安全性等。主要为多中心医疗数据协同分析平台的软件、硬件和网络构架提供指导。该标准安全部分要求主要包含两部分内容，在 4.2 章节数据隔离性部分提出各数据落地要求、数据服务器单点避免要求、以及医疗标准参考要求。并在4.10章节安全性部分提出数据高安全性要求、保证原始数据与业务数据安全要求，以及系统安全标准符合要求。

2.4 金融行业

(一) JR/T 0221-2021 人工智能算法金融应用评价规范 2021 年 3 月 26 日，中国人民银行正式发布金融行业标准（JR/T 0221—2021）《人工智能算法金融应用评价规范》。 该标准从安全性、可解释性、精准性和性能等方面建立了人工智能算法金融应用评价框架，明确了智能算法应用的基本要求、评价方法、判定准则，为金融机构加强智能算法应用风险管理提供指引。 该标准的发布旨在引导金融机构加强对人工智能算法金融应用的规范管理和风险防范，加快金融数字化转型步伐，持续推动金融服务更为贴心、更加智慧、更有温度，打造数字经济时代金融创新发展新引擎。 该标准由全国金融标准化技术委员会归口管理，由中国人民银行科技司提出并负责起草，行业内有关单位共同参与。 该标准的第 6 章节 安全性评价部分针对目标函数、常见攻击范围、算法依赖库、算法可追溯性、算法内控等内容提供了基本要求、评价方法与判定准则的指导。

2.5 国内标准

AI 安全基础标准： 1)我国首个人工智能安全国家标准：信安标委 TC260《信息安全技术机器学习算法安全评估规范》（报批稿），规定了机器学习算法技术在生存周期各阶段的安全要求，以及应用机器学习算法技术提供服务时的安全要求，并给出了对应评估方法。《信息安全技术 人工智能计算平台安全框架》国家标准（征求意见稿），规范了人工智能计算平台安全功能、安全机制、安全模块以及服务接口，指导人工智能计算平台设计与实现。《信息安全技术 生成式人工智能预训练和优化训练数据安全规范》在研阶段。 2)信标委 TC28/SC42，《人工智能 管理体系》在研阶段，《人工智能深度学习框架多硬件平台适配技术规范》在研阶段。 3)中国电子工业标准化技术协会（CESA）《信息技术人工智能风险管理能力评估》已发布。 4)中国人工智能产业发展联盟（AIIA）《可信人工智能组织治理能力成熟度模型》在研阶段，《大规模预训练模型技术和应用评估方法第5 部分：安全可信》在研阶段。

AI 应用相关安全标准： 1)全国信安标委（TC 260）在生物特征识别方向，发布了GB/T 40660—2021《信息安全技术 生物特征识别信息保护基本要求》，以及人脸、声纹、基因、步态等 4 项数据安全国家标准。在智能汽车方向，发布了国家标准GB/T 41871—2022《信息安全技术 汽车数据处理安全要求》，有效支撑《汽车数据安全管理若干规定（试行）》，提升了智能汽车相关企业的数据安全水平。2)全国信标委生物特征识别分委会（TC 28/SC37）发布了《信息技术生物特征识别呈现攻击检测》、《信息技术 生物特征识别 人脸识别系统应用要求》等标准。3)中国通信标准化协会 CCSA 在生物识别、人工智 能终端、人工智能服务平台、数据安全保护等领域开展了数据安全相关标准化工作。在人工智能终端领域，开展《人工智能终端产品 个人信息保护要求和评估方法》与《人工智能终端设备安全环境技术要求》标准研制，对人工智能终端的个人信息保护与终端设备环境的安全能力提出要求。在人工智能服务平台领域，开展《人工智能服务平台数据安全要求》标准研制，对人工智能服务端的数据安全管理与评估提出要求。4)上海市市监局，《人工智能数据通用安全要求》（征求意见稿）、《人脸识别分级分类应用标准》（草案）。 5)中国电子工业标准化技术协会（CESA）《信息安全技术人脸比对模型安全技术规范》已发布。6)新一代人工智能产业技术创新战略联盟（AITISA）发布了《人工智能视觉隐私保护 第 1 部分：通用技术要求》、《生物特征识别服务中的隐私保护技术指南》、《生物特征模板的安全使用要求》等标准，《信息技术数字视网膜系统第11部分：安全与隐私保护》在草案阶段。

(2)国际标准 国际标准组织（ISO）在人工智能领域已开展大量标准化工作，并专门成立了 ISO/IEC JTC1 SC42 人工智能分技术委员会。目前，与人工智能安全相关的国际标准及文件主要为基础概念与技术框架类通用标准，在内容上集中在人工智能管理、可信性、安全与隐私保护三个方面。 1）在人工智能管理方面，国际标准主要研究人工智能数据的治理、人工智能系统全生命周期管理、人工智能安全风险管理等，并对相应的方面提出建议，相关标准包括 ISO/IEC 38507:2022《信息技术治理 组织使用人工智能的治理影响》、ISO/IEC 23894:2023《人工智能 风险管理》等。2）在可信性方面，国际标准主要关注人工智能的透明度、可解释性、健壮性与可控性等方面，指出人工智能系统的技术脆弱性因素及部分缓解措施，相关标准包括 ISO/IEC TR 24028:2020《人工智能 人工智能中可信赖性概述》等。3）在安全与隐私保护方面，国际标准主要聚焦于人工智能的系统安全、功能安全、隐私保护等问题，帮助相关组织更好地识别并缓解人工智能系统中的安全威胁，相关标准包括 ISO/IEC 27090《人工智能 解决人工智能系统中安全威胁和故障的指南》、ISO/IEC TR 5469《人工智能 功能安全与人工智能系统》、ISO/IEC27091《人工智能 隐私保护》等。

欧洲

欧洲电信标准化协会（ETSI）近期关注的重点议题包括人工智能数据安全、完整性和隐私性、透明性、可解释性、伦理与滥用、偏见缓解等方面，已发布多份人工智能安全研究报告，包括 ETSI GR SAI 004《人工智能安全：问题陈述》、ETSI GR SAI 005《人工智能安全：缓解策略报告》等，描述了以人工智能为基础的系统安全问题挑战，并提出了一系列缓解措施与指南。欧洲标准化委员会（CEN）、欧洲电工标准化委员会（CENELEC）成立了新的CEN-CENELEC 联合技术委员会 JTC 21“人工智能”，并在人工智能的风险管理、透明性、健壮性、安全性等多个方面提出了标准需求。

美国

美国国家标准与技术研究院（NIST）关注人工智能安全的可信任、可解释等问题。最新的标准项目有：NIST SP1270《建立识别和管理人工智能偏差的标准》，提出了用于识别和管理人工智能偏见的技术指南；NIST IR-8312《可解释人工智能的四大原则》草案，提出了可解释人工智能的四项原则；NIST IR-8332《信任和人工智能》草案，研究了人工智能应用安全风险与用户对人工智能的信任之间的关系；NIST AI 100-1《人工智能风险管理框架》，旨在为人工智能系统设计、开发、部署和使用提供指南。