为人工智能安全的标准化铺平道路

文章作者:Nitin Dahad

ETSI，欧洲电信，广播和电子通信网络和服务的欧洲标准组织的新报告旨在为建立人工智能（AI）安全标准铺平道路。

创建标准的第一步是描述保护基于人工智能的系统和解决方案的问题。这就是24页的报告，ETSI GR SAI 004，第一个由此发表ETSI保护人工智能行业规范集团（SAI ISG）做。它定义了问题陈述，并且特别关注机器学习（ml），以及机器学习生命周期的每个阶段的机密性，完整性和可用性有关的挑战。它还指出了AI系统的一些更广泛的挑战，包括偏见，道德和能力解释。概述了许多不同的攻击载体，以及几个真实使用和攻击的案例。

要确定所涉及的问题AI所涉及的问题，第一步是定义AI。对于ETSI组，人工智能是系统处理表示，显式和隐式的信息以及执行任务的过程，如果由人类执行，则执行智能的任务。该定义仍然是广泛的可能性。然而，有限的技术现在正在变得可行，主要是通过机器学习和深度学习技术的演变，以及培训和实施这些技术所需的数据和处理能力的广泛可用性。

机器学习的许多方法都是常用的，包括监督，无监督，半监督和加强学习。

• 监督学习 - 在标记所有培训数据的情况下，可以训练模型以基于新的输入集预测输出。
• 半监督学习 - 数据集的部分标记为位置。在这种情况下，即使是未标记的数据也可用于提高模型的质量。
• 无监督学习——数据集没有标记，模型在数据中寻找结构，包括分组和聚类。
• 强化学习 - 在定义如何采取行动的政策通过经验来学习如何通过经验来最大化奖励;通过国家转型通过在环境中互动来获得经验。

在这些模式中，可以使用多种模型结构，其中最常见的方法是使用深度神经网络，学习在一系列模仿人类大脑行为的层次上进行。

还可以使用各种训练技术，即对抗学习，其中训练集不仅包含反映预期结果的样本，还包含对抗样本，目的是挑战或破坏预期行为。

“AI伦理周围有很多讨论，但保障AI周围没有标准。然而，他们对确保基于AI的自动化网络的安全性迈出了至关重要。这个第一个ETSI报告旨在提出挑战AI时面临的挑战的全面定义。并行，我们正在研究威胁本体，了解如何保护AI数据供应链，以及如何测试它，“ETSI SAI ISG椅子解释说Alex Leadbeater。

当被问及时间表时，leadbeat告诉embedded.com:“对技术规格的合理估计是再过12个月。接下来的几个季度还会有更多的技术报告(AI威胁本体、数据供应链报告、SAI缓解战略报告)。事实上，一个关于AI安全测试的规范应该在第二季度/第三季度末之前发布。接下来的步骤将是确定问题陈述中的特定领域，这些领域可以扩展为更详细的信息工作项。”

报告大纲
在AI和机器学习的定义之后，该报告然后了解数据处理链，涵盖整个生命周期的机密性，完整性和可用性挑战，从数据采集，数据策策，模型设计和软件构建，以培训，测试，部署和推论和升级。

在AI系统中，可以从多个源获得数据，包括传感器（例如CCTV摄像机，移动电话，医疗设备）和数字资产（例如来自交易平台的数据，文档提取物，日志文件）。数据也可以是许多不同的形式（包括文本，图像，视频和音频），可以是结构或非结构化的。除了与数据本身相关的安全挑战外，考虑传输和存储的安全性很重要。

要指示数据策策中的完整性挑战，请在修复，增强或转换数据集时，重要的是要确保流程不会影响数据的质量和完整性。对于监督机器学习系统，重要的是数据标签是准确的，尽可能完整，并确保标签保留其完整性并且不会受到损害，例如通过中毒攻击。解决确保数据集是无偏见的挑战也很重要。数据增强技术可以影响数据的完整性。

涉及的另一个领域是围绕设计挑战，以及围绕偏见、数据伦理和可解释性的其他无意识因素。

例如，不仅在设计和培训阶段期间应考虑偏差，而且在部署系统之后，仍然可以介绍偏差。该报告引用2016年的一个例子，当时聊天聊天，这是作为“会话理解”的实验。Chatbot将通过推文和直接邮件与社交网络用户互动。在几个小时内，Chatbot开始推文高度进攻消息。聊天禁止后，已发现Chatbot的帐户已被互联网巨魔展示偏见的行为。偏见不一定代表安全问题，但可以简单地导致系统不符合其功能要求。

关于道德，报告突出了几个例子，包括自治车和医疗保健。它引用了布莱顿大学的一篇论文，该文件讨论了一个假设的场景，其中一辆由AI驱动的汽车击败行人，并探索了随之而来的法律责任。2018年3月，这种情况成为一个自动驾驶汽车在亚利桑那州坦佩市的行人击中和杀死一名行人时成为现实。这不仅带入了敏锐的焦点，而不是法律责任，而是决策过程本身的潜在道德挑战。2016年，马萨诸塞州理工学院（麻省理工学院）推出了一个名为道德机器的网站，探索允许智能系统做出伦理性质的决定的挑战。该网站试图探讨人类在面对道德困境时如何表现，并更好地了解机器如何表现如何。

该报告强调，虽然道德担忧对保密、完整性和可用性等传统安全特征没有直接影响，但它们可能对个人对系统是否可信的看法产生重大影响。因此，AI系统设计师和实施者必须考虑道德挑战，并努力创造能够在用户之间建立信任的健全的道德系统。

最后，报告研究了攻击类型，从中毒和后门攻击到逆向工程，然后是真实世界的用例和攻击。

在中毒攻击中，攻击者寻求通常在训练阶段期间损害AI模型，以便部署的模型以攻击者所希望的方式行事。这可能是由于基于某些任务或输入的模型失败，或者模型了解攻击者所希望的一组行为，而不是模型设计器。中毒攻击通常可以以三种方式发生：

• 数据中毒- 其中攻击者在数据收集或数据策展阶段期间引入错误或错误地标记为数据集中的数据。
• 算法中毒- 当攻击者干扰用于学习过程的算法时。例如，联合学习涉及培训数据子集上的各个模型，然后将学习模型组合在一起以形成最终模型。这意味着各个数据集仍然是私有的，但创造了固有的漏洞。由于任何单独的数据集可以由攻击者控制，因此他们可以直接操纵该部分学习模型并影响系统的整体学习。
• 模型中毒- 当整个部署的模型简单地被替代模型替换时。这种类型的攻击类似于传统的网络图克，其中可以改变或更换包括模型的电子文件。

虽然“人工智能”一词起源于20世纪50年代汉诺威达特茅斯学院的会议，但ETSI报告中描述的真实用途案例显示了它以来的发展程度。这种情况包括广告攻击者攻击，恶意软件混淆，DeepFakes，手写再现，人类语音和假谈话（已经提出了大量评论聊天聊天）。

接下来是什么?正在进行的报告作为ISG的一部分

该行业规范组（ISG）正在查看几份正在进行的报告，作为其工作项的一部分将深入挖掘。

安全性测试:本工作的目的是确定适用于基于人工智能组件的安全性测试的目标、方法和技术。总体目标是为人工智能和基于人工智能组件的安全测试提供指导方针，考虑到符号和次符号人工智能的不同算法，并解决“人工智能威胁本体”工作项目中的相关威胁。人工智能的安全测试与传统系统的安全测试有一些共性，但提供了新的挑战，需要不同的方法，因为

（a）符号和亚马察均值与传统系统对其安全性的强烈影响以及如何测试其安全性质的显着差异;

(b)不确定性，因为基于人工智能的系统可能会随着时间的推移而演变(自学习系统)，安全性可能会下降;

(c)测试oracle问题，分配一个测试结论是不同的，更困难的基于AI的系统，因为不是所有的预期结果都是已知的先验，和(d)数据驱动的算法:与传统系统相比，(训练)数据形成次符号AI的行为。

本工作项的安全测试的范围是涵盖以下主题（但不限于）：

• AI的安全测试方法
• 从安全角度测试AI的数据
• 人工智能的安全测试预言
• AI安全测试测试充足标准的定义
• AI安全属性的测试目标

它提供了通过考虑到上述主题的AI安全测试指导方针。该指南将使用工作项“AI威胁本体论”的结果来通过安全测试涵盖AI的相关威胁，并且还会解决基于AI的系统时解决挑战和限制。

AI威胁本体论本工作项目的目的是定义什么是人工智能威胁，以及它与传统系统的威胁有何不同。这一工作的出发点是，目前对于什么构成对AI的攻击以及如何创建、托管和传播还没有共同的理解。“AI威胁本体”工作项目可交付品将寻求跨不同利益相关者和多个行业的术语一致。本文件将定义这些术语在网络和物理安全方面的含义，并附带一个便于多个行业的专家和信息较少的受众了解的叙述。注意，这个威胁本体将AI视为系统、对抗性攻击者和系统防御者。

数据供应链报告数据是AI系统开发的关键组成部分。这包括来自循环中的其他系统和人类的原始数据、信息和反馈，所有这些都可以通过训练和再训练AI来改变系统的功能。但是，获得适当的数据往往受到限制，因此需要求助于较不适当的数据来源。破坏训练数据的完整性已经被证明是针对人工智能系统的一个可行的攻击向量。这意味着确保数据供应链的安全是确保AI安全的重要一步。这份报告将总结目前用于人工智能培训的数据源方法，以及控制数据处理和共享的法规、标准和协议。然后，它将对这些信息进行差距分析，以确定标准的可能需求范围，以确保数据、相关属性、信息和反馈的可追溯性和完整性，以及这些信息的保密性。

赛缓解策略报告:本工作项目旨在总结和分析针对基于人工智能系统的威胁的现有和潜在缓解措施。其目标是制定指导方针，以减轻在系统中采用人工智能带来的威胁。这些指导方针将阐明通过减轻已知或潜在的安全威胁来保护基于人工智能的系统的基线。它们还解决了在某些潜在用例中为基于人工智能的系统采用缓解措施时的安全能力、挑战和限制。

硬件在AI安全中的作用：准备一份报告，确定硬件(专业和通用)在人工智能安全方面的作用。这将解决硬件中可用于防止攻击的缓解措施，并解决硬件上支持SAI的一般要求。此外，本报告将探讨使用人工智能保护硬件的可能策略。该报告还将总结人工智能硬件安全方面的学术和行业经验。此外，该报告将解决硬件引入的漏洞或弱点，可能放大攻击向量的人工智能。