人工智能的弱点

fabiha01

聊天机器人可以像自然人一样书写和说话，可以预测金融趋势，甚至可以进行艺术创作——人工智能的能力多种多样。然而，这项技术在解决问题的同时，也带来了新的问题，例如：B. ChatGPT 等所谓的幻觉，在公开报道中被越来越多地讨论。

在此背景下，《人工智能法案》（我们报道过）还要求人工智能系统的提供商在设计和开发过程中必须确保系统达到适当的准确性、稳健性和网络安全性水平。值得注意的是，人工智能与任何系统一样，都存在可能被有意或无意利用的漏洞。本文将展示这些通常是什么——但不涉及技术和统计背景。

机器学习工作流程
但是，为了更好地理解下面描述的攻击媒介，我们将首先解释机器学习工作流程的一般工作原理：人工智能（AI）从数据及其包含的信息中学习。根据人工智能的任务，它们可以具有不同的性质，例如图像、视频或测量值。为了以后获得可靠的结果，必须提供尽可能多的数据来训练人工智能。

大多数方法使用两种算法来学习特定的任务。这些是训练和干扰算法。第一步，利用之前创建的数据集对AI进行训练。目的是利用训练算法来开发一个参数不断改进的模型。它包含培训过程的结果以及如何应用它们的信息。因此，模型代表了所学到的知识。然后，将干扰算法与模型一起使用，将获得的知识应用于任何输入数据并提供所需的结果。

因此，结果是使用干扰算法处理输入数据而产生的。这可能涉及该数据的分类、数字或二进制值。结果最终如何使用取决于应用程序。

中毒攻击
如前所述，人工智能应用程序的质量和可靠性主要取决于训练数据的质量。创建一个数据库，法国商务传真列表 最终从中生成人工智能的知识。然而，由于情况会随着时间而改变，这个数据库很少是一个固定的信息池。必须不断收集新数据并将其整合到训练过程中。如果这些来自不安全的第三方来源，攻击者可以利用这一点并将恶意数据注入训练中。其后果是应用程序的预测不正确或不准确。

中毒攻击的一个可能例子是检测垃圾邮件。必须首先使用包含垃圾邮件的示例来训练人工智能。然而，垃圾邮件是由攻击者自己生成的，这反过来又使他们能够控制训练数据。由于不需要花费太多精力就能找出电子邮件的哪些内容被归类为垃圾邮件，哪些不是，因此可以以各种方式利用这一事实。攻击者可以以某种方式创建垃圾邮件，将合法内容与非法电子邮件关联起来，然后将其阻止。相反，这也可以用来隐藏合法电子邮件中不可接受的内容，这意味着垃圾邮件不再被垃圾邮件过滤器拦截。

逃避攻击和对抗样本
与毒害攻击相反，逃避攻击并不针对AI模型的训练数据，而是利用AI应用程序与输入数据之间的交互。然而，这里的目的是通过操纵数据来刺激系统做出虚假或不准确的陈述。为了实现这一点，以自然或真实输入为基础，并通过添加特殊干扰进行具体修改。这些被操纵的输入数据也被称为对抗性示例。问题在于对抗性例子甚至可能无法被识别。例如，在图像识别中，扰动是通过多阶段程序针对每个像素进行计算的，这让人联想到人工智能系统的训练过程，并且会不断进行调整，直到人眼几乎无法识别或无法再识别为止。

通常，逃避攻击需要访问目标模型的输入输出对，以测试哪些攻击媒介有效。如果有的话，攻击者可以通过AI应用程序的预测界面发现这一点。然而，这种攻击通常还与模型提取攻击有关（参见下一段），用于复制AI系统并可能用它来测试对抗性示例的有效性并识别其他可能的攻击。

探索性攻击
以前的攻击主要是为了直接影响人工智能系统，而探索性攻击则专注于人工智能本身。通常，只有攻击者能够提前了解系统，操纵攻击才有可能成功实施。因此，探索性攻击被理解为针对人工智能系统的所有类型的间谍活动。例如，这可能涉及获取训练数据（模型反转攻击）或 AI 模型本身（模型提取攻击）。

两者都可能导致竞争优势的丧失并造成重大的财务损失。然而，如果个人数据被用来训练人工智能，它也可能升级为数据泄露并带来其他后果。例如，研究人员成功地在图像识别人工智能中使用模型反转攻击来生成相应图像类的平均表示，这通常不指示明确的数据集。但是，如果该类别描述的是特定情况，例如单个人，则可以从 AI 模型中提取以前被认为是匿名的数据并随后进行识别。

消除漏洞
为了应对上述攻击模式，即使是简单的方法也可以帮助防止攻击或至少使攻击更加困难。当考虑整个 AI 工作流程时，您应该从头开始。在使用人工智能之前，它需要数据来学习并能够随后做出陈述。为了确保这些陈述正确，必须特别谨慎地选择训练数据。应该始终问的问题是，这些信息来自哪些来源以及哪些参与者会影响质量。不可靠的消息来源为投毒袭击铺平了道路。

在逃避攻击或探索性攻击等攻击方法中，人工智能应用程序的输出值已被证明对攻击者特别有用。结合置信度值（即预测概率）和相关的类标签，这些信息足以进行针对特定模型的攻击。因此，对输出值进行四舍五入、限制或删除可能会很有用。另一种方法是故意操纵一小部分置信度值，以使复制模型变得更加困难，或者在复制模型时创建一种水印，以便事后证明盗窃行为。

如果人工智能的预期用途允许，还建议限制用户向人工智能系统发出的请求数量。这可能会限制输入输出对的收集，或者至少使其变得更加困难。总体而言，在这种情况下可以说只应披露绝对必要的信息。

此外，还有其他方法，例如对抗训练或输入转换以及使用工具，例如：B.对抗鲁棒性工具箱（ART），这里仅提及而不会进一步描述，因为详细讨论超出了本博文的范围。

结论
投毒、逃避或探索性人工智能模型等攻击方法提供了多种操纵选项。攻击者的目标通常不仅仅是金钱。数据可能被盗，在特殊情况下会对隐私构成威胁。此外，如果人工智能模型可以被监视并复制，公司可能会失去相对于竞争对手的竞争优势。然而，这是有问题的，因为它让攻击者有机会获得有关所使用的人工智能的广泛知识。许多攻击方法需要对目标有一定的先验知识才能成功使用。

另一方面，当然也可以通过有针对性的措施来保护人工智能系统免受攻击。这应该尽早开始，并应遵循“只透露必要的信息”等简单原则，以及在选择训练数据时要特别小心。