Google发明了一种新型的模型窃取攻击方法成功攻破ChatGPT

Google发表了一篇论文，介绍了一种新型的模型窃取攻击方法，这种方法能够从像OpenAI的ChatGPT或Google的PaLM-2这样的黑箱生产语言模型中提取精确、重要信息。 这种方法仅需不到20美元，就能攻击并提取出OpenAI的ada和babbage语言模型的整个投影矩阵。即使是那些设计为难以从外部获取内部信息的“黑箱”模型，也可以通过精心设计的查询被部分“解密”。 而且确认了这些黑箱模型分别具有1024和2048的隐藏维度。他们还恢复了gpt-3.5-turbo模型的确切隐藏维度大小，并估计恢复整个投影矩阵的成本不到2000美元。 主要特点 目标和范围 ：攻击专门针对生产级别的语言模型，如OpenAI的ChatGPT或Google的PaLM-2，这些模型通常作为黑箱服务通过API接口提供。攻击的主要目标是提取模型的嵌入投影层信息。

成本效益 ：该方法成本效率极高，能够以不到20美元的成本提取出OpenAI语言模型的投影矩阵，这一点通过实验确认。

揭示隐藏维度 ：通过这种攻击，研究人员首次确认了黑箱模型具有的隐藏维度大小（例如，1024和2048），这种维度信息对于理解模型的能力和结构至关重要。

高效率 ：该方法不仅成本低廉，而且高效，能够快速提取出模型的关键信息。例如，预计用不到2000美元就能恢复gpt-3.5-turbo模型的完整投影矩阵。

高精度 ：通过这种方法提取的模型信息（如投影矩阵）具有高精度，误差极小。例如，对于OpenAI模型，提取的嵌入层与实际模型之间的平均平方误差非常低（10^-4级别），证明了攻击的精确性。

不同模型的适用性 ：攻击方法在多个不同的模型上进行了测试，包括不仅限于OpenAI的模型。这表明该攻击手段具有一定的普适性，可以应用于多种生产级语言模型。

安全和隐私影响 ：该研究揭示了即使是最尖端的语言模型，也存在被窃取关键信息的风险，这对模型的安全性和使用者的隐私提出了挑战，同时也提示需要更加重视模型的安全防护措施。

关键步骤： 针对性的API查询 ：利用语言模型提供的API接口，执行一系列精心设计的查询。这些查询旨在触发模型的特定行为，从而间接获得模型内部的信息。

恢复嵌入投影层 ：攻击的核心是恢复变压器模型的嵌入投影层，这是模型在处理语言输入时首先使用的一层，负责将输入的单词或词素映射到一个高维空间中。通过API查询，攻击者能够获取足够的信息来推断出这一层的结构，尽管攻击者没有直接访问模型内部参数的能力。

利用模型输出 ：攻击通过分析模型的输出（如概率分布等），来推测嵌入投影层的参数。具体来说，是通过观察模型对特定输入的反应，然后使用数学和统计方法从这些反应中提取出关于嵌入层的信息。

背景知识： 什么是投影矩阵 投影矩阵在机器学习和深度学习中，尤其是在语言模型如Transformer中，扮演了一个重要的角色。它是一种特定的矩阵，用于将数据从一个维度转换到另一个维度，同时保持某些特性或关系。在语言模型的上下文中，投影矩阵常用于处理嵌入层（embedding layer）和最终的输出层。 嵌入层（Embedding Layer）负责将输入的单词或词语转换为固定大小的向量，而投影矩阵则用于在模型的最后阶段，将这些高维的向量映射回预测空间，比如将内部表示转换为词汇表大小的向量，以便计算每个可能输出词的概率。 在语言模型中的作用 对于语言模型特别是基于Transformer的模型，投影矩阵通常有两个主要的应用场景： 词嵌入到隐藏层的转换 ：在模型的输入端，单词或词汇被转换成高维空间中的向量，称为词嵌入。这些嵌入向量通常通过乘以一个投影矩阵来转换成模型可以处理的内部表示形式，也就是隐藏层的表示。这个过程可以增加或减少嵌入向量的维度，以适应模型的架构。

隐藏层到输出层的转换 ：在模型的输出端，隐藏层的表示需要转换回词汇空间，以预测下一个单词或完成其他任务。这通常通过另一个投影矩阵完成，它将隐藏层的高维表示转换为词汇空间的维度，然后通过softmax函数等转换为最终的输出概率分布。

投影矩阵的特点 维度转换 ：它可以改变数据的维度，例如，从嵌入维度到模型的隐藏维度，或者从隐藏维度到输出词汇的维度。 学习参数 ：在深度学习模型中，投影矩阵的具体值是通过训练数据学习得到的，以最佳方式完成维度转换和信息保持的目标。 优化目标 ：通过训练过程，模型优化投影矩阵的参数，以最小化预测错误，提高模型在特定任务上的性能。 投影矩阵是深度学习模型中的核心组件之一，它直接影响模型的表现和效率。在语言模型中，正确的投影矩阵可以有效地捕捉和转换语言的复杂性和细微差别，从而提高模型对语言的理解和生成能力。 隐藏维度 隐藏维度 是指模型内部用于表示数据的空间或向量的维数。例如，如果一个模型的隐藏维度为1024，这意味着它在内部使用1024个数值来表示输入数据的每个部分（如单词或词组）。隐藏维度的大小是模型复杂性和能力的一个重要指标，因为它影响模型可以捕获和处理的信息量。较大的隐藏维度通常意味着模型能够捕获更复杂的特征，但同时也会增加计算成本和风险过拟合。 当文中提到**研究人员首次确认了黑箱模型具有的隐藏维度大小（例如，1024和2048）**时，意味着通过这种新颖的攻击方法，研究人员能够揭示出，即便是对外部研究者隐藏内部结构的模型，其实际使用的维度大小为1024和2048。这项发现对于理解和分析这些高度封闭的语言模型非常重要，因为它提供了一个窥视模型内部工作方式和计算复杂度的窗口。通过了解模型的隐藏维度大小，研究者可以更好地推测模型的容量、理解其可能的性能限制，以及设计更有效的模型或攻击策略。 防御与缓解措施： 在对攻击方法进行公开之后，OpenAI和Google对其API进行了修改，引入了防御措施以阻止或增加执行此类攻击的成本。 限制API输出 ：通过限制API提供的信息量，比如减少对外公布的预测结果的细节程度，或者限制可查询的概率分布信息，可以直接降低攻击者能从模型获得的有效信息。