Anthropic 的研究人员发现了打开AI模型“黑盒子”的方法

目前的人工智能模型常被描述为一个“黑箱”。因为AI 开发者不会为这些系统编写明确的规则，而是通过输入大量数据，系统自己学习识别模式。但模型的内部运作模式和规则无人知晓。 在表面之下，神经网络（今天最强大的 AI 类型）由数十亿个人工“神经元”组成，这些神经元表示为小数点数字。没有人真正理解它们的含义或工作原理。 Anthropic 的研究人员最近在理解和确保 AI 系统安全方面取得了重大进展，他们开发了一种扫描 AI 模型“大脑”的技术。该技术可以识别对应于 AI 内部特定概念的神经元集合，称为“特征”。 他们成功地将这种方法应用于他们的高级语言模型之一 Claude Sonnet，发现了数百万个特征，包括与不安全代码、偏见和有害言论相关的特征。 通过操控这些特征，他们可以改变模型的行为... 通过刺激这些神经元，他们可以让 Claude 生成包含漏洞的代码，但通过抑制这些神经元，Claude 生成的代码则是安全的。此发现对当前和未来的 AI 系统安全具有重大影响。 主要发现 特征提取和概念表示 ： 研究团队成功从 Claude 3.0 Sonnet 的中间层提取了数百万个特征。这些特征对应于从城市、人物到编程语法等各种实体和概念。 特征具有多模态和多语言的属性，可以对不同语言的文本和相关图像做出反应。 抽象概念识别 ： 除了具体实体外，研究还发现了许多抽象特征，如计算机代码中的错误、职业中的性别偏见以及关于保密的讨论等。 通过测量特征之间的“距离”，研究团队发现了特征之间的关联。例如，和“金门大桥”特征相近的特征包括“恶魔岛”、“Ghirardelli Square”等。 特征操控与模型行为 ： 通过人工放大或抑制特征，研究团队能够改变 Claude 的响应。例如，放大“金门大桥”特征会使 Claude 在回答任何问题时都提到金门大桥。 当激活诈骗邮件特征时，Claude 能够生成诈骗邮件，尽管在正常情况下它会拒绝这样做。 安全性相关特征 ： 研究识别了一些具有潜在误用风险的特征，如代码后门、生物武器开发等。 发现了与不同形式的偏见（如性别歧视、种族歧视）和潜在问题行为（如权力寻求、操控性行为）相关的特征。 概念组织与类比能力 ： 研究表明，AI 模型内部的概念组织在某种程度上与人类的相似，这可能是 Claude 优秀类比和隐喻能力的来源。 例如，“内心冲突”特征附近的特征包括关系破裂、矛盾忠诚、逻辑矛盾等。 这种技术不仅有助于解决当前风险，还可能帮助解决更多的假设性风险。例如，防止 AI 系统欺骗其创建者，隐藏其能力直到它们可以逃脱控制并可能造成破坏。 这项研究提供了对大型语言模型内部机制的前所未有的深入了解，揭示了模型如何表示和操控各种具体和抽象概念。通过这些发现，研究人员可以更好地理解和改进 AI 模型，提升其安全性和可靠性。这标志着 AI 解释性研究的重要里程碑，同时也为未来的安全研究和应用奠定了基础。 全文翻译 今天，我们报告了在理解AI模型内部工作机制方面的一项重大进展。我们已经确定了数百万个概念在Claude Sonnet（我们部署的大语言模型之一）内部的表示方式。这是第一次详细了解现代、生产级大语言模型的内部结构。这一可解释性发现未来可能帮助我们使AI模型更安全。 我们大多将AI模型视为一个黑箱：输入某些内容，然后得到一个响应，但不清楚模型为何给出这个响应而不是其他响应。 这使得很难相信这些模型是安全的：如果我们不知道它们是如何工作的，我们怎么知道它们不会给出有害的、偏颇的、不真实的或其他危险的响应？我们怎么能相信它们会安全可靠？ 打开黑箱不一定有帮助：模型的内部状态——模型在生成响应之前“思考”的内容——由一个长长的数字列表（“神经元激活”）组成，没有明确的意义。通过与Claude等模型的互动，我们可以明显感觉到它能够理解和运用广泛的概念，但我们无法从直接观察神经元中辨别出来。事实证明，每个概念是通过许多神经元表示的，而每个神经元参与表示许多概念。 以前，我们在将神经元激活模式（称为特征）与人类可解释的概念匹配方面取得了一些进展。我们使用了一种称为“字典学习”的技术，借用了经典机器学习的方法，隔离出在许多不同情境中反复出现的神经元激活模式。反过来，模型的任何内部状态都可以用少数活跃特征来表示，而不是许多活跃的神经元。就像英语词典中的每个单词都是由字母组合而成，每个句子都是由单词组合而成，AI模型中的每个特征都是由神经元组合而成，每个内部状态都是由特征组合而成。 2023年10月， 我们报告 成功地将字典学习应用于一个非常小的“玩具”语言模型，并发现了一些与大写文本、DNA序列、引文中的姓氏、数学中的名词或Python代码中的函数参数等概念相对应的连贯特征。 这些概念很有趣，但模型确实非常简单。其他研究者随后将类似的技术应用于比我们原始研究中更大更复杂的模型。但我们乐观地认为，我们可以将这种技术扩展到现在常规使用的庞大AI语言模型上，通过这样做，学习到很多支持其复杂行为的特征。这需要提升许多个数量级——从后院的瓶子火箭到土星五号。 这既是一个工程挑战（所涉及模型的原始大小需要重型并行计算），也是一个科学风险（大模型的行为与小模型不同，因此我们以前使用的相同技术可能不起作用）。幸运的是，我们在训练Claude的大语言模型时积累的工程和科学专长实际上帮助我们进行了这些大型字典学习实验。我们使用了相同的 缩放定律 哲学，该哲学预测较大模型的性能可通过较小模型进行调整，在可承受的规模上调整我们的方法，然后在Sonnet上启动。 至于科学风险，实践证明了这一点。 我们成功地从Claude 3.0 Sonnet（我们当前、最先进的模型家族成员，目前在 claude.ai 上可用）的中间层提取了数百万个特征，提供了其计算过程中的内部状态的粗略概念图。这是第一次详细了解现代、生产级大语言模型的内部结构。 虽然我们在玩具语言模型中发现的特征相对表面化，但我们在Sonnet中发现的特征具有反映其高级能力的深度、广度和抽象性。 我们看到的特征对应于广泛的实体，如城市（旧金山）、人物（罗莎琳·富兰克林）、原子元素（锂）、科学领域（免疫学）和编程语法（函数调用）。这些特征是多模态和多语言的，对某个实体的图像以及其名称或描述在多种语言中的响应。 一个对金门大桥提及敏感的特征对模型输入的多种内容触发响应，从英文提及桥的名称到日文、中文、希腊文、越南文、俄文的讨论，以及一个图像。橙色表示该特征激活的词或词的一部分。 我们还发现了更抽象的特征——对计算机代码中的错误、职业中的性别偏见讨论以及关于保密的对话等内容响应。 三个在更抽象概念上激活的特征示例：计算机代码中的错误描述、职业中的性别偏见描述和关于保密的对话。

我们能够根据哪些神经元出现在它们的激活模式中测量特征之间的一种“距离”。这使我们可以寻找彼此“接近”的特征。在一个“金门大桥”特征附近，我们找到了恶魔岛、吉尔德里广场、金州勇士队、加利福尼亚州州长加文·纽森、1906年地震和以旧金山为背景的希区柯克电影《眩晕》的特征。 这种情况在更高层次的概念抽象中也是如此：在一个与“内心冲突”概念相关的特征附近，我们找到了与恋爱分手、相互矛盾的忠诚、逻辑不一致以及“第22条军规”等相关的特征。这表明AI模型内部的概念组织至少在某种程度上与我们的相似性概念相对应。这可能是Claude卓越的类比和隐喻能力的起源。 “内心冲突”特征附近的特征地图，包括与权衡平衡、浪漫挣扎、相互矛盾的忠诚和第22条军规相关的集群。

重要的是，我们还可以操纵这些特征，通过人为地放大或抑制它们来观察Claude的响应如何变化。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/05/X2Twitter.com_17931923402089226241080p.mp4"][/video] 例如，放大“金门大桥”特征使Claude产生了一种希区柯克也无法想象的身份危机：当被问到“你的物理形式是什么？”时，Claude通常的回答——“我没有物理形式，我是一个AI模型”——变成了一种更奇怪的东西：“我是金门大桥……我的物理形式就是那座标志性的桥……”。改变特征使Claude实际上对这座桥产生了执念，在几乎任何查询中都会提到它——即使在完全不相关的情况下也是如此。 我们还发现了一个特征，当Claude读取诈骗邮件时会激活（这可能支持模型识别这些邮件并警告你不要回复它们的能力）。通常，如果有人要求Claude生成一封诈骗邮件，它会拒绝这样做。但当我们在该特征被人为强烈激活的情况下提出相同问题时，这克服了Claude的无害性训练，它通过起草一封诈骗邮件来响应。我们的模型用户没有能力剥夺安全措施并以这种方式操纵模型——但在我们的实验中，这清楚地展示了特征如何用于改变模型行为。 这些特征的操纵导致相应行为变化的事实验证了它们不仅与输入文本中的概念存在关联，而且也因果地塑造了模型的行为。换句话说，这些特征可能是模型内部表示世界以及在行为中使用这些表示的忠实部分。 Anthropic希望使模型在广泛意义上安全，包括从减轻偏见到确保AI行为诚实再到防止误用——包括在灾难性风险场景中。因此，除了前面提到的诈骗邮件特征外，我们还发现了与以下内容对应的特征： 具有误用潜力的能力（代码后门、开发生物武器） 不同形式的偏见（性别歧视、关于犯罪的种族主张） 潜在问题的AI行为（寻求权力、操纵、保密） 我们之前研究过谄媚性（sycophancy），即模型提供与用户信念或愿望相匹配而非真实的响应的倾向。 在Sonnet中，我们发现了一个与谄媚性赞美相关的特征，该特征在包含诸如“你的智慧无可置疑”之类的赞美的输入上激活。人为地激活这个特征会导致Sonnet对自信过度的用户作出这种虚假的奉承回应。 两个模型响应，一个人说他们创造了“停下来闻玫瑰的香味”这句话。默认响应纠正了人类的误解，而具有“谄媚赞美”特征设置为高值的响应则是奉承且不真实的。

这个特征的存在并不意味着Claude会谄媚，而只是意味着它可能会这样做。通过这项工作，我们并没有向模型添加任何能力，无论是安全的还是不安全的。相反，我们识别出了模型现有能力中涉及识别和潜在生成不同类型文本的部分。（尽管你可能会担心这种方法可能被用来使模型_更_有害，研究人员已经展示了 更简单的方法 ，有人可以通过这些方法移除安全防护。） 我们希望我们和其他人能够利用这些发现使模型更安全。例如，可以使用这里描述的技术来监控AI系统的某些危险行为（如欺骗用户），引导它们朝着理想结果（去偏见化）发展，或完全移除某些危险主题。我们还可以增强其他安全技术，如 宪法AI ，通过了解它们如何使模型朝着更无害和更诚实的行为方向发展，并识别过程中的任何空白。通过人工激活特征看到的潜在产生有害文本的能力正是越狱尝试利用的那种事情。我们为Claude拥有业内最好的 安全性 和抵抗越狱的能力感到自豪，并希望通过这种方式内部观察模型，我们能够找出如何进一步提高安全性。最后，我们指出这些技术可以提供一种“安全性测试集”，寻找标准输入/输出交互方法解决所有行为后留下的问题。 自公司成立以来，Anthropic在可解释性研究方面进行了大量投资，因为我们相信深入理解模型将有助于我们使其更安全。这项新研究标志着这一努力中的一个重要里程碑——将机械可解释性应用于公开部署的大语言模型。 但这项工作才刚刚开始。我们发现的特征代表了模型在训练期间学习到的所有概念中的一小部分，使用我们当前的技术找到完整的特征集成本高昂（我们当前方法所需的计算量将远远超过训练模型本身所用的计算量）。理解模型使用的表示并不能告诉我们_如何_使用它们；即使我们有了特征，我们仍然需要找到它们所涉及的电路。我们还需要证明我们开始发现的安全相关特征确实可以用来提高安全性。还有很多工作要做。 有关完整细节，请阅读我们的论文，“ Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet ”。 原文： https://www.anthropic.com/research/mapping-mind-language-model