麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性

麻省理工学院和MIT-IBM Watson AI实验室的研究人员开发了一种名为温度计“Thermometer”的新校准方法，旨在防止大语言模型（LLMs）对错误答案过于自信。该方法通过在大语言模型之上构建一个较小的辅助模型来进行校准。 这个方法比传统方法更高效，且保持模型的准确性，使其能够在之前未见过的任务中生成更好的校准响应。 背景 ：LLMs被广泛应用于各种任务，从翻译文章到识别金融欺诈。然而，尽管这些模型具有令人难以置信的能力和多功能性，它们有时会生成不准确的响应。 挑战 ：LLMs不仅会给出错误答案，而且有时会对这些错误答案过于自信，或者对正确答案信心不足。这种情况使得用户难以判断模型的响应是否可靠。 传统校准方法的局限性： 单任务校准 ：传统的机器学习模型通常设计用于执行单一任务，其校准方法也是针对单一任务的。 多任务应用 ：由于LLMs可以应用于各种不同的任务，使用传统方法对其进行单任务校准可能会影响模型在其他任务上的表现。 计算开销 ：校准LLMs通常需要对模型进行多次采样以获取不同的预测，然后聚合这些预测以获得更好的校准置信度。然而，由于LLMs拥有数十亿个参数，这种方法的计算成本非常高。 Thermometer方法： 温度缩放 ：研究人员利用了一种称为温度缩放的经典校准方法来调整模型的置信度，使其与预测准确性一致。在这个上下文中，“温度”是一个用于调整模型置信度的缩放参数。 辅助模型 ：Thermometer通过在LLM之上运行一个辅助模型，自动预测校准所需的温度参数。该辅助模型通过使用一些具有代表性的任务的数据集进行训练，但一旦训练完成，它可以在相似类别的新任务中泛化，无需额外的标记数据。 代表性数据集 ：例如，一个Thermometer模型可以通过多个选择题的数据集（如包含代数问题和医学问题的集）进行训练，然后用于校准回答几何或生物问题的LLM。 工作原理 THERMOMETER通过一个辅助模型来校准LLMs的输出。这个辅助模型学习如何调整LLMs的输出概率，使它们更准确地反映真实情况。这样，当模型说它对某个答案有80%的把握时，这个80%更有可能是准确的。 详细方法 温度缩放 当模型做出预测时，它会给出一个置信度，比如“我90%确定这个答案是正确的”。但是，模型的这个置信度可能并不总是准确的。 温度缩放（Temperature Scaling）引入了一个“温度”参数（比如1.2），这个参数可以调整模型的置信度，使其更接近真实情况。 例如，如果温度是1.2，那么90%的置信度可能会被调整为75%，使其更真实。 学习温度 THERMOMETER的方法是通过训练数据来学习这个“温度”。我们有很多不同任务的数据，通过这些数据，模型可以学习到每个任务需要的温度。 这个过程类似于一个智能温度计，可以根据不同的环境调整温度。 识别网络 识别网络是一个计算“温度”的小工具。它会根据输入数据，给出一个合适的温度值。这就像一个温度计，会根据你所在的地方告诉你当前的温度。 训练过程 我们把不同任务的数据分成两部分，一部分用来训练，另一部分用来验证。 在训练过程中，识别网络会不断调整自己的参数，直到找到最合适的温度。 测试过程 在测试时，我们把新任务的数据输入识别网络，它会告诉我们这个任务的温度。 然后，我们用这个温度来调整LLMs的输出，让它的置信度更准确。 具体步骤 建立识别网络 ：设计一个小工具，输入数据，输出温度值。 训练识别网络 ：用很多任务的数据来训练这个小工具，让它学会给出准确的温度。 校准模型输出 ：在新任务中，用识别网络给出的温度调整模型的输出置信度。 评价校准效果 ：用一些标准方法来评估校准后的效果，确保模型预测的置信度更准确。 THERMOMETER的方法通过这些步骤，让大语言模型的预测置信度更可靠，相当于给模型装上了一个智能温度计。这样，当模型说“我90%确定”时，这个90%就更有可能是真实的90%。 主要优势： 高效性 ：Thermometer方法不需要多次训练运行，只略微降低LLM的速度，并且保持模型预测的准确性。 精确校准 ：在多个任务上的测试结果显示，Thermometer生成了更好的校准不确定性度量，同时计算需求更少。 通用性 ：研究人员发现，如果他们为较小的LLM训练一个Thermometer模型，它可以直接应用于同一家族内较大的LLM进行校准。 信息来源： https://news.mit.edu/2024/thermometer-prevents-ai-model-overconfidence-about-wrong-answers-0731 论文： https://arxiv.org/pdf/2403.08819

Menu

分类目录

麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

微软将推出Copilot for OneDrive：能总结和提取各种文件中的信息

Coconut：连续思维链一种新的大语言模型推理方法直接在内部思考

Anthropic 推出的 Message Batches API 可以批量处理大量请求价格便宜50%

Zerox ：一个简单易用的GPT OCR 工具可将 PDF、DOCX 等文件转换为 Markdown 格式

美国14岁少年与Character.AI 聊天机器产生了强烈的情感依附开枪自杀身亡

ReadKidz：利用AI一键生成儿童绘本故事书和多媒体故事可随心定制设定

超200位知名音乐人签署公开信呼吁阻止AI对人类创造力的攻击

GOT-OCR2.0：端到端的 OCR 模型可以处理各种复杂的光学字符任务

FunClip ：阿里巴巴开源的一款视频自动化视频剪辑工具

如何使用 Midjourney 的 /describe 命令来创造独特的图像

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

麻省理工大学开发出一种对大模型校准的方法 校准模型输出答案准确性

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性