BioMedLM ：一个可以在笔记本电脑上运行推理的生物医学语言模型

BioMedLM 是一个由斯坦福大学和DataBricks团队合作开发的基于GPT风格的自回归语言模型，具有2.7亿参数，专门在PubMed摘要和全文上训练。这个模型展现了在生物医学多项选择问答任务上与更大模型竞争的强大能力，例如在MedMCQA (dev) 上达到57.3%的得分，在MMLU医学遗传学考试上达到69.0%的得分。BioMedLM也可以被微调以产生关于医学主题的患者问题的有用回答。 主要功能特点： 生物医学问答系统：BioMedLM 通过在生物医学领域的专业知识上训练，可以有效地回答有关医学和生物学的复杂问题。例如，它在MedMCQA（一种医学多项选择问答任务）上取得了57.3%的成绩，在MMLU医学遗传学考试上的表现更是达到了69.0%。这些成绩展示了BioMedLM在理解和回答专业医学问题上的强大能力。

患者咨询回答： 除了专业层面的问答外，BioMedLM也被设计用于生成针对普通患者的医疗咨询回答。这意味着它可以在用户询问关于疾病、治疗方法或医疗建议时，提供有用且容易理解的答案。这项功能对于构建面向患者的健康咨询服务尤为重要。

文献检索与总结： 生物医学领域的研究人员和专业人士需要从大量的学术论文和报告中快速提取和理解关键信息。BioMedLM的训练数据包括PubMed的摘要和全文，使其能够有效地进行文献检索和总结，帮助研究人员节省时间，快速获得所需的信息。

数据隐私与内部部署： 考虑到医疗数据的敏感性和隐私要求，BioMedLM的小型化设计使其可以在单个A100 GPU上方便地进行微调， 并在笔记本电脑上运行推理，旨在保护隐私，减少对外部数据传输的需求。 BioMedLM的设计 允许在没有互联网连接的情况下运行，支持在内部网络或个人设备上部署。 这样，机构和个人可以在保证数据隐私的前提下，利用BioMedLM的能力进行数据分析和决策支持。

模型训练数据的完全记录 ：BioMedLM模型开发团队公开了了用于训练该模型的所有数据来源和数据集。其他研究者和开发者可以更好地理解模型的工作原理、性能表现以及它在特定任务上表现良好或不足的原因。这种透明度增加了模型的可信度，并为生物医学领域的研究人员提供了宝贵的资源，帮助他们评估模型的适用性和潜在的改进方向。 BioMedLM已在 Hugging Face Hub 上公开发布，允许任何人下载并微调模型。 模型架构 BioMedLM 的模型架构基于GPT-2风格的自回归（Autoregressive）2.7B模型，具体配置如下：

隐藏层大小（Hidden Size） ：2560 头部数量（Heads） ：20 层数（Layers） ：32 词汇量（Vocab Size） ：28896 序列长度（Sequence Length） ：1024 该模型采用了学习到的绝对位置嵌入（Learned Absolute Positional Embeddings），允许模型捕获输入序列中的位置信息，从而理解序列的结构。

Tokenizer 设计 BioMedLM 使用了定制的字节对编码（Byte-Pair Encoding, BPE）分词器，专为PubMed摘要设计。这种定制化的分词器可以有效地处理生物医学领域的专业术语，使得常见的生物医学术语可以被作为单一的token来表示，从而提高模型对生物医学文本的理解能力。

模型评估结果 专业领域的专注性 ：BioMedLM专门针对生物医学文本进行训练和优化，这使得它在处理生物医学相关任务时比通用语言模型（如GPT-4或GPT-Neo 2.7B）表现出更高的专业性和准确性。它通过专业的分词器和针对性的数据集训练，更有效地理解和处理生物医学术语和概念。

性能指标 ：BioMedLM在多项生物医学问答任务上展现出强大的性能。例如，在MedMCQA（医学多项选择问答任务）和MMLU医学遗传学考试上，BioMedLM的表现优于或可与大型模型竞争。相比之下，虽然大型模型如GPT-4和Med-PaLM 2在广泛的NLP任务上表现出色，但BioMedLM在特定的生物医学领域内表现可能更加优秀。

BioMedLM 在多项生物医学问答任务上进行了评估，取得了以下成绩：

MedMCQA (dev) ：模型在这个数据集上取得了57.4%的得分。 MMLU Medical Genetics ：在这项医学遗传学考试上，BioMedLM的得分为70.0%。 与GPT-Neo 2.7B的比较 ：BioMedLM在三项任务（BioASQ、PubMedQA、MedQA）上与GPT-Neo 2.7B（架构上与BioMedLM相似，参数数量几乎相同的通用英语模型）相比展示了准确性的提高。 微调与应用 问答任务微调（Fine-tuning for Question-Answering Tasks） ：BioMedLM通过对特定的问答任务进行微调，进一步提升了其在这些任务上的表现。通过为每个问题选项与问题上下文的结合生成得分，模型能够挑选出正确的答案。 PubMedQA 和 BioASQ 的优化格式 ：为了在这两个任务上达到更好的性能，模型采用了特殊的输入格式，通过在问题和上下文之间加入特殊的分隔符，有效地改善了模型的理解和回答能力。 论文： https://arxiv.org/abs/2403.18421 GitHub： https://github.com/stanford-crfm/BioMedLM 模型下载： https://huggingface.co/stanford-crfm/BioMedLM