新工具可检测人工智能制作的虚假科学论文

Binghamton大学的研究人员开发了一款名为 xFakeSci 的机器学习算法，专门用于 检测由生成式AI（如ChatGPT）生成的伪科学内容 。 这一技术尤其有效识别由生成式AI（如 ChatGPT）编写的学术文章，其成功率几乎是常规数据挖掘技术的两倍。 生成式AI（例如ChatGPT）可以生成看似真实但实际上是虚假的科学文章，给学术界带来了严重的可信度问题。传统的检测工具很难准确识别这些AI生成的文章，尤其是当这些内容与真实文章混合时。 传统的数据挖掘算法（如支持向量机、回归模型等）在检测AI生成内容时表现不佳，F1得分仅在38%到52%之间。xFakeSci通过一种新的校准和距离近似算法，显著提升了检测的准确性，F1得分范围在80%到94%之间。 研究人员分析了以下两大特征： 双字组合（Bigrams） ： 定义 ：双字组合是指两个词语频繁一起出现的词组，比如“气候变化”（climate change）或“临床试验”（clinical trials）。 对比分析 ：xFakeSci 发现，在真实的科学文章中，双字组合的数量相对较多，且组合的多样性较高。而在虚假文章中，双字组合的数量明显较少，但这些有限的双字组合却与文章中的其他概念和词语紧密关联。 词语与概念的关联模式 ： 虚假文章的特点 ：虚假文章中的双字组合虽然较少，但往往与其他部分的内容有广泛的联系。这是由于AI生成内容的局限性，AI更倾向于通过重复使用一些显著词语来增强文章的“可信度”，而非真实科学研究的广泛性和严谨性。 真实文章的特点 ：人类科学研究者的写作目的是准确报告研究过程和结果，而不是刻意“说服”读者。因此，真实论文中词语和概念的关联模式更复杂且多样。 写作风格差异 ： 生成式AI在生成学术文章时，往往试图通过使用显著的关键词和关键概念来“说服”读者，形成一种看似“深度探讨”的印象。但真实的科学文章更关注细致描述研究过程和数据分析，具有广泛性和客观性。 AI生成的文章往往在某一主题上做出过度集中和简单化的解释，而真实文章则提供更丰富的背景信息和多角度的探讨。 技术原理 xFakeSci使用一种叫 TF-IDF 的算法，来找到文章中哪些词最重要。它会看一个词在文章中出现的频率（词频），然后再对比它在整个数据集中的出现频率。出现次数多但在其他文章中少见的词就特别重要。这帮助xFakeSci挑出文章中的“关键字”来进行判断。 两种训练模式 xFakeSci可以用两种不同的数据训练自己： 单模式训练 ：只使用一种来源的数据，比如全部都是真实的科学文献，或者全部是AI生成的文章。这种方式适合处理简单的情况。 多模式训练 ：同时使用真实文献和AI生成的文章进行训练，适合应对复杂的混合内容，能更精准地分辨两者。 校准步骤 为了让结果更准确，xFakeSci会在训练之后进行一个 校准过程 。它会把数据分成几个小组（叫 k-Fold交叉验证 ），反复验证模型在不同的数据子集上是否表现稳定。这个步骤能帮助它避免过于“偏向”某一类数据，提高准确率。 距离算法 xFakeSci还使用一种 距离算法 来帮助判断文章的真假。简单来说，它会算出某篇文章和AI生成内容或真实科学文章的“距离”，离哪个更近就判断它属于哪一类。这个方法确保即使一些文章的特点不是特别明显，它也能做出较为准确的判断。 实验结果 检测准确率（F1得分） xFakeSci的F1得分在80%到94%之间，这意味着它能够非常准确地区分AI生成的伪科学内容和真实的科学文献。具体来说： 抑郁症数据集 ：F1得分为80% 癌症数据集 ：F1得分为91% 阿尔茨海默症数据集 ：F1得分为89% 这些得分远高于传统的算法，如支持向量机（SVM）、逻辑回归、朴素贝叶斯等，后者的F1得分仅在38%到52%之间。 超越传统算法 xFakeSci在多个实验中均显著优于传统的算法： 传统算法往往在识别真实的科学文献时会误分类，特别是在面对混合数据集时。而xFakeSci能够更好地处理这些挑战，正确识别真实文献并将AI生成的伪科学内容正确分类。 它的校准步骤和距离近似算法是其成功的关键，能够有效避免过拟合问题，使得模型在不同数据集和时间范围内都有较好的表现。 在Nature 《科学报告》期刊发表的一篇新论文中 ，Hamed 与中国合肥工业大学的教授吴信东合作，针对三大热门医学主题——阿尔茨海默症、癌症和抑郁症——分别创建了 50 篇伪造文章，并与相同主题的同等数量的真实文章进行了比较。 Hamed 说道，当他要求 ChatGPT 生成 AI 生成的文章时，“我尝试使用与从 美国国立卫生研究院的 PubMed 数据库 提取文献时相同的关键词，这样我们就有了一个共同的比较基础。我的直觉是，假世界与真实世界之间一定存在某种模式，但我不知道这种模式是什么。” 经过一些实验后，他将 xFakeSci 编程为分析论文写作的两个主要特征。其一是双词组的数量，双词组是指两个经常一起出现的词语，例如“气候变化”、“临床试验”或“生物医学文献”。其二是这些双词组在文本中与其他词语和概念的关联方式。 “第一个显著的发现是，伪造论文中的双词组数量非常少，而真实论文中的双词组则要丰富得多，”Hamed 说道。“此外，尽管伪造论文中的双词组很少，但它们却与其他内容高度关联。” Hamed 和吴信东推测，写作风格的差异是因为人类研究人员的目标与被要求撰写特定主题的 AI 的目标不同。 “由于 ChatGPT 仍然在知识上存在局限性，它会尝试通过使用最重要的词语来说服你，”Hamed 说道。“科学家的工作不是为了说服你，而是诚实地报告实验过程中发生的事情以及所使用的方法。ChatGPT 强调的是单点的深度，而真实的科学则注重广度。” 为了进一步开发 xFakeSci，Hamed 计划扩大研究主题的范围，看看这种显著的词汇模式是否适用于其他研究领域，超越医学领域，扩展到工程学、其他科学主题和人文学科。他还预测，随着 AI 技术的不断进步，区分真假内容将变得越来越困难。 “如果我们不设计出全面的解决方案，我们总是会处于追赶的状态，”他说道。“我们还有很多工作要做，去寻找一种通用模式或普遍的算法，而不依赖于使用哪种版本的生成式 AI。” 尽管他们的算法可以检测到 94% 的 AI 生成的论文，他补充道，这意味着仍有 6 篇伪造论文逃脱了检测：“我们需要对自己的成就保持谦虚。我们通过提高意识做了一件非常重要的事情。” 论文： https://www.nature.com/articles/s41598-024-66784-6

Menu

分类目录

新工具可检测人工智能制作的虚假科学论文

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Suno发布音频输入功能用户可以使用任何声音随时随地创作歌曲

Magic Insert：将一个图像中的人或物体拖放到另一个风格图像中并实现风格融合

Prompt 学习地图 03 | 编写清晰的说明 – 分隔符的重要作用

Reflection Llama-3.1-70B 模型可以在推理过程中发现自己的错误并进行自我修正

Google 发布根据视频生成音频技术：V2A 也就是给视频自动配音、配乐

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Easy Scraper：只需点击一下即可抓取任何网站的内容

Google推出开源视觉语言模型：PaliGemma 支持图像视频等多种视觉语言任务

科学家发现 AI 正在学习撒谎和欺骗似乎越来越擅长故意撒谎了

苹果发布一种新的图像和视频生成方法：“套娃扩散模型” 可同时处理不同分辨率的图像

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

新工具可检测人工智能制作的虚假科学论文

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?