Genie 一个更像人类工程师的 AI 模型在编程任务中超越所有的现有AI模型

Cosine发布了一款，专为软件工程设计的AI模型：Genie。Genie在SWE-Bench和SWE-Lite等基准测试中取得了前所未有的高分。 与其他依赖基础模型的AI不同，Genie通过专有数据集进行训练，这些数据涵盖了人类的推理过程，展现了完备的信息谱系、渐进的知识发现和软件工程师实际工作中的逐步决策。 这些数据集模拟了人类工程师的认知过程，Genie学会了像人类工程师一样进行逻辑推理，使其能够以高精度解决复杂且富有上下文的难题，表现得更像一名人类工程师，以解决复杂的编程问题。 Genie能够自主解决错误、构建功能、重构代码，并执行广泛的软件工程任务。它与GitHub问题跟踪器无缝集成，能够导入问题，全面理解任务，并生成详细的工作规范。Genie的训练侧重于编码人类推理，使其能够像人类一样处理问题，而不是随机生成代码。 Genie可以自主处理各种编程任务，包括修复漏洞、创建功能和重构代码。 该模型的工作方式类似于人类软件工程师，利用基于真实开发者活动和决策的数据集。 与其他随机生成代码的模型不同，Genie使用的是模拟人类推理的过程。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/08/X2Twitter.com_1823343233981906944720p.mp4"][/video] Genie在SWE-Bench的评估，取得了30.07%的成绩，这是评估AI模型软件工程技能的行业标准。相比之前的最佳成绩（由亚马逊的Q和Code Factory保持的19%），提升了57%（作为对比，OpenAI的GPT-4得分为1.31%）。这是迄今为止任何公司取得的最高分，也是该基准历史上最大的单次SOTA分数提升。 主要功能和特点 高效解决问题： Genie能够像人类工程师一样分解问题、查找相关代码、调试代码并实施解决方案，表现出卓越的逻辑思维能力。 Genie具备强大的代码重构能力，能够优化现有代码，提高代码的效率和可维护性 精确文件识别： Genie 能够精确定位任何任务所需的文件，这真是个游戏规则改变者。它以惊人的准确性扫描你的项目文件，识别出最相关的信息，以便为当前问题提供背景。通过快速缩小必要的文件和文档，Genie 简化了问题解决的初始阶段。这种精确的文件识别为开发有效且高效的解决方案奠定了坚实的基础。 与GitHub无缝集成 ： Genie与GitHub问题跟踪器紧密集成，能够自动导入GitHub中的问题，全面理解任务要求，并生成详细的工作规范。这减少了人工输入，提高了任务处理的效率。 自主学习与改进： Genie的训练数据集不仅仅是基于简单的模型提示，而是深度编码了人类推理能力。这使得Genie在解决问题时，更像人类那样进行思考，而不是随机生成代码。 Genie可以自主解决软件中的错误（bug），并且能够完全独立地进行问题修复，无需人工干预。 通过训练和自我生成的合成数据，Genie能不断改进其解决问题的能力。它能够从错误中学习，并在随后的版本中减少错误。 处理复杂任务： Genie能够处理未曾见过的复杂任务，并以与人类工程师类似的方式进行迭代和测试，确保输出结果的准确性和实用性。 多语言支持： Genie支持多种编程语言，包括JavaScript、Python、TypeScript等，使其能够适应不同的开发环境和需求。 扩展性和定制性： Cosine公司计划通过微调Genie，使其能够专门适应特定的代码库，甚至处理较老的或不常用的编程语言。这种能力使Genie能够深入理解大型遗留代码库，并为其提供有效的支持。 架构设计 上下文窗口模型： Genie最初是基于短上下文窗口模型（16-32k范围）进行的训练。虽然这些模型在早期探索中显示出了一定的潜力，但它们受到信息表示量的限制，无法完全展现Genie的能力。 为了克服这一限制，Cosine团队最终转向了使用更大上下文窗口的模型进行训练，这使Genie能够处理更复杂和更大规模的数据，从而提升了模型的整体表现。 数据压缩与分块技术： 在早期的架构设计中，团队尝试了多种数据压缩和分块的方法，以便在短上下文窗口中表示更多的信息。然而，这些方法最终被更大上下文模型的使用所取代，这为Genie的性能提升奠定了基础。 模块化设计： Genie的推理过程分为四个主要部分：规划、信息检索、代码编写和代码运行。虽然这些步骤在其他工具中也存在，但Genie与众不同的是它能够像人类一样完成每一个步骤，从而实现更高的性能。 训练方法 专有数据集训练： Cosine创建了一个基于真实开发者活动的数据集。这些数据不仅包括开发者的工作成果（如提交、PR、问题等），还通过静态分析、人工智能模型及自我验证等多种技术，重建了开发者在解决问题过程中的隐含推理和决策路径。 Genie的训练数据集是专门设计的，以模拟人类工程师的认知过程、逻辑和工作流程。这些数据集包括完美的信息传递、增量知识发现以及逐步决策过程，确保Genie能够处理复杂的编程任务。通过分析和标记这些推理过程，Cosine得以让Genie模型更好地模拟人类工程师的思考方式，而不仅仅是生成代码。 自我改进机制： 在Genie的初始版本中，它主要接触到的是“完美”状态下的数据，即大多数时候代码已经处于可发布状态。因此，Genie最初在应对错误时表现不佳。为了解决这个问题，团队通过Genie生成合成数据，将其注入下一版本的训练集中。 Genie的每个版本都会在之前版本的基础上进行自我改进。通过对模型输出进行反馈和修正，Cosine使Genie能够学习并避免过去的错误，不断提升其性能和可靠性。 这种方法让Genie在面对错误时，能够逐步学会如何从错误状态恢复到正确状态。随着这个过程的重复，Genie的初始候选解决方案越来越强大，错误减少，最终提高了整体性能。 大规模数据训练： 在最新的训练过程中，Genie被训练在数十亿个数据标记（tokens）上，数据集的混合选择旨在使模型能够处理当前用户最关注的编程语言。这种大规模的数据训练使Genie能够在广泛的编程语言和任务类型上表现出色。 Cosine认为数据质量是训练成功的关键。他们在训练中对语言、任务类型、任务长度等多个方面进行了大量实验，确保最终的数据集能够提供稳定且高质量的训练数据。 人工智能同事的理念： Genie被设计为一个“代理”模型，能够根据所见情况做出最合逻辑的反应。为了实现这一点，团队开发了能够表示这种逻辑的训练数据，使Genie能够像人类开发者一样，发现和利用代码中的隐含信息，而不是依赖于简单的提示。 性能表现 Genie在多个关键基准测试中展示了其卓越的性能，特别是在软件工程领域。 SWE-Bench测试： Genie在SWE-Bench测试中获得了30.08%的得分，这代表了当前行业内最高的成绩。与之前的最佳成绩相比，Genie的表现提升了57%。例如，亚马逊的Q和Code Factory的得分为19%，而OpenAI的GPT-4在同一测试中的得分仅为1.31%。这是迄今为止任何公司取得的最高分，也是该基准历史上最大的单次SOTA分数提升。 SWE-Lite测试： 在SWE-Lite测试中，Genie同样表现出色，获得了50.67%的得分，进一步证明了其在处理复杂编程任务方面的能力。 信息检索能力： Genie能够有效检索并找到解决问题所需的代码行。在测试中，它成功检索到了142,338行代码中的91,475行，得分为64.27%。虽然这一部分仍有改进空间，但Genie在问题分解和代码调试方面的表现依然突出。 与其他模型的对比： Genie的性能远超其他AI模型，尤其是在处理复杂问题和推理任务方面。与其他模型不同，Genie不仅仅是通过简单提示基础模型，而是通过专门训练，模仿人类工程师的逻辑思维和决策过程，从而取得了更优异的成绩。 技术报告 关键要点 Genie是全球最先进的软件工程模型，在SWE-Bench评估中取得了**30.08%**的最高分，并在SWE-Lite中达到了50.67%的成绩。 Genie基于专有数据进行训练，这些数据涵盖了人类的推理过程，展现了完备的信息谱系、渐进的知识发现和软件工程师实际工作中的逐步决策。因此，Genie学会了像人类工程师一样进行逻辑推理，这使得它的表现远超通过多个现成的大语言模型进行过采样的方式。 通过真正 训练 Genie，而不仅仅是简单地对基础模型进行提示（这是其他AI工具所做的），我们发现Genie能够像人类一样应对多样化、高度上下文相关且前所未见的问题。 介绍Genie Genie是全球最强大的软件工程模型，根据SWE-Bench的评估，它是Cosine在AI驱动开发领域的最新创新。它旨在模拟人类工程师的认知过程，使其能够以前所未有的准确性和效率解决复杂问题。 Genie是全球首个AI软件工程同事，基于完美模拟人类工程师的认知过程、逻辑和工作流程的数据进行训练。我们的专有技术生成的数据涵盖了完备的信息谱系、渐进的知识发现和逐步的决策过程。这使得Genie突破了其他仅是基础模型外加一些额外工具（如网页浏览器或代码解释器）的AI软件工具所面临的局限性。Genie能够解决前所未见的问题，并以人类工程师的逻辑方式迭代和测试其输出。 Genie是全球最强大的软件工程AI，根据SWE-Bench的评估，我们取得了30.07%的成绩，这是评估AI模型软件工程技能的行业标准。相比之前的最佳成绩（由亚马逊的Q和Code Factory保持的19%），这代表了57%的提升（作为对比，OpenAI的GPT-4得分为1.31%）。这是迄今为止任何公司取得的最高分，也是该基准历史上最大的单次SOTA分数提升。作为最新版本的一部分，我们观察到Genie增强的推理和规划能力能够很好地推广到软件工程领域之外，并且我们致力于严格和谨慎的红队测试。 评估 在开发过程中，我们使用了两个核心基准来评估模型的性能—— SWE-Bench 和 HumanEval 。前者是评估模型解决软件工程问题能力的最佳测试，涵盖了分解问题、寻找相关代码、评估代码并实现工作解决方案的各个学科。后者则更专注于编写代码，并且不涉及检索部分，并减少了对问题理解的强调。 我们还对模型的任务信息检索能力进行了基准测试，特别是它检索所需更改的代码文件正确部分的能力。这是AI工程师的核心组成部分之一——如果模型不能可靠地找到需要编辑的正确代码，那么它的代码编辑能力将被削弱。我们通过非常简单的方式来衡量这一点，即查看模型在完成任务所需找到的代码行数中，有多少实际被找到。Genie成功检索了91,475行中的142,338行，得分为64.27%。这里显然还有很大的改进空间，这是我们在假设找到的代码确实正确的前提下，较少关注问题分解能力的一个方面。 架构 当我们开始构建Genie时，我们只能微调相对较短上下文窗口的模型，范围在16-32k之间。我们在这些模型上进行了大量早期探索，训练它们的大型数据集超过1亿个token，并很快意识到我们提出的架构有其优势，但在模型任一时刻可以表示的信息量方面存在根本限制。经过多种压缩/分块方法的尝试后，我们得出结论，唯一的解决方法是使用更大的上下文模型，尽管当时没有可用于训练的。幸运的是，不久之后我们获得了训练长上下文OpenAI模型的能力，这为我们真正了解Genie的潜力提供了契机。在最近一次训练中，Genie使用了数十亿个token的数据进行训练，这些数据的组合旨在使模型在当前用户最关心的语言上尽可能胜任。我们即将扩展的最大领域之一就是这一数据组合，理想情况下，我们希望它能尽可能贴近互联网编程语言的真实分布，因为我们不希望这仅仅是一个主观的选择。 语言 数据组合百分比 JavaScript 21% Python 21% TypeScript 14% TSX 14% Java 3% C# 3% C++ 3% C 3% Rust 3% Scala 3% Kotlin 3% Swift 3% Golang 3% PHP 3% Ruby 3% 示例类型 数据组合百分比 特性开发 25% Bug修复 20% 重构 15% 小改动与杂务 15% 测试编写 15% 文档编写与更新 10% Genie从一开始就设计为“智能体”，尽管我们在2022年底首次提出这个想法时，这个术语在行业内尚未真正确立。根本上，我们希望Genie能够对所见内容做出反应，并以最逻辑的方式进行处理，我们需要一个能够表示这种情况的数据集。克服的最大挑战之一是确定在未知代码库中执行任务所需的前置信息——很少能在不了解项目工作原理的情况下仅对文件进行单独修改，因此，对于我们训练的每项任务，我们必须首先向模型展示寻找这些前置信息的过程，以便它不会凭空生成代码，并且会生成符合代码库组织和操作方式的解决方案。这只是为了使开发人员头脑中隐含的信息尽可能明确化所做工作的冰山一角，我们对此非常专注，并已经在评估当前Genie模型后，迈出了构建此管道下一个版本的步伐。 在Genie的推理特性方面，我们希望保持尽可能简单，智能体循环由四个主要过程组成：规划、检索、代码编写和代码运行。这些并不新颖，大多数此类工具都会使用这些或所有这些过程的组合，然而，由于Genie被训练为像人类一样执行每个任务，而不是像基础大语言模型那样，因此我们能够从模型中提取出更多的性能。 最显著的性能提升之一是我们在模型训练中使用了自我改进。我们训练的数据中大部分处于“完美”状态，因为绝大多数情况下，由人类发布的代码在发布前都处于工作状态。这意味着一开始Genie实际上从未真正见过错误的情况，反应自己犯的错误的能力也很差。幸运的是，在训练了Genie的第一个版本后，我们能够利用它生成合成数据，并将其注入下一版本模型的数据集中——因为我们拥有训练数据集的任务最终状态，我们可以使用先前版本的Genie提出解决方案，然后如果它是错误的，我们可以使用最终状态展示如何从错误状态到达正确状态。每次重复这个过程时，Genie的初始候选解决方案都更强大，在许多情况下是正确的，而在错误的情况下，数据集中需要向模型展示的修正量也大大减少。 未来展望 我们正在继续努力，通过Genie彻底变革技术团队。我们的主要重点是平衡交付解决用户问题的实际产品与推动我们进步的前沿研究。尽管Genie的表现已经非常出色，但我们知道还有未开发的潜力，我们致力于改进数据集以增强Genie的能力。通过拓宽数据并引入新功能，Genie将变得更加熟练，涵盖更多的编程语言和最新框架，直接满足开发人员的工作需求。 我们正在扩展模型组合，涵盖较小的模型以处理简单任务和较大的模型以应对复杂挑战，利用我们独特的数据集。这使得我们可以将任何最先进的基础模型转换为Genie模型。我们的计划包括对开源模型进行上下文扩展，并在我们的庞大数据集上进行基础模型的预训练，旨在改进泛化能力和专用数据的调和。最令人兴奋的发展之一是对特定代码库的Genie进行微调，这一企业功能使Genie即使在不太流行或专有语言编写的大型遗留代码库中，也能获得完美的理解。随着我们不断改进Genie，我们将不断向客户发布更新，优化与这个人工同事的互动并收集有价值的反馈。我们将人类推理过程编码到任何工作的旅程始于软件工程，我们迫不及待地想展示我们的进展。 如果您想访问Genie，可以立即申请。 立即开始 官方介绍： https://cosine.sh/blog/state-of-the-art

Menu

分类目录

Genie 一个更像人类工程师的 AI 模型在编程任务中超越所有的现有AI模型

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

对标NotebookLM Play AI推出了PlayDialog：可生成自然对话播客、旁白以及自然交互

Poe 推出Previews 的新功能可在聊天窗口直接生成Web应用程序并进行互动

科学家发现 AI 正在学习撒谎和欺骗似乎越来越擅长故意撒谎了

EVE：一个视频编辑模型无需训练可对视频进行精准编辑

Resona V2A ：利用AI解读理解视频自动为视频进行配音配乐

Claude 推出针对开发者自动生成提示词并测试提示效果的工具

微软发布Phi-3.5-vision 轻量级、多模态的开源模型端侧运行可进行复杂视觉推理

麻省理工学院开发出能提前5年预测出出乳腺癌发病的AI模型

从基础到实操 11 个人工智能顶级免费课程资源

微软将推出Copilot for OneDrive：能总结和提取各种文件中的信息

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Genie 一个更像人类工程师的 AI 模型 在编程任务中超越所有的现有AI模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Genie 一个更像人类工程师的 AI 模型在编程任务中超越所有的现有AI模型