OpenAI 开发人员体验主管VivaTech展示GPT-4o和Sora结合的能力

OpenAI 开发人员体验主管 Romain Huet 在VivaTech发表的演讲，他在台上发布他们的最新创新成果，提供实用技巧并现场演示变革性应用。 本次演讲将涵盖三个主题：AI的发展现状，最新发布的旗舰模型GPT-4o，以及OpenAI的未来方向，旨在通过展示实际应用中的现场演示，探索如何利用人工智能技术造福全人类。 Romain Huet 在 OpenAI 的角色 : 专注于改善开发者体验 旨在使AI集成对开发者、构建者和创始人更加无缝 工作重点包括优化开发流程和工具 演讲主要内容概览 GPT-4o GPT-4o 是OpenAI的新旗舰模型 特点包括多模态功能（音频、文本、视觉）和高级推理能力 该模型设计为更快的处理速度和更低的成本 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/X2Twitter.com_1793559639348670464720p.mp4"][/video] 现场演示 展示了 实时翻译和导航功能 展示了 编程辅助 和 响应式设计 的改进 强调模型在实时处理复杂任务和互动中的能力 模型定制和效率 强调 降低成本 和 加快处理速度 提供多种针对特定业务需求的微调选项 批量API 用于高效处理大批量请求 Sora 展示了一段由 Sora 生成的1889年巴黎世界博览会视频 演示了如何使用 GPT-4o 和 Voice Engine 定制语音创建脚本和旁白 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/X2Twitter.com_1793840014629158912720p.mp4"][/video] 未来方向 投资于 文本智能 ，使模型随时间变得更加智能和多能 计划发布不同规模的模型以满足多样化需求 专注于 辅助体验 和 AI代理 的实现 原版视频： https://vimeo.com/949419199 完整文字版： 用 OpenAI 打造未来 引言 今天能来到巴黎，我感到非常激动。看到这里的AI热潮，真的让我惊喜不已。我职业生涯是从这里开始的，法国技术生态在过去15年的演变非常惊艳。我在尝试看幻灯片是否会出现，但与此同时我可以继续进行。现在，我在OpenAI担任开发者体验职务，主要关注如何让开发者、构建者和创始人在我们的平台上成功构建，并以顺畅的方式将AI融入应用中。 加入OpenAI之前的经历 在加入OpenAI之前，我也是一名创始人，像许多在座的你们一样，我亲身体验过与前沿模型打交道的感受。现在，我很高兴在Vivatech这里为你们带来这些魔力。能否请把我的演示者笔记放到屏幕上？谢谢。 演讲内容概述 今天，我想谈三件事： 人工智能的展望以及我们如何达到今天这个地步。 最新的旗舰模型GPT-4。 OpenAI的未来方向。 人工智能的展望 我们上周刚刚发布了下一代旗舰模型GPT-4，你们许多人可能已经听说了。最后，我想谈谈我们接下来的方向以及OpenAI面临的未来。实际上，如果你之前参加过讨论人工智能的座谈会，我想带来几个现场演示，让事情变得更有趣，看看你今天如何在你的应用中具体使用这项技术。 OpenAI的使命 首先，谈谈OpenAI及我们的使命。OpenAI的使命是真正地创造这种AGI（人工通用智能），以一种惠及全人类的方式。但我们首先是一家研究公司。当我们今天在平台上看到所发生的事情和采用情况时，我们现在拥有三百万开发者在OpenAI上进行构建，我们有幸从第一个、快速成长的初创公司开始，一直合作到财富500强的公司。在某些方面，我们对于如何达到这里感到非常惊讶，因为很多公司通常需要许多年的时间才能达到这里，但这也是一个很好的提醒。 关于一个像AI这样迅速发展的领域，很容易估计不足。事实上，ChatGPT就是一个很好的例子。当我们在2022年11月推出ChatGPT时，它本意是一个安静的发布，一个低调的研究预览，正如我们内部所说。这是团队在发布前夜收到的Slack消息。不用说，它除了安静什么都是，而我们收到的注册请求就像雪崩一样，现在已经有超过一亿用户注册了ChatGPT。 ChatGPT的迅速发展 ChatGPT的每周活跃用户量达到一亿，而且还在持续增长，所以这确实是一次快速的采纳。但当人们想到OpenAI时，他们通常会首先想到ChatGPT，但更有趣的是要记得，这并不是OpenAI实际构建的第一个产品。第一个产品是开发者平台和API，而GPT-3让我们初尝了LLMs能建造什么的味道，这是我们在2020年首次对开发者和构建者公开的模型，以便他们在自己的应用中集成。提供一些背景以保持事物的视角，那就是AI Dungeon，当时OpenAI的一个流行用例。 这是一个角色扮演游戏，你可以在其中生成独特的故事，是的，这就是当时平台上正在发生的事情。2023年的GPT-4开启了一个全新的时代，这完全改变了人们可以解决的用例集合。它可以访问工具，它具有更好的推理能力，当然，如此多的创始人、构建者已经开始采用这种方式，以便他们可以在这里使用他们的产品。抱歉，我的笔记这边的事情完全跳跃了。 GPT-4的实际应用 我猜听起来你们这里的人还是能看到的。GPT-4，我最喜欢的一个例子是你们这边右边有的，由Spotify构建，这是一个简单的方式用于为你的早晨创建独特的播放列表。但是，让我们记住，当我们谈论所有这些时，我们仍然处于这种转变的早期阶段，这代表着我们构建、实施以及我们消费软件方式的一次根本性转变。 所以，我们在OpenAI的目标是成为提供平台解决方案的佼佼者，以便您反过来可以在这次转型中进行建设。在右侧，您可以看到我们上周刚刚推出的GPT-4，这是我们的新旗舰模型，现在它具有跨音频、文本以及实时视觉的推理能力。我预计我们将会看到一系列新的辅助体验，我确信有了GPT-4，凭借其原生的音频和图像能力，您现在可以有真正类似人类与计算机的互动，这是我们以前从未见过的。 初创企业推动创新 对于其中的每一个浪潮，我们真心相信是初创企业推动了创新。赋能初创企业对我们至关重要，我们坚信初创企业总是会不断推动创新，发明适合产品的AI原生形态。你在屏幕上看到的关键类别，例如客户服务、知识帮助、代理人等，将是我们看到最多重塑的领域。实际上，你也可以在这里看到许多标志，欧洲正在发生大量的创新。 我们预计这里法国将会诞生几种产品，最终很可能成为各自类别的领导者。这确实是对于建设AI原生公司的建设者们来说，最令人兴奋的时刻之一。接下来，让我们深入了解我们上周推出的新模型GPT-4。正如我提到的，GPT-4是我们的新旗舰模型，它允许你构建最自然的人机交互界面。今天我想强调三个关键的进步。第一个是，它真的像是以超快的延迟实现多模态。我认为这是我们以前从未能够实现的真正独特之处。 GPT-4的多模态能力 对于那些之前在ChatGPT中使用过语音模式的人，或者可能是在座的一些开发者，他们过去构建过语音体验，你们可能记得你们不得不将多个模型拼接在一起进行转录、推理，最后进行文本到语音的转换。这当然反过来增加了一些延迟和一点点的上下文丢失。但现在有了GPT-4，一种我们所说的真正的全模态，它是同一个模型处理所有这些步骤。当你看这张图表时，GPT-4真的是我们最新的理解模型，在聊天和编码方面性能有所提高。这个排行榜是由LMSIS管理的，在这里，用户实际上是在盲测试中，并排比较模型，看他们更喜欢哪个，而且不知道它们背后的模型是什么。你可以看到放在最左边的GPT-4在推理能力上真的独树一帜。 提升效率和性能 我想强调的最后一件事是，我们还对GPT-4作为一个模型带来了巨大的效率提升。这意味着我们也能够把这些效率提升带给在我们平台上构建的所有人。所以，对于使用API的开发者而言，GPT-4的速度是GPT-4原有速度的两倍，它的价格是GPT-4 Turbo的一半，最后，它的速率限制也提高了五倍。我们正越来越接近于一个能让开发者在平台上相比之前的GPT-4 Turbo能大规模扩展的地方。但真正向你展示这一切的最好方式是进行一些现场演示。所以，我现在要切换到我的笔记本电脑。起初，我想实际上演示一下iPhone的一些功能，但我们遇到了一点问题，无法将iPhone连接到场馆。 实时演示 所以换个办法，我将尝试实际上从你在屏幕上看到的Mac应用程序中进行演示。我们会启用语音模式，那我们试试看吧。-嘿，ChatGPT，你好吗？-嘿，我很好，谢谢你的询问。 -你呢？-我很好，我现在在Viva Tech的舞台上，你能对来宾说几句欢迎的话吗？-当然可以，你好，Viva Tech的与会者们，能与这么多杰出的思想家和创新者建立联系真是太棒了。 -我很喜欢你的开场白，但你能否让它更生动一些，更激动一些，就像你在对大量的了不起的创始人讲话一样？-绝对同意，您好，Viva Tech的参会者们，我们准备好点燃创新的火花，推动科技的进步。 -好的，ChatGPT，谢谢你，我认为他们真的很喜欢那个。-听到这个真棒，如果还有什么我可以帮助的或者增添一些兴奋点，尽管让我知道。 所以这里体验的第一件事就是极低的延迟，能实时与ChatGPT对话太神奇了。第二件要注意的是我现在可以实时打断模型，我真的不需要等到整个音频结束，只要我想就可以随时重新参与到对话中。第三件你们也可能注意到的是，它现在也能理解语调并生成语调，所以当我试图让ChatGPT变得更参与、更兴奋时，这反过来改变了音频输出。当然，你有所有惊人的推理能力在幕后，这意味着我可以将其用于大量的用例，例如实时翻译。 让我们试试看。嘿，ChatGPT，我现在在Vivatech，但我希望你能作为翻译，所以你能将我说的英语翻译成法语，反之亦然吗？-[讲法语]-你认为奥运会上你最喜欢的运动会是什么？-[讲法语]-这可能是你在奥运会上最喜欢的运动。 所以看，你真的可以实时使用它。当然，我们仍在改进法语口音，但很有趣的是看到如何可以将这些体验用于教育或任何类型的用例，比如旅行和实时用例。 视觉能力展示 但我还想展示的第二件事，除了语音能力之外，还有视觉能力。所以我之前从未在Mac应用上做过这个，因为我本应在iPhone上向你展示这个，但我还是要试一试。那我们就开始吧。嘿，ChatGPT，我希望得到你的帮助以便在城市中导航，所以我打算画点东西，然后给你看，听起来好吗？-当然可以，继续画你需要的东西，我会尽力帮你在城市中导航。-好的，给我一会儿。-没关系，慢慢来。 -准备好了就告诉我。-好的，所以我现在要打开摄影机。-明白了，随时准备好。-那么你看到了什么？-看起来你画了埃菲尔铁塔和凯旋门两个标志性的巴黎地标，我如何能帮助你呢？-太棒了，谢谢你理解我的简略画作。 实时互动和导航 是的，所以我想要你的帮助导航到那里，我会在这里给你看一张地图。看起来我们现在在凡尔赛门这里。-明白了，你从凡尔赛门出发，要到达埃菲尔铁塔，你可以乘坐地铁12号线M12，从凡尔赛门到协和站，然后换乘8号线M8方向帕拉尔特，在军校站下车，从那里步行至埃菲尔铁塔就很近了。 -太棒了，谢谢你，我想我已经弄清楚了，非常感谢。-不客气，祝你玩得开心。 所以这里要注意的一个有趣的点是视觉能力能够实时运作，所以我实际上可以画点东西，展示一个视频而不仅仅是像以前那样拍照。就算是这个糟糕的画作，ChatGPT能够辨识出哪些是地标并使用地铁图进行实际导航。 代码助手功能 但我最喜欢的一个用例是———游览巴黎。听起来你又站在了舞台上，下一步是什么？-我在，我只是要———是的，它被静音了。我想在这里用Mac应用展示的最后一件事是我个人非常喜欢将它作为编程助手使用的一个例子。那我们试试看。我将在这里的右边拉起ChatGPT。 我将会打开一些代码，接下来我要做的是将ChatGPT取消静音。我打算给ChatGPT一些代码以便我们对这段代码有一点了解，然后我们将尝试实时修复一个错误。-嘿，ChatGPT，所以我很想得到你在一个编程问题上的帮助。-当然，我可以帮忙，你的招聘问题是什么？-所以我只是打算把一些代码复制给你。 -好的，准备好了就分享代码。-你能用一行话描述一下这段代码是什么样子的吗？-代码是一个名为discover的React组件，它渲染一个发现卡片组件的网格，每张卡的数据都来自于一个trips.json文件。-太棒了，是的，没错。现在我希望你看看我这里将要分享给你的屏幕，现在如果你看我的屏幕， 实时修复代码问题 我想改变的是它看起来在移动屏幕上并不真正响应。看，就像内容真的被挤压了，你能帮我让这个页面响应式吗？-当然，让我们让它更加响应式。你可以根据屏幕大小使用Tailwind CSS的响应式设计功能调整网格中的列数。这里有一个快速修改你的网格布局的方法。Div颜色，调用方案，网格调用一个，与零到四列相同，这构成了大部分——我明白了，所以我实际上在使用Tailwind。 你能告诉我属性应该是什么吗？-当然可以，对于Tailwind，你可以调整你的网格调用类以使网格响应。这里是你可以设置的方法。网格调用将根据当前屏幕大小控制你拥有的列数，所以你不需要太多来填满网格，这是大多数响应式设计的一个好经验法则。这为大多数屏幕尺寸设置了一列，对于小屏幕设置两列——我明白了。 所以我应该就这样做，比如设置小的，我应该放一个，对吗？然后随着我们的进展增加吗？-完全正确，你可以根据不同的屏幕尺寸调整列数。例如，grid调用一对于默认小屏幕上的一列，SM-grid调用破折号两列对于小屏幕及以上尺寸，MD grid调用破折号三列对于中屏幕及以上尺寸，等等。Tailwind的响应——我觉得我明白了。 你能看一下，看看它看起来好吗？-当然，我来看看。看起来你所做的更改应该让你的网格在不同屏幕尺寸上更具响应性。-太棒了，非常感谢你，我认为我们的应用程序现在响应得非常完美了。-不客气，我很高兴我能帮上忙。 强大的推理和效率提升 享受你的响应式应用吧——还有一件事我想在这里指出，不仅我们可以参与，实际上深入到问题中，就像一个编码问题，你可以复制代码，你实际上可以实时查看屏幕。但同样有趣的是要提及GPT-4o的速度，即使是对于文本，就像当我们有这个新的游乐场，在那里你可以将GPT-4o和GPT-4 Turbo并排比较，如果我点击运行来创作一首关于奥运会的歌曲。 你可以看到它创作内容的速度比GPT-4 Turbo快多了。所以这是一种非常高的推理能力，速度是GPT-4 Turbo的两倍多。好的，现在让我们回到幻灯片，我想让你们稍微了解一下我们对OpenAI下一步发展的思考。我想谈谈四个投资领域。我们拥有的第一个关键能力是文本智能。我们的核心信念是如果我们提升文本智能，那将在人工智能中解锁变革性价值。你可以在屏幕上看到这是我们今天提供的两个主要模型GPT-4o，我们刚展示的具有原生多模态的最佳模型，比GPT-3.5 Turbo价格便宜10倍，非常适合需要分类或非常简单的实体提取等简单任务。我们真的期待提升大型语言模型智能的潜力仍然巨大。 今天我们认为模型表现相当出色，它们有点像一年级或二年级的学生，它们回应得当，但他们偶尔还是会犯一些错误。但我们应该提醒自己酷的是这些模型是它们有史以来最笨的时候，它们可能一眨眼的功夫就成为硕士生，它们将在医学研究或科学推理方面表现出色。我们认为，可能从现在起一两年内，这些模型将与今天截然不同。 推动模型的成本和速度 因此，今年我们还计划进一步推动这一界限，我们期待我们的下一个前沿模型也能提供一个在推理改进方面的飞跃。我们的第二个投资领域是确保模型始终更便宜、更快。我们知道并不是每一个用例都需要最高级别的智能，所以这就是为什么我们要确保投资。你可以在屏幕上看到GPT的定价以及它在短短一年内怎样降价了80%。顺便说一下，这对于一项新技术来说，价格如此迅速下降是非常独特的，但我们认为这对于你们所有人来说至关重要，以便在尝试实现和创新你们的AI原生产品时建立并达到规模。第二点要提的是我们也希望确保发布不同大小的模型以满足你们在想要扩展时的所有需求。 我们知道例如一些代理式工作流程，它们总是将推理需求放在最前面，但它们可能也需要一些更小的模型来处理一些更注重延迟的子流程，例如。所以我们今天没有任何时间表可以分享，但只是想说这是我们非常兴奋要投资的事情。 异步工作负载和批处理API 最后，我们还希望帮助您运行异步工作负载。就在几周前，我们引入了批处理API。批处理API是一种非常方便的方式，可以批量将您的所有请求发送给OpenAI，这意味着对于那些不需要立即响应的任务，您将能够享受另外50%的折扣。因此，这非常完美，如果您想要发送大量的图片和图像进行视觉分析，或者大量的文档，例如，大规模地任务使用这个批处理API真的很方便。 模型定制化 第三，我们非常注重模型定制化的投资，而且在未来，我们认为每个组织都会有不同的方法，但他们会希望有一个真正深入了解他们业务的模型。因此，我们可以提供一系列的微调服务，而第一个就是任何人今天都可以开始使用的精调API。这是完全自助服务，这是一种将数据带到模型上来细调一些参数并使其适应您特定用例的方式。 第二个是协助式细调。我们的团队可以与您的团队合作，思考如何获得非常特定任务的更高性能。我们的专家团队将协助您完成这一点。最后但同样重要的是，还有能力完全利用OpenAI训练一个定制模型。这些模型使用专有数据在完全安全的环境中训练，仅供我们合作的公司使用。我想强调的一个例子——实际上是两个例子——为此强调。第一个来自SK Telecom，他们能够做到协助式细调技术，这导致了在韩国运营和电信业务上，模型性能全面提升。 初创公司Harvey的案例 我同样非常兴奋的第二个例子是美国的一家名为Harvey的初创公司，他们基本上是在为律师打造一款产品。他们所做的是开发了一个完全定制的模型，成为美国案例法的专家。他们实现了事实回应的83%增长，而且97%的用户立即偏爱他们为特定用例定制的模型。 代理人的能力增强 最后但同样重要的是，我们也将继续投资于使代理人能力得到增强。我们希望确保你实际上可以构建使用我们展示的所有模式的辅助体验和代理。我们真心相信，在未来，代理可能是发生在软件以及我们与计算机互动方式上最大的变革。这取决于任务，他们将能够利用文本，他们将能够利用一些上下文和工具的访问权限。 再次，我们提到的所有这些模式都将带来一种全新自然的与软件互动方式。其中一个我个人非常喜欢的例子是Cognition团队的DevIn，他们基本上构建了一名AI软件工程师。这非常吸引人，因为它能够处理复杂任务，不仅能够编写代码，还能够理解任务，创建任务单，在需要获取新信息时浏览互联网寻找文档，它能够部署解决方案以创建拉取请求等等。 所以，这是我真正喜欢的那种具有代理性的用例之一。实际上，保罗·格雷厄姆今年早些时候的这条推特引起了我的注意，因为他提到或意识到，如今22岁的程序员往往和28岁的程序员一样优秀。我认为当你思考20岁的年轻人已经开始采用AI和像DevIn这样的工具时，他们变得越来越高效并不令人惊讶，多亏了AI。 另一个代理经验的例子 另一个我认为这次更倾向于消费者体验的案例是Presto。Presto让顾客可以用声音下订单，所以使用了一个声音代理。当然，在欧洲这里没有太多的得来速，但我觉得这个例子引人注目的地方在于，它确实帮助了一个劳动力短缺的市场。因此，反过来，这不仅提供了很好的体验，也让员工实际上可以专注于食物和服务顾客。 未来的建设和思考 但话说回来，我想再深入展示几个实时示例，以说明你如何可以在今天实际构建辅助体验和代理。因此，我们为开发者设计的代理的第一种体现就是我们所说的助理API。助理API是一个完整的工具包，所有人都可以使用它来将辅助功能引入你们的产品中。所以在这个例子中，我正在构建一个叫做Wanderlust的旅游应用程序。 如你所见，右边有一张地图，但左边也有一个辅助体验，因此这完全由助理API提供支持。让我们快速看一下。如果我说巴黎奥运会的前五个场馆，首先，首先要注意的是我不需要管理这些——让我们稍微刷新一下应用。听起来我们可能失去了网络。巴黎奥运会的前五大场馆，首先要注意的是我不需要管理那个对话历史。 对话历史是由OpenAI的Assistance API自动管理的，因此我不需要管理我的提示等等。不确定这里发生了什么，我们快速看一下，可能是失去了Wi-Fi或连接。不，让我们再试一次。我们去罗马。啊，这就对了。听起来奥运会运气不佳，但看起来我们回来了。所以是的，我实际上不需要管理那些消息。 结合视觉和文本的功能 对话历史由OpenAI自动管理。这里要特别指出的第二件很酷的事是，正如你所看到的，当我开始与这些消息交互时，地图自动缩放了。这是我构建代理时最喜欢的功能之一，它称为函数调用。函数调用是所有人将关于你的应用中独特功能和特色的知识带给模型的能力。在这个例子中，是GPT-4o。 所以，如果我说罗马前五名必看的景点，让我们看看会发生什么。理论上，这里应该弹出的是文本与地图之间的互动。我们开始吧。现在，如你所见，当我们与模型对话时，它实际上能够准确指出地图，因为它知道这一功能的存在。所以这真的非常酷，并且这已经作为Assistant API工具包的一部分可用。 知识检索工具 现在，我想在这里提到的另一个工具是知识检索。我们知道你们很多人想要将事实数据带入到像GPT-4o这样的模型对话中，而通常，你需要构建一个检索栈来实现这一点。我们从许多开发人员那里了解到，这可能有多复杂。因此，我们在检索技术栈中做了大量的改进。所以，我将尝试看看我是否能实时演示这一点。 所以，我实际上买了这本书来准备去意大利的旅行，出自Lonely Planet。这是一本相当全面的书，它有250页，像是95兆字节。所以我希望上传能够顺利进行。这里有点冒险，但实时发生的是，一旦文件上传完毕，它将会被助手的API自动嵌入，这样我就不需要考虑做任何这些事情了。我将能够立即开始与对话互动，并说，基于这本书，拉齐奥区最好的拍照点在哪里？ 实时上传和检索 所以在我按下Enter之前，我会快速向你展示第126页。我相信我们去翻到第126页。所以第126页是在谈论拉齐奥。因此我想在这里问一个问题，拉齐奥最好的拍照地点是哪里？当我浏览这本书时，我们注意到这里提到了在第128页有一个拍照机会，它应该是皮蒂利亚诺。而且立刻在现实时间内，我们能够从这本书中找到这确切是一个拍照地点，而且再次，我不需要做任何工程工作。 我只需要在对话中上传文件，一切都为我准备好了。最后但同样重要的是另一个我想要强调的工具叫做代码解释器。代码解释器是这样一种能力，可以在后台编写Python代码来回答一些非常精确的问题，通常是关于数字、数学和财务数据的。所以比如在这次对话中，如果我要说我们四个人合租了一个Airbnb，总共是1200欧元，我的份额加上我的航班费用，比如说260欧元是多少？ 代码解释器的功能 现在，提出这个问题，这并不是LLMs默认情况下擅长的典型事情。但是幕后正在发生的是，我们实际上通过在沙盒中编写代码计算了所有这些，包括货币兑换等等。再一次，作为开发者，我无需做任何事情，但是，因为OpenAI在管理这一切，并不意味着它是个黑箱。事实上，如果我去这里并且刷新这些线程，我们应该可以看到这正是我们一直在输入的线程。你可以看到我们要去罗马。 就像所有的消息，我们看到了我突出显示以注释地图的函数调用，而在这里，这是幕后编写的Python代码用以实际回答问题，计算货币转换，按人数分配等等。所以，实际上是助手API，一个包含对话历史的完整工具包，可以访问检索和文件。现在，你可以在检索中上传多达10,000个文件，甚至包括代码解释器和函数调用，所有这些，都是你从第一天开始就可以构建的。 多模态展示 最后但同样重要的是，我想向你展示另一种超越仅仅对话的演示。因此，使用来自ChatGPT的Mac应用程序，我们看到了音频对话，这也将在未来几周内引入API。我们还看到了今天就能用于基于文本的对话的助手API，它同样支持视觉功能。但是我想用我们的多模态做一些不同的事情。 所以，我相信你们中的大多数人已经看过Sora的预览。Sora是我们的扩散模型，能够根据一个简单的提示生成视频。而在这一阶段，它仍然只是一个预览，但我想向你展示用这样一个提示，模型能创造出什么。这个提示谈到的是在世博会期间的巴黎，以一种殖民时期的复古电影形式。所以这是演示中唯一不是现场直播的部分，因为考虑到时间问题——我之前已经将这个提示发送给了Sora。这就是结果。我们直接从模型中产生的结果，没有任何编辑，我们唯一做的修改实际上就是在上面增加了一些声音。但真的很神奇，能体验到这些帧。但现在，如果我们想拿这个视频做一些非常有趣的事情怎么办？如果我们想创造一个脚本来叙述那些视觉效果上发生的事情怎么办？ 结合视频和文本的脚本生成 所以这里的第一步是我将从这个视频中切割出几帧画面。那么我们开始了，我们有六帧画面。我现在要做的是把这六帧画面发送给GPT-4o，实时地，我们将获得一个关于这些画面中正在发生什么的故事。让你们先睹为快，这是我将要运行的代码。所以我将会说，嘿，你是一位历史教授，你将被给予一系列的图片，我希望你能叙述这些图片。我就是简单地把我们在屏幕上展示的所有图片发送到GPT-4o并将响应实时传回。因此，这又是实时发生的事情。那么让我们看看GPT-4o会为那个故事提出什么。我们开始了。这是一个完全利用我们在GPT-4o中的视觉能力即兴生成的故事。现在，如果我想更进一步呢？如果我想分享这个视频，但这次是通过一些音频让它更生动，以便更广泛地分享呢？嗯，你可以使用我们在API中提供的文本到语音功能。API中有几种声音，但几周前我们还预览了我们的声音引擎模型。 语音引擎的预览 之所以在研究过程中预览这些模型，是为了真正与所有利益相关者进行互动，展示技术擅长的领域，并与信任的合作伙伴互动，沿途收集他们的反馈。所以在这里，我想快速展示一下语音引擎在这里的预览效果可能是什么样的。所以，我就要在这里录制一小段我的声音样本，看看在后面的叙述中呈现效果如何。那我们来看一看。 “嘿，我非常激动能在Vivatech的舞台上出现，我已经遇见了一些令人惊叹的创始人和开发者，我同样非常兴奋地向他们展示一些现场演示以及他们如何真正将OpenAI技术和模型应用到自己的产品和业务中。”好的，我认为这应该足够好了。 结合音频和视频的多模态体验 好的，最后一步，我将把这个音频样本连同我们创作的脚本一起输入到系统中，我们将把一切结合起来用我们的多模态体验来展示这一段历史课。 在1889年世界博览会期间的巴黎中心，埃菲尔铁塔作为一种象征骄傲地矗立着……所以现在它正在叙述我可以分享的视频。当然，我会说很多种语言，但现在，如果我想安全分享，不仅是用法语，还有其他语言，我可以点击通过，以便更广泛地分享那些内容。 所以在第二年，这里是米修·圣·卡特曼涅夫的法国世界博览会，埃费尔铁塔自豪地耸立，作为创新和生活愿景的象征。最后让我们尝试一下，比如日语，这需要一秒钟。这是我现在用日语向日本的观众分享。 最后但同样重要的是，我还可以为视频添加字幕。所以再次，这是非常像是一个预览，想给你一个小预览，对于这类模型和能力，我们非常重视安全问题。所以这就是为什么我们目前只将其提供给可信赖的合作伙伴。 激发对未来的想象 但我希望这能激发你让你对这些技术能实现的功能的想象，并帮助你在构建自己的应用程序和产品时开始思考未来。那么，让我们回到我们的演示文稿来结束这次的分享。 四个主要的投资领域 所以，总结一下，我们专注于四个主要的投资领域，正如我之前提到的。我们正试图提升文本智能，我们让我们的模型更快、更经济，以便你们所有人都能扩展使用。我们也在帮助你们根据自己的需求定制模型，最后，我们赋能你们构建多模态代理，正如你们所见的助理API。 所以如果有一件事我希望你们从这次演讲中带走，我想留给你们这个。我们OpenAI的目标不是让你们在OpenAI上花费更多，而实际上，我们的目标是让你们能够与OpenAI共同创造更多。这确实是我们希望你们记住的，我们真的希望你们带着这个想法。 鼓励创新和支持 我认为这就是为什么我们尝试推动文本智能，这也是为什么我们努力不断压低模型的成本，以便你们所有人能为自己的用户和客户构建惊人的东西。我们真正致力于支持初创企业和开发者，我们期待与尽可能多的你们建立合作伙伴关系。 我们经常从开发者那里收到的一个主要问题是，如何准备未来的模型？像，我应该期待什么？我们真的认为有两种策略可供考虑。一种是你可以赌模型会大致保持不变，你可以围绕GPT-4及其当前的功能展开工作。或者第二，你可以思考模型将来会有更强的能力，你可以对AI的未来下注。我们认为后者更有可能。所以，我们的建议实际上是为那个AI的未来构建。 面向未来的构建 我们知道这是最具创新性的开发者能够比那些行动迟缓的老牌公司执行得更好的方法。因此，非常感谢你们，我们迫不及待地想看看你们将打造什么。谢谢！【掌声】 结语 非常感谢你们的聆听，我们迫不及待地想看到你们将构建出什么样的创新产品。谢谢！【掌声】 结束和下一环节 哇，伙计，那太棒了，非常感谢你。谢谢，感谢ChatGPT，感谢OpenAI进行那次演示。我们将进行一个快速的舞台变换。现在，不要离开，因为我们将直接进入我们的下一环节，那就是利用人工智能个性化客户体验。对于那些刚看到这个的你们，你们一定会想留下来看这个。我们将会有我们的主持人，他是Capgemini生成型AI的首席技术官即将上台。几秒钟后就是Andy Vickers和他的小组，请在这里等待。谢谢！【掌声】

Menu

分类目录

OpenAI 开发人员体验主管VivaTech展示GPT-4o和Sora结合的能力

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

宇树科技发布 Unitree G1 人形机器人售价9.9万元

Prompt 学习地图 09 |概念科普，什么是“温度值“？

加州大学研发出新的 Transformer 架构显著减少大模型对GPU的依赖

Frame：具备视觉能力和实时联网问答的开源AR眼镜

OpenAI、斯坦福、微软等多所机构筛选出1565篇论文发布大模型提示技术报告

Screenpipe：24小时不间断记录你的屏幕和音频数据帮你自动干活

HeyGen 正在开放 API 你可以轻松创建数字人、进行视频翻译、部署交互式数字人

Logo Diffusion：利用AI在几秒钟内任何人都可轻松创建Logo标志

Jina-ai/Reader：将任何网页URL转换为大语言模型友好的输入格式

PictoGraphic：拥有超过40000张的免费AI生成插图库

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

OpenAI 开发人员体验主管VivaTech展示GPT-4o和Sora结合的能力

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?