2024Microsoft Build大会超全纪录新的Phi-3多模态模型、Copilot Agents

在2024年的Microsoft Build大会上，微软展示了一系列在AI工具和技术方面的重大进展 发布会要点速览： 新的Phi-3多模态模型和GPT-4o Microsoft Fabric 实时智能即时决策 Team Copilot、Copilot Agents、Copilot 扩展和 Copilot 连接器 新的 Azure AI 基础设施 VM 系列 ND MI300X v5 Khan Academy 和微软合作扩展 AI 工具的使用 微软还宣布将 Windows Volumetric Apps 引入 Meta Quest 平台 奥特曼最后时刻现身Microsoft Build发布会 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/5月22日-3.mp4"][/video] 新的Phi-3多模态模型和 GPT-4o Microsoft Build 大会上，微软推出了新的 Phi-3 系列模型，包括 Phi-3-vision，以及 Phi-3 Small 7B 型号和 Phi-3 Medium 14B 型号。Phi-3-vision一种结合了语言和视觉功能的多模态模型。 Phi-3 系列以其在各种基准测试中优于同类和更大模型的小型语言模型 (SLM) 而闻名，现在提供 Phi-3-mini、Phi-3-small、Phi-3-medium 和 Phi-3-vision，这些模型现已在 Microsoft Azure 上可用。 这些模型针对包括移动和网络部署在内的各种设备和平台进行了优化，并支持 ITC 的农业 AI 助手、Khan Academy 的数学辅导和 Epic 的医疗保健解决方案等应用。Phi-3 模型强调负责任的 AI 标准和安全性，使其在生成式 AI 应用中既可靠又高效。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/PHi3.mp4"][/video] GPT-4o ：OpenAI的最新旗舰模型GPT-4o现已在Azure AI Studio和API中可用。这个多模态模型集成了文本、图像和音频处理，设立了生成性和对话性AI体验的新标准。 Phi-3-vision ：微软开发的Phi-3系列小型语言模型（SLM）中的新多模态模型Phi-3-vision现已在Azure中提供。该模型可以处理图像和文本输入，并生成文本响应，使用户能够提出关于图表的问题或对特定图像进行开放式问答。 Phi-3 系列模型型号 1. Phi-3-vision 参数量： 4.2B 特点： 多模态（语言+视觉）、图表和图示理解、OCR。 2. Phi-3-mini 参数量： 3.8B 上下文长度： 128K 和 4K 特点： 适用于需要较小计算资源和快速响应的任务。 3. Phi-3-small 参数量： 7B 上下文长度： 128K 和 8K 特点： 在语言、推理、编码和数学任务中表现优异。 4. Phi-3-medium 参数量： 14B 上下文长度： 128K 和 4K 特点： 优于更大模型，适用于复杂生成式 AI 应用。 Phi-3-vision 的详细功能特点 1. 多模态能力： 语言和视觉结合： Phi-3-vision 结合了自然语言处理和计算机视觉的能力，可以同时处理文本和图像数据。 图表和图示理解： 该模型优化了对图表和图示的理解，可以生成洞察并回答与这些视觉数据相关的问题。 光学字符识别 (OCR)： 能够从图像中提取文本，并对提取的文本进行推理和问答。 2. 参数和性能： 4.2B 参数： Phi-3-vision 拥有 4.2 亿参数，在多种视觉推理任务、OCR、表格和图表理解任务上表现优异。 高效推理： 尽管参数量相对较小，Phi-3-vision 的推理质量和性能超过了许多更大的模型。 3. 实用性和易用性： 即插即用： 经过指令调优，可以直接用于各种应用场景。 广泛的硬件支持： 优化了在多种硬件上的运行，包括移动设备和网页部署，支持通过 ONNX Runtime 和 DirectML 进行开发。 标准 API 接口： 提供标准 API 接口，可部署为 NVIDIA NIM 推理微服务，支持在 NVIDIA GPU 和 Intel 加速器上进行优化推理。 Microsoft Fabric 实时智能即时决策 Microsoft Fabric 推出了新的实时智能工作负载，结合了Synapse Real-Time Analytics和Data Activator的最佳功能，帮助组织在实时决策和操作中充分利用来自各个信号源的数据。实时智能整合了多种数据处理和分析工具，使用户可以从各种信号源中提取有价值的信息，并快速响应。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/5月22日-5.mp4"][/video] 功能特点： 实时智能提供了端到端解决方案，包括数据摄取、处理、分析、可视化、监控、警报和操作。它使业务用户、分析师、数据工程师和开发人员能够快速构建整合信号、提供高价值见解和警报的解决方案。 AI与自然语言处理： 通过集成Copilot和AI，用户可以使用自然语言对实时数据提出复杂问题，并自动获得高价值异常的警报。 应用领域： 制造业（提高质量和效率）、物流（优化人力和路线）、零售（推动销售和库存优化）、金融与保险（实时欺诈检测和风险管理）等。 技术基础： 构建在Azure Event Hubs、Azure Stream Analytics和Azure Data Explorer之上，提供无代码、自助服务体验。 具体案例： Dener Motorsport： 使用Microsoft Fabric实现从实时分析到存储和报告的解决方案，将故障检测时间从30分钟减少到几分钟。 Elcome： 利用实时数据中心管理多样数据源，触发基于事件的操作，优化服务。 Grasim Industries Limited： 将缺陷识别时间从数小时缩短到一分钟，提高质量和操作效率。 Petrobras： 增强网络安全能力，实现对环境的实时理解和威胁的快速适应。 Team Copilot、Copilot Agents、Copilot 扩展和 Copilot 连接器 1.Team Copilot [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/team.mp4"][/video] 功能特点： 团队成员： 扩展了 Copilot 的作用，不仅作为个人助理，还可以成为团队的有价值成员，参与和贡献团队工作。 会议主持： Copilot 可以管理会议议程并记录会议笔记，所有与会者可以共同编辑这些笔记，从而提高讨论效率。 团队协作： Copilot 帮助团队成员获取聊天中最重要的信息，跟踪待办事项，并解决未解决的问题。 项目管理： Copilot 确保每个项目顺利运行，通过创建和分配任务、跟踪截止日期，并在需要时通知团队成员。 可用性： 这些功能将在 2024 年晚些时候向拥有 Microsoft 365 Copilot 许可证的客户提供预览。 2.Copilot Agents：定制 Copilot 自动化业务流程 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/5月22日-4.mp4"][/video] 功能特点： 自动化业务流程： 新的功能使用户能够在 Microsoft Copilot Studio 中构建定制的 Copilot，作为独立工作的代理。 推理和决策： 这些代理可以基于行动和用户输入进行推理和决策。 上下文记忆： 利用上下文记忆功能，代理能够提供更具针对性的服务。 自我学习： 代理可以基于用户反馈进行学习和改进。 异常处理： 能够记录例外请求并寻求帮助，从而提高处理效率。 具体应用案例： IT 帮助台： Copilot 可以处理 IT 支持票据、创建采购订单、获取经理批准等任务。 员工入职： Copilot 可以迎接新员工，提供培训、协助填写表格，并安排初次会议。 销售和服务： Copilot 可以记住客户偏好，处理预订、投诉，并提出新的处理客户场景的方法。 底层能力： 异步任务编排： 使用生成式 AI 进行复杂多步骤任务的规划和推理。 记忆和上下文： Copilot 可以从先前的对话中学习，提供个性化互动。 监控和改进： Copilot 可以记录其活动历史，并根据反馈进行改进。 明确的边界和防护措施： Copilot 只在定义的指令和知识范围内操作，确保数据安全。 可用性： 这些功能目前在早期访问计划中提供，预计将在 2024 年晚些时候广泛提供。 3. Copilot 扩展和连接器 功能特点： 扩展功能： 新的扩展功能使任何人都可以定制 Copilot 动作，并将 Copilot 扩展到他们的数据和业务系统。 开发工具： 开发者可以使用 Copilot Studio 或 Teams Toolkit for Visual Studio 来构建这些扩展。 连接器： 引入了 Copilot 连接器，使开发者更容易和更快地创建 Copilot 扩展。Copilot 连接器使 Copilot 能够使用各种数据源，包括 SharePoint、OneDrive、Microsoft Dataverse 表等。 可用性： 这些功能将在 2024 年晚些时候推出预览版本。 新的 Azure AI 基础设施 VM 系列 ND MI300X v5 微软推出了新的 ND MI300X v5 虚拟机系列，这是基于 AMD 最新的 Instinct GPU MI300X 的云服务。这个系列是首个提供高带宽内存 (HBM) 的云服务，旨在为 AI 训练和推理提供更快、更高效的解决方案。 关键功能 行业领先的高带宽内存 (HBM) 每台虚拟机配备 1.5 TB 的 HBM，带宽达 5.3 TB/s。 高带宽、低功耗、紧凑尺寸，非常适合需要快速处理大量数据的 AI 应用。 强大的计算性能 配备 8 个 AMD MI300X GPU，优化整个硬件和软件堆栈。 使用 AMD ROCm 开源软件平台，支持 TensorFlow、PyTorch 等流行框架，以及微软的 ONNX Runtime、DeepSpeed 和 MSCCL。 高扩展性 使用标准的 Azure 虚拟机规模集 (VMSS) 进行扩展。 每个 GPU 都有专用的 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand 链接，总带宽达 3.2 Tb/s。 支持大型 AI 模型 这些虚拟机已被优化用于运行 GPT-4 Turbo 等自然语言模型。 提供卓越的成本性能，适用于 OpenAI 和开源模型。 应用案例 微软 Copilot 服务： 提供支持 GPT-4 Turbo 的 AI 基础设施，优化 Microsoft 365 Copilot 场景。 Hugging Face： 利用 ND MI300X 虚拟机，无需代码更改即可实现 2x 至 3x 的性能提升。 Cobalt 100虚拟机 ：微软宣布推出基于其定制设计的Cobalt处理器的新一代虚拟机Cobalt 100 Arm-based VMs。这些虚拟机采用Arm架构，优化了效率和性能，适用于通用和云原生工作负载，与同类Azure虚拟机相比，性能提升高达40%。 Khan Academy 和微软合作扩展 AI 工具的使用 Khan Academy 和微软宣布了一项新的合作伙伴关系，旨在通过提供 AI 工具来个性化教学并使学习更加有趣。此次合作包括以下几个关键方面： [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/05/Khan-Academy：-Satya-Nadella-at-Microsoft-Build-2024-qmf17E0fyUE_Translated.mp4"][/video] Khanmigo 教师助手： Khanmigo 是一个 AI 驱动的教学助手，帮助教师设计实验、生成课程计划，并提供各种创意教学方法。 通过 Azure AI 优化的基础设施，Khan Academy 将为美国所有 K-12 教师提供免费的 Khanmigo 试点计划。 Phi-3 小型语言模型： 双方合作探索如何使用微软的 Phi-3 小型语言模型改进和扩展 AI 辅导工具。 这些模型在成本效益和易用性方面优于大型语言模型，适用于需要高效和可扩展 AI 辅导的任务。 减轻教师负担： Khanmigo 提供的工具可以生成自定义课程计划、建议学生分组，并根据学生需求调整文本难度，帮助教师节省时间。 Khan Academy 估计这些工具每周可以为教师节省平均五个工作小时。 和Meta Quest 的合作 微软还宣布将 Windows Volumetric Apps 引入 Meta Quest 平台 目标是将 Windows 应用程序扩展到 3D 空间（又称空间计算） [video width="1278" height="720" mp4="https://img.xiaohu.ai/2024/05/5月22日-6.mp4"][/video] 报名通道： http:// aka.ms/VolumetricApps 奥特曼最后时刻现身Microsoft Build发布会 Microsoft Build 大会上，OpenAI 的 CEO Sam Altman 出人意料地现身，并与微软 CTO Kevin Scott 进行了对话。Altman 分享了过去一年中 AI 领域的快速发展，并谈到了未来的方向。他强调，OpenAI 的 API 已被广泛采用，帮助开发者在现有项目中整合新的 AI 应用。Altman 预测，未来的 AI 模型将变得更智能、更高效、更多功能，并且 OpenAI 正在关注速度、成本和多模态能力的改进。 主要观点 AI 的快速采用： Altman 表示，他从未见过一种技术能如此迅速且有意义地被采用。 人们正在利用 AI 实现许多过去认为不可能的事情，这主要得益于开放 API 的可用性。 OpenAI 的 API 已被广泛集成到各种项目中，解锁了许多新的 AI 应用。 API 的重要性： OpenAI 致力于提供便捷的 API，使得开发者可以轻松地在各种产品和服务中添加智能功能。 Altman 强调了 API 的层次化集成，期望它们能无缝融入每一个服务和产品中。 未来的发展方向： AI 模型将变得更智能、更高效、更有用。 OpenAI 关注速度、成本和多模态能力，例如 GPT-4 降低了代币价格和延迟，同时引入了语音模式。 对开发者的建议： Altman 鼓励开发者抓住当前 AI 发展的特殊时机，不要延迟他们的计划。 他将当前的 AI 发展比作移动电话和互联网兴起后的重大平台转变，建议开发者利用这一势头推进他们的项目。

Menu

分类目录

2024Microsoft Build大会超全纪录新的Phi-3多模态模型、Copilot Agents

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Octopus-v2：可以在移动设备上运行的2B LLMs ，性能优于 GPT-4

Xiaoju Survey：一个开源的多功能调查问卷系统内置40多种题型 100多个模板

Perplexity AI推出可以将你的答案一键生成博客、文章的工具：Perplexity Pages

Reor：一个基于AI的开源桌面笔记应用构建你的“第二大脑”。

麻省理工学院开发出能提前5年预测出出乳腺癌发病的AI模型

教程：教您如何轻松将任意视频一键合成到任意背景上附工作流下载

ChatGPT 即将更新的功能曝光新版界面、免费用户也可创建GPTs

DeepSeek发布开源模型DeepSeek-Coder-V2 在代码和数学能力上超越了GPT-4-Turbo

报告：2024年美国机器人技术发展路线图

DriveVLM：自动驾驶与视觉语言模型的融合增强智能汽车场景理解和规划能力

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

2024Microsoft Build大会超全纪录 新的Phi-3多模态模型、Copilot Agents

新的Phi-3多模态模型和GPT-4o

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

2024Microsoft Build大会超全纪录新的Phi-3多模态模型、Copilot Agents