<h3>英伟达发布全新Blackwell GPU计算平台</h3> 🚀 2080亿个晶体管 💨 每秒10TB数据传输速度 🌟 FP8训练性能：比前代提升2.5倍，优化大型AI模型训练。 🔥 FP4推理性能：比前代提升5倍，加速实时AI推理任务。 🔗 连接性：采用第五代NVLink技术，提高数据传输速度。支持最多576个GPU扩展。 ✈️Blackwell的推理能力超乎寻常，是Hopper的大约30倍。 训练一个1.8万亿参数的GPT模型，传统方法可能需要8000个GPU、15MW电力，历时90天。而同样90天，Blackwell只需2000个GPU，功耗4MW。 📉 GPU需求减少：在硬件资源需求上降低了75%，大大减少了训练大型模型所需的初始投资成本。 🔋 能耗显著降低：在能耗方面，Blackwell将所需的电力从15MW降低到4MW，减少了超过73%的电力消耗。这不仅降低了运营成本，也对环境产生了更小的影响。 [video width="1558" height="720" mp4="https://img.xiaohu.ai/2024/03/X2Twitter.com_1769991119956594688720p.mp4"][/video] <h3>Blackwell GPU预期影响</h3> 1、推动AI技术前进：Blackwell GPU平台的推出，预计将极大推动生成式AI技术的研究和应用，特别是在自然语言处理、图像生成和模拟等领域。 2、加速科学研究：Blackwell提供的计算能力将加速科学研究，在生物医学、气候模拟、物理学等多个领域推进创新。 3、促进工业和企业应用：从自动驾驶到智能制造，Blackwell的高性能计算能力将帮助企业探索新技术、开发创新产品。 4、AI民主化：随着高性能计算资源变得更加可访问，Blackwell将促进AI技术的广泛应用，为中小企业和研究机构开展AI研究和开发提供更大的机会。 <img class="wp-image-3838 aligncenter" src="https://img.xiaohu.ai/2024/03/NIM-Microservices-Image-1024x559.webp" alt="" width="778" height="425" /> <h3>Nvidia NIM</h3> 英伟达还推出了旨在简化人工智能模型部署的软件平台Nvidia NIM。NIM以Nvidia的硬件为基础，旨在通过提供一个AI就绪容器生态系统来加速公司的AI计划。它支持各种来源的模型，包括Nvidia、谷歌和Hugging Face，并与亚马逊SageMaker和微软Azure AI等平台集成。随着时间的推移，NIM 将扩展其功能，包括用于生成人工智能聊天机器人的工具。 <ul> <li>它简化了AI模型的部署过程，就像操作系统和软件让电脑硬件“活”起来一样。</li> <li>NIM支持来自<strong>NVIDIA、Google和Hugging Face等多种来源的模型</strong>，这就像你可以在电脑上安装来自不同开发者的软件一样。</li> <li>NIM与<strong>Amazon SageMaker和Microsoft Azure AI等平台</strong>的整合，意味着你可以在不同的云服务上使用这些“软件”，增加了灵活性。</li> </ul> NIM当前支持包括NVIDIA、A121、Adept、Cohere、Getty Images和Shutterstock在内的模型，以及来自Google、Hugging Face、Meta、Microsoft、Mistral AI和Stability AI的开放模型。NVIDIA正与亚马逊、谷歌和微软合作，分别在SageMaker、Kubernetes Engine和Azure AI上提供这些NIM微服务。它们也将集成到Deepset、LangChain和LlamaIndex等框架中。 NVIDIA将使用Triton推理服务器、TensorRT和TensorRT-LLM作为推理引擎。通过NIM提供的一些NVIDIA微服务包括Riva（用于定制语音和翻译模型）、cuOpt（用于路由优化）和Earth-2模型（用于天气和气候模拟）。 NVIDIA计划随着时间的推移增加更多功能，例如，将NVIDIA RAG LLM运算符作为NIM提供，这将大大简化构建能够引入自定义数据的生成式AI聊天机器人的过程。 详细内容：<a href="https://blogs.nvidia.com/blog/2024-gtc-keynote/" target="_blank" rel="noopener">https://blogs.nvidia.com/blog/2024-gtc-keynote/</a>
