NVIDIA为1亿RTX PC用户和开发者更新AI应用和工具

中国北京,2024 年 3 月 20日 — GTC — NVIDIA 宣布领先 AI 应用开发者正在用 NVIDIA 数字人技术为商业应用和动态游戏角色创建栩栩如生的化身。其他展示内容包括:Chat with RTX全面更新,AI Workbench现已就绪,NIM(NVIDIA Microservices)发布。行业专家、开发者和研究员组成的梦之队齐聚GTC2024,共同推动 AI 和加速计算的未来发展。

在此前的GDC 2024大会上,NVIDIA发布RTX技术全新集成:《黑神话:悟空》(Black Myth: Wukong)和《永劫无间》(NARAKA:BLADEPOINT)将支持全景光线追踪和 NVIDIA DLSS 3.5;现已有超过 500 款游戏和应用支持NVIDIA RTX技术;更新NVIDIA RTX SDK,以帮助开发者简化创建游戏世界的流程。

NVIDIA RTX AI平台包括工具和软件开发工具包,可帮助Windows开发人员创建领先的生成式AI功能,并令AI PC提供最佳性能支持。

什么是AI PC

●        2018年,随着 RTX 技术和首款专为 AI 打造的消费级 GPU (GeForce RTX) 的推出,NVIDIA 加速了向 AI 计算的转变。

●       AI PC定义:AI PC 是搭载专用AI加速硬件的计算机。在 RTX GPU 上,这些专用的 AI 加速器被称为 Tensor Core。在运行要求极为严苛的工作和娱乐应用时,Tensor Core 能够显著加速 AI 性能,并为 PC 用户引入了以前在云端才能运行的新功能。

●        如何衡量AI PC 的性能:衡量 AI 性能的一种方法是以 teraops 为单位。teraops 即“万亿次运算/秒”(TOPS)。与发动机的马力等级类似,TOPS 可作为单一指标让用户了解 PC 的 AI 性能。

●       在 PC上本地运行AI应用的好处:运行在 GeForce RTX PC 系统上,因此其速度很快,同时用户的数据保存在本地。用户可以在本地 PC 上处理敏感数据,因此无需与第三方共享数据或连接互联网。

为什么RTX是AI PC的核心

无与伦比的AI能力:这一代GeForce RTX GPU可提供的算力,涵盖了从200 AI TOPS到1300 AI TOPS,包括笔记本电脑和台式电脑的多样选择。与之相比,目前没有独立 GPU 的 AI PC 的算力仅为 10 至 45 TOPS。

用户群和生态:2018年,随着 RTX 技术和首款专为 AI 打造的消费级 GPU (GeForce RTX) 的推出,NVIDIA 加速了向 AI 计算的转变。从那时起,基于 RTX PC 的 AI 蓬勃发展,目前已成为拥有超过 1 亿用户和 500 款 AI 应用的生态。

先进的AI应用:无论是居家还是办公,在使用提升工作效率和娱乐体验的软件时,都能充分利用 RTX AI 的力量。得益于GeForce RTX GPU提供的AI特性 -- 游戏玩家可以在更高分辨率下,以更高帧率畅玩钟爱的游戏;创作者则可专注于创意本身,而无需在等待系统加载或重复乏味工作上浪费时间;开发者亦可以使用生成式 AI 进行原型设计和自动化调试,从而简化工作流。

●        世界级的数字人技术

-        NVIDIA ACE 微服务让AI角色栩栩如生。

NVIDIA ACE 微服务可帮助开发者利用由NVIDIA Audio2Face 提供支持的面部动画以及由NVIDIA™ Riva自动语音识别(ASR)和文本转语音(TTS)提供支持的语音交流,让虚拟数字人物栩栩如生。ACE微服务非常灵活,允许模型根据本地GPU的性能在云端和PC上运行,以确保用户获得最佳体验。采用ACE的中国开发者和平台包括 米哈游、网易游戏、完美世界游戏、掌趣科技和腾讯。

-          NVIDIA RTX — RTX全局光照 (RTXGI) 和 DLSS 3.5等渲染技术的集合,可在游戏和应用中实现实时路径追踪。

-        NVIDIA ACE为游戏带来栩栩如生的NPC

○        Covert Protocol 是Inworld AI公司与NVIDIA合作开发的一项全新技术Demo,它突破了游戏中角色互动的界限。Inworld AI 擎集成NVIDIA Riva 和NVIDIA Audio2Face,前者可实现精确的语音转换文字,后者可提供逼真的面部表情。

○        Inworld AI引擎采用多模态方法来展示非玩家角色(NPC),将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的 RTX 渲染角色,以实现身临其境的叙事效果。

Inworld AI Covert Protocol 技术Demo

-        育碧 NEO NPCs 利用 Inworld 和 NVIDIA ACE 技术探索数字人在游戏中可能性

○        NEO NPCs 由育碧巴黎工作室的多学科团队开发,是育碧创作者与生成式 AI 技术领先合作伙伴 NVIDIA 和 Inworld AI 密切合作的成果。Inworld 的角色引擎和 LLM 技术使育碧的叙事团队能为每个 NPC 建立完整的背景、知识库和对话风格,而NVIDIA ACE 技术套件中的 NVIDIA Audio2Face 则用于实现实时面部动画。

○        育碧通过三个独立技术 Demo 展示了 NEO NPC 的功能。每个场景都侧重于 NPC 行为、环境和上下文意识的不同方面;一系列实时反应和动画;以及连续对话、协作和战略决策。这些实验发现突破了游戏设计和沉浸感的界限。

○        育碧的叙事团队利用 Inworld AI 技术打造出两个 NEO NPCs:Bloom 和 Iron,他们拥有自己的背景故事、知识库和不同的对话风格,在技术 Demo 宇宙中建立独特的角色。

○        Inworld 技术还为 NEO NPC 提供有关周围环境的内在知识,并通过 Inworld 的 LLM 提供交互式响应。Audio2Face 为两个 NPC 的面部提供实时面部表情和口型同步。

育碧 NEO NPCs 技术Demo

●        DLSS 3.5 树立全新游戏标准,通过AI增强光线追踪功能

○        DLSS:自2019 年起,已有超过 500 款游戏和应用利用光线追踪、DLSS 和AI技术彻底改变人们的游戏和创作方式。

○         在 GDC 上,NVIDIA 宣布两款新游戏将支持DLSS 3.5光线重建(Ray Reconstruction)和全景光线追踪技术,实现画质和性能的大幅提升,为 GeForce 玩家带来极致体验。备受期待的《黑神话:悟空》(Black Myth: Wukong)将于8月20日发布。《永劫无间》(NARAKA: BLADEPOINT)即将在PVP和PVE模式下的三个地图中添加全景光线追踪,之后也将在更多地图中陆续支持全景光线追踪。

○        《黑神话:悟空》(Black Myth: Wukong)备受期待,在 GDC 发布后获得大量报道。#《黑神话:悟空》(Black Myth: Wukong) DLSS 3.5预告片# 在 哔哩哔哩上的搜索量排名第一。在GDC 发布后的90分钟内,所有平台的浏览量超过 30 万。

●        Chat with RTX,听得更多,看得更多,聊得更多

○        Chat with RTX (或简称ChatRTX), 使用检索增强生成、NVIDIA TensorRT-LLM 软件和 NVIDIA RTX 加速,将本地生成式AI功能引入到支持 RTX 的 Windows系统中。用户可快速、轻松地将本地文件作为数据集连接到开放式大语言模型(如 Mistral 或 Llama 2),快速查询与上下文相关的答案。

○        除文本外,Chat with RTX 还将很快增加对语音、图像和新模型的支持。除了谷歌的 Gemma,Chat with RTX也将在未来的更新中支持ChatGLM 。

●        中国领先剪辑软件剪映率先采用RTX AI平台加速产品功能

○        NVIDIA正在和国内深受用户喜爱的剪辑软件剪映专业版共同探索推进生成式AI在PC端的落地。目前,NVIDIA已通过TensorRT推动剪映AI艺术字功能上线,并正在通过RTX AI平台加速生成式AI在剪映产品功能中的应用。

○        剪映产品经理表示:“长期以来剪映和NVIDIA一直都是非常紧密的合作伙伴,在RTX GPU的加速下剪映专业版可以实现更高的性能表现。我们期待RTX AI PC强大的性能表现以及加速优化对AI模型的处理能力能帮助剪映的用户更高效、智能地进行创作。”

●        面向开发者的RTX AI 工具:推动创新的 AI 解决方案

○        NIM 微服务--预构建的AI "容器"采用行业标准 API,包括必要的软件组件,优化整体体验,有助于将部署时间从数周缩短到数分钟。

○        NVIDIA AI Workbench--现已全面上市,可帮助开发者利用 PC 级性能和显存占用空间快速创建、测试和定制预训练生成式 AI 模型和 LLM。

○        TensorRT 加速--帮助开发者充分利用 RTX GPU中的Tensor Core的加速库软件。TensorRT加速现可通过TensorRT-LLM for Windows用于基于文本的应用。开发者还可访问 OpenAI Chat API 的 TensorRT-LLM 封装程序。

以上介绍的RTX AI工具,在 GTC 和 GDC 上发布的诸多新闻以及展示的技术Demo,正在帮助开发者推动创新的 AI 解决方案,更让RTX PC用户感受到生成式 AI的未来可期。

###

关于NVIDIA自1993年成立以来,NVIDIA (NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI时代,正在推动跨市场的工业数字化。NVIDIA现在是一家全栈计算公司,其数据中心规模的解决方案正在重塑整个行业。