Chat with RTX 全面更新,AI Workbench 现已就绪,NIM (NVIDIA Inference Microservices) 发布

编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 RTX PC 用户展示全新硬件、软件、工具和加速特性。

NVIDIA 的 RTX AI 平台包括工具和软件开发工具包,可帮助 Windows 开发人员创建领先的生成式AI功能,并令AI PC和工作站上能提供最佳性能支持。

在 GTC 大会 (NVIDIA 年度技术会议) 上,一支由业内杰出人士、开发者和研究人员组成的“梦之队”齐聚一堂,以期互相取经,携手推动 AI 和加速计算领域的发展。

《解码 AI》的 GTC 大会特别版重点介绍了现已推出的数款出色 AI 工具,更向 1 亿 RTX PC 和工作站用户及开发者展示了值得期待的前景。

作为一个技术演示程序和供开发者参考的项目,Chat with RTX 可令用户能轻松快速地将功能强大的LLM链接到自己的数据。在GTC的展厅中,您可以看到该软件集成了更多模型,提供了更多功能

RTX PC 生成式 AI 大赛的获奖者已公布。我们在NVIDIA Generative AI Theater 中有一场《解码AI》专题座谈会,其中介绍的 OutlookLLM,Rocket League BotChat 和 CLARA 备受关注,他们均由 NVIDIA Tensor-RT 提供加速《解码 AI》的另外两场讲座则分别涉及如何利用生成式 AI 进行内容创作,以及对 Chat with RTX 的深入探讨。

目前已有超过 500 款应用支持 RTX 技术,随着越来越多的框架和接口支持 Tensor-RT-LLM 加速,RTX PC 和工作站的生态将进一步扩大——Jan.ai,Langchain,LlamaIndex 以及 Oobabooga 都将支持 Tensor-RT 加速。

NVIDIA NIM 推理微服务即将登陆 RTX PC 和工作站,他们提供预构建的容器,配备行业标准的 API,使开发人员能够在 RTX PC和工作站上加速部署。NVIDIA AI Workbench 是一款易于使用的开发者工具包,可用于管理 AI 模型定制和优化工作流。该工具包现已向 RTX 开发者全面推出。

这些生态系统集成和工具可加速全新 Windows 应用和功能的开发。今天的这些大赛获奖者,让我们对未来有了更多期待,这真是振奋人心!

既能“听音”,又能“识图”,ChatRTX 体验将更加丰富

Chat with RTX 或简称 ChatRTX,通过检索增强生成和 NVIDIA TensorRT-LLM 加速技术,可为 RTX 助力的 Windows  PC 带来运行于本地的生成式 AI 功能。用户可以快速轻松地将本地文件作为数据集连接到开放式大语言模型 (例如 Mistral 或 Llama 2),以便快速查询与上下文相关的答案。

除了目前对文本的支持外,ChatRTX 很快还会添加对语音、图像和新模型的支持。

Whisper 是一种 AI 自动语音语言识别系统,用户将能够通过它与 ChatRTX 进行交谈。在该功能推出后,ChatRTX 将能够“理解”口述语言并以文本提供回应。

在后续更新中,ChatRTX 还将添加对图片的支持。通过集成 OpenAI CLIP (Contrastive Language-Image Pre-training),用户将能够使用单词、术语或短语对查找自己的图片。

除 Google 的 Gemma 以外,后续更新还将添加对 ChatGLM 的支持。

开发者可以访问 Github上的相关信息。

生成式 AI 大赛获奖作品

NVIDIA RTX 生成式 AI 大赛要求开发者构建一款 Windows 应用或插件。

作品评选采用了三项标准,包括在社交媒体上发布的简短演示视频、项目产生的影响及其易用性,以及项目对 NVIDIA 技术堆栈的有效使用率。大赛的三名获奖者均获得了 GTC 通行证(其中包括 NVIDIA 深度学习培训中心生成式 AI/LLM 课程的名额),以及用于支持后续开发工作的 GeForce RTX 4090 GPU。

OutlookLLM 可在 RTX PC 和工作站上以安全私密的方式为 Outlook 用户提供各类生成式 AI 功能,例如撰写电子邮件。OutlookLLM 使用的本地LLM经由TensorRT-LLM 加速。

Rocket League BotChat 是热门游戏“火箭联盟 (Rocket League)”的一个插件,该插件让机器人玩家能够根据游戏事件日志(例如进球或扑救)在游戏内发送与上下文相关的聊天消息。该插件只能用于与机器人玩家对抗的离线游戏模式,用户可通过设置菜单对其进行多种配置。

“我发现,如果与玩家对抗的机器人玩家能够以近乎实时的方式使用游戏内消息对游戏事件作出回应,玩家可以获得更多游戏乐趣。此外,我很高兴能以本次开发者大赛参赛者的身份与大家分享我将 AI 融入游戏的方法。希望我的项目可以造福所有使用 RTX 硬件的‘火箭联盟 (Rocket League)’玩家。”

— Rocket League BotChat 开发者 Brian Caffeynone

CLARA (“使用 RTX 加速的命令行助手”的简称) 旨在将简单的英语指令转换为可操作的命令,从而优化 PowerShell 的命令行界面。该扩展程序可在本地快速运行,且始终令用户处于其上下文环境中。启用 CLARA 后,用户输入英文指令并按 Tab 键即可调用 CLARA。CLARA 的安装非常简单,用户还可以选择使用脚本或手动对其进行设置。

来自 Generative AI Theater 的精彩内容

GTC 大会与会人员可于 3 月 20 日(星期三)参加在生成式 AI 剧场举办的三场《解码 AI》讲座。这些时长 15 分钟左右的讲座将涉及以下内容:引导观众了解 ChatRTX 以及开发者产品化自己的个性聊天机器人;三名大赛获奖者将分别展示在 RTX 系统上开发生成式 AI 应用;鉴赏NVIDIA 技术如何通过全新工具和方式方法来帮助艺术家。

在面向创作者的讲座上,NVIDIA 生成式 AI 媒体和娱乐高级开发者关系经理 Lee Fraser 将探讨生成式 AI 如此受欢迎的原因。他将展示全新工作流,并讲解创作者可如何快速探索各种创意。将会亮相的艺术家包括 Steve Talkowski、Sophia Crespo、Lim Wenhui、Erik Paynter、Vanessa Rosa 及 Refik Anadol。

Anadol还将在现场做演示,该演示既包含了可视化数据,更有基于这些数据创建的图像。

加速生态系统

NVIDIA 正在和国内深受用户喜爱的剪辑软件剪映专业版共同探索推进生成式 AI 在 PC 端的落地。目前,NVIDIA 已通过 TensorRT 推动剪映 AI 艺术字功能上线,并正在通过 RTX AI 平台加速生成式 AI 在剪映产品功能中的应用。

剪映产品经理表示:“长期以来剪映和NVIDIA一直都是非常紧密的合作伙伴,在 RTX GPU 的加速下剪映专业版可以实现更高的性能表现。我们期待 RTX AI PC 强大的性能表现以及加速优化对 AI 模型的处理能力能帮助剪映的用户更高效、智能地进行创作。”

Blackmagic Design 和 Topaz Labs 等杰出创意应用开发商也已将 RTX AI 加速集成到各自的软件中。TensorRT 可将 DaVinci Resolve 和 Topaz 应用中的转描、降噪、超分辨率和视频防抖等 AI 特效的速度提高至原来的两倍。

发烧友还可以通过 Oobabooga 和 Jan.AI 的聊天界面,在 RTX PC 上体验经由 TensorRT-LLM 加速的 LLM。

有 NIM,更迅捷

开发者可充分利用 NIM 微服务这些配备了行业标准 API 的预构建AI容器,提供了优化过的解决方案,有助于将部署时间从几周缩短到几分钟这些“容器”可与 来自 NVIDIA、Getty Images、Google、Meta、Microsoft、Shutterstock 等公司的超过二十款热门模型一起使用。

NVIDIA AI Workbench 现已就绪,可帮助开发者快速创建、测试和自定义预训练的生成式 AI 模型和 LLM,而这只需要PC级的性能和内存占用即可实现开发者可通过 NVIDIA AI Workbench 简化对 Hugging Face、GitHub 和 NVIDIA NGC 等热门存储库的访问,并且能够通过简化的用户界面轻松地再现和迁移项目,以及进行项目协作。

当有额外的性能需求时,项目还可轻松扩展(无论是到数据中心、公有云还是 NVIDIA DGX),然后再将其带回本地 RTX 系统,用于推理和轻量化定制 AI Workbench 免费下载,他同时提供了示例项目以帮助开发者快速入门上述及GTC 大会上公布和展示的许多其他工具,将助力开发者创新AI 解决方案。

从 Blackwell 平台的发布,到适用于地球气候研究的数字孪生,各种精彩内容使这届 GTC 大会令人难忘。RTX PC 和工作站的用户及开发者,亦可通过本次大会感受到生成式AI的未来可期!