【NVIDIA RTX DEMO：游戏NPC变“真人”】

接下来的环节，看看NVIDIA的几项RTX AI加速技术演示Demo，其实大部分都是大家的老朋友了，这次难得在线下一次性都体验到。

重点看看ACE微服务数字人，主要应用就是游戏里的NPC。

它利用基于NVIDIA Audio2Face的面部动画、基于NVIDIA Riva自动语音识别(ASR)/文本转语音(TTS)的语音交流，让虚拟数字人物真正鲜活起来。

通过将认知、感知、行为系统集成在一起，结合多模态展示，不但渲染出来的角色令人惊叹，而且不再每次都是固定、死板的对话和动作，而是完全根据玩家的语音、文字交互，实时给出动态、匹配的反应，游戏节奏和进程可以每次都是截然不同的。

AI NPC可以通过混合式AI，使用预训练定制的大语言模型进行聆听、处理、生成对话，并做出回应，而且每个步骤都是实时的，以确保流畅对话。

第一步，Riva利用RTX PC的GPU加速的多语种语音和翻译微服务，处理玩家输入的语音，生成实时对话式AI工作流。

第二步，ASR处理语音内容，并利用AI实时提供非常准确的转录文本，支持涉及二十多种语言。

第三步，转录文本进入LLM(例如Gemma/Llama 2/Mistral），并借助Riva的神经网络机器翻译，生成以自然语言表述的文本回复。

第四步，使用Riva的文本转语音功能，生成音频回复。

第五步，A2F生成面部表情，并与对话同步。

期间，RTX AI PC会自动制作NPC面部、眼睛、嘴巴、舌头和头部动作的动画，并与情绪范围和强度水平匹配，A2F还可以根据音频片段自动推断情绪。

年初的CES上，我们第一次见识到了ACE NPC的表演，就是那段“吃面”，由NVIDIA与ConvAI合作打造。

3月份的GTC技术大会上，NVIDIA又带来了更震撼的演示DEMO Covert Protocol。

它基于UE5引擎开发，结合了ACE技术和Inworld AI引擎，玩家在其中扮演一名私家侦探，在一家酒店大厅内，与前台、服务生、专家共三名NPC进行互动，完成预定任务。

他们都会根据玩家的交互做出不同的反应，这就考验玩家如何变着花样套出自己所需要的信息，每次都不一样，可玩性非常高，以往那种看都不看就跳过NPC互动的情况再也不会出现了。

另一个重点是ChatRTX，使用检索增强生成(RAG)、NVIDIA TensorRT-LLM加速库、通过NVIDIA RTX加速，可以快速、轻松地将本地文件作为数据集，连接到开放式大语言模型(比如智谱AI ChatGLM3-6B)，快速查询与上下文相关的答案。

ChatGLM是基于GLM预训练框架的双语对话模型，采用了独创的多阶段增强预训练方法，包括6B、12B、32B、66B等多种参数规模，并支持NVIDIA TensorRT-LLM框架等多种加速工具，从而在合理的精度损失下提升推理速度。

除了文本之外，ChatRTX还很快将增加支持语音输入和图像功能。

图片已获授权

SD专业工作流：

通过人像生成控制模型InstantID，足不出户就能使用普通摄像头的自拍照，生成影棚级别的高质量肖像照，并且可以用RTX GPU进行加速。

SD一秒生成8张图：

作为市面上最快的Stable Diffusion计算生图工具，RTX 4090 D可以做到高达每秒8张图的生成速度，而且是开箱即用，无需任何复杂设置。

使用当前最快的加速方法TensorRT，再配合进一步的性能优化，RTX 4090 D GPU最高能实现每秒超过120张图的生成速度，生图创作也能像高帧率游戏一样丝滑。

建筑实时渲染：

即致AI基于扩散模型和蒸馏技术，通过RTX 40 系列GPU的加速，实现了秒级的AI实时绘画。

再结合即致AI自研的全网下载量超50万的国内建筑行业大模型，可以帮助建筑设计师快捷、便利地进行AI实时渲染，并保证极高的出图效果。

声音克隆：

基于开源的GPT-SoVITS项目，不需要任何训练，仅需5秒钟的声音样本，就能根据其发音特征，生成个性化的语音，RTX AI的加速下仅仅几秒钟就能完成生成。

如果使用更多样本的微调训练，比如1分钟，还可以实现更高质量，接近1:1复刻的声音克隆。

AI PC时代虽然才刚刚开始，但已经百花齐放、精彩纷呈。作为AI PC的算力基础，CPU、GPU、NPU三大引擎也都在各显其能、争奇斗艳。

当然了，三者没有谁比谁更重要，只有谁更适合做什么。

RTX GPU作为当今的硬件算力天花板，再加上NVIDIA强大的技术实力、丰富的开发与应用生态、无比的行业号召力，无疑最为适合需要强悍性能的AI应用，既能带来最快的速度，也能带来最好的质量、兼容性和稳定性。

本次介绍的种种RTX AI加速应用，遍布于游戏、2D/3D设计、艺术创作、生产力、垂直行业等方方面面，都给人带来了耳目一新的感觉，无论速度还是质量都堪称翘楚。

期待RTX AI、AI PC能带来越来越多的精彩应用，真正让AI普及到每一个人的生活、工作、娱乐之中，释放技术之美，全方位变革普罗大众的日常体验。