十、AI体验：脱离了“消费级显卡玩 AI”的范畴

NVIDIA在AI方面的领先优势远不止CUDA简单，TensorRT-LLM与NVFP4的作用同样举足轻重。

vLLM、llama.cpp、Ollama等通用框架，是在上层做通用封装适配，天然存在一层效率损耗。

而TensorRT-LLM从硬件指令集、架构特性，到底层算子、计算图编译、调度逻辑，全部由官方垂直打通优化，搭配NVIDIA显卡时，性能会比其他框架高20~30%。

至于NVFP4，依托两级微块缩放技术，它以极小的精度损失，换来了显存占用大幅降低、推理吞吐量翻倍提升。对比通用FP4/MXFP4，NVFP4的量化误差低88%；对比INT4/NF4，其精度则高出一个量级。

因此，本次测试，我们选择基于TensorRT-LLM引擎，部署Llama 3.3 70B NVFP4、Nemotron-120B NVFP4量化模型。

1、Llama 3.3 70B NVFP4

单流体验：并发1时输出6.1 tok/s、TPOT 160ms、TTFT 483ms。这与统一内存带宽（约 273 GB/s）对40GB权重的理论上限（约 6.8 tok/s）吻合，解码受内存带宽约束。

并发达到10的时候，输出吞吐提升6倍左右，当并发数达到80时，输出吞吐基本上达到峰值，维持在148tok/s，再往上提升几乎不增加吞吐量。

2、Nemotron-120b-nvfp4

单流体验：输出速度 15 tokens/s，首字延迟（TTFT）379.8ms，端到端总延迟约 8.5 秒。这个速度已经超过普通人平均阅读速度（约 10~12 tokens/s），日常对话、单次问答的流畅度完全够用，没有明显卡顿感

高并发吞吐能力：总吞吐量近乎线性增长，并发 60 后逐渐逼近算力饱和点；到并发 100 时，总输出吞吐达到236.6 tokens/s，请求成功率100%，零失败。

3、本地智能体体验

我们依然使用部署在WSL Ubuntu里面的框架模型，使用WSL部署Octop开源AI助手，加载 Llama-3.3-70B-Instruct-NVFP4和Nemotron-120b-nvfp4这2个本地模型。

部署成功后，直接在http://127.0.0.1:8088/chat就可以访问Octop，能直接使用Nemotron-120b-nvfp4量化部署本地智能体，应该没有比RTX Spark更方便，更省电的方案了。

本地智能体几乎接手绝大部分日常工作，而且不用担心费用和泄密问题。