四、Llama-3.1-8B测试：比同价位RTX Pro 2000 16GB要快50%

1、Llama-3.1-8B

Llama-3.1-8B的显存需求只有7GB左右，因此不仅可以对Arc Pro B60 24GB进行单卡、双卡、4卡测试，我们还能测试桌面版RTX 5060 Ti 16GB的推理性能并与之进行对比！

vLLM 0.5.0 正式建立了对 Intel Arc GPU的原生支持，不再是以往那种简单的代码迁移，而是针对 Intel 的计算单元架构做了适配：

在并发数下，RTX 5060 Ti 16GB的性能略胜于单卡Arc Pro B60 24GB，但随着并发数的提升，Arc Pro B60 24GB随着并发数的提升，Arc Pro B60 24GB凭借大显存的优势开始逆袭，并发数90时，可以领先RTX 5060 Ti 16GB约10%左右。

4张Arc Pro B60 24GB在低并发数时性能优势并不明显，但随着并发数的提升，特别是达到100并发后，4张Arc Pro B60 24GB的性能几乎是单卡的4倍。

下面将精度降为FP8，重复上面的测试，但将N卡换成RTX Pro 2000。

与同价位的NVIDIA RTX Pro 2000 16GB相比，Arc Pro B60 24GB几乎展现出了碾压性优势。

同样是4卡并行进行运算，4xArc Pro B60 24GB比起4xRTX Pro 2000 16GB要强了50%左右，在并发数为100的情况下，凭借96GB大显存，Intel的领先幅度甚至达到了65%。