正文内容 评论(0)
三、AI测试:
1、单卡Qwen3-4B LLM 推理服务性能测试
我们先试试Arc Pro B70 32GB的单卡推理性能,提示词长度2048,并发数4、固定生成token 的输出,完整重复测试三次。
在提示词预处理阶段,Arc Pro B70 32GB的推力能力为11953 Token/s,在文本生成阶段,Arc Pro B70 32GB每秒可以输出195个Token。
从单卡推理性能上来看,Arc Pro B70 32GB的表现比起价格更贵的RTX Pro 4000要强了15%左右。
2、Llama-3.1-8B
Llama-3.1-8B的显存需求只有7GB左右,因此不仅可以对Arc Pro B70 32GB进行单卡、双卡测试,我们还能测试桌面版RTX 5060 Ti 16GB的推理性能并与之进行对比!
在低并发数下,单卡Arc Pro B70 32GB的性能略强于RTX 5060 Ti 16GB。但随着并发数的提升, Arc Pro B70 32GB凭借大显存的优势开始逆袭,并发数90时,可以领先RTX 5060 Ti 16GB约75%。
2张Arc Pro B70 32GB在低并发数时性能优势并不明显,但随着并发数的提升,特别是达到100并发后,双卡Arc Pro B70 32GB的性能几乎是单卡的2倍,是RTX 5060 Ti 16GB的3.4倍。
3、Ministral Instruct 2410 8B BF16
低并发区间(1 用户),RTX Pro 4000小幅领先于Arc Pro B70 32GB。
随着并发数上升,KV缓存显存占用快速增长,24GB显存的RTX Pro 4000开始触及瓶颈,吞吐量增速放缓。
而32GB 显存的Arc Pro B70在高并发数时仍有充足余量,在32并发以上的企业多用户场景中,能够领先对手60%左右。特别是在并发数40时,领先幅度达到了83%。
- 热门文章
- 换一波
- 好物推荐
- 换一波
- 关注我们
-
微博:快科技官方
快科技官方微博 -
今日头条:快科技
带来硬件软件、手机数码最快资讯! -
抖音:kkjcn
科技快讯、手机开箱、产品体验、应用推荐...



