正文内容 评论(0

一台跑不动就上16台!英伟达DGX Spark集群成功跑通Kimi K3:生成速度达38 t/s
2026-09-05 11:13:19  出处:快科技 作者:青山 编辑:青山     评论(0)点击可以复制本篇文章的标题和链接复制对文章内容进行纠错纠错

快科技9月5日消息,英伟达开发者论坛用户ciprianveg近日公布了一项本地AI算力测试,通过将16台英伟达DGX Spark组成运算集群,成功运行了完整的Kimi-K3大模型,测试结果表明,该系统在16000深度下的最高生成速度可达38 t/s。

英伟达DGX Spark原本是面向本地AI开发和推理的桌面设备,随着Qwen、DeepSeek等模型的普及,单台设备的计算和显存资源往往难以满足千亿参数模型的需求。

该项目通过直接增加计算节点的方式,将应用场景从单机测试扩展到了多机并行。

一台跑不动就上16台!英伟达DGX Spark集群成功跑通Kimi K3:生成速度达38 t/s

为了满足16台设备协同工作时庞大的数据吞吐需求,该项目在网络互联上进行了专门配置,系统通过一台MikroTik CRS804-4DDQ核心交换机进行网络调度,并搭配4根400G转4×100G的高速分支线缆,将所有GB10节点串联。

系统运行基于Inferact/Kimi-K3-DSpark环境,以分布式方式首次启动了该模型。

一台跑不动就上16台!英伟达DGX Spark集群成功跑通Kimi K3:生成速度达38 t/s

具体的基准测试成绩上,集群在4000深度下,预填充(即模型处理输入提示词的准备阶段)吞吐量为654.89 t/s,首次响应时间约8.3秒,生成速度为21.71 t/s。

当上下文深度增加至16000时,预填充吞吐量提升至758.78 t/s,首次响应等待时间延长至约21.5秒,但生成速度反而提升至25.39 t/s,峰值达到38.00 t/s。

该发帖人还表示,这仅是未经过充分调优的首次测试成绩,后续他计划继续优化整体性能,并将在近期把运行镜像和使用说明上传至代码托管平台GitHub。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:青山

文章内容举报

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...