正文内容 评论(0)

显存不够傲腾凑!纯CPU跑2.8万亿参数Kimi K3:差点把主板烧了
2026-11-09 15:58:55  出处:快科技 作者:青山 编辑:青山     评论(0)点击可以复制本篇文章的标题和链接复制对文章内容进行纠错纠错

快科技11月9日消息,近日一位Reddit网友成功在纯CPU环境下,跑通了月之暗面拥有2.8万亿参数的顶级模型Kimi K3。

令人意想不到的是,支撑这一庞然大物运行的核心并非动辄数万元的顶级显卡,而是早已被英特尔放弃的第二代傲腾持久内存(Optane PMem 200)。

显存不够傲腾凑!纯CPU跑2.8万亿参数Kimi K3:差点把主板烧了

要知道Kimi K3作为万亿级参数的巨型模型,其运行门槛极高,即便经过极度压缩的量化处理,也至少需要610GB的内存空间。

在当前内存价格持续走高的背景下,通过传统DDR4/DDR5内存堆砌出如此容量的代价极其昂贵。但如果选择使用二手傲腾持久内存作为替代方案,其成本仅为同容量普通内存的几分之一。

在具体的硬件部署上,该玩家使用了一颗40核心的第三代英特尔至强可扩展处理器。核心组件是第二代傲腾持久内存200系列,该产品于2020年随第三代至强发布,单条容量可选128GB至512GB。

在App Direct模式下,傲腾内存被直接映射为独立的持久化内存区域,让软件能更精准地控制模型张量的存放位置。

不过傲腾虽然性能强,发热量也相当夸张。这种持久内存满载时功耗很高,这位玩家郑重提醒:主动散热是硬性要求,不能省。

测试里他直接上了两台12W大功率涡轮风扇对着内存位猛吹。他表示,如果缺少这套强散热,傲腾释放的高温足以烤坏旁边的普通内存,严重时还会把主板插槽直接烤熔。

在实际的推理表现方面,这套系统的表现只能用慢如老牛来形容。在1位(1-bit)量化下,推理速度仅为0.85 Token/秒,而当精度提升至3位量化时,速度进一步下降到0.75 Token/秒。

这意味着生成一段5万Token的任务可能需要耗时13小时以上。这种速度对于实时对话毫无意义,但对于不追求时效性的深夜离线批处理任务,却是一种极具性价比的方案。

显存不够傲腾凑!纯CPU跑2.8万亿参数Kimi K3:差点把主板烧了

【本文结束】如需转载请务必注明出处:快科技

责任编辑:青山

文章内容举报

  • 支持打赏
  • 支持0人

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...