正文内容 评论(0

NVIDIA黄仁勋“挑战”CPU:GPU训练AI大模型可降低96%成本
2023-05-29 16:46:46  出处:快科技 作者:乃河 编辑:乃河     评论(0)点击可以复制本篇文章的标题和链接

快科技5月29日消息,在刚刚召开的2023年台北电脑展上,NVIDIA首席执行官黄仁勋进行了演讲。

在演讲中,黄仁勋向传统的CPU服务器集群发起“挑战”,认为在人工智能和加速计算这一未来方向上,GPU服务器有着更为强大的优势。

NVIDIA黄仁勋“挑战”CPU:GPU训练AI大模型可降低96%成本

根据黄仁勋在演讲上展示的范例,训练一个LLM大语言模型,将需要960个CPU组成的服务器集群,这将耗费大约1000万美元(约合人民币7070万元),并消耗11千兆瓦时的电力。

NVIDIA黄仁勋“挑战”CPU:GPU训练AI大模型可降低96%成本

相比之下,同样以1000万美元的成本去组建GPU服务器集群,将以仅3.2千兆瓦时的电力消耗,训练44个LLM大模型。

NVIDIA黄仁勋“挑战”CPU:GPU训练AI大模型可降低96%成本

如果同样消耗11千兆瓦时的电量,那么GPU服务器集群能够实现150倍的加速,训练150个LLM大模型,且占地面积更小。

而当用户仅仅想训练一个LLM大模型时,则只需要一个40万美元左右,消耗0.13千兆瓦时电力的GPU服务器即可。

换言之,相比CPU服务器,GPU服务器能够以4%的成本和1.2%的电力消耗来训练一个LLM,这将带来巨大的成本节省。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:乃河

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#NVIDIA#黄仁勋#GPU

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...