正文内容 评论(0

摩尔线程千卡GPU集群!憨侯完成700亿参数大模型训练
2024-05-17 17:22:40  出处:快科技 作者:上方文Q 编辑:上方文Q     评论(0)点击可以复制本篇文章的标题和链接

快科技5月17日消息,摩尔线程、憨猴科技集团联合宣布,基于摩尔线程的夸娥(KUAE)千卡智算集群,憨猴集团成功完成了7B、34B、70B不同参数量级的大模型分布式训练。

经双方共同严苛测试,兼容适配程度高,训练效率达到预期,精度符合要求,整个训练过程持续稳定。

这充分验证了夸娥智算集群作为国产全功能GPU千卡千亿大模型预训练平台,在稳定性、高效能、易用性和高算力利用率的先进性。

这也是憨猴集团首次使用国产AI算力完成大模型训练测试,后续可为其服务的国有企业与运营商等关键领域,提供更加坚实可靠的国产AI训练平台,以及成本效益更优的国产算力解决方案。 

同时,摩尔线程与憨猴集团签署了战略合作协议。

双方将聚焦AI大模型和算力领域,通过摩尔线程夸娥千卡智算集群与憨猴集团AI智算产品及数字化解决方案的深度融合,共同探索国产AI算力的新应用场景与落地实践,加速数智化产业的全面升级。

摩尔线程千卡GPU集群!憨侯完成700亿参数大模型训练

在此之前,摩尔线程已成为第一家接入无问芯穹,并成功完成千卡级别大模型训练的国产GPU公司,夸娥千卡集群与无穹Infini-AI顺利完成了系统级融合适配,并完成了LLama2 700亿参数大模型的训练测试。

“夸娥”集群基于双路八卡GPU服务器MCCX D800,每个节点有八块MTT S4000 GPU加速卡、两颗Intel第四代至强处理器、16 x 64GB内存、4 x 3.84TB NVMe SSD,以及双路400Gb IB、四路25Gb以太网网络,一体化交付解决大规模GPU算力的建设和运营管理问题。

夸娥氏是我国神话传说中的大力神,出自《愚公移山》:“帝感其诚,命夸娥氏二子负二山,一厝朔东,一厝雍南。自此,冀之南,汉之阴,无陇断焉。”

摩尔线程千卡GPU集群!憨侯完成700亿参数大模型训练

【本文结束】如需转载请务必注明出处:快科技

责任编辑:上方文Q

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...