正文内容 评论（0）
国内首次！真武M890跑通2.4万亿Qwen3.8：推理效率提升1.5倍
复制
纠错
快科技7月23日消息，阿里云今日宣布，真武M890超节点已成功适配阿里旗舰大模型Qwen3.8，参数规模高达2.4万亿。
该超节点已正式上线阿里云百炼平台对外提供推理服务，成为国内首个成功运行超2万亿参数大模型的超节点。
真武M890是平头哥新一代训推一体AI芯片，原生支持FP32到FP4等多种数据精度，可覆盖高精度训练到超低精度推理的全场景。
值得注意的是，跑通2.4万亿参数模型，需要将参数分散到几十张甚至上百张高速互联的GPU卡上，而普通AI集群因通信带宽局限，难以满足高吞吐、低延迟、高并发的需求。
为了解决上述难题，真武超节点实例通过ICN Switch 1.0互联芯片，让64张真武M890实现了800GB/s的高速互联，显存规模达到9TB。单实例即可支撑大规模2万亿参数MoE模型的专家并行需求。
此外，阿里还从芯片到云平台层面实现了与Qwen模型的全链路优化。实测数据显示，通过算子优化和软硬件架构协同，该超节点实例在Agentic推理场景中最多可实现1.5倍的推理性能提升。
- 热门文章
- 换一波
- 好物推荐
- 换一波
- 关注我们
-
微博：快科技官方
快科技官方微博 -
今日头条：快科技
带来硬件软件、手机数码最快资讯！ -
抖音：kkjcn
科技快讯、手机开箱、产品体验、应用推荐...
豫公网安备 41010502003949号
