正文内容 评论(0)
快科技8月31日消息,海光信息昨日宣布,旗下深算DCU已率先完成腾讯新一代旗舰大模型Hy4 preview的Day 0适配,模型发布当天即完成推理全流程支持。
这是继腾讯Hy3、Hy-MT2之后,海光DCU与腾讯混元系列模型的又一次深度协同。
本次适配围绕Hy4 preview的模型结构展开。Hy4 preview总参数量770B(7700亿),激活参数仅49B(490亿),采用超大规模MoE(混合专家)架构。
同时,该模型还引入了Gated MLA、iHC和learnable sink等新型结构,对推理适配提出了更高要求。
海光信息凭借DTK(DCU Toolkit)、DAS(DCU Acceleration Stack)等自研软件栈优势,针对Hy4 preview的稀疏注意力计算特点,在vLLM推理框架中接入了FlashMLA算子能力。适配工作覆盖了Attention Sink、KV Cache及并行切分等关键计算环节。
在推理服务功能上,本次适配实现了Hy4 preview专用的推理内容解析和工具调用解析能力,支持深度推理与直接回答两种模式,兼容流式与非流式内容处理,以及多工具并行调用。
这些功能为Hy4 preview在海光DCU平台上的部署和智能体应用提供了基础支撑。
面对腾讯新一代开源旗舰模型,海光通过软硬件协同能力,成功突破了大模型推理适配的技术瓶颈,展示了国产算力在面对国产旗舰大模型时的适配与落地能力。
- 热门文章
- 换一波
- 好物推荐
- 换一波
- 关注我们
-
微博:快科技官方
快科技官方微博 -
今日头条:快科技
带来硬件软件、手机数码最快资讯! -
抖音:kkjcn
科技快讯、手机开箱、产品体验、应用推荐...


