正文内容 评论(0)

能耗直降31%!Nota新方案让AI推理快52%:NPU管输入GPU管输出
2026-11-10 14:53:41  出处:快科技 作者:青山 编辑:青山     评论(0)点击可以复制本篇文章的标题和链接复制对文章内容进行纠错纠错

快科技11月10日消息,在近日举行的AMD Advancing AI World Tour首尔站上,模型轻量化专家Nota AI展示了一项针对AMD异构计算环境的黑科技。

实测显示,通过深度优化显卡与神经网络处理器的协同逻辑,AI推理响应时间最高缩短了52%。

能耗直降31%!Nota新方案让AI推理快52%:NPU管输入GPU管输出

这套方案的核心在于打破了以往处理器“单打独斗”的局面。在AMD锐龙AI Max+395处理器的测试环境中,Nota将推理过程进行了切分。

让神经网络处理器(NPU)负责预填充阶段,专门处理输入信息;而显卡(GPU)则专注于解码阶段,负责最终的响应生成。

这种分工策略充分利用了不同处理器的架构优势。为了进一步榨干性能,Nota实现了两个处理单元共享同一套AI模型权重。这一举措不仅消除了重复加载导致的内存冗余,还让内存使用量显著削减了11%至32%。

在针对阿里通义千问Qwen3-8B开源模型的测试中,这套异构执行环境展现了极高的效率,相比AMD现有的混合方案,其总响应完成时间缩短了28%至52%,单Token能耗降低了31%。

目前这项技术已集成至Nota自家的NetsPresso优化平台。该平台引入了AI Agent机制,能够自动分析硬件特性并制定最优策略。

实测覆盖了Llama、Phi、Mistral等主流模型,响应生成速度比单纯使用NPU执行快了2.5至3.8倍。

能耗直降31%!Nota新方案让AI推理快52%:NPU管输入GPU管输出

【本文结束】如需转载请务必注明出处:快科技

责任编辑:青山

文章内容举报

  • 支持打赏
  • 支持0人

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...