正文内容 评论(0

天玑9300 AI能力飙升:最高支持330亿参数的AI大语言模型
2023-11-06 20:25:22  出处:快科技 作者:鹿角 编辑:鹿角     评论(0)点击可以复制本篇文章的标题和链接

快科技11月6日消息,联发科今晚正式发布天玑9300旗舰5G生成式AI移动芯片,支持在端侧生成式AI、游戏、影像等方面定义旗舰新体验。

据介绍,天玑9300集成MediaTek第七代AI处理器APU 790,为生成式AI而设计,其性能和能效得到显著提升,整数运算和浮点运算的性能是前一代的2倍,功耗降低了45%。

天玑9300 AI能力飙升:最高支持330亿参数的AI大语言模型

APU 790内置了硬件级的生成式AI引擎,可实现更加高速且安全的边缘AI计算,深度适配Transformer模型进行算子加速,处理速度是上一代的8倍,1秒内可生成图片。

同时,基于亿级参数大语言模型特性,MediaTek开发了混合精度INT4量化技术,结合MediaTek特有的内存硬件压缩技术NeuroPilot Compression,可以更高效地利用内存带宽,大幅减少AI大模型对终端内存的占用,支持终端运行10亿、70亿、130亿、最高可达330亿参数的AI大语言模型。

天玑9300 AI能力飙升:最高支持330亿参数的AI大语言模型

APU 790还支持生成式 AI 模型端侧“技能扩充”技术NeuroPilot Fusion,可以基于基础大模型持续在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)融合,进而赋予基础大模型更加全面的能力。

天玑9300 AI能力飙升:最高支持330亿参数的AI大语言模型

此外,MediaTek的AI开发平台NeuroPilot构建了丰富的AI生态,支持Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型,完整的工具链助力开发者在端侧快速且高效地部署多模态生成式AI应用,为用户提供文字、图像、音乐等终端侧生成式AI创新体验。

天玑9300 AI能力飙升:最高支持330亿参数的AI大语言模型

天玑9300 AI能力飙升:最高支持330亿参数的AI大语言模型

【本文结束】如需转载请务必注明出处:快科技

责任编辑:鹿角

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...