正文内容 评论(0

NVIDIA令深度学习训练性能翻一番
2015-07-27 18:10:28   编辑:sunshine     评论(0)点击可以复制本篇文章的标题和链接

NVIDIA®(英伟达TM)发布了其GPU加速深度学习软件的更新版本,这些软件将令深度学习训练的性能翻一番。

新软件将让数据科学家和研究人员能够通过更快的模型训练和更复杂的模型设计来创造更准确的神经网络,从而加速其深度学习项目和产品的开发工作。

NVIDIA® DIGITS™ 深度学习GPU训练系统第2版(DIGITS 2) 和 NVIDIA CUDA® 深度神经网络库第3版(cuDNN 3) 可提供大幅提升的性能和全新的功能。

对数据科学家来说,DIGITS 2现在能够在多颗高性能 GPU 上实现神经网络训练的自动扩展。与单一 GPU 相比,这种扩展在图像分类方面能够令深度神经网络训练的速度翻一番。

对深度学习的研究人员来说,cuDNN 3可优化GPU内存中的数据存储,从而能够训练更大、更复杂的神经网络。cuDNN 3还能够提供高于cuDNN 2的性能,让研究人员在单一 GPU上最高可令神经网络训练速度达到两倍。

全新的cuDNN 3库预计将集成到 Caffe、Minerva、Theano 以及 Torch 等深度学习框架的未来版本中,这些框架被广泛用于训练深度神经网络。

NVIDIA 加速计算副总裁 Ian Buck 表示: “高性能 GPU 是为大学与大型网络服务公司支撑深度学习研究与产品开发的基础性技术。我们正与数据科学家、框架开发者以及深度学习社区密切合作,以便运用最强大的 GPU 技术、突破目前的极限。”

DIGITS 2–凭借自动多GPU扩展最高可实现两倍训练速度

DIGITS 2 是首个一体式图形系统,它在图像分类方面可指导用户完成设计、训练以及验证深度神经网络的整个过程。

DIGITS 2 中全新的自动多 GPU 扩展功能通过在系统中的所有 GPU 上自动分配深度学习训练任务,从而能够最大限度地增加可用的 GPU 资源。利用 DIGITS 2,在四颗 NVIDIA Maxwell™ 架构 的GPU 上,NVIDIA 的工程师令著名的 AlexNet 神经网络模型的训练速度达到了单一 GPU 的两倍以上。早期客户的初步成果呈现了更好的加速效果。

雅虎旗下 Flickr 网站的人工智能架构师 Simon Osindero 表示: “在自动加标签 (Auto-tagging) 这方面,在单一 NVIDIA GeForce GTX TITAN X 上训练我们的一个深度网络需要耗费大约 16 天时间,但是如果在四颗 TITAN X GPU 上利用全新的自动多 GPU 扩展功能,整个训练只需 5 天即可完成。这是一个巨大的进步,它让我们能够更快地看到结果,还让我们能够在模型方面进行更广泛地探索以便实现更高的精度。”

cuDNN3–更快地训练更大、更复杂的模型

cuDNN 是一款用于深度神经网络的GPU加速数学例程库,开发者可以将其集成到更高级的机器学习框架中。

cuDNN3在GPU内存中新增了对16位浮点数据存储的支持,使可存储的数据量翻了一番,优化了内存带宽。凭借这一功能,cuDNN 3让研究人员能够训练更大、更复杂的神经网络。

百度研究院高级研究员 Bryan Catanzaro 表示: “我们认为,NVIDIA 库中的 FP16 GPU 存储支持功能将让我们进一步扩展我们的模型,因为当我们把单一模型的训练任务扩展至多颗 GPU 时,这一功能将会增大我们硬件的有效内存容量并提升效率。这将会使得我们的模型精度进一步提升。”

至于在单一 GPU上训练神经网络,cuDNN 3 也能够实现大大高于cuDNN2的性能。它让 NVIDIA 工程师在单一 NVIDIA GeForce® GTX™ TITAN X GPU 上训练 AlexNet 模型时实现了两倍的速度。

上市情况

DIGITS 2 预览版今天上市,NVIDIA 注册开发者可免费下载。如需了解有关下载的更多信息,敬请访问DIGITS网站。

cuDNN 3库预计将在接下来的几个月里出现在各大深度学习框架当中。如需了解更多信息,敬请访问cuDNN网站。

大家可以通过下列方式持续关注NVIDIA: 

持续关注 NVIDIA 博客、在Facebook、Google+、Twitter、LinkedIn以及Instagram上关注我们。

YouTube上观看NVIDIA视频,在Flickr上观看NVIDIA图像。

使用Pulse新闻阅读器来订阅NVIDIA日常新闻递送。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#快讯

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...