正文内容 评论(0

360开源全球首个图神经网络控制器 赋能算法模型“分钟级”上云
2021-08-25 14:12:04  作者:子莹 编辑:子莹     评论(0)点击可以复制本篇文章的标题和链接

近日,三六零将自主研发的全球首个基于云原生的图神经网络训练控制器“DGL Operator”进行了开源。DGL Operator是由360智能工程部AI平台团队开发并维护的一个基于云原生技术栈、DGL图神经网络算法框架的多机训练控制器。

开发者利用DGL Operator可以自动创建、配置和管理复杂的DGL分布式训练工作,简化开发分布式训练的准备工作,并赋能大规模图训练场景。过去以“天”为单位计算的图神经网络(以下简称“GNN”)模型准备和构建时间,通过DGL Operator可以实现“分钟级”上云,快速获得想要的算法模型。该训练控制器的开源,从工业应用层面给GNN分布式训练提供了另外一种可能,基于云原生技术栈打通了从大规模图训练的实验尝试,到工业应用之间的关键链路,弥补了模型训练关键环节的空白。 推出GNN训练控制器  实现“一键”上云训练  近两年来,随着 GNN被广泛应用于社交网络、推荐系统、金融风控、生命科学、交通预测等领域,越来越多的GNN项目和应用涌现,如何快速构建GNN模型的难题也越来越被人所关注。常见的深度学习框架在卷积神经网络“CNN”和循环神经网络“RNN”领域提供了大量开箱即用的接口,但在构建GNN模型方面却捉襟见肘,缺少有效的开发框架,在此背景下,纽约大学和亚马逊联合开发了DGL框架,使得开箱即用的GNN构建成为可能。

然而,在工业场景下,工程师们基于DGL开发和构建GNN模型时,常常需要处理数千万甚至数十亿个节点或边的大图,单机训练已经无法满足开发者的需要。2020年,DGL原生支持了分布式训练,从算法框架层面赋予了大规模图训练的能力。但是在实际应用中,仍然存在较多的限制和挑战。例如,使用者在触发切图、分布式训练命令的过程中,无法自动化工作流;训练完成后,部分资源需要手动释放,无法做到自动化释放资源等。

可以说,DGL作为GNN领域的事实标准,提供了算法侧的分布式训练能力,但是并没有对相应的底层基础设施进行优化,不足以支撑生产级别的自动化场景。为了解决DGL原生分布式训练的问题,360的DGL Operator提供简单、便捷、开箱即用的模型训练体验,并致力于降低DGL用户在云原生技术栈上训练GNN模型的难度,无需关注分布式相关的复杂配置,提交代码即可实现“一键”上云训练。

现今,机器学习领域的头部公司利用越来越大的数据集和参数,不断刷新着最大数据训练量模型的记录。360智能工程部AI平台团队一直关注机器学习、深度学习底层基础设施、训练框架的发展,深刻的认识到,超大规模深度学习模型更多的难题在于其中的分布式训练。由于对底层基础设施的关注,才有了DGL Operator的研发,并在研发过程中与DGL创始团队(AWS)、云原生机器学习最大的开源社区(Kubeflow)沟通与合作,扩大了360在这些分支领域的影响力。

360推崇共享共治 推动开源生态建设  事实上,360创始人、董事长周鸿祎是开源协作精神的忠实拥趸,作为中国最早的互联网创业者,周鸿祎始终认为,没有开源软件,中国互联网可能就不会有飞速的发展;没有开源的Android系统,中国的手机产业也不可能席卷全世界;没有开源代码,中国的人工智能产业更不可能如此蓬勃发展。

开源软件公司红帽(RedHat)数据称,全球超过90%的IT企业正在使用开源软件,另据Synopsys数据,全球98%的代码库都包含了开源代码。在中国,无论学术界、产业界,还是科研界,对开源的态度都经历了阶段性的变化。发展之初,很多人认为开源与商业无直接联系,然而开源社区的协同模式改变和颠覆了传统工作方式,开源也成为我国在基础软件层面必须要考虑的一条道路。对此,周鸿祎表示, “我觉得开源不仅仅是一种软件开发方法,背后是一种经济发展形式,是一种合作创新机制。社会主义的优越性之一是集中力量办大事,开源就是新时代的集中力量办大事。”

但是,在很多企业看来,开源与商业化是一个矛盾体。“在过去这些年,我们享受了一些开源的红利。但是有些公司把国外开源的东西拿来变成自己的,优化之后反而成了闭源,这样发展下去很难产生持续的创新。”在周鸿祎“共享共治、奉献为先”的思想指引下,360是业界践行开源精神最为彻底的公司之一,多年来持续不断的将有重大创新价值的技术源代码进行开源,对于前沿技术发展起到了重要的推动作用。

事实上,DGL Operator只是360公司在开源方向上的一系列动作中的最新举措而已。未来,360将继续秉持系统思维、底层视角、开源精神,研发并开源更多具有行业价值的关键技术,推动中国开源生态建设以及前沿技术的发展。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:子莹文章纠错

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#360

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...