正文内容 评论(0)
当前,在全球企业“上云”浪潮热度不减的背景下,企业纷纷将目光聚焦智能升级,衍生数据量因此面临爆发式增长,对数据处理、人工智能等业务需求也日趋迫切。新的议题由此浮出水面:在云端,企业如何能够在充分利用云计算特性的同时,实现高效的大数据分析、计算、并充分挖掘建立数据的智能模型?
近日,Mobvista汇量科技的新一代大数据智能平台 EnginePlus携手华为云,实现产品技术层面的深度集成,从而赋能更多云端用户、助力其业务增长。
▲EnginePlus与华为云实现深度集成
技术深度集成 为用户提供一站式服务
据了解,EnginePlus将大数据与云计算、人工智能等信息技术融合创新,实现了数据摄入、数据计算、模型训练、在线预测的一站式闭环;而华为云则将华为30多年在ICT领域的技术积累和产品解决方案开放给客户,致力于提供稳定可靠、安全可信、可持续创新的云服务。
此次合作中,EnginePlus 与华为云进行了深度集成,包括在华为云 CCE 容器引擎之上构建的弹性统一计算引擎,在华为云 OBS 对象存储之上构建的湖仓一体数据框架 StarLake,以及在离线统一的 MindAlpha AI 框架。
EnginePlus 在华为云上实现了高弹性、高性能、计算存储分离的架构,并能够实现便捷、快速的部署。牵手华为云后,EnginePlus 将以其云原生、一站式数据智能的服务,赋能华为云全球客户,为其提供从数据分析到智能模型决策的一站式服务。
EnginePlus:大数据 + AI + 云原生
记者了解到,EnginePlus聚焦大数据 + AI + 云原生的“三板斧”,为客户提供面向多种业务场景的实时数据湖框架 StarLake、机器学习框架 MindAlpha 等自主研发的开源工具,并能够与 Spark 计算框架深度集成,从而赋能客户实现更加高效便捷的数据智能升级。
· 自研数据湖框架 StarLake
据介绍,云原生的数据分析架构,经历了从传统数仓,到数据湖,再到湖仓一体的演进。EnginePlus团队就此进行了最前沿的数据分析架构实践,自研并开源了数据湖框架 StarLake,实现大规模数据的实时摄入和更新,高效构建湖仓一体化分析平台。
相比开源同类数据湖框架,StarLake 具有行列 upsert 功能、高并发入湖、元数据管理强拓展性、对象储存 IO 性能深度优化等特点,能够帮助开发者更好地面对上云和数据处理过程中的挑战。
同时,EnginePlus 整合了云原生计算平台 Spark on K8s,能提供极速资源伸缩,满足企业超大规模数据请求与高效弹性的需求。此外,StarLake还可无缝对接汇量科技自研的开源机器学习框架 MindAlpha ,对数据进行人工智能建模。
·自研机器学习框架MindAlpha
除了数据湖外,对数据进行人工智能建模,更是挖掘数据背后价值、赋能业务的一条重要途径。
EnginePlus团队自研并开源了机器学习框架 MindAlpha,能够轻松处理超大规模离散特征,并与 EnginePlus 平台之上的 Spark on k8s、StarLake 无缝结合,提供数据智能升级的一体化服务和一站式的高效体验。
据悉,MindAlpha 的开源 Parameter Server SDK 支持千亿级大规模稀疏离散特征,与PyTorch、Spark MLLib 无缝衔接,特征处理与模型推理逻辑和参数能全自动导出至线上 Serving 服务。其实时特征达到毫秒级延迟水平,真正做到实时反馈,快速捕捉用户行为。
同时,其高性能在线 Serving 能进行模型横向切分,支持万亿参数,具有低延迟、自动弹性伸缩的特性,能进行CPU、GPU 异构混布调度和负载均衡。
·云原生:无缝适配 高效部署
据了解,云原生架构具备高性能、高可扩展、一致性、符合标准、容错、易于管理和多云支持等特性,EnginePlus基于云原生架构,在计算存储分离的背景下,能针对对象存储系统专门优化,其所有组件也均可实现弹性伸缩。
对于华为云用户来说,EnginePlus能够无缝适配华为云的使用环境、支持一键快速部署,可有效提升企业效率、大幅度降低企业构建系统和运维的成本。
打造“SaaS工具生态” 赋能更多企业
据了解,2019 年,Mobvista汇量科技提出“SaaS 工具生态”战略:通过构建更完善的产品矩阵,覆盖开发者由小到大发展过程中,从统计分析、用户增长和商业化到云成本优化等不同阶段的核心场景。脱胎于汇量科技自身业务实践的EnginePlus,作为“SaaS 工具生态”的重要组成部分,也将与华为云共享“技术外溢”成果,从而赋能更多用户,助力企业的数字化转型之路。