身处数字化时代,用好数据者得天下。那些利用数据和洞察变得更敏捷、更有预测性,并以此构建核心竞争力的企业才是赢家。但随着企业数字化进程的加速和云计算的普及,企业数据呈现出三大趋势:数据量持续增长,数据分布呈现多元趋势,数据孤岛问题日益加剧。分析机构预测显示,在未来 3年内企业的数据将增长6倍;数据保质期缩短,数据如果不被快速使用,很快就会失去意义。

( 作者: IBM 大中华区科技事业部、客户成功管理部总经理 朱辉 )

IBM在《2022 年全球 AI 采用指数》中发现,超过三分之二的企业会使用超过20个不同的数据源来为他们的人工智能、商业智能和分析提供信息。其中较大的企业往往依赖多达500个数据源,平均拥有五个以上不同的云环境来存储数据、运行软件。在这种情况下,有效地捕获和利用数据是非常困难的。报告指出,数据治理是企业和组织迈向规模化应用 AI ,释放数据价值从而实现业务目标的第一步和最重要的基础。

解锁“数据价值密码”,成为数字经济时代所有企业的机会和挑战

中国数字经济的蓬勃发展,催生了一大批“数据为先”的企业,既有政府、金融、医疗健康等传统机构及行业,也有很多新兴行业的企业 他们的共同之处在于对技术的价值有清晰的判断,都希望携手值得信赖的技术伙伴,用技术解锁数据价值,提升企业的竞争力。

政府服务和金融业对于数据治理都有着极为严苛的要求。比如,税务行业和银行间的业务数据都具有时间跨度长、敏感性高、数量庞大且不断增长、高度分散等显著特点。要想把业务数据全都转化成有效资产并高效地服务于当下的业务,必须要对数据进行统一的智能化治理,以保障数据质量、确保数据合规、并支持业务人员的数据自服务消费。

此外,中国大量的民营企业经过数十年快速发展,已经具有相当规模,同时也面临业务多元、组织复杂、管理水平跟不上的发展瓶颈,急需携手值得信赖的技术伙伴加速推进数据与 AI 战略,实现规模化创新的实践。

据IDC 预测,到 2025 年,60%的中国商业领导都将利用数字平台和生态系统的能力来变革和扩展他们的价值链,拓展新市场、进入新的行业领域,携手新的合作伙伴,持续构建新的产品、服务和商业模式。

智能化数据经纬(Data Fabric):让数据找人而不是人找数据

如何让跨部门、跨系统的企业数据更好地被共享,使企业内部的数据分析专家能够随时获取数据,把高质量的数据自动并实时地推送给有需求的人,同时符合数据权限和隐私等方面的合规要求,这是企业实现数字化转型的重要基石, 也是很多企业目前面临的巨大挑战。

应对这个挑战, 几年前数据经纬(Data Fabric)的数据架构理念悄然而生。根据Forrester的定义,Data Fabric是以一种智能、安全并且是自服务的方式,动态地协调分布式的数据源,跨数据平台地提供集成和可信赖的数据,支持广泛的不同应用的分析和使用场景。也就是说,不管数据在哪里,通过Data Fabric的数据架构,就能帮助企业的数据消费者实时、准确并且低成本地获得所需的数据。

点击观看视频:“什么是数据经纬(Data Fabric)”

数据经纬(Data Fabric)不是单个的产品或平台,而是一个新兴的数据管理理念,一个现代化的分布式数据架构,能够实现共享数据资产、优化数据管理、整合数据流程等功能。实施数据经纬(Data Fabric)也不一定要替换现有的技术,而是可以将现在的技术纳入企业的数据生态系统当中。它可以帮助企业继续使用已经投资的不同数据源和存储库,包括数据库、数据湖、数据仓库,同时简化数据管理,通过自动化集成、嵌入治理和提供数据的全面视图,以集中式存储库所不具备的方式促进自助式的数据消费,从而推动数据共享和加速数据计划的推进 。数据经纬(Data Fabric)可在正确的时间将正确的人与正确的数据联系起来——消除数据移动、转换和集成带来的技术复杂性。具体来讲,数据经纬(Data Fabric)具有以下几个关键特性:

· 智能化的数据集成:数据经纬(Data Fabric)使用一系列集成技术,包括语义知识图、元数据和机器学习,对数据进行提取、摄取、传输、虚拟化和转换,由企业的数据策略驱动,最大限度地提高性能,同时减少存储和成本。这有助于数据管理团队将相关数据聚集在一起,并将全新的数据源集成到企业的数据生态系统中。并且优化数据工作负载管理,从而提高效率、消除数据孤岛、实现更集中的数据治理以及整体数据质量的优化。

· 数据民主化:当前,数据架构和访问非常复杂,需要技术深厚和经验丰富的数据工程师、开发人员和数据分析专家来提供支持。但是,整个企业中有许多不同的利益相关者都需要发现并利用数据来构建人工智能和业务分析的能力。随着企业内部越来越多人成为数据消费者,他们不能只是被动等待技术团队帮助他们访问所需的数据。数据经纬(Data Fabric)支持数据的自助服务消费,让业务部门的数据消费者能够找到和使用所需的高质量和可信的数据,并且彼此协作。通过减少数据瓶颈,企业可以提高生产力,使业务部门更快做出决策;同时也将解放数据工程师、开发人员和数据分析专家等技术人员,让他们可以优先处理更重要的工作任务。

· 更好的数据保护:数据被访问的范围扩大并不意味着用户必须在数据安全和隐私措施方面付出代价。事实上,数据经纬(Data Fabric)围绕访问控制设置了更多数据治理护栏,确保特定数据仅对特定角色开放。数据经纬(Data Fabric)还支持技术和安全团队对敏感和专有数据进行数据屏蔽和加密,以降低数据共享和系统泄露带来的风险。

· 可信的AI :为了实现AI的规模化使用并交付可信的结果,企业需要集成整个AI生命周期中的受监管数据。数据经纬(Data Fabric)不但让数据科学家可以访问受监管的数据,而且融入信任原则的自动化 MLOps 功能还可以帮助企业在整个AI生命周期内构建和管理 AI。数据经纬(Data Fabric)内置的AI治理,将数据透明度和数据监控相结合,实现了端到端的可信AI。

IBM Cloud Pak for Data助力企业数据经纬(Data Fabric)快速落地

IBM对数据经纬(Data Fabric)概念做了更进一步的推进,使之从一个新的数据架构概念变成了可以落地的平台解决方案——融合了数据经纬(Data Fabric)架构的IBM Cloud Pak for Data成为帮助企业将数据经纬(Data Fabric)快速落地的利器。

IBM Cloud Pak for Data能够提供四个方面的能力:自动分类(AutoCatalog),它相当于一个数据分类“大脑”,可以根据数据类别进行自动化分类、建立自动化目录,从而实时维护来自不同环境的动态数据资产;自动建模(AutoAI),能够降低AI模型开发、校正及其自我学习的技术门槛和人力成本,从而对动态数据和整个AI算法生命周期实现自动化管理;自动识别隐私规则(AutoPrivacy),通过数据隐私框架中的AI能力,智能化地识别企业内部的敏感数据,当数据被调用时,系统就能快速识别和监控,甚至在后续为企业内部敏感数据的定义和政策实施,提供自动化技术保障;自动查询(AutoSQL),不同类型、不同来源的数据都可以在不进行物理移动的前提下,使用同一个查询引擎进行获取和分析,这样一来,既可以节省数据查询的时间,还可以避免移动数据和多查询引擎带来的额外成本和复杂度。随着 AutoSLQ 技术的推出,IBM Cloud Pak for Data 现已整合了市场上性能最强的云数据仓库(依据我们的基准研究),可以利用AI帮助客户获取分布式查询结果,与其它数据仓库相比,其速度较之前提升8倍,成本下降近半。

此外,IBM此前已经将数据仓库能力(如DB2 Warehouse)、数据治理能力(如Watson Knowledge Catalog)、数据虚拟化能力、机器学习能力等等进行了集成,如今的IBM Cloud Pak for Data已经是一个相当完备的数据平台。与数据相关的需求,企业在这个平台上都可以找到与之对应的技术来满足。

具体来讲,IBM Cloud Pak for Data可帮助企业通过智能数据经纬解决四大痛点:

优化数据治理和隐私。数据治理和维护数据隐私是一个复杂而费力的过程,在复杂的监管环境下风险很高。 IBM 可以帮助客户消除数据治理的技术复杂性并自动执行数据保护策略。适合这方面应用的IBM 产品主要包括IBM Watson Knowledge Catalog 和 IBM Cloud Pak for Data 上的 IBM Watson Query。

多云数据集成。无论数据位于何处,企业都需要实现数据的连接、优化和交付。IBM为客户提供的解决方案,让他们不必迁移到单个数据仓库或云就可成功实现数据分析和AI。 IBM 还能够为企业创建所有数据的统一视图,从而实现应用程序间的一致性。适合这方面应用的IBM 产品主要包括IBM Cloud Pak for Data 的 IBM DataStage、IBM Watson Query 和 IBM Watson Knowledge Catalog。

360度的用户智能化。为了给客户提供更加个性化的体验,企业需要全面了解所有客户数据。对于拥有数十万甚至数百万客户的企业来说,这是一个巨大的挑战,尤其是当这些数据被孤立在不同的部门和系统中时。IBM 可以组合多个来源的数据,轻松构建 360 度视图并将这些数据提供给分析和 AI 项目。适合这方面应用的IBM 产品主要包括IBM Match 360 with Watson、IBM Watson Query 和IBM Cloud Pak for Data 上的 IBM Watson Knowledge Catalog。

更可信的AI。IBM报告显示,有91% 使用 AI 的企业认为能够解释AI如何做出决策至关重要。IBM 正在通过实现可解释和透明的模型,帮助客户建立对数据、对模型以及对流程的信任。适合这方面应用的IBM 产品主要包括IBM Watson Studio、IBM Watson Knowledge Catalog、IBM Cloud Pak for Data 上的IBM OpenPages with Watson。

混合云架构让数据变得更加公开,在不触及数据拥有权、敏感度、安全性和可信性的前提下,让更多人能从中得到价值,实现数据的民主化,这是IBM技术演进所立足的思路和逻辑。

今天,IBM 已经成功利用数据经纬(Data Fabric)帮助世界各地的很多客户发现和释放他们企业的数据价值。

ING 是一家大型银行,它一直在构建庞大的数据湖,并希望数据在整个组织内有效运作。把要治理的数据引入数据湖的工作需要许多专家,这对于运营来说是一项挑战,而且要付出高昂的代价。此外,ING 还希望能够像在本地一样地在云上管理他们的数据。通过采用IBM Data Fabric架构,ING可自动化地提取不同来源的数据,理解这些数据,并通过 AI 将其直接映射成自己的内部业务语言。

某家全球电信供应商也在寻找一种解决方案,希望能解决手动监控大量数据的挑战,同时符合数据隐私政策,及时地处理数据复制和副本识别。这个过程会带来很多存储和运营成本。借助IBM的解决方案,该公司的用户现在可以连接从不同网点获取的生产数据,从而简化数据访问,同时满足合规性要求。 IBM帮助客户在整个企业内创建了一致的流程,同时通过数据访问和流程的简化提高了用户工作效率。过去,这些流程需要数周才能完成,而现在只需要几分钟。

Change Machine 是一家非营利性组织,致力于通过以人为本的技术为低收入社区的人们提供财务安全服务。Change Machine 通过一个 SaaS 平台,帮助低收入人群找到可以实现他们财务目标的金融产品。借助IBM,Change Machine 使用人工智能开发了一个推荐引擎,帮助低收入社区的用户获得合适、安全的金融产品。

此外,在医疗健康领域,数据经纬(Data Fabric)能够帮助医疗组织发现、集成和丰富所有来源的所有相关患者数据,以获得更完整的患者视图,同时通过自动标记和屏蔽所有敏感的结构化或非结构化数据,提供更好的患者体验。

在制造业,除了产品创新,制造商还希望利用数据来改善生产和物流。IBM 智能化的数据经纬(Data Fabric)可帮助制造商获得整个价值链中数据的全局视图,帮助企业进行原因分析、业务优化和实时决策。

今年6月,IBM被评为 “Forrester Data Fabric Wave for 2022” 的领导者。Forrester 强调,IBM 的解决方案尤其适合那些在混合和多云环境(包括传统系统)里拥有大型、复杂、分布式数据存储的组织,并指出IBM的合作伙伴生态系统和路线图是支持其取得领导者地位的重要因素。

数据推动数字化,人工智能解锁数据价值,混合云实现数据民主。今天的 IBM,聚焦混合云与 AI 战略,聚焦更为简单清晰的混合云与 AI 产品组合及服务,聚焦把 IBM 的技术和产品价值转化为客户的业务价值,把 IBM Cloud Paks 开放与智能的软件能力与客户具体的应用场景相结合,通过编织智能化的数据经纬(Data Fabric),帮助各行各业的企业解锁数据价值密码,快速高效地推进他们的数字化征程。

关于 IBM

IBM 是全球领先的混合云、人工智能及企业服务提供商,帮助超过 175 个国家和地区的客户,从其拥有的数据中获取商业洞察,简化业务流程,降低成本,并获得行业竞争优势。金融服务、电信和医疗健康等关键基础设施领域的超过 4000 家政府和企业实体依靠 IBM 混合云平台和红帽 OpenShift 快速、高效、安全地实现数字化转型。IBM 在人工智能、量子计算、行业云解决方案和企业服务方面的突破性创新为我们的客户提供了开放和灵活的选择。对企业诚信、透明治理、社会责任、包容文化和服务精神的长期承诺是 IBM 业务发展的基石。