第三,数据中心平台:公司基于Hadoop技术生态系统,采用湖仓库集成的数据技术架构,建立公司级数据湖和数据仓库,根据数据管理制定的相关数据标准和规范,统一清理和整合业务数据。同时,为了保证数据出口的一致性,提高数据存储、消费安全,公司基于数据仓库清洁集成标准数据,采用微服务架构,实现数据服务接口开发、测试、验证、发布、授权、离线生命周期在线管理,在线数据服务接口为各种数据消费场景。
对于河北省石家庄高新区的政务数字化来说,这些行动是关键,但不是终点,从建设数据中心到创新数据智能应用。
(2)数据服务。数据中心平台可以将数据资源转化为数据服务,提供标准化、可重用的数据服务,实现数据共享和流通。
数据平台需要实现数据的实时同步和传输,以确保数据的实时性和准确性。企业可以采用异步传输、信息队列等技术,实现数据的快速传输和处理。
数据中心平台的出现客观上对传统数据治理的推广产生了一定的影响,但数据中心平台本质上与数据治理相辅相成。首先,数据中心实现了数据资源的聚合和整合,承载了业务线对数据的需求和期望,是企业进入数据域建设的重要途径和起点。通过数据中心平台的建设和实施,企业更容易在数据层面“发现问题”、“强弱项”有利于数据治理意识和系统的形成。为了继续发挥其价值,数据中心需要受到数据治理系统的管理和约束。数据治理的持续运行有助于进一步加强和促进数据服务能力的建设。
从技术架构的角度来看,数据平台带来了技术平台的能力升级,引入了离线计算、实时计算、交互式分析、数据加速、机器学习、对象存储、云本地等多种不同的技术,使数据延迟更短、分析更快、存储更大、业务更智能,支持更丰富的业务场景,成为业务转型的加速器。
一是从平台架构和技术上思考解决方案。这个方向是数据平台。数据平台中“所有业务数据化、所有数据业务化”的理念与数据治理理念一致。
供应链中间平台系统是支持供应链管理的基础设施。它可以连接企业的各个部门、关键流程和数据,使企业的供应链运营更加有效。
以服装零售业大型跨国集团企业雅戈尔为例。过去,为了有效地支持足够复杂的业务场景,总部数据团队在数据平台上建立了大量复杂的组件,仍难以有效地满足许多商店和渠道的业务分析需求。雅戈尔内部推出北极九章产品后,过去几周的工作周期缩短到几分钟。业务人员实现了70%的日常业务需求,完全自助自动化,大大提高了数据中心的效率。
二是园区可视化管理、设备、在线管理。结合目前的情况,基于物联网和数据平台,通过数据采集和货运智能操作完成设备状态感知和操作实施控制,实现设备在线、操作在线、管理在线,促进“中央控制图”对仓储加工的高效协调管理。
此外,数据中心平台的理念是提高数据输出效率。许多数据中心平台的产品解决方案将包括独立的BI数据产品,即产品和操作可以直接基于数据集进行拖动分析和可视化报告配置。标准化和自助化之间存在交叉和冲突。
数据中心平台项目不需要推翻重建。原有的大数据平台或数据仓库系统是否需要重建,主要取决于现有平台的能力以及企业在数据领域的核心痛点。建议先进行评估,然后进行方案设计和决策。可以从数据架构和技术架构两个层面来评估和判断传统数据仓库是否需要推倒重建: