当前位置: 首页 > 数据中台  > 数据中台

数据平台在湖仓集成架构出现之前发展了什么

根据CCSATC601大数据技术标准推广委员会发布的《湖仓一体化技术与产业研究报告》(2023年)年)显示,数据平台架构的不断演变主要经历了数据库、数据仓库、数据湖三个阶段,各有优缺点:它使用分布式存储来存储各种类型的数据,包括结构化、半结构化和非结构化数据,例如,企业可以AmazonS3存储各种数据源的原始数据,如日志文件、传感器数据、社交媒体数据等。

让我们来看看数据平台在湖仓集成架构出现之前发展了什么。根据 CCSA TC601 大数据技术标准推广委员会发布的《湖仓一体化技术与产业研究报告》(2023年) 年)显示,数据平台架构的不断演变主要经历了数据库、数据仓库、数据湖三个阶段,各有优缺点:

数据中台建设

数据湖(Data Lake):数据湖已成为数据平台的另一种主流架构,以满足多种数据类型存储和多场景分析的需要。它使用分布式存储来存储各种类型的数据,包括结构化、半结构化和非结构化数据,例如,企业可以 Amazon S3 存储各种数据源的原始数据,如日志文件、传感器数据、社交媒体数据等。数据湖为企业在需要时进行数据探索和分析提供了更大的灵活性和可扩展性。数据湖具有更好的扩展能力,能灵活支持各种类型数据的有效利用,但不支持事务处理,数据质量难以保证。数据湖通常以原始数据的形式存储,缺乏严格的数据模式和约束,可能导致数据一致性和隔离问题。

事务支持:与传统的数据湖相比,湖仓库集成架构提供了事务支持。它允许插入、更新和删除数据湖中的事务操作,以确保数据的一致性和可靠性。

数据湖的核心是开放和无序的数据。如果你想充分利用数据湖,一个是存储架构足够强大,另一个是数据处理足够强大。

目前,该平台已经建立了八个基本数据模型和企业“数据湖”,包括主体、账户、资产和总结数据。在承担原数据仓库功能的基础上,数据平台不断加强数据和元数据的质量管理,从完整性、准确性、合理性、一致性、及时性五个维度生成12类,7000多个验证规则,满足新场景的出现,实现数据标准化、资产化和服务,实现“数字海通”夯石基础。

近年来,大数据的概念太多了。在数据库和数据仓库被弄清楚之前,数据湖又出来了。现在我们说的是“湖仓一体化”。乙方公司拼命构建概念,甲方公司花钱建设数据,不管3721。

*以上内容来源于互联网,如不慎侵权,联系必删!

相关资讯

    暂无相关的数据...