数据仓库分层架构

xibuhaohao  xibuhaohao  2023-05-06  191

关键词：

数据层的存储一般如下：

Data Source

数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。

ODS 层

ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。

可将ODS做成一个宽表，结合DW事实表与维度表或更多信息。

DW 层

一般和 ODS 的存储一致，但是为了满足更多的需求，也会有存放在 PG 和 ES 中的情况。

一般DW曾进行维度、事实表设计；根据不同主题设计维度表与事实表。

APP 层

应用层的数据，一般都要求比较快的响应速度，因此一般是放在 Mysql、PG、Redis中。

一般DH曾，数据集市，针对不同用户，实现数据隔离。存储聚合数据。

数据层的存储一般如下：DataSource数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql和PostgreSql。ODS层ODS的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase... 查看详情

... 分层的主要原因是在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因：清晰数据结构：每一个数据分层都有它的作用域，这... 查看详情

目前在做的数据产品都是基于数据仓库上实现，主要的应用方式包括固定报表、数据查询、数据挖掘等。在知识类相关的数据分析产品中，通常需要对多个业务系统的数据进行集成，更需要对数据分层进行科学的规划。为什... 查看详情

如何分层结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS-DW-DM-OLAP/OLAM/appODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏... 查看详情

目前主流的数据仓库分层大多为四层,也有五层的架构，这里介绍基本的四层架构。分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。下面是架构图：数据分层的目的是：减... 查看详情

目录01.架构演进02.逻辑分层03.数据调研04.主题域划分05.数仓规范06.数据治理07.数仓理念01.架构演进离线数据仓库到实时数据仓库，从lambda架构到kappa架构、再到混合架构。02.逻辑分层数仓分层，一般按ods->dw->dm整体架... 查看详情

一、数据模型架构原则1.数仓分层原则优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长。那么问题来了,一直在讲数仓要分层,那数仓分几层最好?目前市场上主... 查看详情

数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入... 查看详情

目录0.相关文章链接1.数据仓库概念2.数仓仓库为何而来2.1.操作型记录的保存2.2.分析型决策的制定2.3.OLTP环境开展分析可行吗？2.4.数据仓库的构建3.数据仓库主要特征3.1.面向主题性3.2.集成性3.3.非易失性3.4.时变性4.数据仓库、... 查看详情

数据仓库分层1、介绍数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。现在所谓的大数据更多的是一种数据量级的增大和工具的上的更新。两者并无冲突，相反... 查看详情

】建模分层数据仓库维度【英文标题】：modellinghierarchicaldatawarehousedimension【发布时间】：2014-05-2812:47:19【问题描述】：我正在尝试对分层的维度进行建模，并且在每个级别上具有不确定数量的特征。下面是一个关于如何在数据... 查看详情

文章目录一、数据仓库介绍1.1、什么是数据仓库1.2、数据仓库的特点1.2.1、面向主题的1.2.2、集成化的1.2.3、稳定的1.2.4、随时间不断变化的1.3、数据仓库发展历程1.4、数据库与数据仓库的区别二、数据仓库架构分层5.1、ODS（Op... 查看详情

1、数据仓库简介其实数仓数据分层，就跟代码分层一样.如果所有数据都放在一层，就跟代码都放在一个文件，肯定是可以运行的，但带来的问题就是阅读性差，复用性和维护性降低。数仓的分层也是一样࿰... 查看详情