olap(on-lineanalyticalprocessing)

一叶霸屏MS 一叶霸屏MS     2022-10-08     331

关键词:

自20世纪80年代开始,许多企业利用关系型数据库来存储和管理业务数据,并建立相应的应用系统来支持日常的业务运作。这种应用以支持业务处理为主要目的,被称为联机事务处理(On line Transaction Processing,OLTP)应用,它所存储的数据被称为操作数据或者业务数据。
随着数据库技术的广泛应用,企业信息系统产生了大量的业务数据,如何从这些海量的业务数据中提取出对企业决策分析有用的信息,这成为企业决策管理人员所面临的重要难题。因此,人们逐渐尝试对OLTP数据库中的数据进行再加工,以形成一个综合的、面服务对象、访问方式、事务管理乃至物理存储等方面都有不同的特点和要求,因此,直接在操作型数据库上建立决策支持系统是不合适的。数据仓库技术就是在这样的背景下发展起来的。
随着市场竞争的日趋激烈,企业更加强调决策的及时性和准确性,这使得以支持决策管理分析为主要目的的应用迅速崛起,这类应用被称为联机分析处理,它所存储的数据被信息数据。
联机分析处理的概念最早由关系数据库之父E.F.Codd于1993年提出。Codd认为,联机事务处理已不能满足终端用户对数据库查询分析的要求,SQL对大容量数据库的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量的计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此,Codd提出了多维数据库和多维分析的概念,即OLAP。OLAP委员会对联机分析处理的定义为:使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互的存取,从而获得对数据更深入了解的一类软件技术。

联机分析处理OLAP是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。

它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多维信息的快速分析的特征。

其中F是快速性(Fast),指系统能在数秒内对用户的多数分析要求做出反应;

A是可分析性(Analysis),指用户无需编程就可以定义新的专门计算,将其作为分析的一部 分,并以用户所希望的方式给出报告;

M是多维性(Multi—dimensional),指提供对数据分析的多维视图和分析;

I是信息性(Information),指能及时获得信息,并且管理大容量信息。


数据仓库与OLAP的关系是互补的,现代OLAP系统一般以数据仓库作为基础,即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取。
OLAP系统按照其存储器的数据存储格式可以分为关系OLAP(RelationalOLAP,简称ROLAP)、多维OLAP(MultidimensionalOLAP,简称MOLAP)和混合型OLAP(HybridOLAP,简称HOLAP)三种类型。

 

ROLAP
ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个SQL查询都作为实视图保存,只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对OLAP服务器的查询,优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作ROLAP存储器的RDBMS也针对OLAP作相应的优化,比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等等。
MOLAP
MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式,形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围,而总结数据作为多维数组的值存储在数组的单元中。由于MOLAP采用了新的存储结构,从物理层实现起,因此又称为物理OLAP(PhysicalOLAP);而ROLAP主要通过一些软件工具或中间软件实现,物理层仍采用关系数据库的存储结构,因此称为虚拟OLAP(VirtualOLAP)。
HOLAP
由于MOLAP和ROLAP有着各自的优点和缺点(如下表所示),且它们的结构迥然不同,这给分析人员设计OLAP结构提出了难题。为此一个新的OLAP结构——混合型OLAP(HOLAP)被提出,它能把MOLAP和ROLAP两种结构的优点结合起来。迄今为止,对HOLAP还没有一个正式的定义。但很明显,HOLAP结构不应该是MOLAP与ROLAP结构的简单组合,而是这两种结构技术优点的有机结合,能满足用户各种复杂的分析请求。


联机分析处理的主要特点,是直接仿照用户的多角度思考模式,预先为用户组建多维的数据模型,在这里,维指的是用户的分析角度。例如对销售数据的分析,时间周期是一个维度,产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成,用户可以快速地从各个分析角度获取数据,也能动态的在各个角度之间切换或者进行多角度综合分析,具有极大的分析灵活性。这也是联机分析处理被广泛关注的根本原因,它从设计理念和真正实现上都与旧有的管理信息系统有着本质的区别。
事实上,随着数据仓库理论的发展,数据仓库系统已逐步成为新型的决策管理信息系统的解决方案。数据仓库系统的核心是联机分析处理,但数据仓库包括更为广泛的内容。
概括来说,数据仓库系统是指具有综合企业数据的能力,能够对大量企业数据进行快速和准确分析,辅助做出更好的商业决策的系统。它本身包括三部分内容:
1、数据层:实现对企业操作数据的抽取、转换、清洗和汇总,形成信息数据,并存储在企业级的中心信息数据库中。
2、应用层:通过联机分析处理,甚至是数据挖掘等应用处理,实现对信息数据的分析。
3、表现层:通过前台分析工具,将查询报表、统计分析、多维联机分析和数据发掘的结论展现在用户面前。
从应用角度来说,数据仓库系统除了联机分析处理外,还可以采用传统的报表,或者采用数理统计和人工智能等数据挖掘手段,涵盖的范围更广;就应用范围而言,联机分析处理往往根据用户分析的主题进行应用分割,例如:销售分析、市场推广分析、客户利润率分析等等,每一个分析的主题形成一个OLAP应用,而所有的OLAP应用实际上只是数据仓库系统的一部分。

什么是olap?

文章目录1.1、OLAP简介1.2、什么是OLAP?1.3、OLAP可以对多维数据库执行五种类型:1.4、OLAP架构1.4、OLAP(在线分析处理)基本上分为三种类型:1.5、用途和优势1.6、缺点关注我的公众号【宝哥大数据】,更多... 查看详情

关于olap(联机分析)

有没有关于OLAP(联机分析)实质一点的说明呀?公司说要对数据进行OLAP,可是在网上查询了很久,只找到关于OLAP的定义与说明等,没有关于实际应用方面的,哪位高手推荐几本书或网址什么的呀?实质一点就到具体产品了.比... 查看详情

在内存中和与 olap4j 兼容的可嵌入 OLAP 实现

】在内存中和与olap4j兼容的可嵌入OLAP实现【英文标题】:InmemoryandembeddableOLAPimplementationcompatiblewitholap4j【发布时间】:2011-02-2310:53:17【问题描述】:我正在寻找一个OLAP实现,它可以嵌入到Java应用程序中。最好的——但不一定—... 查看详情

oltp与olap

OLTP(on-linetransactionprocessing)翻译为联机事务处理,OLAP(On-LineAnalyticalProcessing)翻译为联机分析处理。从字面上来看OLTP是做事务处理,OLAP是做分析处理。从对数据库操作来看,OLTP主要是对数据的增删改,OLAP是对数据的查询。... 查看详情

BigQuery 中都有哪些 OLAP 功能?

】BigQuery中都有哪些OLAP功能?【英文标题】:WhatOLAPfeaturesareinBigQuery?BigQuery中有哪些OLAP功能?【发布时间】:2012-05-0314:55:00【问题描述】:BigQuery文档中提到它使用OLAP函数。但开发人员文档没有提及MDX查询语言、维度或事实表。... 查看详情

OLAP 与列 DB

】OLAP与列DB【英文标题】:OLAPvsColumnDB【发布时间】:2010-12-1607:32:46【问题描述】:我正在评估OracleOLAP和PentahoMondrian之间的选择。同时有人说使用列DB可以简单地利用OLAP的冗余,因为它们更快。有没有人有这方面的经验。如果OLA... 查看详情

OLAP/OLTP:“在线”是啥意思?

】OLAP/OLTP:“在线”是啥意思?【英文标题】:OLAP/OLTP:Whatdoes"online"mean?OLAP/OLTP:“在线”是什么意思?【发布时间】:2020-08-0709:27:21【问题描述】:不确定这是我应该发布的地方,但我在这里找到了相关的问题,所以我... 查看详情

是否存在非关系型 OLAP 引擎?

】是否存在非关系型OLAP引擎?【英文标题】:Doesnon-relationalOLAPEngineexist?【发布时间】:2009-08-2813:19:29【问题描述】:类似于NoSQL数据库,但用于OLAP。当然是开源的:)编辑:OLAP引擎在幕后使用关系数据库。例如SAPBW可以使用Orac... 查看详情

olap与clickhouse基础篇

OLAP与ClickHouse基础知识文章目录OLAP与ClickHouse基础知识一、OLAP二、ClickHouse的特点2.1MPP架构的列式存储数据库2.2ClickHouse的表引擎MergeTree2.3CK的不适用场景一、OLAP联机分析处理(OLAP)是一种软件技术,它使分析人员能够迅速、一致... 查看详情

olap与clickhouse基础篇

OLAP与ClickHouse基础知识文章目录OLAP与ClickHouse基础知识一、OLAP二、ClickHouse的特点2.1MPP架构的列式存储数据库2.2ClickHouse的表引擎MergeTree2.3CK的不适用场景一、OLAP联机分析处理(OLAP)是一种软件技术,它使分析人员能够迅速、一致... 查看详情

olap和oltp的区别(基础知识)

联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理(OLTP)明显区分开来。当今的数据处理大致可以分成两大类... 查看详情

微软访问 + OLAP

】微软访问+OLAP【英文标题】:MSAccess+OLAP【发布时间】:2009-10-1810:26:57【问题描述】:我在MSAccess中有大量数据,我需要工具进行分析。您能推荐任何用于数据挖掘和分析(OLAP)的工具吗?【问题讨论】:【参考方案1】:对Access(... 查看详情

OLAP 架构?

】OLAP架构?【英文标题】:OLAParchitecture?【发布时间】:2021-07-2317:36:46【问题描述】:我正在学习数据仓库的架构和设计,并且有一个关于OLAP系统的问题。因此,据我了解,从历史上看(当计算能力和内存不是商品时),数据... 查看详情

[转]olap的12条准则

OLAP的12条准则Multidimensionalconceptualview OLAP模型必须提供多维概念视图User-analystswouldviewanenterpriseasbeingmultidimensionalinnature–forexample,profitscouldbeviewedbyregion,product,timeperiod,orscena 查看详情

oltp与olap

... OLTP(on-linetransactionprocessing)翻译为联机事务处理,OLAP(On-LineAnalyticalProcessing)翻译为联机分析处理,从字面上来看OLTP是做事务处理,OLAP是做分析处理。从对数据库操作来看,OLTP主要是对数据的增删改,OLAP是对数据的查... 查看详情

郭大侠深度解析olap引擎趋势

OLAP引擎优劣分析​​​​​​​​​​​​​​ 查看详情

Excel 多维数据集 - OLAP?

】Excel多维数据集-OLAP?【英文标题】:ExcelCubes-OLAP?【发布时间】:2018-02-0910:58:35【问题描述】:我不确定这是否可行,但我有一个非常大的数据集(使用MicrosoftSQLServerManagementStudio提取)并希望将其导入某种多维数据集(OLAP?... 查看详情

数据仓库 - OLAP 操作

】数据仓库-OLAP操作【英文标题】:DataWarehousing-OLAPoperations【发布时间】:2015-01-0215:19:36【问题描述】:我想知道如何使用OLAP操作(切片、钻孔)从代表大学成绩册的数据仓库(由模式表示)中找到最终分数的标准偏差,我无法... 查看详情