greenplum介绍

author author     2022-09-04     245

关键词:

数据库分两种类型:

1、OLTP:重吞吐和高并发;前台应用,面向客户。

主要特点:

a、单次处理的数据量很小

b、对响应时间要求很高

c、用户数量庞大

2、OLAP:重计算,Greenplum属于OLAP;后台数据,面向业务管理人员。

主要特点:

a、主要用于查询分析

b、复杂查询涉及的数据量庞大

c、用户数量少

     

    Greenplum是一个关系型数据库集群,它实际上是由数个独立的数据库服 务 组 合 成 的 逻 辑 数 据 库 。 与 Oracle R A C Shared-Everything架 构 不 同 ,Greenplum采用 Shared-Nothing架 构 ,整个集群由很多个数据节点Segment Host) 和 控 制 节 点 Master Host) 组成,其中每个数据节点上可以运行多个数据库。简单来说,Shared-Nothing是一个分布式 的架构,每个节点相对独立。在典型的Shared-Nothing中,每一个节点上所有的资源(CPU, 内存,磁盘)都是独立的,每个节点都只有全部数据的一部分,也只能使用本节点的资源。


Greenplum 应用场景

    Greenplum数据引擎是为新一代数据仓库和大规模分析处理而建立的软件解决方案,其 最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能査

询。在数据仓库、商业智能的应用上,尤其在海量数据的处理方面Greenplum表现出极其优

异的性能。

    传统数据库侧重交易处理,关注的是多用户的同时的双向操作,在保障即时性的要求下,系统通过内存来处理数据的分配、读写等操作,存在IO瓶颈。而分析型数据库是以实时多维分析技术作为基础,对数据进行多角度的模拟和归纳,从而得出数据中所包含的信息和知识。Greenplum虽然是关系型数据库产品,但是它具有査询速度快、数据装载速度快、 批量DML处理快的主要特点,而且性能可以随着硬件的添加呈线性增加,拥有非常良好的可扩展性。因此,Greenplum主要适用于面向分析的应用,比如构建企业级ODS/EDW、数 据集市等。

 


本文出自 “学习笔记” 博客,请务必保留此出处http://quliren.blog.51cto.com/9849266/1933696

mpp架构海量数据分析仓库——greenplum介绍(代码片段)

一、Greenplum背景时间回到2002年,互联网行业经过近10年的发展,数据量正处于快速增长期:  1、传统的主机计算模式在海量数据面前,除了造价昂贵外,在CPU计算和IO吞吐上不能满足海量数据的计算需求;  2、传统数据库... 查看详情

greeplum系列安装部署(代码片段)

Greeplum系列(二)安装部署本章将介绍如何快速安装部署Greenplum,以及Greenplum的一些常用命令及工具。本章不会涉及硬件选型、操作系统参数讲解、机器性能测试等高级内容,这些会在“第8章Greenplum线上环境部署”中介绍。2.1软... 查看详情

greenplum架构详解&hashjoin算法介绍(代码片段)

Greenplum数据库是一种大规模并行处理(MPP)数据库服务器,其架构特别针对管理大规模分析型数据仓库以及商业智能工作负载而设计。MPP(也被称为sharednothing架构)指有两个或者更多个处理器协同执行一个操作的系统,每一个... 查看详情

greenplum生态与工具(代码片段)

Greenplum生态与工具目录第一节Greenplum生态介绍 1、Greenplum发展历史 2、商业版与开源版的差异 3Greenplum生态软件第二节Greenplum运维工具 1、商业监控--GPCC 2、开源监控Prometheus+Grafana 3、gpxxx运维工具第三节Greenplum管理工具 1、常用... 查看详情

greenplum的mvcc多版本控制的简单介绍(主要涉及cmin,cmax,xmin,xmax说明)

熟悉Greenplum数据库的朋友应该都知道,GP底层是使用PostgreSQL数据库来实行MPP架构的,而对于事务控制这一块,也是使用PostgreSQL的多版本控制MVCC,实现了读写分离,显然就会提高数据库每秒查询的性能。 在ReadCommit事务隔离级... 查看详情

greenplum数据库故障恢复测试(代码片段)

本文介绍gpdb的master故障及恢复测试以及segment故障恢复测试。环境介绍:Gpdb版本:5.5.0二进制版本操作系统版本:centoslinux7.0Mastersegment:192.168.1.225/24hostname:mfsmasterStadnbysegemnt:192.168.1.227/24hostname:server227Segment节点1:192.168.1.2 查看详情

greenplum数据库架构分析

Greenplum数据库是最先进的分布式开源数据库技术,主要用来处理大规模的数据分析任务,包括数据仓库、商务智能(OLAP)和数据挖掘等。自2015年10月正式开源以来,受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数... 查看详情

greenplum集群安装与增加节点生产环境实战

greenplum集群安装与增加节点生产环境实战1.准备环境1.1集群介绍系统环境:centos6.5数据库版本:greenplum-db-4.3.3.1-build-1-RHEL5-x86_64.zipgreenplum集群中,2台机器IP分别是[[email protected]~]#cat/etc/hosts127.0.0.1  localhostlocalho 查看详情

greenplum数据的装载与卸载之外部表以及gpfdist工具的使用(代码片段)

Greenplum的外部表和ORACLE的外部表一样,都是数据存储在数据库之外的表。它的外部表除了可以加载本地的数据,还可以通过gpfdist工具并行加载数据。由于本地方式加载的效率低,已经被gpfdist取代。本文先介绍本地方式加载,后... 查看详情

centos7编译安装greenplum5.7(代码片段)

...安装。gp是在github上下载的5.7的源码。地址https://github.com/greenplum-db/gpdb/tree/5.7.0。1、Greenplum集群介绍这里使用1个master,3个segment的集群,ip为196.168.12.101196.168.12.102196.168.12.103196.168.12.1042、修 查看详情

2greenplum导入导出工具详细介绍

参考技术AGPFDIST是emc工程师推荐的最快的导入导出工具。导入导出数据的时候gpfdist是同时并行的与各个节点互动,效率很高(十分高!如果忽略掉GP的一些其他问题,简直完美)。在我们的实际试验中使用一个gpfdist加上千兆网卡... 查看详情

greenplum实时数据仓库实践——greenplum与数据仓库(代码片段)

目录3.1Greenplum简介3.1.1历史与现状3.1.2MPP——一切皆并行3.2Greenplum系统架构3.2.1Master3.2.2Segment3.2.3Interconnect3.3Greenplum功能特性3.3.1存储模式1.Heap存储2.Append-Optimized存储3.选择行存或列存4.使用压缩(必须是AO表)5.检查AO表的压... 查看详情

greenplum实时数据仓库实践——greenplum与数据仓库(代码片段)

目录 3.1Greenplum简介3.1.1历史与现状3.1.2MPP——一切皆并行3.2Greenplum系统架构3.2.1Master3.2.2Segment3.2.3Interconnect3.3Greenplum功能特性3.3.1存储模式1.Heap存储2.Append-Optimized存储3.选择行存或列存4.使用压缩(必须是AO表)5.检查AO表的... 查看详情

直播预告greenplum磁盘配额管理工具diskquota内部实

Greenplum生态拥有众多工具来帮助用户更便捷的使用Greenplum,其中就包括Greenplum磁盘配额管理工具Diskquota(https://github.com/greenplum-db/diskquota)。Diskquota可以帮助Greenplum数据库管理员限制数据库中模式(schema)或角色(rol... 查看详情

greenplum实时数据仓库实践——事实表技术(代码片段)

目录8.1事实表概述8.2周期快照8.3累积快照8.4无事实的事实表8.5迟到的事实8.6累积度量小结    上一篇里介绍了几种基本的维度表技术,并用示例演示了每种技术的实现过程。本篇说明多维数据仓库中常见的事实表技术。我... 查看详情

Greenplum - 在单个服务器上安装 Greenplum

】Greenplum-在单个服务器上安装Greenplum【英文标题】:Greenplum-InstallGreenplumonSingleServer【发布时间】:2015-12-1110:29:32【问题描述】:是否可以在单个服务器上安装GP同一个支持哪个版本有人试过吗?需要什么Linux软件包?,谁能分享... 查看详情

气流 <--> Greenplum

】气流<-->Greenplum【英文标题】:Airflow<-->Greenplum【发布时间】:2017-04-2607:25:09【问题描述】:是否可以建立从Airflow到Greenplum的连接?记住Greenplum基于PostgreSQL,是否可以建立到Greenplum主服务器的连接?【问题讨论】:【... 查看详情

如何安装greenplum

】如何安装greenplum【英文标题】:Howtoinstallgreenplum【发布时间】:2015-02-1012:30:34【问题描述】:我正在尝试安装greenplum。我试图在ubuntuvm中做到这一点。但我没有得到正确的链接来安装它。谁能帮我安装greenplum?【问题讨论】:... 查看详情