给大家介绍2本还不错的书「数据仓库|数据中台」

author author     2022-12-26     639

关键词:


前言

        老读者都知道,Alice是一个爱看书的程序员。之前已经为大家分享过2篇跟书有关的文章,一篇是​​《推荐10本大数据领域必读的经典好书(火速收藏)》​​​,为大家推荐了一些很经典的大数据书籍(还专门为大家准备了电子版)。另外一篇是《​​简单谈谈最近在看的几本书「数据中台,用户画像」​​》,第二篇更多是站在读者的角度,分析评判书的可读性,并写了自己的读后感。虽然带来的效果并没有第一篇那么好,但是却收到不少小伙伴的好评!最近,又淘到2本不错的好书,想借本期文章为大家好好“品”一下,希望大家能够受益!

大数据分析 : 数据仓库项目实战

给大家介绍        相信大家看到封面,第一眼应该是被左上角的“硅谷”所吸引。作为“尚大”毕业的学生,对于其资料的硬核程度,与靠着自学一路走来的小伙伴们一样,有目共睹。作为它出版的第一本书,相信大家也同样期待 ~

        大数据发展至今,早已不是一个新兴词语,大数据的应用已经无处不在!正如本书前言所述,在大数据时代,我们面临的不仅是海量的数据,更重要的是海量数据所带来的数据的采集、存储、处理等方方面面的问题。为了更快速、更全面地展示大数据的实践应用,这本书以一个数据仓库项目为切入点,带领大家一步步揭开大数据的面纱!

        相信很多非大数据行业的小伙伴不是很理解,数据仓库是啥?

        如果是回答新手上路的萌新,我会回答数据仓库项目是学习大数据的重要基石。你可以通过以搭建数仓为主线,从搭建之初的框架选型、数据服务的整体策划到数据的流向,数据的采集、存储和计算,循序渐进,一步步展开,进行细致剖析。简单理解,就是完整跟着把这个项目做一遍,大数据基本常用的技术你都玩过了 ~

        如果有一定开发经验,但是在工作中未接触到大数据行业的“老司机”来问这个问题,我会基于自己大量阅读和实践的认知,告诉他:数据仓库是大多数企业“试水”大数据的首先切入点。为啥?一方面数据仓库主要编程语言以SQL为主,所以经常搞数仓的就容易被人戏称是 SQLBoy,哈哈开个玩笑 ~ 无论是 Hive 还是 SparkSQL,都是通过高度标准化的 SQL 进行开发的,这样的好处就很明显。对于很多从传统数据仓库,例如做后台开发,向大数据转型的开发人员和团队来说,是一种较为平滑的过渡;另一方面,数据仓库理论和方法论已经非常成熟,在大数据平台上实现数据仓库遵循的依然是这些理论,只是在不同的业务,项目中实现的细节上有所不同!所以,如果完整跟着做了一个项目,在大脑中形成自己的一套“数仓理论”,再去学习其他的项目或者技术点,相信会有起到“触类旁通”的效果,事半功倍!

        当然,在大数据领域扎根多年的“老鸟”应该是不会问我这么“稚嫩”的问题,但 “ A true master is an eternal student ”,真正的大师,永远都怀着一颗学徒的心。我会袒露心声:现在大数据生态圈用“百花齐放”真的不为过,举一些当前大数据开发主流的框架,例如采集:Flume,Kafka,Sqoop;存储:MySQL,Hadoop,HBase;计算:Hive,Tez;即席查询:Presto,Druid,Kylin;可视化:Superset;任务调度:Azkaban;元数据管理:Atlas 等等,我们很少在真实的一个企业级项目中均有所涉及,但如果有一个不算复杂的项目能把一个完整的技术栈串联起来,我相信不管是对于项目本身的业务的拓展理解还是自身技术栈的积累,都会有不少的提升!除此之外,书中还有对于数仓学习中需要掌握的一些理论,例如范式理论,星型,雪花和星座模型区别,表如何分层,数仓如何建模,以及常用的术语都有一定的讲解,但不是非常详细。如果想要全面了解数仓,建议去看《数据仓库工具箱》,想要数仓工具箱电子版可以私聊我,当然这就是后话了~

        或许你看到这里,会对项目的架构感兴趣,那我就分享一下最近看了硅谷的教程,依葫芦画瓢的2张架构图,分别是离线和实时的数仓架构设计,而这本书就是按照离线的架构介绍的。

给大家介绍给大家介绍

        这本书比较适合初级程序员,要求读者具有一定的编程基础,例如 Java 和 SQL 。另外项目配套的相关内容早已在B站上有对应的视频公开 ~ 想找电子书的朋友可以用“无限卡”去 wx读书上白嫖 ~         



大数据平台架构与原型实现:数据中台

给大家介绍        这本书的作者是一位架构师。拥有 14 年 IT 系统开发和架构经验,在大数据、企业级应用架构,SaaS、分布式存储和领域驱动设计等方面都有不错的实践经验。当时买这本书的主要原因是它因为在豆瓣上口碑不错,再加上近几年数据中台越来越火,几乎所有的大厂都有自己的中台,而自己作为一个大数据萌新,对于“热门新鲜”的技术一直都很敏感,所以当时就很爽快地买来看了。

        让我惊喜的是,这本书对于中台的介绍应该是我目前为止看过的所有资料里介绍的最透彻的,光技术中台一个知识点,就从技术体系,组织架构,以及需要具备的能力和建设策略,让之前从没有认真思考过“数据中台”来源的我,开始思索其未来的发展。但美中不足的地方是,书中大篇幅的实际系统部署内容,对于开发能力薄弱的读者不是很友好。但这也不能埋怨作者,毕竟就像现在数据中台的概念满天飞,最终的落地却是一大难题。如果整本书光吹理论而不将其落到实际的操作上,整本书的价值将大打折扣!

        说一些我认为受益比较大的地方。在第4章架构与原型设计,在第一小节,介绍大数据平台架构设计的时候,介绍了一些业界已经较为成熟的架构模式,例如 Lambda架构,Kappa架构 以及 Smack 架构。在此之前,我最多也只是在公司内部技术分享会上听到其他人谈到会有点印象,但是自己却从未去主动了解过。我在几乎0基础的情况下,阅读这些架构的设计理念和应用,还是比较的容易,这可能跟自学能力有关。另外我比较欣赏的一点就是,作者作为一个高级架构师,对于技术本身的理解非常深入。尤其在做技术选型的时候,从数仓分层的设计与构建,数据存储系统的选择对比,不同场景下工作流的作业调度,部署提交,项目构建...每一个点都需要有一定的知识储备。这些都能了然于胸,离不开平时大量的实践和积累。我的目标是未来能成为大数据架构师,别的不说,至少通过作者的阅读,我学会了新的思考方式!

        借用彩食鲜CTO、鲲鹏会荣誉导师,苏宁科技集团原副总裁乔新亮老师的评论,本书涵盖了大数据平台建设的全部环节,通读下来,整体上实操性很强,架构原理融于了工程原型的搭建过程,对于希望自己动手实践的读者会很有帮助,同时在操作步骤中介绍了相应的逻辑与设计,有助于读者更好地领会背后的原理。在今天这个时代,我们不见得要自己搭建整个平台,但是了解原理可以让自己工作起来事半功倍,不管是自己搭建,还是利用成熟平台,懂得原理,明白实践,再开始在企业中搭建数据驱动内部经营的完善体系就会胸有成竹、游刃有余


小结

        本期内容我为大家推荐了2本非常认可,喜欢的技术书籍,同时也希望大家在平时阅读的时候,多输出,多思考,这样往往能够对书中想要表达的核心思想理解得更透彻。好了,本篇内容就到这里,我是【大数据梦想家】,一个坚信技术成就自我的“后浪”,你知道的越多,你不知道的也越多!如果本文对您有所启发,不妨点个三连,我们下一期,不见不散~

-- end --

给大家介绍

好了,本篇文章就到这里,更多干货文章请关注我的公众号。你知道的越多,你不知道的也越多。我是梦想家,点个关注,我们下一期见!




数据中台与数据仓库比较

...2)业务域3)层次的划分  1)提供服务的对象a、数据仓库的服务对象基本上是人。明细数据,聚合指标,转化率模型,他们的目前用户都是人b、数据中台的服务对象变成人+机器。用户标签、机器学习模型,数据挖掘模型... 查看详情

数据仓库数据集市数据湖数据中台到底有什么区别?

...解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明。什么是数据仓库?大家都去宜家买过东西吧,还记得一楼的大仓库不,你如果看中了某个家具,想要自己去仓库提货,一般... 查看详情

kafka最好的书,涨姿势了!

系统介绍整个系统可以从功能上分为3块:业务系统:在上游有很多的业务系统,业务系统的运行产生很多的数据,这些数据分散在很多的数据库中,大部分是MySQL数据库数据智能平台:数据智能平台属于中... 查看详情

数据中台详解

文章目录什么是数据中台数据中台VS数据仓库数据中台的业务价值与技术价值数据中台建设与架构数据中台建设方法论数据中台架构数据汇聚联通:打破企业数据孤岛数据采集、汇聚的方法和工具数据交换数据体系建设数据... 查看详情

数据中台应用实战50篇-带你概览bi数据仓库数据湖与数据中台之间有什么关联关系?(建议收藏)

...就避免了重复建设,既省时、省力,又省钱。以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟!MATLAB-30天带你从入门到精通MATLAB深入理解高级教程(附源码)tableau可视化数据... 查看详情

万字详解数据仓库数据湖数据中台和湖仓一体

...了一脚。那么它们3者究竟有啥区别?别急,先跟大家分享两个有趣的比喻。50000字详解数仓建设保姆级教程,涵盖离线和实时https://mp.weixin.qq.com/s?__biz=Mzg2MzU2MDYzOA==&mid=2247491812&idx=1&sn=cd20944f96... 查看详情

万字详解数据仓库数据湖数据中台和湖仓一体

本文目录:一、前言二、概念解析数据仓库数据湖数据中台三、具体区别数据仓库VS数据湖数据仓库VS数据中台总结四、湖仓一体目前数据存储方案DataLakehouse(湖仓一体)一、前言数字化转型浪潮卷起各种新老概念满... 查看详情

4万字全面掌握数据库,数据仓库,数据集市,数据湖,数据中台

...着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代,... 查看详情

数字中台从0启蒙

大家好,今天给大家介绍下什么是数字中台;想必大家听到这个新词都有些不太理解或是有些蒙圈,其实我听到的时候也是不太理解,下面我给大家举例说明下:1.数字中台,其实可以理解成中国移动10086接电话的客户人员,有... 查看详情

基于阿里onedata思想,深入剖析数据仓库方法论(建议收藏)

摘要:今天分享的主要内容是基于百度的数据仓库方法论(精华版)分享时间:2021年6月2号分享内容:石老师摘要整理:皮卡丘主要内容:    1. 数据中台简介    2. 数据仓库方法论    3. 数据... 查看详情

如何提高数据挖掘能力

我们在上一篇文章中给大家讲述了一部分提高数据挖掘能力的办法。当然,这也只是从一个方面进行讲述的,还需要从多个角度才能够全面提高数据挖掘能力,下面我们就给大家讲述一下数据挖掘能力提高的其他方法。首先,需... 查看详情

数据中台应用实战50篇-带你概览bi数据仓库数据湖与数据中台之间有什么关联关系?(建议收藏)

前言数据中台最核心的是OneData体系。这个体系实质上是一个数据管理体系,包括全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。数据仓库是为企业所有级别的决策制定... 查看详情

litdb文章

...例3.LiteDB的技术细节4.资源其他    今天给大家介绍一个不错的小巧轻量级的NoSQL文件数据库LiteDB。本博客在2013年也介绍过2款.NET平台的开源数据库:1.【原创】开源.NET下的XML数据库介绍及入门 2.【原创】C#开源... 查看详情

如何快速构建自己的数据中台知识体系

...实战课》专栏,一口气学完后,做了一些总结笔记分享给大家,希望会对你有所帮助!总结的文章我会分为上下两篇来写,先讲原理,再谈实践,从原理到技术,最后到实践。这样大家也能跟着我一起,既能看到数据中台支撑技... 查看详情

浅谈数据仓库架构设计

1.数据中台与DW/BI/DSS个人认为数据中台本质上是一种新的适配大数据技术发展的新的“数据仓库-决策支持(商业智能)”架构。这个架构是构建在传统的架构基础之上,对传统架构的一种新的发展。数据中台从企业的... 查看详情

关于数据仓库的若干想法

  今天无意在简书看到一篇文章题目是 数据仓库灵魂30问,感觉这写问题确实需要总结和归纳,先做个标记,后续整理答案。1.什么是数据仓库?如何构建数据仓库?(如果这个问题回答的好,后面很多问题都不需要再问... 查看详情

数据中台建设:数据体系建设

  文章目录数据体系建设一、数据标签层二、如何构建数据标签层1、确定构建标签对象2、设计标签类目3、标签表实现数据体系建设数据中台是企业数据汇集地,但并不是简单的数据堆积,而是进行分层建模,数据... 查看详情

从数据仓库到大数据平台再到数据中台(内附13张架构图)

现在,数据的新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑…企业层面的有数字化转型、互联网经济,数字经济、数字平台…平台层面的有物联网,云计算,大数据,5G,人工... 查看详情