云原生数据湖应用洞察白皮书

爱是与世界平行 爱是与世界平行     2023-03-16     204

关键词:

内容整理自:艾瑞咨询《中国云原生数据湖应用洞察白皮书》

概念界定:数据湖是面向大数据场景的创新解决方案,采用了与传统数仓不同的设计架构,具有「数据多源异构、统一存储管理、多范式计算、schema后置和应用广泛」的特性。云原生是数据湖未来部署的必然形态,具有「建立统一数据资产、低成本使用基础资源、高性能计算体验升级和敏捷创新赋能」的核心价值。

1 数据湖的定义

数据湖是面向大数据场景的创新解决方案。

早期,业界和用户多把数据湖定义为一个储存原始格式数据的系统,可容纳结构化、半结构化、非结构化及二进制的数据。

随着大数据技术的融合发展,数据湖的边界不断扩展,内涵也发生了变化。数据湖开始汇集各方面技术,逐步演进成为集多源异构数据统一储存、多范式计算分析及统一管理调用的大数据综合解决方案。它可以更加高效率低成本地管理海量多源异构数据,打通数据孤岛,释放数据价值,助力新时代下各行业企业的数字化转型。

2 数据湖 vs 数据仓库

数据仓库是诞生于数据库时代,应企业分析诉求而生的数据产品,它的核心思路是把数据库中的数据进行一定格式转换后,定时地复制至另一个库里做列式存储,从而满足企业查询和数据分析的诉求。随着互联网的发展,数据量暴增,非结构化数据越来越多,企业业务变化越来越快,传统数据仓库无法适应大数据和现代化企业对于实时、交互式分析等方面的诉求。

随之,数据湖诞生。它选择了“前松后紧”的设计思路,初始化阶段放弃严格的模式,后置schema,从而获取更强的灵 活性;同时通过统一存储管理和计算优化来保证数据的一致性和性能。

3 云原生数据湖

云原生数据湖核心价值:

  • 集中存储、统一管理,建立高质量的数据资产
  • 通过云的方式,更低成本地使用存储和计算资源
  • 云湖共生,带来大数据应用的高性能体验
  • 重塑IT部门定位与价值,赋能业务应用敏捷创新

3.1 基于云原生数据湖的统一资产建设

随着数字转型化进入深水区,“数据”已经成为企业的核心生产要素,打通各部门、各应用系统,建立企业级的统一数据资产已经成为业内的共识。基于云上的集中存储和数据湖,企业可以更丝滑地实现数据多源聚合,对内外部数据进行全生命周期的管理,从而沉淀为数据资产,赋能业务应用,释放数据价值。同时,基于云原生数据湖部署的云原生应用天然可以实现数据的无界流动,数用一体为企业打造了高效的价值闭环。

3.2 通过云的方式,更低成本地使用存储和计算资源

云原生数据湖是基于云环境构建的低成本大数据解决方案。于存储上,云原生数据湖使用对象存储,实现了无限扩容(理论上)和更低的价格,同时云上统一存储也简化了之后数据调用的复杂度;于计算上,云原生数据湖采用计算存储分离的架构,让计算节点和存储节点可以分别弹性伸缩,避免了存算需求不同造成的浪费;于用云策略上,云原生数据湖通过Serverless的模式,根据请求量自动进行毫秒级的弹性扩容,解决波峰资源短缺、波谷资源浪费的问题,实现最小单元的成本最优。

4 产业图谱

公有云厂商+生态厂商的市场格局初现

forrester云原生开发者洞察白皮书,低代码概念缔造者又提出新的开发范式

简介: 云原生时代的到来为开发者群体带来了前所未有的机遇,让开发者可以更加专注业务价值创造与创新,并使得人人成为开发者成为现实。广大开发者如何转型成为云原生开发者?运维等专业人员在云原生... 查看详情

《2021年中国视频云场景应用洞察白皮书》联合首发!

简介:首个视频云赛道场景洞察报告视频云场景丨白皮书“视频不应该被看作单独的一个行业,就像云计算同样不该被看作一个单独的行业,它们都将渗透到各个行业、各个场景。”这正是艾瑞研究院副总经理徐樊磊... 查看详情

《2021年中国视频云场景应用洞察白皮书》联合首发!

视频云场景丨白皮书“视频不应该被看作单独的一个行业,就像云计算同样不该被看作一个单独的行业,它们都将渗透到各个行业、各个场景。”这正是艾瑞研究院副总经理徐樊磊在7.10的Imagine阿里云视频云全景创新峰会... 查看详情

云原生数据库白皮书,发布!

...计算与大数据研究所共同发布了业界首个《云原生数据库白皮书》,梳理云原生数据库全流程概念及方法。本文分享自华为云社区《发布了!业界首个《云原生数据库白皮书》》,作者: 华为云头条。8月18日ÿ... 查看详情

如何快速搭建云原生企业级数据湖架构及实践分享

...湖架构被越来越多的企业探讨。本文主要分享快速搭建云原生企业级数据湖架构及实践分享。王震,阿里云计算平台事业部开源大数据平台技术专家本文根据王震在2021开源大数据技术线上Meetup#0821分享整理直播回放链 查看详情

使用icebergonkubernetes打造新一代云原生数据湖(代码片段)

文章目录使用IcebergonKubernetes打造新一代云原生数据湖背景何为IcebergIcebergonKubernetes如何构建云原生实时数据湖架构图创建Kubernetes集群部署Hadoop集群注意集成Iceberg创建和使用Iceberg表总结参考材料使用IcebergonKubernetes打造新一代云... 查看详情

贾扬清谈云原生-让数据湖加速迈入3.0时代

简介: 摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能高级研究员贾扬清为我们带来《云原生--让数据湖加速迈入3.0时代》的分享。摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能高级研... 查看详情

当云原生成为一种显学,对象存储和数据湖如何顺势而为

前言:已经成为数字化时代显学的云原生并非单项技术,而是一种重塑了软件开发和和业务运行应用的设计思想,是一套技术体系和方法论。云原生“CloudNative”的Cloud是指云平台,Native则表示应用程序从设计之初... 查看详情

pb级数据秒级分析:腾讯云原生湖仓dlc架构揭秘

...到PB至EB级别。在此基础上,腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么?腾讯云原生湖仓DLC从哪些方面着手解决问题?接下来由腾讯云大数据专家工程师于华丽带来相关分享。云原... 查看详情

bytehouse技术白皮书正式发布,云数仓核心技术能力首次全面解读(内附下载链接)

...交流群 近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。在数字化浪潮下,伴随着公有云的广泛普及,生于云、长于云、基于云原生架构的数据仓库百花齐放,快速迭代。相比起传统数仓,云原生数据仓库凭... 查看详情

阿里云emr2.0:定义下一代云原生智能数据湖

...云EMR2.0线上发布会的分享。本篇内容主要介绍了阿里云云原生数据湖分析解决方案的三个核心要素:1.全托管,湖存储;2.一站式,湖管理;3.多模态,湖计算阿里云云原生数据湖分析解决方案全面重磅升级... 查看详情

开发者必读:2022年移动应用趋势洞察白皮书

...发者联盟与艾瑞咨询联合发布《2022年移动应用趋势洞察白皮书》,本白皮书主要分析移动应用行业发展现状和趋势,并对影音娱乐、通讯社交、电商生活、运动健康、出行导航等细分行业场景进行分析,把握移动应用细分行业... 查看详情

云原生数据湖是什么?

...I时代融合存储和计算的全新体系,特别是数据湖和云原生结合以后,这一趋势更加明显。要想理解这一点,还要从数据湖的发展说起。数据湖的崛起​2010年Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊(JamesDix... 查看详情

开发者必读:2022年移动应用运营增长洞察白皮书

...瑞咨询和AppGrowing联合发布《2022年移动应用运营增长洞察白皮书》,本白皮书意在展现国内移动应用运营增长的现状、广告投放趋势,分析和探讨移动应用的运营思路变化和相关的运营服务革新,为开发者提供最新市... 查看详情

数据湖:存储全量数据,快速实现洞察(代码片段)

目录数据湖是开疆拓土不是替代既有产品1)数据湖通常是企业中全量数据的单一存储。2)数据湖的主要特征日益明显。3)数据库、数据仓库、数据湖是数据技术不断发展的结果,是传承不是取代。4)数据湖... 查看详情

火山引擎云原生数据仓库bytehouse技术白皮书v1.0(中)

...官方交流群近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型... 查看详情

dlf+ddi一站式数据湖构建与分析最佳实践(代码片段)

简介: 本文由阿里云数据湖构建DLF团队和Databricks数据洞察团队联合撰写,旨在帮助您更深入地了解阿里云数据湖构建(DLF)+Databricks数据洞察(DDI)构建一站式云上数据入湖。作者陈鑫伟(熙康... 查看详情

火山引擎云原生数据仓库bytehouse技术白皮书v1.0(ⅳ)

...交流群 近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型... 查看详情