关键词：
在2021年初全年技术趋势展望中，数据湖与数据仓库的融合，成为大数据领域的趋势重点。直至年末，关于二者的讨论依然热烈，行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控；行业内的主要共识点则是二者结合必能降低大数据分析的成本，提高易用性。
而此类争论，又反映了行业在大数据处理领域的核心诉求：如何通过数据湖、数据仓库的设计，有效满足现代化应用的数据架构要求。亚马逊云科技作为行业头部云厂商，也推出了与数据湖、数据仓库融合相关的“智能湖仓”。为什么“智能湖仓”可以更智能地集成数据湖、数据仓库和其他数据处理服务？“智能湖仓”架构备受关注意味着什么？在技术行业风向标的 2021 亚马逊云科技 re:Invent 大会上，我们看到了“智能湖仓”架构的现在和未来构想。
1.被广泛关注的“智能湖仓”架构
理解“智能湖仓”架构的现在和未来，需要先了解它的过去。早在 2017 年，“智能湖仓”架构就已初具雏形。当时，亚马逊云科技发布了 Amazon Redshift Spectrum，让 Amazon Redshift 具备了打通数据仓库和数据湖的能力，实现了跨数据湖、数据仓库的数据查询。
这件事情启发了“智能湖仓”架构的形成。在 2020 年的亚马逊云科技 re:Invent 大会上，亚马逊云科技正式发布“智能湖仓”。如果从早期的技术探索开始算起，在 2021 亚马逊云科技 re:Invent 大会上发布的 Serverless 能力，代表了“智能湖仓”架构的第 8 轮技术演进。如今，“智能湖仓”基于 Amazon S3 构建数据湖，绕湖集成数据仓库、大数据处理、日志分析、机器学习数据服务，利用 Amazon Lake Formation、Amazon Glue 等工具可以实现数据的自由流动与统一治理。
具体而言，“智能湖仓”架构下，首先需要打破数据孤岛形成一个数据湖；其次，需要围绕着数据湖，在不同应用场景为用户提供相应的分析工具；另外，需要确保数据在湖、仓以及专门的服务之间能够自由移动；此外，需要确保用统一的方式去管理湖里面数据的安全性、访问控制和审计；最终，需要能够采用低成本的方法将湖、仓各自的优势有效利用起来，并利用人工智能等创新手段进行创新。
就像 Amazon Redshift 在 2012 年发布时，引导了云原生数仓的发展方向一样，“智能湖仓”架构一经发布就引发业内广泛关注，一方面是因为亚马逊云科技作为头部云厂商的行业地位，另一方面是因为此架构在技术上的创新思路能够为行业带来一些新的思考。
“智能湖仓”更强调“架构”而非“产品”，更强调数据的自由流动与统一治理，以及基于湖仓的“智能创新”。如今，“智能湖仓”架构不是简单地将湖与仓打通，而是将湖、仓与专门构建的数据服务连接成为一个整体，让数据在其间无缝移动。面对向 TB 级、PB 级，甚至 EB 级增长的数据，“如何存”和“如何用”不再是相对孤立的话题。“智能湖仓”向行业传递了一个信号：企业需要统一数据分析工具，实现数据在整个数据平台的自由流转。
不管是企业数据管理理念的视角，还是在技术视角下，“智能湖仓”架构被广泛关注也意味着，随着数据湖和数据仓库的边界在逐渐淡化，基于两者的大数据处理体系的架构正在被重构。
2.“智能湖仓”架构下，重构中的大数据基础设施
这种重构大概可以分为几个维度来理解，其中最重要的是更强的数据安全、治理和数据共享能力，更敏捷的构建方式，更智能的创新手段。
数据安全、治理和共享，重点聚焦跨湖、跨仓库甚至跨企业的数据流通和治理，致力于实现真正意义上的数据跨域互通；更敏捷的构建方式则要将企业的敏态追求提升到极致，Serverless 能力的应用是其关键；更智能的创新手段则把 AI/ML 能力和大数据治理并入统一范畴，避免走入“为了大数据而大数据”的误区。
在 2022 年，当我们再次谈起数据湖和数据仓库的融合问题时，包含以上关键点的“智能湖仓”架构，很可能成为被业内重点参考的构建思路之一。
更强的数据安全、治理和数据共享能力
数据的安全、治理和共享，原是大数据的本职任务，但当数据达到 PB 乃至 EB 级，需要跨多个区域、组织、账户进行数据共享或数据交互时，企业有些时候并非不想细颗粒度管理数据，而是无法管理。这种颗粒度的权限控制往往比单机系统设计或者单一的分布式系统要复杂得多。所以，数据治理成为了“智能湖仓”重要的发力点。
在 2021 亚马逊云科技 re:Invent 大会上，支撑数据统一治理和自由流动能力的“智能湖仓”组件 Amazon Lake Formation 发布了多项新功能。除了之前早已支持的表和列级安全，Amazon Lake Formation 现在支持行和单元级权限，通过只限制用户对部分数据的访问权限，让限制访问敏感信息变得更加简单。
此外，Data mesh 的概念在 2021 亚马逊云科技 re:Invent 大会上也被提及。Data mesh 概念也是 Gartner 提出的十大数据技术趋势之一。在 Data mesh 模式下，“智能湖仓”能够实现领域数据成为产品、轻松启用细粒度授权、数据更容易被使用、数据调用跨企业可见和联邦的数据管控与合规。这意味着，“智能湖仓”架构下，Data mesh 可以实现跨数据湖的数据共享和计算。亚马逊云科技借助自身数据湖安全、tag 级别的访问控制和共享能力，为 Data mesh 提供了实现方式与手段，让 Data mesh 概念走向落地。
更敏捷的构建方式
除了更强的数据安全、治理和数据共享能力，更敏捷的构建方式也是绝大多数企业当下主要关注的技术创新之一。敏捷在企业间的认可度和应用程度越来越高，而**“智能湖仓”原本就是敏捷的架构**。在“智能湖仓”架构中，Amazon Lake Formation 能够将建立数据湖的时间从数月缩短到数天。用户可以使用像 Amazon Glue 这样的 Serverless 数据集成工具快速实现数据入湖；使用 Amazon Athena 这样的 Serverless 查询引擎直接实现基于 SQL 语言的湖上数据查询分析。无论是超大型公司还是工作室，都可以从这种敏捷的构建方式中快速获益，提取数据的价值。
为了让构建方式更敏捷，在 2021 亚马逊云科技 re:Invent 大会上，亚马逊云科技宣布推出更多数据分析服务的无服务器版，借助无服务器的能力，让用户可以更敏捷地构建自己的数据存储、分析、智能应用解决方案。
- Amazon Redshift Serverless ，让数据仓库更敏捷，支持在几秒钟内自动设置和扩展资源，用户无需管理数据仓库集群，实现 PB 级数据规模运行高性能分析工作负载；
- Amazon Managed Streaming for Apache Kafka (Amazon MSK) Serverless ，让流式数据接入与处理，支持快速扩展资源，简化实时数据摄取和流式传输，实现全面监控、移动甚至跨集群加载分区，自动调配和扩展计算和存储资源，让用户可以按需使用 Kafka；
- Amazon EMR Serverless 让大数据处理更敏捷，用户无需部署、管理和扩展底层基础设施，使用开源大数据框架（如 Apache Spark、Hive 和 Presto）运行分析型应用程序；
- Amazon Kinesis Data Streams on Demand 让流式数据分析与实时数据场景搭建更敏捷。每分钟可以处理数 GB 的写入和读取吞吐量，而不必预置与管理服务器、存储，在成本和性能之间取得平衡且变得更加简单。
来自亚马逊云科技的数据显示，现在每天有数以万计的用户每天在使用 Amazon Redshift 处理超过 2EB 的数据。全球最大的制药公司之一罗氏制药（Roche）首席云平台和机器学习工程师 Yannick Misteli 博士表示：“Amazon Redshift Serverless 可减轻运营负担，降低成本，并帮助罗氏制药规模化实践 Go-to-Market 策略。这种极简的方式改变了游戏规则，帮助我们快速上手并支持各种繁重的分析场景。”
更智能的创新手段
正如 Yannick Misteli 提到的一样，近些年来，底层的技术创新推动业务层的改变，而业务层的诉求也倒逼底层技术的进步。游戏规则正在技术升级中改变。如今，“智能”是绝大多数技术的演进目标。在亚马逊云科技的“智能湖仓”架构中，也将“智能”提到了一个相当重要的位置。
“智能湖仓”架构下，数据库服务与人工智能和机器学习深度集成。在具体的产品上，亚马逊云科技提供了 Amazon Aurora ML、Amazon Neptune ML、Amazon Redshift ML 等诸多数据库原生的机器学习服务。
同时，在“智能湖仓”架构中，还有云原生人工智能平台 Amazon SageMaker ，它提供了多类机器学习库和开发工具包，帮助用户快速构建人工智能应用。当用户需要面对大量数据处理场景时，可以使用 Amazon SageMaker 内置的工具轻松快速连接到 Amazon EMR 集群进行大数据处理。而 Amazon EMR Serverless，也帮助人工智能相关的数据处理与分析变得足够敏捷。
在 Gartner 2021 年发布的报告《Magic Quadrant for Cloud Database Management Systems》中，亚马逊云科技连续 7 年被评为“领导者”，这项报告面向的主要是对各大厂商提供的云数据库、云数据分析工具进行全景评估，并给出最终位置的“测评报告”，含金量可见一斑。亚马逊云科技参与评测的产品均为“智能湖仓”架构中的代表产品，这个“领导者地位”背后代表的技术成熟度不言自明。
我们可以看到，“智能湖仓”提供的每一款服务工具的迭代，都在向更敏捷、更安全、更智能的数据架构目标迈进。数据架构作为企业数字化转型的最底层，也是应用现代化的底层动力。“智能湖仓”带来的数据管理方式的变革，也承载着亚马逊云科技对应用现代化的构想。
3.写在最后
回到文章开篇提到的问题，目前行业内已经形成了数据湖和数据仓库的融合必将降低大数据分析成本的共识，主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控。在这些方面，亚马逊云科技的“智能湖仓”架构围绕这些问题都提供了相关的工具或服务。
无论是在数据基础架构、统一分析还是业务创新上，从连接数据湖和数据仓库到跨数据库、跨域共享，“智能湖仓”在实际的业务场景中并非孤立存在，而是与应用程序紧密相连。
底层数据架构的现代化演进，也将为企业乃至全行业带来更大的价值。数据，作为与土地、劳动力、资本、技术并列的“第五大生产要素”，重要性不言而喻。如今，亚马逊云科技“智能湖仓”架构在企业中的实践，已经为企业构建现代化数据平台提供了一条可供遵循的路径。
从“智能湖仓”升级看数据平台架构未来方向
...云厂商，也推出了与数据湖、数据仓库融合相关的“智能湖仓”。为什么“智能湖仓”可以更智能地集成数据湖、数据仓库和其他数据处理服务？“智能湖仓”架构备受关注意味着什么？在技术行业风向标的2021亚马... 查看详情
从dpu看未来网络架构的演进趋势
...下载《Aquila:Aunified,low-latencyfabricfordatacenternetworks》未来DC数据中心的终极目标，是变成一台超级计算机，有着几乎无限的计算能力和存储资源，超大带宽、超低延迟，上面跑无数的虚拟机或者容器之类的云计算平... 查看详情
从dpu看未来网络架构的演进趋势
...下载《Aquila:Aunified,low-latencyfabricfordatacenternetworks》未来DC数据中心的终极目标，是变成一台超级计算机，有着几乎无限的计算能力和存储资源，超大带宽、超低延迟，上面跑无数的虚拟机或者容器之类的云计算平... 查看详情
关于android移动团队的建设及未来架构的迭代升级思考
文章目录前言1.应用架构1.1技术架构运用阶段1.2架构分层思想1.3为什么要组件化，解决了什么问题？1.3.1组件化目的：解耦、复用、效率1.3.2组件化能带来什么好处？1.3.3组件化架构1.3.4小结1.4示来架构方向：平台化、中台化1.5总... 查看详情
oppo大数据离线计算平台架构演进
...问题？我们是怎么解决的，从中有哪些架构上的升级演进？未来的OPPO离线平台有哪些方向规划？今天会给大家一一揭秘。2 OPPO大数据离线计算发展历史2.1大数据行业发展阶段一家公司的技术发展，离不开整个... 查看详情
cloudnative未来值得关注的方向：servicemesh简介
...华为手机祥云4.0、物联网IoT2.0的架构设计。曾任知名电商平台架构师，主导电 查看详情
智能湖仓架构实践：利用amazonredshift的流式摄取构建实时数仓(代码片段)
...AmazonRedshift每天处理EB级别的数据，借此为高性能商业智能（BI）报表、仪表板应用、数据探索和实时分析等分析工作负载提供强大动力。我们很激动地为 AmazonKinesisDataStreams 发布了 AmazonRedshift流式摄取功能，借... 查看详情
大数据工程师未来职业规划
...很迷茫。不知道该学点什么。我上网查了查，想学一学大数据方面的东西。从JAVALINUX等等先学起。但是基础不是很好，得从零开始。大家能给我点建议吗？这个方向未来的前景如何？有什么要注意的，有别的方向或者更好的规划... 查看详情
从行业角度看，数仓领域的未来是什么？
数据仓库发展历程很久，随着云计算等技术发展以及海量数据应用场景等出现，对数据仓库提出全新要求，高性能、实时性、云原生等成为数据仓库发展关键词，也因此演变出不同的数仓发展路径。在字节跳动十年发展历程中，... 查看详情
careye智能云平台升级
...CarEye车辆管理云平台2.0以后，我就开始在考虑下一代智能云平台架构问题。其实在2年前，我就做了一个功能架构图。目前看除了生态没做好，我们的功能基本上已经实现。随着业务发展以前的单机架构已经不能满足... 查看详情
透过新硬件环境下的存储技术，看未来数据库系统崛起（附ppt）
...广州站〗现场演讲内容整理而成。在公众号对话框回复“数据库技术”，可获取完整PPT讲师介绍朱阅岸，中国人民大学博士，腾讯基础架构部高级工程师。研究方向主要为数据库系统理论与实现、新硬件平台下的数据库系统以及... 查看详情
运维监控平台未来发展趋势
人工智能我们的架构应该支持数据科学技术和机器学习技术的引入，AIOps技术还在快速发展之中，很多算法和数据方法还在不断变化，应该为这类变化保留足够的灵活性。人工智能技术将逐渐应用于监控系统中，以实现智能化的... 查看详情
大数据未来的就业规划？
...对统计学、数学专业的人才，数据分析、数据挖掘、人工智能等偏软件领域的需求加大，大数据领域从业人员薪资水平将持续增长，人才供不应求。1大数据就业方向1、大数据开发方向。所涉及的职业岗位为：大数据工程师、大... 查看详情
alink漫谈:从源码看机器学习平台alink设计和架构(代码片段)
Alink漫谈(二):从源码看机器学习平台Alink设计和架构目录Alink漫谈(二):从源码看机器学习平台Alink设计和架构0x00摘要0x01Alink设计原则0x02Alink实例代码算法调用算法主函数算法模块举例0x03顶层--流水线1.机器学习重要概念2.Alink中概念... 查看详情
转行大数据的方向
大数据在某种意义上说比云计算更适合大众，比如很多人说大数据是生产力、未来是数据时代，但很少听到云计算是生产力、未来是计算时代。从市场需求和职业岗位来看大数据也一直是个很热门的行业。作为技术人员，你... 查看详情
阿里云消息队列rocketmq5.0全新升级：消息事件流融合处理平台
简介： RocketMQ5.0的发布标志着阿里云消息从消息领域正式迈向了“消息、事件、流”场景大融合的新局面。未来阿里云消息产品的演进也将继续围绕消息、事件、流核心场景而开展。从“消息”到“消息、事件、流”的大融... 查看详情
从互联网+角度看云计算的现状与未来
...网易云社区，了解更多网易技术产品运营经验。六、业务架构趋势一：互联网冲击已成必然，快速变更成为核心竞争力，DevOps重构组织架构，流程，文化是必然选择在业务架构方面，我这里强调的是服务化。是解决如何避免开发... 查看详情
“源”来是你-vol.33|浙江大应科技aloudata招聘开源社区运营
...有限公司）公司简介Aloudata(浙江大应科技)是一家敏捷智能湖仓平台服务商。公司创始人曾任蚂蚁数据平台部总经理（P10），是蚂蚁数据技术主要开拓者和奠基人；创始团队均为原蚂蚁集团数据平台核心成员。A... 查看详情