数据中台:snowflake的独特技术优势

author author     2022-12-12     803

关键词:

Snowflake已于2020年9月16日正式上市,市值超过700亿美元。该公司成立于2012年,致力于为企业提供数据云平台,帮助客户打破数据孤岛,方便企业运用和分享数据,并从中获得数据价值和商业洞见。Snowflake提供的产品技术服务在国内更多被称为数据中台。当然,它独特的技术优势是获得资本亲赖的原因之一。

云端原生性
Snowflake提出了data-warehouse-as-a-service(DaaS)的概念,可以简单理解为原生于云端并专注于数据仓库的SaaS服务。Snowflake的云端原生性,和很多数据仓库提供商支持云端服务并非同一概念。其他云服务巨头,例如Oracle,Teradata,Netezza,尽管或多或少支持云端,因为本身产品架构的局限性,他们常常被证明并不能良好地解决很多现代企业面对的各种数据需求与问题。
技术图片
独特的底层架构
Snowflake提出了独特的存储、计算以及管理服务分离的架构。Snowflake在Shared-nothing的基础上提出了Multi-cluster, shared data的概念。这种架构的关键在于将存储和计算彻底分离,从本质上解决了传统架构的痛点。
从存储层来看,Snowflake将所有表自动划分为接近固定大小的micro-partition,用以支持更加高级的time travel和data sharing功能。即使对数据库进行了clone,在逻辑上有了两个数据库,而底层的存储仍然只有一个版本。从计算层来看,Snowflake用T-shirt尺寸定义了算力,相比较其他云计算资源,极大地简化了provision的过程。用户可以随时提高或降低计算资源来应对需求,而且这些不同计算资源看到的数据都来自同一版本。从服务层来看,是另一个我认为Snowflake服务层非常独立。它由众多global services组成,涵盖operation management,optimization,tuning,security,availability,metadata,caching等任务。它解决了数据仓库易用性的问题,大大降低了需要的管理和运维成本,是其他竞争对手所不能比拟的。
技术上坚持中立、开放原则
在美国,亚马逊AWS、微软Azure、谷歌云是云服务巨头,他们竞争力强,平台生态完善,基础设施规模庞大,客户资源丰富,而Snowflake打通这些公有云平台,提供中立性、按需付费的服务,在数据迁移与共享等方面,为客户提供更大灵活性。坚持数据共享开放原则,将数据提供商、合作伙伴和客户联合起来,采用平台的客户越多,就可以与其他客户、合作伙伴和数据提供商交换更多的数据,提升平台对所有用户的价值。
在国内,有没有类似Snowflake的公司呢,实际上在国内类似产品更多被称为数据中台,而且2019年是国内数据中台的元年,近期我们发现国内有家面向数字化转型落地的公司成立7年以来一直在打造数据中台产品,这家公司叫国云数据。最近国云数据创始人马晓东接受了亿欧网等媒体的采访并对标其数据中台为中国版的Snowflake。国云数据提供的数据中台在技术方面与Snowflake很类似。
该数据中台源于阿里顶级技术架构,但却不与任何云平台、数据工具或者是数据库进行绑定,而且可兼容对接客户自有的业务系统,无需推倒重来,从而节省企业成本,提高业务运营效率。数据中台支持基于中台向上做应用的二次开发,实现技术、业务、管理等人员联动使用的同时又保障了客户的使用安全、数据安全。此外,国云数据与Snowflake一样,在数据中台规划之初就运用云原生技术,存算分离,读写分离技术,历经7年优化升级,已经做到极致。
随着企业数字化转型加剧,在国内的与Snowflake类似的数据中台产品层出不穷,数据中台已成为热门赛道,未来市场容量在千亿级,我们也期待着中国的Snowflake早日迎来敲钟之日。

数据中台:什么是数据中台

什么是数据中台数据中台是全新的架构变革。过去三十年,企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时,需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的... 查看详情

中台:业务中台数据中台技术中台

...借助平台化的力量可以事半功倍。中台分类主流的分类有数据中台和业务中台双中台,也有一些其他非主流的中台种类,例如技术中台业务中台业务中台是指在企业内部将各业务领域的业务逻辑、流程和数据进行整合和... 查看详情

数据中台:宜信敏捷数据中台建设实践|分享实录

...容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践分享嘉宾:宜信数据中台平台团队负责人卢山巍导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等,在技术... 查看详情

3.数据中台---数据中台建设与架构(代码片段)

第3章 数据中台建设与架构3.1 持续让数据用起来的价值框架 业务数据化=>数据资产化=>资产服务化=>服务业务化3.2 数据中台建设方法论 1种战略行动 把用数据中台驱动业务发展定位为企业级战略,全局谋划。 在中台... 查看详情

如何快速构建自己的数据中台知识体系

最近订阅学习了郭老师的《数据中台实战课》专栏,一口气学完后,做了一些总结笔记分享给大家,希望会对你有所帮助!总结的文章我会分为上下两篇来写,先讲原理,再谈实践,从原理到技术,最后到实践。这样大家也能跟... 查看详情

数据中台应用实战50篇-企业级数据中台的建设方法&架构和技术栈

前言多数企业都意识到数据的重要性,都希望利用数据来驱动业务发展。但经常会听到这样一句话:“我们企业现在业务都还没做起来,连数据都没有,还不到考虑数据利用的时候。”这句话在某种程度上代表了一部分企业对于... 查看详情

珍藏版⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构 湖仓一体化 流批一体离线+实时数仓 各种大数据解决方案 各种大数据新技术实践持续输出 敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net/dajiangtai007/art... 查看详情

从技术流到实战派:数据中台建设路径探索

导读:数据中台要想成功,靠的是3分工具、7分实施、12分运营。作者:数澜科技来源:数澜(ID:DTWAVE)《关于构建更加完善的要素市场化配置体制机制的意见》《关于加快推进国有企业数字化转型工... 查看详情

宜信敏捷数据中台建设实践|分享实录

...容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践分享嘉宾:宜信数据中台平台团队负责人卢山巍导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等,在技术... 查看详情

搭建中台架构的几个误区

虽然数据中台越来越被市场认同,但参与主体仍对其缺少系统的了解,对一些核心问题的处理仍不得要领。01、仅搭建平台数据中台建设仅仅是企业IT变革的起点,建设一个项目或者搭建一个平台并不能解决企业数字... 查看详情

数据中台02:数据中台架构

一、数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解,下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底... 查看详情

数据中台为什么不好搞?

从2015年阿里提出“大中台”的数据中台战略,到2019年大厂及中台服务商“大兴”数据中台,再到2021年大厂又开始拆中台。数据中台从小甜甜变成牛夫人仅仅用了2年时间,为什么这么快数据中台就不香了?(... 查看详情

数据中台为什么不好搞?

从2015年阿里提出“大中台”的数据中台战略,到2019年大厂及中台服务商“大兴”数据中台,再到2021年大厂又开始拆中台。数据中台从小甜甜变成牛夫人仅仅用了2年时间,为什么这么快数据中台就不香了?(... 查看详情

数据中台体系规划建设

数据中台是企业数据汇聚地,企业的一切数据都汇聚到数据中台,企业业务所需的数据总能在数据中台找到。但数据中台中的数据并不是简单地堆积,各种系统产生的原始数据堆积在一起导致使用成本非常高,这类数据只能在某... 查看详情

奇点云数据中台技术汇|datasimba系列之计算引擎篇

随着移动互联网、云计算、物联网和大数据技术的广泛应用,现代社会已经迈入全新的大数据时代。数据的爆炸式增长以及价值的扩大化,将对企业未来的发展产生深远的影响,数据将成为企业的核心资产。如何处理大数据,挖... 查看详情

开篇:中台之我见

...f0c;各大小公司都在建设中台,技术中台、业务中台、数据中台、搜索中台、AI中台…仿佛不提中台就觉得落伍了,那么到底什么是中台呢?其实大部分公司都不知道啥是中台,也不知道他们到底适不适合建设中台... 查看详情

知识中台,驱动产业智能化升级

...临多种挑战,如:移动应用的普及,带来异构数据呈几何级数增长,企业需要深度挖掘数据价值以赋能业务,以及传统IT系统缺乏智能化的技术手段,难以有效支撑企业挖掘、组织、管理和运用知识的需要... 查看详情

企业级数据中台的建设方法架构和技术栈

​多数企业都意识到数据的重要性,都希望利用数据来驱动业务发展。但经常会听到这样一句话:“我们企业现在业务都还没做起来,连数据都没有,还不到考虑数据利用的时候。”这句话在某种程度上代表了一部分企业对于数... 查看详情