走好数据中台最后一公里,为什么说数据服务api是数据中台的标配?

数栈DTinsight 数栈DTinsight     2022-11-28     425

关键词:

原文链接:​​走好数据中台最后一公里,数据服务 API 是数据中台的标配​

视频回顾:​​点击这里​

课件获取:​​点击这里​

一、数据服务 API 建设背景

在数字化转型的时代背景下,新需求的大量增长、新技术的不断迭代,“互联网化、数字化” 进程的不断深入,越来越多的业务被迁移到互联网上,产生大量的业务交互和对外服务需求,对 API 接口的需求与日俱增,如何快速提升企业数据开放共享能力,是企业面临数字化转型的关键命题。

走好数据中台最后一公里,为什么说数据服务

传统的方式如后端开发人员通过 Java 或 Python 等语言进行编写来生成 API 接口,开发周期过长,运维成本太高,已经不能满足企业的需求。企业在数字化转型过程往往面临诸多难题:

走好数据中台最后一公里,为什么说数据服务

为了更多的解决这些问题,我们在企业开放、共享数据过程中需要确定以下目标:

  • 快速构建 API
  • 系统稳定、数据安全
  • 易于集成使用
  • 授权交付
  • 低成本运维

走好数据中台最后一公里,为什么说数据服务

二、数据服务平台建设方法论

在分享数据服务平台建设方法论之前,我们先了解一下常见的数据中台应用架构:

走好数据中台最后一公里,为什么说数据服务

数据服务层作为数据中台整体应用架构中处于中间地位,将数据计算层的结果通过数据 API 的形式对外共享给数据应用层。数据服务层主要有 3 个作用:

1、当数据已被整合和计算好之后,需要提供给产品和应用进行数据消费;

2、为了有更好的性能和体验,构建数据服务层,通过接口服务化方式对外提供数据服务;

3、满足应用各种复杂的数据服务需求(简单数据查询服务、复杂数据查询服务、实时数据推送)

而在数据服务层对外提供服务的过程中,经历了从 **“DWSOA” “OneService”** 的演变过程。

走好数据中台最后一公里,为什么说数据服务

从 “OneService” 数据服务本身来说,主要是解决异构数据源、重复建设、审计运维困难、理解困难这 4 个问题,通过 “OneService” 服务,实现主题式数据服务、统一且多样化数据服务、跨源数据服务的服务目标。

因此,若想构建一个完整的数据服务平台,需要具备以下 6 个要素:

  • 便捷开发,具备低代码化的开发能力
  • 易于管理,API 管理操作可视化查询 API
  • 易于使用,具备规范化的文档描述信息
  • 安全稳定,服务调用追踪监控、服务使用审计、鉴权等
  • 易于运维,测试、纠查、问题规则配置
  • 性能,负载均衡、高并发

三、基于 OneService 构建数据体系

了解完 “OneService” 理论,接下来为大家分享如何基于 OneService 构建数据体系,主要遵循以下步骤:

走好数据中台最后一公里,为什么说数据服务

● 第一步:API 定义

API 的定义包括:快速配置参数、选择排序字段、API 类型多样性、数据预览、复制字段等方面。

走好数据中台最后一公里,为什么说数据服务

API 的类型又包括生成 API、注册 API、服务分组及服务编排这 4 个方面。

走好数据中台最后一公里,为什么说数据服务

走好数据中台最后一公里,为什么说数据服务

● 第二步:API 发布

API 的发布包括测试、提交至 API 网关、发布至 API 市场、版本管理这几个方面。

走好数据中台最后一公里,为什么说数据服务

● 第三步:API 调用

API 调用包括数据预览、API 申请、审批、下载接口文档、正式调用这几个方面。

走好数据中台最后一公里,为什么说数据服务

● 第四步:调用监控

业务上:对 API 调用的统计数据进行深入的分析,进而得出关键信息;

技术上:通过 API 调用的统计图表进行分析可以发现,哪些 API 最受欢迎;而哪些几乎无人问津,应该被淘汰;

安全上:对调用 IP、调用次数进行监控,对调用者进行溯源。

走好数据中台最后一公里,为什么说数据服务

● 第五步:数据安全

数据安全包括:统一认证鉴权、传输加密、安全组、角色分配、行级权限、调用审批等。

走好数据中台最后一公里,为什么说数据服务

上述的数据服务 API 的建设过程,其实正是袋鼠云自研的数栈数据服务 EasyAPI 产品的落地实践过程。

数据服务(EasyAPI),高效的企业级数据服务产品,通过双模式可视化配置生成与注册 API,快速构建 OneService 数据共享服务,形成企业级的 API 市场和 API 服务管理平台,提高数据开放与共享效率。

走好数据中台最后一公里,为什么说数据服务

同时产品具备以下特点:

  • 快速构建

配置即开发,支持 0 代码、低代码快速构建 API

  • 安全性高

用户认证、监控、传输加密、API 级别安全策略、行级权限、角色分配、调用申请审批、调用周期次数的限制、黑白名单

  • 灵活度高

“服务编排 “可对不同的 API 进行组合,支持集成 python 进行数据处理、支持 “条件判断” 节点,选择符合条件的分支

  • 配置灵活

横向拓展 API 网关、缓存

  • 低成本运维

采用 Serverless 架构,只需关注 API 本身的业务逻辑,很少考虑运行环境等基础设施

四、API 实施落地案例

接下来我们分享三个使用客户的实际案例,为大家介绍 EasyAPI 如何切实的帮助客户解决问题。

● 金融:某证券公司应用数据服务

走好数据中台最后一公里,为什么说数据服务

● 学校:某大学应用数据服务

走好数据中台最后一公里,为什么说数据服务

● 零售:某网络公司应用数据服务

走好数据中台最后一公里,为什么说数据服务



袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:​​https://github.com/DTStack​

价值34万亿的wlan,如何走好“最后一公里”?

导语:11月4日,两场无线局域网的重磅产业峰会在深圳同期召开。不得不承认,当前无线局域网在实际使用中还存在性能不佳的现象(比如网速慢、掉线等),用户的使用体验保障仍然存在很大挑战。如何... 查看详情

如何快速构建自己的数据中台知识体系

...错过一些技术实现的细节✌HereWeGo!一、开篇词1.1数据中台为什么很难成功呢?客观原因:数据中台的建设是一项系统性工程,从组织架构、支撑技术到流程 查看详情

大数据中台(代码片段)

...多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台?尽管数据中台的文章很多,但是一千人眼里有一千个数据中台,到底什么是数据中台?数据中台包含什么?当企业需要数... 查看详情

大道至简,中台是啥

...龟派气功前言这么多年,经历了这样的场景大家都在说大数据,但是说不出具体是什么大家都在说微服务,但是说不出具体是什么大家都在说边缘计算,但是说不出具体是什么大家都在说架构,但是说不出具体是什么大家都在说... 查看详情

数据存储介质销毁:护航数据安全的最后一公里

...已经深入到人们的方方面面,随之而来的是各类涉密敏感数据几何倍的增长。而近年来信息安全事件频频发生,数据安全的重要性日益凸显。如何防止数据泄漏,是企业关注并且急需解决的问题之一。数据安全主要涉及到两个方... 查看详情

什么是数据中台?数据中台带来了哪些价值?_光点科技

数据中台是一套可持续“让企业的数据用起来”的机制,一种战略选择和组织形式,是基于企业独特的商业模式和组织结构,通过有形的产品和实施方法,建立一套不断将数据转化为资产并服务于业务的机制。在政府和企业的数... 查看详情

数据中台咋就从“小甜甜”变成了“牛夫人”?

...商“大兴”数据中台;2021年,各大厂陆续开始拆中台。为什么仅仅6年时间,数据中台咋就从“小甜甜“变成了“牛夫人”?数据中台是不是真的一无是处?数据中台又为什么会“败 查看详情

云智一体破解ai落地“最后一公里”难题,企业智能化转型再获新利器

云智一体正在助力中国企业走好落地AI应用的“最后一公里”。近日,百度智能云飞桨一体机全新问世,将为企业提供功能全面、便捷高效、稳定可靠的一站式人工智能服务,提速智能化转型进程。国际权威研究机构G... 查看详情

就一个数据人,老板说要搞数据中台......

我曾经自诩数据界的脱口秀达人,直到我遇上了这帮数据彭友......在这燥热的夏天,把我笑得跟泥潭里的猪一样叫起因是这样的。在彭友会的一个群里,有个哥们问了这样一个问题:这哥们实在是太惨了!ÿ... 查看详情

大数据中台(代码片段)

...多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台?尽管数据中台的文章很多,但是一千人眼里有一千个数据中台,到底什么是数据中台?数据中台包含什么?当企业需要数... 查看详情

数据中台为什么不好搞?

...台。数据中台从小甜甜变成牛夫人仅仅用了2年时间,为什么这么快数据中台就不香了?(说明:数据中台的概念比较模糊,有些人说是业务概念,有些人说是技术概念,这里 查看详情

数据中台为什么不好搞?

...台。数据中台从小甜甜变成牛夫人仅仅用了2年时间,为什么这么快数据中台就不香了?(说明:数据中台的概念比较模糊,有些人说是业务概念,有些人说是技术概念,这里 查看详情

搞了三年,再看数据中台的价值与解决方案

...数据是数据团队出的,财务说我的也是,那数据为什么不一致呢?原因数据开发A给运营出的报表,按照业务的口径以设备ID去重,数据开发B,给财务出的报表是 查看详情

数据中台详解

文章目录什么是数据中台数据中台VS数据仓库数据中台的业务价值与技术价值数据中台建设与架构数据中台建设方法论数据中台架构数据汇聚联通:打破企业数据孤岛数据采集、汇聚的方法和工具数据交换数据体系建设数据... 查看详情

万字详解数据仓库数据湖数据中台和湖仓一体

本文目录:一、前言二、概念解析数据仓库数据湖数据中台三、具体区别数据仓库VS数据湖数据仓库VS数据中台总结四、湖仓一体目前数据存储方案DataLakehouse(湖仓一体)一、前言数字化转型浪潮卷起各种新老概念满... 查看详情

如何搭建ai数据中台?(代码片段)

...复用、组合创新、规模化构建智能服务的目的。什么是AI数据中台?    在以往,企业数据管理都以传统的IT架构为基础。当技术部门为业 查看详情

数据中台应用实战50篇-带你概览bi数据仓库数据湖与数据中台之间有什么关联关系?(建议收藏)

前言数据中台最核心的是OneData体系。这个体系实质上是一个数据管理体系,包括全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。数据仓库是为企业所有级别的决策制定... 查看详情

3.数据中台---数据中台建设与架构(代码片段)

第3章 数据中台建设与架构3.1 持续让数据用起来的价值框架 业务数据化=>数据资产化=>资产服务化=>服务业务化3.2 数据中台建设方法论 1种战略行动 把用数据中台驱动业务发展定位为企业级战略,全局谋划。 在中台... 查看详情