说说数仓(6)-关于命名规范

author author     2023-02-26     369

关键词:

参考技术A 数仓总结目录:
说说数仓(1) - 什么是数仓
说说数仓(2) - 传统数仓与互联网数仓
说说数仓(3) - 数仓架构
说说数仓(4) - 指标字典
说说数仓(5)-最重要的维度之日期维度
说说数仓(6)-关于命名规范
说说数仓(7)-浅谈数据治理
说说数仓(8)-关于增量
说说数仓(9)-上下游约定
说说数仓(10)-任务注释

话说,没有规矩不成方圆。在搭建数据平台的时候,在数据组内部,一定要先制定好各种规范,越早越好,并且不断的监督大家是否按照约定执行。一旦让大家自由发挥,后期想要统一或者重构,会浪费很大的人力成本和时间成本,记住,这都是坑。

这里以我目前公司的一些经验,分享下。

常规来说,数仓的建设是按照数仓分层模型开发的。也有会按照业务线来分层,在各自业务线下重新分层,单独开发的。
我这里使用的是阿里云的MaxCompute,这是阿里提供的数据平台,一整套开发环境,用起来还是很方便的,省去了自建平台的麻烦。MaxCompute里面有一个项目的概念,一开始本来打算直接根据分层模型的设计来创建项目,但是由于某种原因,改成了按照业务线来创建项目。对于这个项目名,一定要想好,不管根据什么来设计,都需要想清楚,想明白,定了以后就不要再改了,也没法改。

我忘记是不是叫“词根”了,先写着,后面找本书确认下。词根属于数仓建设中的规范,属于元数据管理的范畴。哦,现在都把这个划到数据治理的一部分。

正常来说,完整的数仓建设是包含数据治理的,只是现在谈到数仓偏向于数据建模,而谈到数据治理,更多的是关于数据规范、数据管理。

接着说我们的主角-词根。
我们学习英语的时候应该有了解过词根这个东西,它就是最细粒度的最简单的一个词语,我们主要用来规范中文和英文的映射关系。我们公司一部分业务是关于货架的,英文名是:rack,rack就是一个词根,那我们就在所有的表、字段等用到的地方都叫rack,不要叫成别的什么。这就是词根的作用,用来统一命名,表达同一个含义。
指标体系中有很多“率”的指标,都可以拆解成XXX+率,率可以叫rate,那我们所有的指标都叫做XXX+rate。
词根可以用来统一表名、字段名、主题域名等等。

表名需要见名知意,通过表名就可以知道它是哪个业务域,干嘛用的,什么粒度的数据。

中间表在创建时,请加上 ,如果要保留历史的中间表,可以加上日期或者时间戳

指标的命名也参考词根,避免出现同一个指标,10个人有10个命名方法。

具体操作结合公司实际情况,规范及早制定。

附上之前我们再阿里DataWorks上的一个规范示例

最强最全面的数仓建设规范指南(代码片段)

目录一、数据模型架构原则1.数仓分层原则2.主题域划分原则3.数据模型设计原则二、数仓公共开发规范1.层次调用规范2.数据类型规范3.数据冗余规范4.NULL字段处理规范5.指标口径规范6.数据表处理规范7.表的生命周期管理三、数仓... 查看详情

数仓建设规范指南(代码片段)

本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段命名规范等!目录:一、数据模型架构原则数仓分层原则主题域划... 查看详情

说说变量命名规范的重要性

在编程过程中一定要注意代码命名的规范性,否则在使用和维护过程中将造成很大的麻烦,这也是一种良好的编码习惯。看下面代码,除了userPass命名规范【小驼峰命名法】,其他的都不规范。uId:看get方法,就会发现是getuId(),... 查看详情

聊聊数据仓库

...数据仓库的标准化规范设计,融合建模规范、建模实操、数仓大图、数据质量、衡量指标等为一体的线上建模工具。  通过数仓建设,我们需要解决以下问题[] 数据存储的规范性[]  数据模型的复用性[]  ... 查看详情

关于htmlclassid命名规范

CSS命名规则  头:header  内容:content/containe  尾:footer  导航:nav  侧栏:sidebar  栏目:column  页面外围控制整体布局宽度:wrapper  左右中:leftrightcenter  登录条:loginbar  标志:logo  广告:banner  ... 查看详情

关于htmlclassid命名规范

CSS命名规则  头:header  内容:content/containe  尾:footer  导航:nav  侧栏:sidebar  栏目:column  页面外围控制整体布局宽度:wrapper  左右中:leftrightcenter  登录条:loginbar  标志:logo  广告:banner  ... 查看详情

dataworks数仓建设基础

1数仓基本概念1.1数据仓库架构源数据, 数据仓库, 数据应用,具体架构如下:源数据:该部分数据主要是从生产数据库,线下手工数据和日志数据,集成到dataworks中,形成了数仓的第一层ods层的数据明细数据仓库:主要是按... 查看详情

数仓系列第8篇:架构规范

目录导读:数据层次的划分数据分类架构数据处理流程架构数据划分及命名空间约定数据模型导读:本文以及后续章节中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导。数据层次的划分ODS:... 查看详情

数仓系列第8篇:架构规范

目录导读:数据层次的划分数据分类架构数据处理流程架构数据划分及命名空间约定数据模型导读:本文以及后续章节中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导。数据层次的划分ODS:... 查看详情

关于方法变量类等命名规范

做一个规范的程序员0.0.------------------------------------------------------------------------------------*变量和常量命名规范:*所有变量、方法、类名:见名知意*类成员变量、局部变量、package包命名:首字母小写和驼峰原则:monthSalary*类名:... 查看详情

盘点数据仓库建设需要知道的那些事(代码片段)

...中台的关键部分,本篇先从数据建设规范入手,接着介绍数仓分层、主题域划分原则,表处理规范和命名规范,最后说明指标定义、指标构成和指标@目录建设规范为何要有规范规范如何落地有哪些规范数仓分层分层原则常见分... 查看详情

关于rediskey命名规范的设计

参考文章:https://cloud.tencent.com/developer/article/1551803一、实现目标简洁,高效,可维护二、键值设计规约1、Rediskey命名风格【推荐】Rediskey命名需具有可读性以及可管理性,不该使用含义不清的key以及特别长的key名&#... 查看详情

关于rediskey命名规范的设计

参考文章:https://cloud.tencent.com/developer/article/1551803一、实现目标简洁,高效,可维护二、键值设计规约1、Rediskey命名风格【推荐】Rediskey命名需具有可读性以及可管理性,不该使用含义不清的key以及特别长的key名&#... 查看详情

关于文件,以及各个模块的命名规范

主要的master.css、模块module.css、基本共用base.css、布局,版面layout.css、主题themes.css、专栏columns.css、文字font.css、表单forms.css、补丁mend.css、打印print.css、页面结构容器:container、页头:header、内容:content/container、页面主体:main... 查看详情

数仓建模规范--非常全

...个文章与书籍,整合而成。对大中小厂均具有参考意义。数仓开发规范 一.数据模型架构原则 1.数仓分层原则优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避... 查看详情

数据仓库命名规范

  数据仓库命名规范  目录1.概述32.数据仓库命名规范42.1.命名规范42.1.1.表属性规范42.1.2.索引92.1.3.视图102.1.4.物化视图102.1.5.存储过程102.1.6.触发器102.1.7.函数102.1.8.数据包102.1.9.序列102.1.10.普通变量102.1.11.游标变量11... 查看详情

任务3-关于代码规范化

164173423王杰GitHub地址https://github.com/wangjie97学习内容总结学习了代码规范化,对代码的规范化有了个较深刻的理解学习成果大致发现了其他同学在C#1~3的学习中所提交的代码中的代码不要规范的地方第一个简单程序设计时,因为当... 查看详情

数仓建模理论——高质量数据建模(代码片段)

数仓质量数据模型的概念和意义-DIKW低质量数据模型十宗罪:低质量数据模型的影响数仓必备技能1.建模基础-实体2.建模基础——属性(Attribute)3.域(Domain)NULL值的处理规范化——范式第一范式:原子性&#... 查看详情