数仓interview总结

zzjhn zzjhn     2023-03-09     131

关键词:

1.数据仓库架构,以及主题

数据仓库架构分层:数据源层,主题层,基础汇总层,应用层

主题:订单,用户,商品,商家,供应链,营销等


2.数据仓库建模方法:范式建模(3NF),维度建模(星形、雪花),实体建模(关系)


3.锁有几种,及范围

从数据库系统角度分为三种:排他锁、共享锁、更新锁。按作用范围划分为:行锁、表锁。

S锁,也叫读锁,用于所有的只读数据操作。共享锁是非独占的,允许多个并发事务读取其锁定的资源。

X锁,也叫写锁,表示对数据进行写操作。如果一个事务对对象加了排他锁,其他事务就不能再给它加任何锁了。

U锁,在修改操作的初始化阶段用来锁定可能要被修改的资源,这样可以避免使用共享锁造成的死锁现象。

 

4.数据库事务特性ACID:原子性Atomicity,一致性Consistency,隔离性Isolation,持续性Durability


5.分区,索引有那些

范围分区(时间),列表分区(值很少的数据),hash分区

索引链接:http://www.cnblogs.com/sessionbest/articles/8689255.html


6.数据库调优(多是让讲关于SQL的)


7.数据表的关联有几种(在优化器)
    NESTED LOOP     HASH JOIN     SORT MERGE JOIN


8.如何解决数据分布不均和数据重分布的问题


9.大表UPDATE,DELETE的方法


10.谈谈数据标准,元数据管理,以及实时数据技术

 

数仓基础总结

转载于公众号:五分钟学大数据数仓建设数仓分层数仓为什么要分层?用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,... 查看详情

数仓基础总结

转载于公众号:五分钟学大数据数仓建设数仓分层数仓为什么要分层?用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,... 查看详情

电商数仓2.0----4.7总结

虚拟机环境做准备问题1:出现了问题,无法将虚拟机和xshell连接。在虚拟机输入ipaddr后,无法得到当前虚拟机的主机号。解决方案:输入vi/etc/sysconfig/network-scripts/ifcfg-ens33只需要把ONBOOT=no改为ONBOOT=yes再输入本文来自博客园,作... 查看详情

美团数据平台及数仓建设实践,超十万字总结

美团技术团队的博客质量非常高,里面有许多关于大数据的文章,具有很大的参考价值。美团技术博客地址:https://tech.meituan.com但是博客功能简陋,没有基本的搜索功能,这对于我们查找相关文章非常不易。... 查看详情

美团数据平台及数仓建设实践,超十万字总结

美团技术团队的博客质量非常高,里面有许多关于大数据的文章,具有很大的参考价值。美团技术博客地址:https://tech.meituan.com但是博客功能简陋,没有基本的搜索功能,这对于我们查找相关文章非常不易。... 查看详情

数仓基础总结

转载于公众号:五分钟学大数据数仓建设数仓分层数仓为什么要分层?用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,... 查看详情

企业数据治理实战总结--数仓面试必备

...,微众银行,众安保险等多家公司擅长大数据求职面试,数仓开发管理,数据治理,数据质量等工作,主导过相关平台的建设1 数据治理的背景在数据建设过程中,业务人员和数据开发人员在日常使用数据的过程中还是能感... 查看详情

说说数仓(6)-关于命名规范

参考技术A数仓总结目录:说说数仓(1)-什么是数仓说说数仓(2)-传统数仓与互联网数仓说说数仓(3)-数仓架构说说数仓(4)-指标字典说说数仓(5)-最重要的维度之日期维度说说数仓(6)-关于命名规范说说数仓(7)-浅谈数据治理说说数仓(8)-... 查看详情

企业数据治理实战总结--数仓面试必备(代码片段)

...行,众安保险等多家公司擅长大数据求职面试,数仓开发管理,数据治理,数据质量等工作,主导过相关平台的建设1 数据治理的背景在数据建设过程中,业务人员和数据开发人员在日常使用数据的过程中... 查看详情

c++总结地址

GitHub-huihut/interview:📚C/C++技术面试基础知识总结,包括语言、程序库、数据结构、算法、系统、网络、链接装载库等知识及面试经验、招聘、内推等信息。Thisrepositoryisasummaryofthebasicknowledgeofrecruitingjobseekersandbeginnersi... 查看详情

美团外卖实时数仓建设实践

本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引... 查看详情

数仓建设|odsdwddwm等理论实战(好文收藏)(代码片段)

本文目录:一、数据流向二、应用示例三、何为数仓DW四、为何要分层五、数据分层六、数据集市七、问题总结导读数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需要横向... 查看详情

实时数据平台设计

1相关概念背景1.1从现代数仓架构角度看实时数据平台现代数仓由传统数仓发展而来,对比传统数仓,现代数仓既有与其相同之处,也有诸多发展点。首先我们看一下传统数仓(图1)和现代数仓(图2)... 查看详情

实时数据平台设计

1相关概念背景1.1从现代数仓架构角度看实时数据平台现代数仓由传统数仓发展而来,对比传统数仓,现代数仓既有与其相同之处,也有诸多发展点。首先我们看一下传统数仓(图1)和现代数仓(图2)... 查看详情

美团外卖实时数仓建设实践

实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合,同时满足实时和准实时业务场景。两... 查看详情

滴滴出行大数据数仓实战(代码片段)

文章目录前言1.业务背景2.日志数据集介绍3.构建数据仓库4数据预处理5订单指标分析6Sqoop数据导出7.数据导出操作8Superset数据可视化总结要下的配套资料,已经上传到百度网盘好了大家好,我是ChinaManor,直译过来就是中国码农的... 查看详情

滴滴出行大数据数仓实战(代码片段)

文章目录前言1.业务背景2.日志数据集介绍3.构建数据仓库4数据预处理5订单指标分析6Sqoop数据导出7.数据导出操作8Superset数据可视化总结要下的配套资料,已经上传到百度网盘好了大家好,我是ChinaManor,直译过来就是中国码农的... 查看详情

ccoxhologres:实时数仓高可用架构再次升级,双11大规模落地

...介:本文将会介绍今年是如何在去年基础上进行实时数仓高可用架构升级,并成功大规模落地双11。作者|梅酱来源|阿里技术公众号一2021年双11总结2021年阿里巴巴双11期间,由CCO+Hologres构建的高可用实时数仓经过2年... 查看详情