关键词：
参考技术A基于hadoop生态搭建的电商数据仓库，整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等。
github地址
电商数据仓库
详情学习攻略请查看
hadoop安装
hive安装
hive常用命令
完善中...
项目踩坑请查看
Linux卸载安装Mysql踩坑
Linux报错只读文件系统（集群非法关机、断电）踩坑
sqoop拒绝连接
kafka manager启动失败解决方案
hive拒绝连接解决方案
系统数据流程如下图：
数仓分层如下图：
hive表关系图如下图：
完善中...
完善中...
大数据项目之电商数仓-业务数据仓库(代码片段)
电商业务流程简介电商术语SKU，库存量单位，即库存进出计量的基本单元，可以是以件，盒，托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已经被引申为产... 查看详情
大数据项目之电商数仓-用户行为数据采集(代码片段)
数据仓库简介数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合，通过数据仓库中的数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。项目需求实时采集买点的用户行为数... 查看详情
电商数仓笔记1（数据仓库概念，项目需求及架构设计，数据生成模块）(代码片段)
电商数仓一、数据仓库概念二、项目需求及架构设计1、项目需求分析2、项目框架（1）技术选型（2）系统数据流程设计（3）框架版本选型（4）服务器选型（5）集群规模（6）集群资... 查看详情
《果然新鲜》电商项目（11）-docker搭建maven私服仓库(代码片段)
...Docker上搭建Maven私服3.测试4.总结引言在上一节《果然新鲜电商项目（10）-GitLab简介以及Docker部署》主要讲解了GitLab，以及在Docker上部署GitLab。本文继续讲解分布式基础设施环境的搭建，主要讲解Maven私服，以及... 查看详情
大数据项目之电商数仓-用户行为数据仓库(代码片段)
数据仓库分层把复杂问题简单化，把一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解清晰的数据结构，每一层都有它的作用域，这样我们在使用表的时候能更方便的定... 查看详情
数据仓库之电商数仓--1用户行为数据采集(代码片段)
目录一、数据仓库概念二、项目需求及架构设计2.1项目需求分析2.2项目框架2.2.1技术选型2.2.2系统数据流程设计2.2.3框架版本选型2.2.4服务器选型2.2.5集群规模2.2.6集群资源规划设计三、数据生成模块3.1目标数据3.1.1页面日志3.1.2事... 查看详情
大数据项目之电商数仓数据仓库概念项目需求及架构设计(代码片段)
...1a;就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。 用... 查看详情
大数据项目之电商数仓-业务数据仓库(代码片段)
电商业务流程简介电商术语SKU，库存量单位，即库存进出计量的基本单元，可以是以件，盒，托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已经被引申为产... 查看详情
大数据项目之电商数仓-用户行为数据仓库(代码片段)
数据仓库分层把复杂问题简单化，把一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解清晰的数据结构，每一层都有它的作用域，这样我们在使用表的时候能更方便的定... 查看详情
项目实战-电商（网上书城）
电商两种模式：多元化电商（淘宝、京东），垂直电商（只卖某一类东西）2.图书商城项目简介 -》主要功能：图书信息、评论、购买 -》进行数据库搭建 商品分类表，商品信息表，管理员表 -》搭建开发... 查看详情
数据仓库简介
文章目录一、数据仓库介绍1.1、什么是数据仓库1.2、数据仓库的特点1.2.1、面向主题的1.2.2、集成化的1.2.3、稳定的1.2.4、随时间不断变化的1.3、数据仓库发展历程1.4、数据库与数据仓库的区别二、数据仓库架构分层5.1、ODS（Op... 查看详情
数据仓库简介
一、数据仓库是什么，有什么用？数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策(DecisionMakingSupport)。 1.... 查看详情
《果然新鲜》电商项目（10）-gitlab简介以及docker部署(代码片段)
文章目录引言1.GitLab1.1.GitLab简介1.2Git、GtiHub、GtiLab三者关系2.Docker上部署GitLab3.测试4.总结引言在上一节《果然新鲜（06）-Linux固定IP设置以及安装Docker》主要讲解Linux的固定ip设置以及在Linux上安装Docker。本文继续讲解分布... 查看详情
greenplum实时数据仓库实践——数据仓库简介
目录1.1 什么是数据仓库1.2 操作型系统与分析型系统1.2.1操作型系统1.2.2分析型系统1.2.3操作型系统和分析型系统对比1.3抽取-转换-装载1.3.1数据抽取1.3.2数据转换1.3.3数据装载1.3.4开发ETL系统的方法1.4数据仓库架构1.4.1基本架... 查看详情
greenplum实时数据仓库实践——数据仓库简介
目录1.1 什么是数据仓库1.2 操作型系统与分析型系统1.2.1操作型系统1.2.2分析型系统1.2.3操作型系统和分析型系统对比1.3抽取-转换-装载1.3.1数据抽取1.3.2数据转换1.3.3数据装载1.3.4开发ETL系统的方法1.4数据仓库架构1.4.1基本架... 查看详情
跨境电商技术服务支持
提供跨境电商技术服务支持，海关统一版对接，二合一仓库软件电子订单数据，支付凭证数据，物流运单数据，物流运单状态数据，清单数据，撤销申请单，退货申请单，入库明细单软件服务包括接入多电商平台，跨境的进行跨... 查看详情
简版的电商项目学习——第三步：数据库创建，注册功能实现以及用户密码加密
一、简介 拿到数据之后，在主目录创建db目录存放数据，在数据库里建一个存放数据的表，然后再将在页面拿到数据去数据库里进行查询，就需要连接数据库中的表，并且将在页面获取到的数据作为查询条件去表里查询数据... 查看详情
hive（数据仓库）简介
一：什么是Hive（数据仓库）？ 1、Hive由Facebook实现并开源 2、是基于Hadoop的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供HQL(HiveSQL)查询功能 5、底层数据是存储在HDFS上... 查看详情