关键词：
四、Hive导入及导出数据
- 通过HDFS直接导入导出
- 通过Hive命令导入导出
4.1、Hive导入数据的语法
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
LOCAL：导入语句带有LOCAL，说明是导入Linux本地的数据，若是从HDFS上导入数据，则导入语句不加LOCAL；
filepath：数据的路径
OVERWRITE：指定覆盖表之前的数据，如果是追加，则去掉OVERWRITE关键字即可。
PARTITON:如果是分区表，指定分区字段的名称。
任务实现：导入数据到泰坦尼克乘客表中
下面先把train.csv导入到hdfs的/user/root目录下，然后就可以直接把hdfs上的导入到数据库
4.2、单表查询导入数据
INSERT [OVERWRITE|INTO] table 表1
[PARTITION（part1=val1,part2=val2）] SELECT字段1, 字段2, 字段3 FROM 表2 ;
OVERWRITE：覆盖 INTO：追加
PARTITION：分区表 填分区字段
4.3、多表查询导入数据
FROM 表1
INSERT INTO TABLE 表2 SELECT 字段 LIMIT N
INSERT INTO TABLE 表3 SELECT 字段 WHERE … ;
任务实现：
查询tidanic表中的存活乘客数据到tidanic_save
查询tidanic表中的死亡乘客数据到tidanic_died
4.4、导出到Linux本地
INSERT OVERWRITE [LOCAL] DIRECTORY '路径’
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',’
SELECT 字段1, 字段2, 字段3 FROM 表名 ;
如果添加LOCAL关键字，那么导出的是本地目录，如果没有该关键字，那么导出的是HDFS目录；
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','在这里指定导出数据的分隔符为‘,’。
OVERWRITE LOCAL DIRECTORY 查询结果将覆盖本地目录
任务实现：导出死亡名单到Linux本地
查看
学习笔记hive——hive应用——数据库定义创建表(代码片段)
一、任务讲解泰坦尼克号乘客信息存储与分析泰坦尼克号乘客信息存储与分析：创建乘客信息表导入数据到表中统计获救与死亡情况统计舱位分布情况统计港口登船人数分布情况统计性别与生存率的关系统计客舱等级与生存... 查看详情
学习笔记hive——hive开发应用(代码片段)
一、任务1.1、商品零售购物篮分析现代商品种类繁多，顾客往往会由于需要购买的商品众多而变得疲于选择，且顾客并不会因为商品选择丰富而选择购买更多的商品。繁杂的选购过程往往会给顾客疲惫的购物体验。1.2、... 查看详情
深入学习hive应用场景及架构原理
...e最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以... 查看详情
hive学习笔记
Hive学习笔记1、Hive安装（只在主节点上安装） （1）下载安装包到/usr/app/目录下 （2）解压 （3）修改配置文件/etc/profile（添加 exportHIVE_HOME=/usr/local/hive-0.9.0-bin exportHADOOP_HOME=/usr/local/hadoop-0.20.2-cdh3u 查看详情
hive学习笔记_hive的表创建
创建hive表注意事项一、表分隔符必须与读取的数据文件一致，比如例子的分隔符为 ‘ ‘（制表符），hive下默认分隔符是制表符。二、最好指定分区作为数据之间的区分。三、创建完表可以desc+表明进行查看，字段名称（fiel... 查看详情
hive系统性学习笔记
1.基础1.1DDLHive分桶Bucket1.2DML1.3函数Hive如何实现自定义函数UDFHive日期相关函数Hive如何使用GroupingSets1.4服务Hive元数据服务MetaStore2.原理3.调优HiveCountDistinct优化HiveJoin优化之MapJoin4.实战Hive安装与配置在Zeppelin中如何使用Hive 查看详情
hive系统性学习笔记
1.基础1.1DDLHive分桶Bucket1.2DML1.3函数Hive如何实现自定义函数UDFHive日期相关函数Hive如何使用GroupingSets1.4服务Hive元数据服务MetaStore2.原理3.调优HiveCountDistinct优化HiveJoin优化之MapJoin4.实战Hive安装与配置在Zeppelin中如何使用Hive 查看详情
hive学习笔记——crud
1.首先需要安装Hadoop和HiveHadoop和Hive的own和grp都是HadoopHive的安装很简单,在清华镜像站下载Hive的二进制文件,然后解压到/usr/local目录下修改own和grp就行2.启动hive之前需要先启动Hadoop,启动后显示hive> 查看详情
hive面试准备
Hive与HBase的区别Hive架构原理Hive的数据模型及各模块的应用场景Hive支持的文件格式和压缩格式及各自特点Hive内外表的区分方法及内外部差异Hive视图如何创建、特点及应用场景Hive常用命令及作用Hive常用的10个系统函数及作用简述... 查看详情
hive学习笔记（启动方式，内置服务）
一、Hive介绍 Hive是基于Hadoop的一个数据仓库，Hive能够将SQL语句转化为MapReduce任务进行运行。 Hive架构图分为以下四部分。 1、用户接口 Hive有三个用户接口：命令行接口（CLI）:以命令行的形式输入SQL语... 查看详情
学习笔记hive——hive简介
一、Hive设计思想（了解）Facebook用户社交数据存储与处理Facebook是美国的一个社交网站，于2004年2月4日上线。主要创始人为美国人马克·扎克伯格。Facebook是世界排名领先的照片分享站点。根据Comscore咨询公司的数据显... 查看详情
学习笔记hive——hive简介
一、Hive设计思想（了解）Facebook用户社交数据存储与处理Facebook是美国的一个社交网站，于2004年2月4日上线。主要创始人为美国人马克·扎克伯格。Facebook是世界排名领先的照片分享站点。根据Comscore咨询公司的数据显... 查看详情
hive自定义函数的学习笔记
前言: hive本身提供了丰富的函数集,有普通函数(求平方sqrt),聚合函数(求和sum),以及表生成函数(explode,json_tuple)等等.但不是所有的业务需求都能涉及和覆盖到,因此hive提供了自定义函数的接口,方便用户扩展. 自己好像... 查看详情
hive学习笔记
摘要： Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简... 查看详情
hadoop-hive学习笔记
createtablehive_1(idstring,namestring,genderstring)rowformatdelimitedfieldsterminatedby‘,‘storedasTEXTFILE;loaddatalocalinpath‘/luozt/hive_001.txt‘intotablehive_1;createEXTERNALtablehive_2(idstring,na 查看详情
hive学习笔记(代码片段)
安装配置安装hive下载hive解压重命名添加环境变量Vi/etc/proflie使环境变量生效Source/etc/profile修改配置文件cphive-env.sh.templatehive-env.shHiveMetastore配置将自带的derby数据库替换为mysql数据库参考文章https://my.oschina.net/u/4292373/blog/3497563登录... 查看详情
学习笔记hive——hive安装配置(代码片段)
一、环境介绍环境描述4个Linux操作系统虚拟机使用centos7镜像配置安装java1.8以上版本安装Hadoop2.6.5以上版本安装MySQL5.1以上版本二、安装MySQL（这里我是CentOs7）安装教程链接：https://www.jb51.net/article/150557.htm1、安装完成... 查看详情
hive笔记
1.hive建表多种分隔符,支持list,map结构 https://stackoverflow.com/questions/18011252/how-to-define-nested-collection-items-in-hive2.hive导入json数据 自定义SerDehttp://www.cnblogs.com/likai198981/archive/2013/05 查看详情