关键词：
【中文标题】使用 Sqoop 将来自 MySQL 的数据加载到 PIG【英文标题】：Load data coming from MySQL into PIG using Sqoop 【发布时间】：2017-05-09 20:02:08 【问题描述】：我正在尝试使用 Sqoop 和 PIG，所以我看到的几乎所有文档都说 Sqoop 用于从 MySQL 获取数据并将其放入 HDFS 存储库中，然后使用 PIG 获取这些数据。相反，我想知道我是否可以直接从猪中读取 MySQL 表。如果您的答案是肯定的，请您分享一个示例脚本。谢谢，我很感激。
【问题讨论】：
【参考方案1】：您不能直接从 PIG 访问 MySQL。
你有两个选择：
使用 Sqoop 将数据提取到 HDFS 中，然后使用 PIG 脚本对其进行分析。
编写 UDF 并创建与 MySQL 的连接并获取数据并进行分析。这更像是一个普通的 Java JDBC 代码。
如果您的数据量很大，选项 b 将是一个糟糕的选择。 不确定您的要求，但您正在扼杀 Sqoop 的美感。 Sqoop 优雅地创建了映射器，映射器反过来创建到数据库的多个连接以更快地提取数据。
也许你可以分享更多关于你为什么要尝试这个的细节。
【讨论】：
sqoop export 无法将数据从 hive 仓库文件夹加载到 mysql
】sqoopexport无法将数据从hive仓库文件夹加载到mysql【英文标题】：sqoopexportfailstoloaddataintomysqlfromhivewarehousefolder【发布时间】：2015-01-1209:08:44【问题描述】：sqoop导出失败并出现错误。我的导出命令是：sqoopexport--connectjdbc:mysql://&... 查看详情
使用 MapReduce 或 Sqoop 将数据加载到 Greenplum DB
】使用MapReduce或Sqoop将数据加载到GreenplumDB【英文标题】：LoaddataintoGreenplumDBusingMapReduceorSqoop【发布时间】：2015-04-2802:36:28【问题描述】：我想尝试使用mapreduce或sqoop将数据加载到Greenplum。目前，从hdfs加载greenplumdb的方法是，使用g... 查看详情
使用来自 Mysql 的 sqoop 导入 Hive 耗时太长
】使用来自Mysql的sqoop导入Hive耗时太长【英文标题】：HiveimportusingsqoopfromMysqltakingtoolong【发布时间】：2019-01-0510:03:37【问题描述】：我在Ubuntu18.04的hadoop之上使用hive和sqoop。Hadoop、sqoop和Hive正在按预期工作，但每当我尝试将数据... 查看详情
sqoop导入数据到mysql原理_sqoop的详细使用及原理
1、sqoop简介sqoop是一个用来将hadoop中hdfs和关系型数据库中的数据相互迁移的工具，可以将一个关系型数据库(mysql、oracle等)中的数据导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。2、sqoop的特点：sqoop的底层实现... 查看详情
使用 Oozie 和 Sqoop 将数据从 HiveQL 导出到 MySQL
】使用Oozie和Sqoop将数据从HiveQL导出到MySQL【英文标题】：ExportDatafromHiveQLtoMySQLusingOoziewithSqoop【发布时间】：2019-05-2712:00:31【问题描述】：我在Hive中有一个表（定期更新），我想在我的一个具有MySQL数据库的工具中拥有它。我不... 查看详情
如何使用 sqoop 工具执行增量加载
】如何使用sqoop工具执行增量加载【英文标题】：Howtoperformincrementalloadusingsqooptool【发布时间】：2017-11-0214:52:51【问题描述】：实际上，我的数据在Teradata表中。我已经使用sqoop-import命令将该teradata表数据sqoop到Hive中。但是，我的t... 查看详情
使用 Hive 查询 Sqoop 到 MySQL
】使用Hive查询Sqoop到MySQL【英文标题】：SqooptoMySQLusingHiveQuery【发布时间】：2012-08-2011:27:02【问题描述】：我想将Hive表中的数据sqoop到MySQL表中。两者都有相同的列集，但它们的顺序不同。有没有办法使用具有属于mysql表的列顺序... 查看详情
在 Cloudera 中使用 sqoop 将数据从 HDFS 导出到 mysql 时作业失败
】在Cloudera中使用sqoop将数据从HDFS导出到mysql时作业失败【英文标题】：JobfailsonexportingdatafromHDFStomysqlusingsqoopinCloudera【发布时间】：2018-06-1017:59:20【问题描述】：我正在导出HDFS位置/user/training/sqoop_import/departments_export目录中的部... 查看详情
利用sqoop将hive数据导入导出数据到mysql
...个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0. 查看详情
将没有数字 ID 的非常大的表从 MySQL 加载到 S3
...尝试将MYSQL中的一个大表（500GB大小，大约200M行）泵入（使用Sqoop）到S3。但是，此表没有数字键列。它有一个包含3列的组合主键。我观察到sqoop无法均匀地对数据集进行分块，因为ID在最 查看详情
如何使用 sqoop 将 Mysql 中的所有表导入到 hive 中用于 hive 中的特定数据库？
】如何使用sqoop将Mysql中的所有表导入到hive中用于hive中的特定数据库？【英文标题】：howtoimport-all-tablesfromMysqltohiveusingsqoopforparticulardatabaseinhive?【发布时间】：2019-06-2412:39:05【问题描述】：sqoopimport-all-tablesintohivewithdefaultdatabase... 查看详情
sqoop 作业将数据导出到 mysql，卡在地图 100% 且状态正在运行
...【发布时间】：2017-03-2111:50:29【问题描述】：所以我尝试使用sqoop将数据从impala导出到mysql，这是由oozie作业安排的。但是当第一个sqoop操作开始时，它卡在map100%并减少0%。所有其他操作都塞满 查看详情
sqoop使用入门(代码片段)
...为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结构图，它只提供一个sqoop客户端，使用命令行方式来... 查看详情
sqoop安装与使用
使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 查看详情
如何将mysql数据导入hadoop之sqoop安装
...-usernameroot--password19891231结果如下即说明sqoop已经可以正常使用了。下面，要将mysql中的数据导入到hadoop中。我准备的是一个300万条数据的身份证数据表：先启动hive（使用命令行：hive即可启动）然后使用sqoop导入数据到hive：sqoopimp... 查看详情
sqoop基本原理
...DFS中，也可以将HDFS的数据导出到关系型数据库中。②Sqoop使用场景我们通常把有价值的 查看详情
使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop
】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】：DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】：2014-03-1803:41:23【问题描述】：我正在学习Hadoop，并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情
使用 Sqoop 的 HDFS 到 RDBMS - 表创建
】使用Sqoop的HDFS到RDBMS-表创建【英文标题】：HDFStoRDBMSusingSqoop-tablecreation【发布时间】：2013-09-1819:39:13【问题描述】：我最初将HBase数据导出到HDFS，生成了一个名为“part-00000”的文件。现在，我想使用Sqoop将HDFS导出到MYSQL。我尝... 查看详情