使用 Sqoop 将数据从 RDBMS 导入 Hive 时,如何在命令行中指定 Hive 数据库名称?

     2023-04-18     173

关键词:

【中文标题】使用 Sqoop 将数据从 RDBMS 导入 Hive 时,如何在命令行中指定 Hive 数据库名称?【英文标题】:How to specify Hive database name in command line while importing data from RDBMS into Hive using Sqoop ? 【发布时间】:2013-01-25 12:20:49 【问题描述】:

我需要将数据从 RDBMS 表导入远程 Hive 机器。我如何使用 Sqoop 实现这一点?

简而言之,如何在 import 命令中指定 hive 数据库名称和 hive 机器 i/p?

请帮助我使用适当的 sqoop 命令。

【问题讨论】:

【参考方案1】:

您应该在安装了 Hive 的机器上运行sqoop 命令,因为sqoop 将寻找$HIVE_HOME/bin/hive 来执行CREATE TABLE ... 和其他语句。

或者,您可以使用 sqoop--hive-home 命令行选项来指定 Hive 的安装位置(只是覆盖 $HIVE_HOME

要连接到您的远程 RDBMS:

sqoop import --connect jdbc:mysql://remote-server/mytable --username xxx --password yyy

要导入 Hive:

sqoop import --hive-import

您可以通过查看 http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_literal_sqoop_import_literal">此链接获得更全面的命令列表。

【讨论】:

使用 Sqoop 将数据从 RDBMS 导入 Hive 时,如何在命令行中指定 Hive 数据库名称?

】使用Sqoop将数据从RDBMS导入Hive时,如何在命令行中指定Hive数据库名称?【英文标题】:HowtospecifyHivedatabasenameincommandlinewhileimportingdatafromRDBMSintoHiveusingSqoop?【发布时间】:2013-01-2512:20:49【问题描述】:我需要将数据从RDBMS表导入... 查看详情

使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop

】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】:DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】:2014-03-1803:41:23【问题描述】:我正在学习Hadoop,并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情

将 Blob 数据从 RDBMS (Sybase) 导入 Cassandra

...【发布时间】:2016-12-1109:00:49【问题描述】:我正在尝试使用DataStaxEnterprise(DSE)5.0将大型blob数据(大约10TB)从RDBMS(SybaseASE)导入Cassandra。sqoop在DSE5.0中仍然是推荐的方法吗?根 查看详情

在 RDBMS 中没有主键的 Sqoop 导入

...nRDBMS【发布时间】:2015-03-1906:34:01【问题描述】:我可以使用sqoop将RDBMS表数据(表没有主键)导入到hive吗?如果是的话,请给sqoop导入命令。我尝试过使用sqoopimportgeneral命令,但失败了。【问题讨论】:【参考方案1】:如果您... 查看详情

我们如何使用 SQoop 对从 RDBMS 迁移到 HDFS 的数据进行测试?

】我们如何使用SQoop对从RDBMS迁移到HDFS的数据进行测试?【英文标题】:HowwedoTestingonmigrateddatafromRDBMStoHDFSusingSQoop?【发布时间】:2017-06-0601:21:21【问题描述】:测试人员如何测试数据是否从RDBMS移动到HDFS?请仅从测试角度解释。... 查看详情

在 sqoop 中从 RDBMS 导入选定的表

...个数据库中有1000个表,那么我只想导入500个表。我可以使用--exclude-tables,但我无法在命令行中输入所有500个表名来排除。请建议我,如何实现它?【问题讨论】 查看详情

将 HBase 数据导出到 RDBMS

...eDatatoRDBMS【发布时间】:2012-01-0613:23:06【问题描述】:我使用HBase来存储数据,但后来为了满足我的要求,我想将数据从HBase导出到RDBM,如mysql或postgres。我知道我们有Sqoop作为选项,但它从MySQL导入并将其放入HBase,并将保存在HDF... 查看详情

浅谈sqoop

...,是appche旗下的一款工具,主要是负责hadoop与RDBMS之间的数据迁移,即从hadoop文件系统导出数据到RDBMS,从RDBMS导入数据到hadoophdfs,hive,hbase等数据存储系统。b.其实就是将sqoop命令转换成MR程序来完成数据的迁移。c.本质就是执行和计... 查看详情

使用 Sqoop 将 RDBMS 更新到 HDFS

】使用Sqoop将RDBMS更新到HDFS【英文标题】:GettingRDBMSupdatesintoHDFSusingSqoop【发布时间】:2014-12-0406:44:54【问题描述】:我正在尝试编写一个sqoop作业以达到以下要求。我有一个XYZ表,其中每天可能会创建大约100万条新记录和50万条... 查看详情

使用 sqoop 将表从 RDBMS 导入 HIVE 后约束是不是仍然存在?

】使用sqoop将表从RDBMS导入HIVE后约束是不是仍然存在?【英文标题】:WilltheconstraintsremainafterImportingtablefromRDBMStoHIVEwithsqoop?使用sqoop将表从RDBMS导入HIVE后约束是否仍然存在?【发布时间】:2019-03-1516:07:23【问题描述】:当我们使用... 查看详情

使用 sqoop 将数据从 oracle 导入到 hdfs

】使用sqoop将数据从oracle导入到hdfs【英文标题】:dataimportfromoracletohdfswithsqoop【发布时间】:2016-06-2714:03:42【问题描述】:您好,我在尝试使用sqoop将数据从Oracle导入HDFS时遇到以下错误。使用的命令-sqoopimport--connectjdbc:oracle:thin:sy... 查看详情

如何用sqoop查看oracle的表

...系型数据库和hive、hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入从RDBMS中抽取出的数据可以被MapReduce程序使用,也可以被类似Hive的工具使用;得到分析结果后sqoop可以将结果导回数据库,供其他客户端使用 查看详情

无法使用 Sqoop 将数据从 Vertica 导入 Cassandra

】无法使用Sqoop将数据从Vertica导入Cassandra【英文标题】:UnabletoimportdatafromVerticatoCassandrausingSqoop【发布时间】:2014-10-3014:53:49【问题描述】:我正在尝试使用Sqoop将表从Vertica导入DataStaxEnterprise4.5。没有报错也没有异常,但是目标... 查看详情

使用 Sqoop 将数据从 teradata 导入 Hive

】使用Sqoop将数据从teradata导入Hive【英文标题】:UsingSqooptoimportdatafromteradatatoHive【发布时间】:2016-03-1713:27:57【问题描述】:我必须提取teradata中的表架构,但我没有这些表的权限。是否可以在没有选择访问权限的情况下通过sqoo... 查看详情

使用 talend 或 sqoop 将数据从 hbase 导入 hdfs

】使用talend或sqoop将数据从hbase导入hdfs【英文标题】:importdatafromhbasetohdfsusingtalendorsqoop【发布时间】:2017-01-1612:05:55【问题描述】:是否可以使用Talend或sqoop将数据从hbase导出到hdfs?如果它不是直接可用的,那么实现这种用例的... 查看详情

如何在hadoop集群中使用sqoop将表从rdbms导入hive?

】如何在hadoop集群中使用sqoop将表从rdbms导入hive?【英文标题】:howtoimporttablefromrdbmstohiveusingsqoopinhadoopcluster?【发布时间】:2014-06-0209:11:56【问题描述】:我正在尝试使用hadoop集群中的SQOOP将表从RDBMS导入HIVE,我收到以下错误,... 查看详情

使用 sqoop 将数据从 CSV 导入 Avro 表的命令

】使用sqoop将数据从CSV导入Avro表的命令【英文标题】:CommandtoimportdatafromCSVtoAvrotableusingsqoop【发布时间】:2019-04-0912:47:45【问题描述】:我的HDFS上有一个名为test.csv的csv文件。我使用Hue创建了一个Avro表(avro_test),其列名与csv文件... 查看详情

我想使用 sqoop 导入作业将数据 sqoop 到 hive 列分区表中。我们应该怎么做?

】我想使用sqoop导入作业将数据sqoop到hive列分区表中。我们应该怎么做?【英文标题】:Iwanttosqoopdatausingsqoopimportjobintohivecolumnpartitionedtable.Howcanwedothis?【发布时间】:2017-08-2612:34:31【问题描述】:我有一个按国家列分区的配置单... 查看详情