如何使用 Sqoop 从 RDBMS 将数据导入本地文件系统,而不是 HDFS?

     2023-04-18     266

关键词:

【中文标题】如何使用 Sqoop 从 RDBMS 将数据导入本地文件系统,而不是 HDFS?【英文标题】:How to import data using Sqoop from RDBMS into local file system, not HDFS? 【发布时间】:2014-11-19 18:42:35 【问题描述】:

我看到 Sqoop 允许将数据从 RDBMS 数据库导入 HDFS。但是,我想将数据导入 Linux 中的 本地文件系统文件夹,而不是导入 HDFS 文件系统。

有没有办法做到这一点?

【问题讨论】:

【参考方案1】:

在 Sqoop1 中,您可以使用 documentation 中详述的“-fs”选项。这是一个简单的例子:

sqoop import -fs local -jt local --connect jdbc:mysql://<host>/sqoop --username sqoop --password sqoop --table tbl

在 Sqoop2 中,您将可以在创建链接时choose your file system:

HDFS URI: file:///

【讨论】:

【参考方案2】:

如果要将表存储在调用 sqoop 的目录中:

sqoop import -fs file:/// -jt local --connect jdbc://<host>/<database_name> --username <user_name> --password <password> --table <table_name>

表格将存储为 ./ 中的 csv 文件

【讨论】:

使用 SQOOP 从 RDBMS 导入数据

】使用SQOOP从RDBMS导入数据【英文标题】:ImportingdatafromRDBMSusingSQOOP【发布时间】:2016-07-1210:36:14【问题描述】:我正在尝试将数据从SQL服务器数据库导入Hive。基本上我将整个数据库(除了一些表)导入Hive。在这里,我有一些我... 查看详情

使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop

】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】:DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】:2014-03-1803:41:23【问题描述】:我正在学习Hadoop,并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情

我们如何使用 SQoop 对从 RDBMS 迁移到 HDFS 的数据进行测试?

】我们如何使用SQoop对从RDBMS迁移到HDFS的数据进行测试?【英文标题】:HowwedoTestingonmigrateddatafromRDBMStoHDFSusingSQoop?【发布时间】:2017-06-0601:21:21【问题描述】:测试人员如何测试数据是否从RDBMS移动到HDFS?请仅从测试角度解释。... 查看详情

将 Blob 数据从 RDBMS (Sybase) 导入 Cassandra

...【发布时间】:2016-12-1109:00:49【问题描述】:我正在尝试使用DataStaxEnterprise(DSE)5.0将大型blob数据(大约10TB)从RDBMS(SybaseASE)导入Cassandra。sqoop在DSE5.0中仍然是推荐的方法吗?根 查看详情

在 sqoop 中从 RDBMS 导入选定的表

...我无法在命令行中输入所有500个表名来排除。请建议我,如何实现它?【问题讨论】 查看详情

在 RDBMS 中没有主键的 Sqoop 导入

...nRDBMS【发布时间】:2015-03-1906:34:01【问题描述】:我可以使用sqoop将RDBMS表数据(表没有主键)导入到hive吗?如果是的话,请给sqoop导入命令。我尝试过使用sqoopimportgeneral命令,但失败了。【问题讨论】:【参考方案1】:如果您... 查看详情

如何在hadoop集群中使用sqoop将表从rdbms导入hive?

】如何在hadoop集群中使用sqoop将表从rdbms导入hive?【英文标题】:howtoimporttablefromrdbmstohiveusingsqoopinhadoopcluster?【发布时间】:2014-06-0209:11:56【问题描述】:我正在尝试使用hadoop集群中的SQOOP将表从RDBMS导入HIVE,我收到以下错误,... 查看详情

将 HBase 数据导出到 RDBMS

...eDatatoRDBMS【发布时间】:2012-01-0613:23:06【问题描述】:我使用HBase来存储数据,但后来为了满足我的要求,我想将数据从HBase导出到RDBM,如mysql或postgres。我知道我们有Sqoop作为选项,但它从MySQL导入并将其放入HBase,并将保存在HDF... 查看详情

浅谈sqoop

...,是appche旗下的一款工具,主要是负责hadoop与RDBMS之间的数据迁移,即从hadoop文件系统导出数据到RDBMS,从RDBMS导入数据到hadoophdfs,hive,hbase等数据存储系统。b.其实就是将sqoop命令转换成MR程序来完成数据的迁移。c.本质就是执行和计... 查看详情

使用 Sqoop 将 RDBMS 更新到 HDFS

】使用Sqoop将RDBMS更新到HDFS【英文标题】:GettingRDBMSupdatesintoHDFSusingSqoop【发布时间】:2014-12-0406:44:54【问题描述】:我正在尝试编写一个sqoop作业以达到以下要求。我有一个XYZ表,其中每天可能会创建大约100万条新记录和50万条... 查看详情

使用 sqoop 将表从 RDBMS 导入 HIVE 后约束是不是仍然存在?

】使用sqoop将表从RDBMS导入HIVE后约束是不是仍然存在?【英文标题】:WilltheconstraintsremainafterImportingtablefromRDBMStoHIVEwithsqoop?使用sqoop将表从RDBMS导入HIVE后约束是否仍然存在?【发布时间】:2019-03-1516:07:23【问题描述】:当我们使用... 查看详情

使用 sqoop 将数据从 oracle 导入到 hdfs

】使用sqoop将数据从oracle导入到hdfs【英文标题】:dataimportfromoracletohdfswithsqoop【发布时间】:2016-06-2714:03:42【问题描述】:您好,我在尝试使用sqoop将数据从Oracle导入HDFS时遇到以下错误。使用的命令-sqoopimport--connectjdbc:oracle:thin:sy... 查看详情

如何从 Sqoop 选项生成 Sqoop 命令?

】如何从Sqoop选项生成Sqoop命令?【英文标题】:HowtogenerateSqoopcommandfromSqoopoptions?【发布时间】:2017-04-2012:21:01【问题描述】:我想生成Sqoop命令以从Mysql导入RDBMS表。我将sqoop命令存储在数据库中,然后使用此命令创建Oozie工作流... 查看详情

如何用sqoop查看oracle的表

...系型数据库和hive、hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入从RDBMS中抽取出的数据可以被MapReduce程序使用,也可以被类似Hive的工具使用;得到分析结果后sqoop可以将结果导回数据库,供其他客户端使用 查看详情

无法使用 Sqoop 将数据从 Vertica 导入 Cassandra

】无法使用Sqoop将数据从Vertica导入Cassandra【英文标题】:UnabletoimportdatafromVerticatoCassandrausingSqoop【发布时间】:2014-10-3014:53:49【问题描述】:我正在尝试使用Sqoop将表从Vertica导入DataStaxEnterprise4.5。没有报错也没有异常,但是目标... 查看详情

使用 Sqoop 将数据从 teradata 导入 Hive

】使用Sqoop将数据从teradata导入Hive【英文标题】:UsingSqooptoimportdatafromteradatatoHive【发布时间】:2016-03-1713:27:57【问题描述】:我必须提取teradata中的表架构,但我没有这些表的权限。是否可以在没有选择访问权限的情况下通过sqoo... 查看详情

使用 talend 或 sqoop 将数据从 hbase 导入 hdfs

】使用talend或sqoop将数据从hbase导入hdfs【英文标题】:importdatafromhbasetohdfsusingtalendorsqoop【发布时间】:2017-01-1612:05:55【问题描述】:是否可以使用Talend或sqoop将数据从hbase导出到hdfs?如果它不是直接可用的,那么实现这种用例的... 查看详情

使用 sqoop 将数据从 CSV 导入 Avro 表的命令

】使用sqoop将数据从CSV导入Avro表的命令【英文标题】:CommandtoimportdatafromCSVtoAvrotableusingsqoop【发布时间】:2019-04-0912:47:45【问题描述】:我的HDFS上有一个名为test.csv的csv文件。我使用Hue创建了一个Avro表(avro_test),其列名与csv文件... 查看详情