关键词：
【中文标题】使用 sqoop 将数据从 oracle 导入到 hdfs【英文标题】：data import from oracle to hdfs with sqoop 【发布时间】：2016-06-27 14:03:42 【问题描述】：您好，我在尝试使用 sqoop 将数据从 Oracle 导入 HDFS 时遇到以下错误。 使用的命令-
sqoop import --connect jdbc:oracle:thin:sys/Welcome123@192.168.41.1:1521:orcl --username tgthr -P --table transactions --columns "tid,accounid,amount" --m 1
错误日志-
cloudera@cloudera-vm:~$ sqoop import --connect jdbc:oracle:thin:sys/Welcome123@192.168.41.1:1521:orcl --username tgthr -P --table transactions --columns "tid,accounid,amount" --m 1
Enter password:
16/06/27 05:34:51 INFO tool.CodeGenTool: Beginning code generation
16/06/27 05:34:53 ERROR manager.SqlManager: Error executing statement: java.sql.SQLRecoverableException: Io exception: The Network Adapter could not establish the connection
16/06/27 05:34:53 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException
java.lang.NullPointerException
at com.cloudera.sqoop.orm.ClassWriter.generate(ClassWriter.java:935)
at com.cloudera.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:82)
at com.cloudera.sqoop.tool.ImportTool.importTable(ImportTool.java:337)
at com.cloudera.sqoop.tool.ImportTool.run(ImportTool.java:423)
at com.cloudera.sqoop.Sqoop.run(Sqoop.java:144)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:180)
at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:218)
at com.cloudera.sqoop.Sqoop.main(Sqoop.java:228)
cloudera@cloudera-vm:~$
【问题讨论】：
【参考方案1】：嘿，它对我有用。
sqoop import --connect jdbc:oracle:thin:@[ORACLE_SERVER_IP]:1521:orcl --username [ORACLE_USERNAME] --password [ORACLE_PASSWORD] --table [TABLE_NAME] -target-dir [/tmp/myoutput]
注意-->避免使用括号。它对于 oracle 所以对于其他数据库的连接字符串会改变。
另外，“orcl”是我的实例名称，1521是oracle中的端口，请检查后再导入。
例子-->
sqoop import --connect jdbc:oracle:thin:@IP:1521:orcl --username user1 --password Password1 --table MYTAB -target-dir /tmp/myoutput/
表名应为大写。
【讨论】：
使用 sqoop 将数据从 Oracle(Windows) 导入 HDFS (CDH3) 机器
】使用sqoop将数据从Oracle(Windows)导入HDFS(CDH3)机器【英文标题】：ImportdatafromOracle(Windows)toHDFS(CDH3)machineusingsqoop【发布时间】：2016-04-1105:58:48【问题描述】：您好，我正在HADOOP接受培训。我有一个任务，我必须使用sqoop将表数据从ora... 查看详情
使用 sqoop 从 Oracle 到 hive 的日期导入问题
】使用sqoop从Oracle到hive的日期导入问题【英文标题】：DateimportissuefromOracletohiveusingsqoop【发布时间】：2015-08-2809:17:25【问题描述】：我正在尝试将数据从Oracle导入配置单元。Oracle\'LOAD_DATE\'中有列，其值的格式为\'8/13/20152:55:17AM\'... 查看详情
如何从oracle到hive
参考技术A使用Sqoop从Oracle导入数据到Hive的方法导入数据设置HADOOP_HOME$HADOOP_HOME=/path/to/some/hadoopsqoopimport--arguments...下载合适的Sqoop并解压到硬盘，所谓合适即Sqoop的版本应该和Hadoop的版本相匹配。笔者的Hadoop版本是1.03，下载的Sqoop... 查看详情
sqoop安装及使用
简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。通过将sqoop的操作命令转化为Hadoop的MapReduce... 查看详情
使用 Sqoop 将视图（数据库表重）从 Oracle 迁移到 Hive
】使用Sqoop将视图（数据库表重）从Oracle迁移到Hive【英文标题】：UsingSqooptomigrateviews(databasetablesheavy)fromOracletoHive【发布时间】：2017-05-2410:42:29【问题描述】：我是大数据的初学者，我们正在使用sqoop和Cloudera管理将视图从Oracle迁... 查看详情
使用 talend 或 sqoop 将数据从 hbase 导入 hdfs
】使用talend或sqoop将数据从hbase导入hdfs【英文标题】：importdatafromhbasetohdfsusingtalendorsqoop【发布时间】：2017-01-1612:05:55【问题描述】：是否可以使用Talend或sqoop将数据从hbase导出到hdfs？如果它不是直接可用的，那么实现这种用例的... 查看详情
sqoop导入数据到mysql原理_sqoop的详细使用及原理
1、sqoop简介sqoop是一个用来将hadoop中hdfs和关系型数据库中的数据相互迁移的工具，可以将一个关系型数据库(mysql、oracle等)中的数据导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。2、sqoop的特点：sqoop的底层实现... 查看详情
使用 sqoop 将选定数据从 oracle db 导入 S3，并在 AWS EMR 上使用选定数据创建配置单元表脚本
】使用sqoop将选定数据从oracledb导入S3，并在AWSEMR上使用选定数据创建配置单元表脚本【英文标题】：ImportselecteddatafromoracledbtoS3usingsqoopandcreatehivetablescriptonAWSEMRwithselecteddata【发布时间】：2015-09-2411:32:49【问题描述】：我是大数据... 查看详情
使用 sqoop 导入数据，表名带有 $
】使用sqoop导入数据，表名带有$【英文标题】：Importdatausingsqoopwith$onthetablename【发布时间】：2016-03-0704:54:00【问题描述】：我在使用sqoop从Oracle数据库导入数据到hive时遇到错误：Sqoop命令如下：sqoopimport\\--connectjdbc:oracle:thin:@connec... 查看详情
sqoop从本地mysql导入到hive为啥要求sqoop一定要在hdfs中
...HDFS中sqoop导入mysql中表不需要手动创建。连接到hive的默认数据库后会自动创建的。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到Hadoop的HDFS... 查看详情
将 BLOB（图像）从 oracle 导入到 hive
...【发布时间】：2016-06-0812:55:15【问题描述】：我正在尝试使用以下Sqoop命令将BLOB（图像）数据从oracle导入Hive。sqoopimport--connectjdbc:oracle:thin:@host--username--password--m3--tabletablename- 查看详情
使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop
】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】：DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】：2014-03-1803:41:23【问题描述】：我正在学习Hadoop，并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情
无法使用 Sqoop 将数据从 Vertica 导入 Cassandra
】无法使用Sqoop将数据从Vertica导入Cassandra【英文标题】：UnabletoimportdatafromVerticatoCassandrausingSqoop【发布时间】：2014-10-3014:53:49【问题描述】：我正在尝试使用Sqoop将表从Vertica导入DataStaxEnterprise4.5。没有报错也没有异常，但是目标... 查看详情
寒假记录十二
...据库中。Sqoop导入原理： 在导入开始之前，Sqoop使用JDBC来检查将要导入的表。他检索出表中所有的列以及列的SQL数据类型。这些SQL类型（varchar、integer）被映射到Java数据类型（String、Integer等），在MapReduce应用中将使用这... 查看详情
使用 SQOOP 从 RDBMS 导入数据
】使用SQOOP从RDBMS导入数据【英文标题】：ImportingdatafromRDBMSusingSQOOP【发布时间】：2016-07-1210:36:14【问题描述】：我正在尝试将数据从SQL服务器数据库导入Hive。基本上我将整个数据库（除了一些表）导入Hive。在这里，我有一些我... 查看详情
使用 Sqoop 从 Redshift 导入数据到 Hive
】使用Sqoop从Redshift导入数据到Hive【英文标题】：UsingSqooptoimportdatafromRedshiftToHive【发布时间】：2017-04-2115:23:28【问题描述】：我收到错误消息：Couldnotloaddbdriverclass。连接和错误如下。下面是lib目录中的jar文件列表。我做错了什... 查看详情
为啥 sqoop 将 DECIMAL 类型从 Teradata 导入到 DOUBLE？
...】：2017-02-2200:02:07【问题描述】：我有Sqoop版本：1.4.6将数据从Teradata导入Hive时，我发现DECIMAL类型被转 查看详情
使用 Sqoop 将数据从 teradata 导入 Hive
】使用Sqoop将数据从teradata导入Hive【英文标题】：UsingSqooptoimportdatafromteradatatoHive【发布时间】：2016-03-1713:27:57【问题描述】：我必须提取teradata中的表架构，但我没有这些表的权限。是否可以在没有选择访问权限的情况下通过sqoo... 查看详情