关键词：
【中文标题】使用 sqoop 将数据从 Oracle(Windows) 导入 HDFS (CDH3) 机器【英文标题】：Import data from Oracle(Windows) to HDFS (CDH3) machine using sqoop 【发布时间】：2016-04-11 05:58:48 【问题描述】：您好，我正在HADOOP 接受培训。我有一个任务，我必须使用 sqoop 将表数据从 oracle(windows, 11g xe) 导入到 hdfs。我正在阅读以下文章。我的问题是如何将数据从 windows 准确导入 hdfs。通常我使用Winscp 将文件从Windows 传输到hdfs 机器。我已经从安装在 hdfs(cdh3) 机器上的MySql 导入数据。但我不知道将数据从 Windows 中的 Oracle 导入到 hdfs。请帮忙。
Link that I am following
【问题讨论】：
您是在使用自定义构建的 hadoop 环境还是使用任何现成的风格，如 CDH 或 HDP 或任何其他？ 【参考方案1】：以下是逐步的过程：
1.连接 oracle sql 命令行登录与您的凭据：
例如用户名：系统密码：系统
（确保此用户具有所有管理权限或在 oracle 中以 sysdba 身份连接，创建一个具有所有权限的新用户） Create a user with all privileges in Oracle
在该用户下创建表并插入一些值并提交
2。现在我们需要一个用于将数据从 Oracle 传输到 HDFS 的连接器。 因此，我们需要下载 oracle -sqoop 连接器 jar 文件并将其放置在 CDH3 的以下路径中。（在您的命令中使用 sudo，同时在以下路径中复制，因为它需要 linux 中的管理员访问权限）
/usr/lib/sqoop/bin
http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html--下载链接--ojdbc6.jar
使用winscp将下载的jar从windows传输到CDH3。然后将其移动到CDH3中的上述路径。
3.Command：
sudo bin/sqoop import –connect jdbc:oracle:thin:system/system@192.168.XX.XX:1521:xe–username system -P –table system.emp –columns “ID” –target-dir /sqoopoutput1 -m 1
sqoopoutput 是 HDFS 中的输出文件，您将在其中获取数据，您可以根据自己的需要更改 dis
-m 1 ：这告诉了这个 sqoop 作业的映射器数量，这里是 1。
192.168.XX.XX:1521--你的windows机器的ip地址
【讨论】：
【参考方案2】：您不需要将数据从 oracle 导入本地机器。然后将其复制到 HDFS 机器上。然后将其导入HDFS。
Sqoop 在这里将您的 RDBMS 表导入 HDFS 目录。
使用命令：
sqoop import --connect 'jdbc:oracle:thin:@192.xx.xx.xx:1521:ORCL' --username testuser --password testpassword --table testtable --target-dir /tmp/testdata
转到运行 sqoop 的机器。转到终端（我相信它的 linux）。只需触发上述命令并检查 hdfs 中的--target-dir（我在示例命令中提到了/tmp/testdata）。您将在那里找到与您的 oracle 表对应的文件。
查看 sqoop docs 了解更多详情。
【讨论】：
所以我需要备份并使用 Winscp 将此备份文件复制到 CDH3 机器中，然后使用 sqoop 将其拉入 HDFS。？我说的对吗？ @user2998990 没有。你不需要复制任何东西。 sqoop 会做所有事情。您只需为 oracle 提供有效的凭据。使用 sqoop 将数据从 Oracle(Windows) 导入 HDFS (CDH3) 机器
】使用sqoop将数据从Oracle(Windows)导入HDFS(CDH3)机器【英文标题】：ImportdatafromOracle(Windows)toHDFS(CDH3)machineusingsqoop【发布时间】：2016-04-1105:58:48【问题描述】：您好，我正在HADOOP接受培训。我有一个任务，我必须使用sqoop将表数据从ora... 查看详情
sqoop 数据从 oracle 到 hive 错误
...述】：我正在尝试将数据从oraclesqoop到HDFS。为此，我正在使用sqoop。我下载了ojdbc6.jar并将其放入/usr/hdp/2.2.0.0-2041/sqoop/lib路径并执行以下命令检查我是否能够连接到oracle数据库。sqooplist- 查看详情
利用sqoop将数据从数据库导入到hdfs（并行导入，增量导入）
基本使用如下面这个shell脚本：#Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralceTableName=tt#... 查看详情
使用 sqoop 将选定数据从 oracle db 导入 S3，并在 AWS EMR 上使用选定数据创建配置单元表脚本
】使用sqoop将选定数据从oracledb导入S3，并在AWSEMR上使用选定数据创建配置单元表脚本【英文标题】：ImportselecteddatafromoracledbtoS3usingsqoopandcreatehivetablescriptonAWSEMRwithselecteddata【发布时间】：2015-09-2411:32:49【问题描述】：我是大数据... 查看详情
使用 Apache Sqoop 将数据从 Mongo/Cassandra 导出到 HDFS
】使用ApacheSqoop将数据从Mongo/Cassandra导出到HDFS【英文标题】：ExportingdatafromMongo/CassandratoHDFSusingApacheSqoop【发布时间】：2014-08-2320:06:21【问题描述】：我有一个问题，我必须通过Hive从多个数据源（即RDBMS（MYSQL，Oracle）和NOSQL（Mongo... 查看详情
使用 sqoop 从 Oracle 获取数据到 hive 时出错
】使用sqoop从Oracle获取数据到hive时出错【英文标题】：ErroringettingdatafromOracletohiveusingsqoop【发布时间】：2013-11-2010:34:00【问题描述】：我正在运行以下sqoop查询：sqoopimport--connectjdbc:oracle:thin:@ldap://oid:389/ewsop000,cn=OracleContext,dc=****,dc... 查看详情
使用 sqoop 从 Oracle 到 hive 的日期导入问题
】使用sqoop从Oracle到hive的日期导入问题【英文标题】：DateimportissuefromOracletohiveusingsqoop【发布时间】：2015-08-2809:17:25【问题描述】：我正在尝试将数据从Oracle导入配置单元。Oracle\'LOAD_DATE\'中有列，其值的格式为\'8/13/20152:55:17AM\'... 查看详情
sqoop安装及使用
简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。通过将sqoop的操作命令转化为Hadoop的MapReduce... 查看详情
使用 sqoop 将数据从 Teradata 迁移到 Hive
】使用sqoop将数据从Teradata迁移到Hive【英文标题】：DataMigrationformTeradatatoHiveusingsqoop【发布时间】：2018-02-1309:12:10【问题描述】：我正在尝试使用sqoop将数据从teradata迁移到hive，但在teradata表中有一些字段具有图形和vargraphic等数据... 查看详情
无法使用 Sqoop 将数据从 Vertica 导入 Cassandra
】无法使用Sqoop将数据从Vertica导入Cassandra【英文标题】：UnabletoimportdatafromVerticatoCassandrausingSqoop【发布时间】：2014-10-3014:53:49【问题描述】：我正在尝试使用Sqoop将表从Vertica导入DataStaxEnterprise4.5。没有报错也没有异常，但是目标... 查看详情
如何用sqoop查看oracle的表
...系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入从RDBMS中抽取出的数据可以被MapReduce程序使用，也可以被类似Hive的工具使用；得到分析结果后sqoop可以将结果导回数据库，供其他客户端使用 查看详情
在不使用 Sqoop 的情况下在 HDFS 中加载 Oracle 数据
】在不使用Sqoop的情况下在HDFS中加载Oracle数据【英文标题】：LoadingOracledatainHDFSwithoutSqoop【发布时间】：2019-07-2907:58:39【问题描述】：我想将数据从Oracle数据库导入到我们的HadoopHDFS，并考虑使用Sqoop。当我尝试时，我发现Oracle和H... 查看详情
使用 talend 或 sqoop 将数据从 hbase 导入 hdfs
】使用talend或sqoop将数据从hbase导入hdfs【英文标题】：importdatafromhbasetohdfsusingtalendorsqoop【发布时间】：2017-01-1612:05:55【问题描述】：是否可以使用Talend或sqoop将数据从hbase导出到hdfs？如果它不是直接可用的，那么实现这种用例的... 查看详情
使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop
】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】：DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】：2014-03-1803:41:23【问题描述】：我正在学习Hadoop，并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情
使用 Sqoop 将数据从 teradata 导入 Hive
】使用Sqoop将数据从teradata导入Hive【英文标题】：UsingSqooptoimportdatafromteradatatoHive【发布时间】：2016-03-1713:27:57【问题描述】：我必须提取teradata中的表架构，但我没有这些表的权限。是否可以在没有选择访问权限的情况下通过sqoo... 查看详情
使用 sqoop 将数据从 CSV 导入 Avro 表的命令
】使用sqoop将数据从CSV导入Avro表的命令【英文标题】：CommandtoimportdatafromCSVtoAvrotableusingsqoop【发布时间】：2019-04-0912:47:45【问题描述】：我的HDFS上有一个名为test.csv的csv文件。我使用Hue创建了一个Avro表(avro_test)，其列名与csv文件... 查看详情
sqoop从oracle导数据后是空表
用sqoop将oracle数据库中的表导入hive，命令执行后没有显示错误信息，显示已经成功，hive中也已经存在同名的表，但是select查询时，没有数据，这是怎么回事？请大家指教！参考技术Asqoop语句发来 查看详情
使用 SQOOP 从 RDBMS 导入数据
】使用SQOOP从RDBMS导入数据【英文标题】：ImportingdatafromRDBMSusingSQOOP【发布时间】：2016-07-1210:36:14【问题描述】：我正在尝试将数据从SQL服务器数据库导入Hive。基本上我将整个数据库（除了一些表）导入Hive。在这里，我有一些我... 查看详情