正文 

当前位置： 首页 > 知识 >

使用 Sqoop 将数据从 MS-SQL 服务器写入 HDFS

     2023-04-18     56

关键词：

【中文标题】使用 Sqoop 将数据从 MS-SQL 服务器写入 HDFS【英文标题】：Wrting Data from MS-SQL server to HDFS using Sqoop 【发布时间】：2014-02-06 12:04:32 【问题描述】：

我正在使用 talend open studio，我的工作包括 sqoop 和 hdfsoutput。 我正在尝试使用 sqoop 将数据从 ms-SQL 服务器推送到 hadoop hdfs 我已经设置了配置。但是当我运行作业时出现以下错误

14/02/06 16:23:12 INFO tool.CodeGenTool: Beginning code generation
14/02/06 16:23:13 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM [Resource_Dim] AS t WHERE 1=0
14/02/06 16:23:13 INFO orm.CompilationManager: $HADOOP_MAPRED_HOME is not set
14/02/06 16:23:13 ERROR orm.CompilationManager: It seems as though you are running sqoop with a JRE.
14/02/06 16:23:13 ERROR orm.CompilationManager: Sqoop requires a JDK that can compile Java code.
14/02/06 16:23:13 ERROR orm.CompilationManager: Please install a JDK and set $JAVA_HOME to use it.
14/02/06 16:23:13 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Could not start Java compiler.
                at org.apache.sqoop.orm.CompilationManager.compile(CompilationManager.java:176)
                at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:83)
                at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:390)
                at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:476)
                at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
                at sampleproj.sqoopconnect_0_1.SqoopConnect.tSqoopImport_1Process(SqoopConnect.java:435)
                at sampleproj.sqoopconnect_0_1.SqoopConnect.tLibraryLoad_1Process(SqoopConnect.java:357)
                at sampleproj.sqoopconnect_0_1.SqoopConnect.runJobInTOS(SqoopConnect.java:877)
                at sampleproj.sqoopconnect_0_1.SqoopConnect.main(SqoopConnect.java:743)

Exception in component tSqoopImport_1
java.lang.Exception: The Sqoop import job has failed
                at sampleproj.sqoopconnect_0_1.SqoopConnect.tSqoopImport_1Process(SqoopConnect.java:437)
                at sampleproj.sqoopconnect_0_1.SqoopConnect.tLibraryLoad_1Process(SqoopConnect.java:357)
                at sampleproj.sqoopconnect_0_1.SqoopConnect.runJobInTOS(SqoopConnect.java:877)
                at sampleproj.sqoopconnect_0_1.SqoopConnect.main(SqoopConnect.java:743)

JDK 安装在系统中而不是 jre 我仍然收到上述错误。我尝试使用 sqoop 命令行运行相同的东西并且我能够成功运行该作业。 但是当我使用 talend 运行时，会显示上述错误。请指导如何解决此错误。 我正在使用 CDH4.5 和 Talend Open Studio For BigData 5.3.1

【问题讨论】：

"echo $JAVA_HOME" 是什么意思？ 另外，这个问题似乎与It seems as though you are running sqoop with a JRE - But JAVA_HOME set to JDK重复 【参考方案1】：

在 Talend Studio 的 Preferences 中，Java Path 设置为 JRE ，只是将该路径从 JRE 更改为 JDK ，这解决了我的问题。

谢谢， 巴格万特·博比

【讨论】：

使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop

】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】：DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】：2014-03-1803:41:23【问题描述】：我正在学习Hadoop，并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情

使用 sqoop 将数据从 oracle 导入到 hdfs

】使用sqoop将数据从oracle导入到hdfs【英文标题】：dataimportfromoracletohdfswithsqoop【发布时间】：2016-06-2714:03:42【问题描述】：您好，我在尝试使用sqoop将数据从Oracle导入HDFS时遇到以下错误。使用的命令-sqoopimport--connectjdbc:oracle:thin:sy... 查看详情

使用 sqoop 将数据从 Teradata 迁移到 Hive

】使用sqoop将数据从Teradata迁移到Hive【英文标题】：DataMigrationformTeradatatoHiveusingsqoop【发布时间】：2018-02-1309:12:10【问题描述】：我正在尝试使用sqoop将数据从teradata迁移到hive，但在teradata表中有一些字段具有图形和vargraphic等数据... 查看详情

无法使用 Sqoop 将数据从 Vertica 导入 Cassandra

】无法使用Sqoop将数据从Vertica导入Cassandra【英文标题】：UnabletoimportdatafromVerticatoCassandrausingSqoop【发布时间】：2014-10-3014:53:49【问题描述】：我正在尝试使用Sqoop将表从Vertica导入DataStaxEnterprise4.5。没有报错也没有异常，但是目标... 查看详情

使用 talend 或 sqoop 将数据从 hbase 导入 hdfs

】使用talend或sqoop将数据从hbase导入hdfs【英文标题】：importdatafromhbasetohdfsusingtalendorsqoop【发布时间】：2017-01-1612:05:55【问题描述】：是否可以使用Talend或sqoop将数据从hbase导出到hdfs？如果它不是直接可用的，那么实现这种用例的... 查看详情

使用 Sqoop 将数据从 teradata 导入 Hive

】使用Sqoop将数据从teradata导入Hive【英文标题】：UsingSqooptoimportdatafromteradatatoHive【发布时间】：2016-03-1713:27:57【问题描述】：我必须提取teradata中的表架构，但我没有这些表的权限。是否可以在没有选择访问权限的情况下通过sqoo... 查看详情

使用 sqoop 将数据从 CSV 导入 Avro 表的命令

】使用sqoop将数据从CSV导入Avro表的命令【英文标题】：CommandtoimportdatafromCSVtoAvrotableusingsqoop【发布时间】：2019-04-0912:47:45【问题描述】：我的HDFS上有一个名为test.csv的csv文件。我使用Hue创建了一个Avro表(avro_test)，其列名与csv文件... 查看详情

使用 Sqoop 将视图（数据库表重）从 Oracle 迁移到 Hive

】使用Sqoop将视图（数据库表重）从Oracle迁移到Hive【英文标题】：UsingSqooptomigrateviews(databasetablesheavy)fromOracletoHive【发布时间】：2017-05-2410:42:29【问题描述】：我是大数据的初学者，我们正在使用sqoop和Cloudera管理将视图从Oracle迁... 查看详情

如何使用 Sqoop 从 RDBMS 将数据导入本地文件系统，而不是 HDFS？

】如何使用Sqoop从RDBMS将数据导入本地文件系统，而不是HDFS？【英文标题】：HowtoimportdatausingSqoopfromRDBMSintolocalfilesystem,notHDFS?【发布时间】：2014-11-1918:42:35【问题描述】：我看到Sqoop允许将数据从RDBMS数据库导入HDFS。但是，我想将... 查看详情

我可以使用 Sqoop 将数据从 SQL Server 导入 Azure Blob 存储吗

】我可以使用Sqoop将数据从SQLServer导入AzureBlob存储吗【英文标题】：CanIuseSqooptoimportdatafromSQLServertoAzureblobstorage【发布时间】：2017-08-2514:50:51【问题描述】：我们是否可以使用Sqoop实用程序以.parquet文件格式将表从SQLServer数据库导... 查看详情

使用 Oozie 和 Sqoop 将数据从 HiveQL 导出到 MySQL

】使用Oozie和Sqoop将数据从HiveQL导出到MySQL【英文标题】：ExportDatafromHiveQLtoMySQLusingOoziewithSqoop【发布时间】：2019-05-2712:00:31【问题描述】：我在Hive中有一个表（定期更新），我想在我的一个具有MySQL数据库的工具中拥有它。我不... 查看详情

使用 sqoop 将数据从 Oracle(Windows) 导入 HDFS (CDH3) 机器

】使用sqoop将数据从Oracle(Windows)导入HDFS(CDH3)机器【英文标题】：ImportdatafromOracle(Windows)toHDFS(CDH3)machineusingsqoop【发布时间】：2016-04-1105:58:48【问题描述】：您好，我正在HADOOP接受培训。我有一个任务，我必须使用sqoop将表数据从ora... 查看详情

使用 Sqoop 将数据从 RDBMS 导入 Hive 时，如何在命令行中指定 Hive 数据库名称？

】使用Sqoop将数据从RDBMS导入Hive时，如何在命令行中指定Hive数据库名称？【英文标题】：HowtospecifyHivedatabasenameincommandlinewhileimportingdatafromRDBMSintoHiveusingSqoop?【发布时间】：2013-01-2512:20:49【问题描述】：我需要将数据从RDBMS表导入... 查看详情

我们可以使用 sqoop 将数据从 Hadoop (Hive) 导出到 Amazon Redshift

】我们可以使用sqoop将数据从Hadoop(Hive)导出到AmazonRedshift【英文标题】：CanweusesqooptoexportdatafromHadoop(Hive)toAmazonRedshift【发布时间】：2016-09-2303:52:42【问题描述】：我有一个本地Hadoop集群，想将数据加载到AmazonRedshift。考虑到成本，... 查看详情

使用 Apache Sqoop 将数据从 Mongo/Cassandra 导出到 HDFS

】使用ApacheSqoop将数据从Mongo/Cassandra导出到HDFS【英文标题】：ExportingdatafromMongo/CassandratoHDFSusingApacheSqoop【发布时间】：2014-08-2320:06:21【问题描述】：我有一个问题，我必须通过Hive从多个数据源（即RDBMS（MYSQL，Oracle）和NOSQL（Mongo... 查看详情

在 Cloudera 中使用 sqoop 将数据从 HDFS 导出到 mysql 时作业失败

】在Cloudera中使用sqoop将数据从HDFS导出到mysql时作业失败【英文标题】：JobfailsonexportingdatafromHDFStomysqlusingsqoopinCloudera【发布时间】：2018-06-1017:59:20【问题描述】：我正在导出HDFS位置/user/training/sqoop_import/departments_export目录中的部... 查看详情

将 MS-SQL 数据导入 Access 表 ADO

...希望您能帮助我或为我指明正确的方向。多年来，我一直使用一种非常简洁的方法将数据（在VB6中，是的！）从MS-SQL表导入到MS-Access数据库/表中，如下所示：-没有内部连接的工作查询DimmyConnectionAsADODB.conne 查看详情

使用 Sqoop 将来自 MySQL 的数据加载到 PIG

】使用Sqoop将来自MySQL的数据加载到PIG【英文标题】：LoaddatacomingfromMySQLintoPIGusingSqoop【发布时间】：2017-05-0920:02:08【问题描述】：我正在尝试使用Sqoop和PIG，所以我看到的几乎所有文档都说Sqoop用于从MySQL获取数据并将其放入HDFS存... 查看详情