如何将数据从 sqlserver 导入 hdfs/hive/hbase

     2023-04-18     35

关键词:

【中文标题】如何将数据从 sqlserver 导入 hdfs/hive/hbase【英文标题】:How to import data from sqlserver into hdfs/hive/hbase 【发布时间】:2014-12-24 06:44:48 【问题描述】:

我已将 MYSQL 的数据导入 hive 和 hbase。现在我想从 sql server 导入数据。

为此,我使用了这个命令。

sqoop import --connect "jdbc:sqlserver://<server_name>\<instance_name>;databaseName=<db_name>;user=<user_name>;password=<password>" --table test_vijay --hbase-table emp1 --column-family edetail --hbase-row-key id

但它给了我例外。

14/12/24 11:51:53 ERROR manager.SqlManager: Error execution statement: com.micro soft.sqlserver.jdbc.SQLServerException:与主机 ARLMSSQLDEV02 的连接 ,命名实例 dart_dev 失败。错误:“java.net.SocketTimeoutException:R 接收超时”。验证服务器和实例名称,检查是否没有防火墙 正在阻止到端口 1434 的 UDP 流量,对于 SQL Server 2005 或更高版本,请验证 在 SQL Server Browser 服务正在主机上运行。

如何解决这个问题?任何建议。

【问题讨论】:

【参考方案1】:

这看起来是一个权限问题,我建议检查一个是否在 DB 端 user= 具有访问权限,第二件事是检查是否可以从您的 hadoop/hbase 机器访问 Db 实例。

【讨论】:

【参考方案2】:

您可以尝试一次使用 IP 地址而不是主机名。我认为它无法解析主机名。还要检查是否打开了所需的端口。

【讨论】:

如何将数据从 mysql 导入 Apache Hadoop HDFS 安装。

】如何将数据从mysql导入ApacheHadoopHDFS安装。【英文标题】:howtoimportdatafrommysqltoApacheHadoopHDFSinstallation.【发布时间】:2012-06-1112:38:59【问题描述】:如何将数据从mysql导入HDFS。我不能使用sqoop,因为它是HDFS安装而不是cloudera。我使... 查看详情

如何使用 Sqoop 从 RDBMS 将数据导入本地文件系统,而不是 HDFS?

】如何使用Sqoop从RDBMS将数据导入本地文件系统,而不是HDFS?【英文标题】:HowtoimportdatausingSqoopfromRDBMSintolocalfilesystem,notHDFS?【发布时间】:2014-11-1918:42:35【问题描述】:我看到Sqoop允许将数据从RDBMS数据库导入HDFS。但是,我想将... 查看详情

使用 mongoimport 将数据从 HDFS 导入 MongoDB

】使用mongoimport将数据从HDFS导入MongoDB【英文标题】:ImportdatafromHDFStoMongoDBusingmongoimport【发布时间】:2012-03-2513:26:31【问题描述】:我在HDFS上有一组文件。我可以直接将这些文件加载​​到mongoDB(使用mongoimport)而不将文件从HDF... 查看详情

使用 sqoop 将数据从 oracle 导入到 hdfs

】使用sqoop将数据从oracle导入到hdfs【英文标题】:dataimportfromoracletohdfswithsqoop【发布时间】:2016-06-2714:03:42【问题描述】:您好,我在尝试使用sqoop将数据从Oracle导入HDFS时遇到以下错误。使用的命令-sqoopimport--connectjdbc:oracle:thin:sy... 查看详情

将数据从 MySQL 导入 HDFS:ClassNotFoundException

】将数据从MySQL导入HDFS:ClassNotFoundException【英文标题】:ImportingdatafromMySQLtoHDFS:ClassNotFoundException【发布时间】:2017-02-0617:20:49【问题描述】:我正在尝试使用Hadoop中的Sqoop从MySQL的“Employee”数据库中导入“employee”表。我正在使... 查看详情

使用hadoop将数据从Mysql导入hdfs时出错?

】使用hadoop将数据从Mysql导入hdfs时出错?【英文标题】:GettingerrorwhileimportingdatafromMysqltohdfsusinghadoop?【发布时间】:2017-10-1622:35:45【问题描述】:我正在尝试使用hadoop将数据从Mysql导入到hdfs,并且还尝试创建表和数据库是hive。... 查看详情

将数据从 hdfs 导入到 hbase 是不是会创建一个副本

】将数据从hdfs导入到hbase是不是会创建一个副本【英文标题】:doesimportingdatafromhdfstohbasecreateacopy将数据从hdfs导入到hbase是否会创建一个副本【发布时间】:2015-02-0119:32:42【问题描述】:我对Hbase概念非常陌生。我知道HBase的底层... 查看详情

如何将数据从mongodb导入hive

】如何将数据从mongodb导入hive【英文标题】:howtoimportdatafrommongodbtohive【发布时间】:2015-11-1704:51:10【问题描述】:我想知道如何在mapreduce程序的帮助下将数据从Mongodb导入hive。以前我是在mapreduce程序的帮助下将数据从mongodb导入... 查看详情

使用 talend 或 sqoop 将数据从 hbase 导入 hdfs

】使用talend或sqoop将数据从hbase导入hdfs【英文标题】:importdatafromhbasetohdfsusingtalendorsqoop【发布时间】:2017-01-1612:05:55【问题描述】:是否可以使用Talend或sqoop将数据从hbase导出到hdfs?如果它不是直接可用的,那么实现这种用例的... 查看详情

如何从 sql server 将数据导入 mongodb?

】如何从sqlserver将数据导入mongodb?【英文标题】:howdoiimportdataintomongodbfromsqlserver?【发布时间】:2014-09-2803:24:24【问题描述】:如何将数据从sqlserver导入mongodb?我在sql数据库中有这些表和以下列州、市、市区状态标识名称城市ID... 查看详情

利用sqoop将数据从数据库导入到hdfs(并行导入,增量导入)

基本使用如下面这个shell脚本:#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralceTableName=tt#... 查看详情

如何通过编码将数据从 MS Access 导入 Sql Server [关闭]

】如何通过编码将数据从MSAccess导入SqlServer[关闭]【英文标题】:HowtoimportdatafromMSAccesstoSqlServerbycoding[closed]【发布时间】:2017-12-0111:03:42【问题描述】:我需要通过代码将Access数据库导入SqlServer。我多年来用C#制作的软件已集成到... 查看详情

如何通过 hdfs 导入/导出 hbase 数据(hadoop 命令)

】如何通过hdfs导入/导出hbase数据(hadoop命令)【英文标题】:Howtoimport/exporthbasedataviahdfs(hadoopcommands)【发布时间】:2014-09-1809:35:53【问题描述】:我已经通过nutch将我爬取的数据保存在文件系统为hdfs的Hbase中。然后我通过命令将... 查看详情

使用 sqoop 将数据从 Oracle(Windows) 导入 HDFS (CDH3) 机器

】使用sqoop将数据从Oracle(Windows)导入HDFS(CDH3)机器【英文标题】:ImportdatafromOracle(Windows)toHDFS(CDH3)machineusingsqoop【发布时间】:2016-04-1105:58:48【问题描述】:您好,我正在HADOOP接受培训。我有一个任务,我必须使用sqoop将表数据从ora... 查看详情

使用flume将数据从kafka topic导入hdfs文件夹

】使用flume将数据从kafkatopic导入hdfs文件夹【英文标题】:Usingflumetoimportdatafromkafkatopictohdfsfolder【发布时间】:2018-02-1408:19:27【问题描述】:我正在使用水槽从kafka主题HDFS文件夹中加载消息。所以,我创建了一个主题TT我通过kafka... 查看详情

如何将sqlserver备份文件导入现存数据库

SQLServer本身有数据导入的操作。但如果要从一个备份的文件中导入数据,则要进行另外的操作。下面以一个例子进行说明。  SQLServer服务器上已有一个DOE数据库,并且里面有大量的数据,现准备从另外一个备份文件A1.BAK(不是DO... 查看详情

如何将 .sql.bz2 文件中的数据导入 hdfs?

】如何将.sql.bz2文件中的数据导入hdfs?【英文标题】:HowtoImportdatafrom.sql.bz2filetohdfs?【发布时间】:2016-10-2510:47:02【问题描述】:我是Hadoop和hdfs的新手,我有一个压缩的SQL文件:ETIMCBG11-Jul-2016-08-00.sql.bz2我无权访问导出此文件的... 查看详情

如何将 accdb 数据库从 Access 导入 SQL Server 2019?

】如何将accdb数据库从Access导入SQLServer2019?【英文标题】:HowdoyouimportanaccdbdatabasefromAccessintoSQLServer2019?【发布时间】:2021-12-1323:58:54【问题描述】:旧的技术似乎不起作用。我尝试使用各种驱动器,但SQLServer导入导出实用程序(... 查看详情