我可以使用 Sqoop 将数据从 SQL Server 导入 Azure Blob 存储吗

     2023-04-18     158

关键词:

【中文标题】我可以使用 Sqoop 将数据从 SQL Server 导入 Azure Blob 存储吗【英文标题】:Can I use Sqoop to import data from SQL Server to Azure blob storage 【发布时间】:2017-08-25 14:50:51 【问题描述】:

我们是否可以使用 Sqoop 实用程序以 .parquet 文件格式将表从 SQL Server 数据库导入 Azure Blob 存储?

sqoop 是否接受目标作为 wasb(s):// 协议以指向 Azure blob 存储?

【问题讨论】:

【参考方案1】:

如果创建指向现有 blob 存储的 HDInsight 群集,使用 sqoop 进行传输,然后删除群集,数据将存在于 blob 存储中。这是一种可能的解决方法。

【讨论】:

使用 SQOOP 从 RDBMS 导入数据

】使用SQOOP从RDBMS导入数据【英文标题】:ImportingdatafromRDBMSusingSQOOP【发布时间】:2016-07-1210:36:14【问题描述】:我正在尝试将数据从SQL服务器数据库导入Hive。基本上我将整个数据库(除了一些表)导入Hive。在这里,我有一些我... 查看详情

使用 sqoop 从 sql server 导入表时出错

...单SQL-server导入到hadoopHDFS时遇到此错误,但是list-databases可以成功运行并且Hadoop作业可以正确执行。这些是我得到的一些错误:sqoopimport--connect 查看详情

使用 Sqoop 将数据从 teradata 导入 Hive

...须提取teradata中的表架构,但我没有这些表的权限。是否可以在没有选择访问权限的情况下通过sqoop获取元数据?【问题讨论】:问题不清楚。如果你没有表的权限,你怎么能拉表?您想通过单独提取元数据来做什么?我想添加... 查看详情

使用 Windows 身份验证从 SQL Server 导入 sqoop

】使用Windows身份验证从SQLServer导入sqoop【英文标题】:sqoopimportfromSQLServerwithwindowsauthentication【发布时间】:2017-02-0215:08:44【问题描述】:我正在尝试通过Sqoop(Hortonwork数据平台上的一项服务)将MicrosoftSQLServer11.0.5058中的表导入HD... 查看详情

将数据从 sql server 导入 HDFS 时出现 Sqoop 错误

...sqlservertoHDFS【发布时间】:2016-01-1718:52:16【问题描述】:使用sqoop将数据从sqlserver导入HDFS时出现以下错误:cloudera@cloudera-vm:/lib$sqooplist-databases--connectjdbc:sqlserver:/ 查看详情

将数据从 hdfs 移动到 sql

...使用Sqoop收到ActivMQ消息,我需要将其自动移动到sql。有人可以帮助如何实现这一目标。谁能告诉我M 查看详情

使用 sqoop 将数据从 CSV 导入 Avro 表的命令

...。我想使用sqoop命令将csv元素放入Avro表中。什么sqoop命令可以实现这一点 查看详情

使用 Sqoop 将来自 MySQL 的数据加载到 PIG

...库中,然后使用PIG获取这些数据。相反,我想知道我是否可以直接从猪中读取MySQL表。如果您的答案是肯定的,请您分 查看详情

错误 - 使用 Apache Sqoop 和 Dataproc 从 SQL Server 导入 GCS

】错误-使用ApacheSqoop和Dataproc从SQLServer导入GCS【英文标题】:ERROR-ImportfromSQLServertoGCSusingApacheSqoop&Dataproc【发布时间】:2021-09-2212:29:10【问题描述】:我正在尝试将数据从SQLServer导入到GoogleCloudStorage,稍后我会将其上传到BigQuery... 查看详情

我们可以使用 sqoop 将数据从 Hadoop (Hive) 导出到 Amazon Redshift

】我们可以使用sqoop将数据从Hadoop(Hive)导出到AmazonRedshift【英文标题】:CanweusesqooptoexportdatafromHadoop(Hive)toAmazonRedshift【发布时间】:2016-09-2303:52:42【问题描述】:我有一个本地Hadoop集群,想将数据加载到AmazonRedshift。考虑到成本,... 查看详情

使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop

】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】:DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】:2014-03-1803:41:23【问题描述】:我正在学习Hadoop,并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情

使用 talend 或 sqoop 将数据从 hbase 导入 hdfs

...ndorsqoop【发布时间】:2017-01-1612:05:55【问题描述】:是否可以使用Talend或sqoop将数据从hbase导出到hdfs?如果它不是直接可用的,那么实现这种用例的最佳实践是哪种解决方法【问题讨论】:【参考方案1】:是的,你可以使用talend... 查看详情

无法使用 Sqoop 将数据从 Vertica 导入 Cassandra

】无法使用Sqoop将数据从Vertica导入Cassandra【英文标题】:UnabletoimportdatafromVerticatoCassandrausingSqoop【发布时间】:2014-10-3014:53:49【问题描述】:我正在尝试使用Sqoop将表从Vertica导入DataStaxEnterprise4.5。没有报错也没有异常,但是目标... 查看详情

SQOOP 导入和评估

...一个视图,并且XDB上的视图与YDB上的表连接。如果我尝试使用SQL服务器连接rferencingXDB从SQOOP访问此视图,我无法获得结果,但如果我将数据从YDB移动到XDB并更改视图以引用XDB中的两个表我看到了结果。我该如何克服这个问题,因... 查看详情

使用 sqoop 将数据从 Teradata 迁移到 Hive

】使用sqoop将数据从Teradata迁移到Hive【英文标题】:DataMigrationformTeradatatoHiveusingsqoop【发布时间】:2018-02-1309:12:10【问题描述】:我正在尝试使用sqoop将数据从teradata迁移到hive,但在teradata表中有一些字段具有图形和vargraphic等数据... 查看详情

使用 sqoop 的两个 (PL)/SQL 查询

】使用sqoop的两个(PL)/SQL查询【英文标题】:Two(PL)/SQLqueriesusingsqoop【发布时间】:2017-05-1914:00:40【问题描述】:我正在尝试使用sqoop1.4.6将数据从Oracle数据库导入HDFS。使用--tabletable_name或--querySELECT<...>语句对HDFS或hive表... 查看详情

使用 Oozie 和 Sqoop 将数据从 HiveQL 导出到 MySQL

】使用Oozie和Sqoop将数据从HiveQL导出到MySQL【英文标题】:ExportDatafromHiveQLtoMySQLusingOoziewithSqoop【发布时间】:2019-05-2712:00:31【问题描述】:我在Hive中有一个表(定期更新),我想在我的一个具有MySQL数据库的工具中拥有它。我不... 查看详情

使用 sqoop 将数据从 Oracle(Windows) 导入 HDFS (CDH3) 机器

】使用sqoop将数据从Oracle(Windows)导入HDFS(CDH3)机器【英文标题】:ImportdatafromOracle(Windows)toHDFS(CDH3)machineusingsqoop【发布时间】:2016-04-1105:58:48【问题描述】:您好,我正在HADOOP接受培训。我有一个任务,我必须使用sqoop将表数据从ora... 查看详情