关键词：
【中文标题】使用 sqoop 将数据从 CSV 导入 Avro 表的命令【英文标题】：Command to import data from CSV to Avro table using sqoop 【发布时间】：2019-04-09 12:47:45 【问题描述】：我的 HDFS 上有一个名为 test.csv 的 csv 文件。
我使用 Hue 创建了一个 Avro 表 (avro_test)，其列名与 csv 文件相同。我想使用 sqoop 命令将 csv 元素放入 Avro 表中。
什么 sqoop 命令可以实现这一点？
【问题讨论】：
【参考方案1】：Sqoop 旨在在 RDBMS 和 Hadoop 之间加载/传输数据。您可以将 CSV 数据插入到您创建的 avro 表中。
请参考以下链接。 Load from CSV File to Hive Table with Sqoop?
【讨论】：
谢谢。但是有没有其他方法可以用 sqoop 做到这一点？另外，当我使用加载数据执行此操作然后尝试显示我的表（从 avro_tab 中选择 *）时，我收到了一个很长的错误，该错误以请求 TFetchResultsReq 的错误状态开头。请问有什么建议吗？ 您能否使用表格创建语句、示例 CSV 数据和您收到的错误消息更新问题？谢谢。Sqoop - 使用 Avro 格式将表从 Oracle 导入 Hive 的最佳选择是啥？
】Sqoop-使用Avro格式将表从Oracle导入Hive的最佳选择是啥？【英文标题】：Sqoop-WhatisthebestoptiontoimportatablefromOracletoHiveusingtheAvroformat?Sqoop-使用Avro格式将表从Oracle导入Hive的最佳选择是什么？【发布时间】：2017-03-0811:49:53【问题描述】... 查看详情
在 sqoop 中使用 java api 导入 avro 数据
】在sqoop中使用javaapi导入avro数据【英文标题】：importingavrodatausingjavaapiinsqoop【发布时间】：2019-08-0505:51:55【问题描述】：问题是如何运行java程序进行sqoop导入？我正在使用sqoop1.4.7版和hadoop2.7.2版，我我正在尝试在netbeanside8.1上运... 查看详情
Dataproc 上的 Sqoop 无法将数据导出为 Avro 格式
...vroformat【发布时间】：2019-02-2605:12:12【问题描述】：我想使用Sqoop从Postgres数据库中提取数据，我使用GoogleDataproc来执行Sqoop。但是，当我提交Sqoop作业时出现错误。我使用以下命令：使用1.3.24-deb9镜像版本创建集群gcloud 查看详情
avro 格式的日期数据类型的 Sqoop 导入
...它被转换为配置单元表avro格式的字符串，值为2015-06-10。使用的脚本。sqoopimport--connect"xxx"--query\' 查看详情
使用 sqoop 将数据从 oracle 导入到 hdfs
】使用sqoop将数据从oracle导入到hdfs【英文标题】：dataimportfromoracletohdfswithsqoop【发布时间】：2016-06-2714:03:42【问题描述】：您好，我在尝试使用sqoop将数据从Oracle导入HDFS时遇到以下错误。使用的命令-sqoopimport--connectjdbc:oracle:thin:sy... 查看详情
无法使用 Sqoop 将数据从 Vertica 导入 Cassandra
】无法使用Sqoop将数据从Vertica导入Cassandra【英文标题】：UnabletoimportdatafromVerticatoCassandrausingSqoop【发布时间】：2014-10-3014:53:49【问题描述】：我正在尝试使用Sqoop将表从Vertica导入DataStaxEnterprise4.5。没有报错也没有异常，但是目标... 查看详情
使用 SQOOP 从 RDBMS 导入数据
】使用SQOOP从RDBMS导入数据【英文标题】：ImportingdatafromRDBMSusingSQOOP【发布时间】：2016-07-1210:36:14【问题描述】：我正在尝试将数据从SQL服务器数据库导入Hive。基本上我将整个数据库（除了一些表）导入Hive。在这里，我有一些我... 查看详情
使用 Sqoop 将数据从 teradata 导入 Hive
】使用Sqoop将数据从teradata导入Hive【英文标题】：UsingSqooptoimportdatafromteradatatoHive【发布时间】：2016-03-1713:27:57【问题描述】：我必须提取teradata中的表架构，但我没有这些表的权限。是否可以在没有选择访问权限的情况下通过sqoo... 查看详情
使用 talend 或 sqoop 将数据从 hbase 导入 hdfs
】使用talend或sqoop将数据从hbase导入hdfs【英文标题】：importdatafromhbasetohdfsusingtalendorsqoop【发布时间】：2017-01-1612:05:55【问题描述】：是否可以使用Talend或sqoop将数据从hbase导出到hdfs？如果它不是直接可用的，那么实现这种用例的... 查看详情
如何使用 Sqoop 从 RDBMS 将数据导入本地文件系统，而不是 HDFS？
】如何使用Sqoop从RDBMS将数据导入本地文件系统，而不是HDFS？【英文标题】：HowtoimportdatausingSqoopfromRDBMSintolocalfilesystem,notHDFS?【发布时间】：2014-11-1918:42:35【问题描述】：我看到Sqoop允许将数据从RDBMS数据库导入HDFS。但是，我想将... 查看详情
我可以使用 Sqoop 将数据从 SQL Server 导入 Azure Blob 存储吗
】我可以使用Sqoop将数据从SQLServer导入AzureBlob存储吗【英文标题】：CanIuseSqooptoimportdatafromSQLServertoAzureblobstorage【发布时间】：2017-08-2514:50:51【问题描述】：我们是否可以使用Sqoop实用程序以.parquet文件格式将表从SQLServer数据库导... 查看详情
使用 sqoop 将数据从 Oracle(Windows) 导入 HDFS (CDH3) 机器
】使用sqoop将数据从Oracle(Windows)导入HDFS(CDH3)机器【英文标题】：ImportdatafromOracle(Windows)toHDFS(CDH3)machineusingsqoop【发布时间】：2016-04-1105:58:48【问题描述】：您好，我正在HADOOP接受培训。我有一个任务，我必须使用sqoop将表数据从ora... 查看详情
使用不同格式（csv、json、avro）将数据加载到 pd.DataFrame 的最快方法
】使用不同格式（csv、json、avro）将数据加载到pd.DataFrame的最快方法【英文标题】：fastestwaytoloaddatatoapd.DataFrameusingdifferentformats(csv,json,avro)【发布时间】：2018-07-2516:24:50【问题描述】：我们正在从googlebigquery加载大量数据到pandasdat... 查看详情
使用 Sqoop 将数据从 RDBMS 导入 Hive 时，如何在命令行中指定 Hive 数据库名称？
】使用Sqoop将数据从RDBMS导入Hive时，如何在命令行中指定Hive数据库名称？【英文标题】：HowtospecifyHivedatabasenameincommandlinewhileimportingdatafromRDBMSintoHiveusingSqoop?【发布时间】：2013-01-2512:20:49【问题描述】：我需要将数据从RDBMS表导入... 查看详情
利用sqoop将数据从数据库导入到hdfs（并行导入，增量导入）
基本使用如下面这个shell脚本：#Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralceTableName=tt#... 查看详情
将数据从 sql server 导入 HDFS 时出现 Sqoop 错误
...sqlservertoHDFS【发布时间】：2016-01-1718:52:16【问题描述】：使用sqoop将数据从sqlserver导入HDFS时出现以下错误：cloudera@cloudera-vm:/lib$sqooplist-databases--connectjdbc:sqlserver:/ 查看详情
从 vertica 导入 sqoop 失败
...【发布时间】：2016-02-0416:52:45【问题描述】：我正在尝试使用sqoop2将数据集从Vertica导入HDFS。我在sqoop机器上运行以下查询以将数据从Verticav6.0.1-7导入hdfssqoopimport-m1--drivercom.vertica.jdbc.Driver--connect"jdbc:v 查看详情
从 SAP HANA 导入数据时出现 sqoop 问题
...发布时间】：2017-05-0420:31:13【问题描述】：我们目前正在使用sqoop将数据从SAPHana移动到Hadoop。SAPHana表在表名和列名中使用“\\”字符。我们的常规sqoop命令正在运行，但是当我使用“拆分方式”时它失败了。任何人都可以帮忙。... 查看详情