关键词：
【中文标题】我们如何使用 SQoop 对从 RDBMS 迁移到 HDFS 的数据进行测试？【英文标题】：How we do Testing on migrated data from RDBMS to HDFS using SQoop? 【发布时间】：2017-06-06 01:21:21 【问题描述】：测试人员如何测试数据是否从 RDBMS 移动到 HDFS？请仅从测试角度解释。
将数据从 RDBMS 移动到 HDFS 和将数据从 RDBMS 移动到 HIVE 有什么区别？我知道 HIVE 不是数据库，那么为什么要将数据移动到 HIVE？
【问题讨论】：
【参考方案1】：话题很大。我会尽量简单地回答。
测试人员如何测试数据是否从 RDBMS 移动到 HDFS？请 仅从测试角度解释。
这就是我们过去所做的。一旦迁移活动发生。我们编写了一堆测试脚本，用大量随机记录轮询 RDBMS。从每条记录中准备主键，然后在 hive 表上搜索这些 PK，并确实与两个结果集进行了头对头匹配。
将数据从 RDBMS 移动到 HDFS 和将数据从 RDBMS 移动到 HIVE 有什么区别？我知道 HIVE 不是数据库，那么为什么要将数据移动到 HIVE
当您将数据移动到 HDFS 时，您会将整个数据集存储到 FS（即文件系统）中。 Hive 只不过是一个 Sql Wrapper，它使用相同的文件并为您提供一个 Sql 接口来读取/写入相同的数据。 Hive 不是一个实际的数据库，但它可以用作数据库。
假设您的基础文件是一个简单的 csv。 Hive 在创建 Hive 表时提供分隔符、文件名、列信息和几个其他参数，Hive 将表示同一个文件，就好像它是一个表一样。
之后，您可以从 hive 表中添加/删除/更新记录或直接编辑 CSV。
【讨论】：
感谢您的回复。您能否告诉我以下场景：假设开发人员使用 sqoop 将数据从 RDBMS 迁移到 HDFS。现在我必须测试什么以及如何测试迁移的数据？我们是否也使用 sqoop 进行测试？如果是，那怎么办？使用 sqoop 将数据从 Teradata 迁移到 Hive
...adata表中有一些字段具有图形和vargraphic等数据类型，那么我们如何在hive中处理这些类型。【问题讨论】：您可能需要在您的选择中应用TRAN 查看详情
使用 Sqoop 的 HDFS 到 RDBMS - 表创建
】使用Sqoop的HDFS到RDBMS-表创建【英文标题】：HDFStoRDBMSusingSqoop-tablecreation【发布时间】：2013-09-1819:39:13【问题描述】：我最初将HBase数据导出到HDFS，生成了一个名为“part-00000”的文件。现在，我想使用Sqoop将HDFS导出到MYSQL。我尝... 查看详情
使用 Sqoop 将 RDBMS 更新到 HDFS
】使用Sqoop将RDBMS更新到HDFS【英文标题】：GettingRDBMSupdatesintoHDFSusingSqoop【发布时间】：2014-12-0406:44:54【问题描述】：我正在尝试编写一个sqoop作业以达到以下要求。我有一个XYZ表，其中每天可能会创建大约100万条新记录和50万条... 查看详情
使用 sqoop 将表从 RDBMS 导入 HIVE 后约束是不是仍然存在？
...然存在？【发布时间】：2019-03-1516:07:23【问题描述】：当我们使用sqoopimport将RDBMS表传输到HIVE时，表的主键等约束会保留吗？即作为主键 查看详情
将数据从 NoSQL 迁移到 RDBMS
...mNoSQLtoanRDBMS【发布时间】：2020-03-3107:37:43【问题描述】：我们在HBase中有数据，我们想迁移到AWSAurora(MySQL)，我们需要使用现有数据，因此必须以某种方式将NoSQL数据加载到Aurora。这不是一个非常大的数据库。只有几张桌子。是否... 查看详情
如何在hadoop集群中使用sqoop将表从rdbms导入hive？
】如何在hadoop集群中使用sqoop将表从rdbms导入hive？【英文标题】：howtoimporttablefromrdbmstohiveusingsqoopinhadoopcluster?【发布时间】：2014-06-0209:11:56【问题描述】：我正在尝试使用hadoop集群中的SQOOP将表从RDBMS导入HIVE，我收到以下错误，... 查看详情
使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop
】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】：DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】：2014-03-1803:41:23【问题描述】：我正在学习Hadoop，并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情
使用 Sqoop 将视图（数据库表重）从 Oracle 迁移到 Hive
...】：2017-05-2410:42:29【问题描述】：我是大数据的初学者，我们正在使用sqoop和Cloudera管理将视图从Oracle迁移到Hive，我们正在使用的命令示例：sqoopimport-Dmapred.child. 查看详情
除了 SQOOP，还有啥方法可以从 RDBMS 传输到 HDFS？
...HDFS？【发布时间】：2016-10-1708:22:24【问题描述】：除了使用sqoop将RDBMS传输到HDFS之外，我还想要其他方式，请给我提示请任何人解释一下，hive和sqoop之间的关系是什么？【 查看详情
sqoop(代码片段)
....4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4Sqoop的简单使用案例4.1导入数据4.1.1RDBMS到HDFS4.1.2RDBMS到Hive4.1.3RDBMS到Hbase4.2、导出数据4.2.1HIVE/HDFS到RDBMS4.3脚本打包5Sqoop一些常用命 查看详情
sqoop(代码片段)
....4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4Sqoop的简单使用案例4.1导入数据4.1.1RDBMS到HDFS4.1.2RDBMS到Hive4.1.3RDBMS到Hbase4.2、导出数据4.2.1HIVE/HDFS到RDBMS4.3脚本打包5Sqoop一些常用命 查看详情
sqoop(代码片段)
....4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4Sqoop的简单使用案例4.1导入数据4.1.1RDBMS到HDFS4.1.2RDBMS到Hive4.1.3RDBMS到Hbase4.2、导出数据4.2.1HIVE/HDFS到RDBMS4.3脚本打包5Sqoop一些常用命 查看详情
如何使用 Sqoop 从 RDBMS 将数据导入本地文件系统，而不是 HDFS？
】如何使用Sqoop从RDBMS将数据导入本地文件系统，而不是HDFS？【英文标题】：HowtoimportdatausingSqoopfromRDBMSintolocalfilesystem,notHDFS?【发布时间】：2014-11-1918:42:35【问题描述】：我看到Sqoop允许将数据从RDBMS数据库导入HDFS。但是，我想将... 查看详情
使用 SQOOP 从 RDBMS 导入数据
...。在这里，我有一些我无法从任何地方得到答案的问题。我们能否将“--hive-import”与import-all-tables和--exclude-tables一起使 查看详情
使用 Sqoop 将数据从 RDBMS 导入 Hive 时，如何在命令行中指定 Hive 数据库名称？
】使用Sqoop将数据从RDBMS导入Hive时，如何在命令行中指定Hive数据库名称？【英文标题】：HowtospecifyHivedatabasenameincommandlinewhileimportingdatafromRDBMSintoHiveusingSqoop?【发布时间】：2013-01-2512:20:49【问题描述】：我需要将数据从RDBMS表导入... 查看详情
在 RDBMS 中没有主键的 Sqoop 导入
...nRDBMS【发布时间】：2015-03-1906:34:01【问题描述】：我可以使用sqoop将RDBMS表数据（表没有主键）导入到hive吗？如果是的话，请给sqoop导入命令。我尝试过使用sqoopimportgeneral命令，但失败了。【问题讨论】：【参考方案1】：如果您... 查看详情
我想使用 sqoop 导入作业将数据 sqoop 到 hive 列分区表中。我们应该怎么做？
】我想使用sqoop导入作业将数据sqoop到hive列分区表中。我们应该怎么做？【英文标题】：Iwanttosqoopdatausingsqoopimportjobintohivecolumnpartitionedtable.Howcanwedothis?【发布时间】：2017-08-2612:34:31【问题描述】：我有一个按国家列分区的配置单... 查看详情
将数据从 RDBMS 加载到具有多个目标的 Hadoop
...pledestinations【发布时间】：2017-05-0815:21:13【问题描述】：我们已经实现了一个使用Sqoop将数据从RDBMS加载到我们的hadoop集群的解决方案，对于仅附加数据，它进入hive而维度数据到hbase。现在我们正在建立两个相同的Hadoop集群，它... 查看详情