关键词：
【中文标题】将数据从 NoSQL 迁移到 RDBMS【英文标题】：Migrate data from NoSQL to an RDBMS 【发布时间】：2020-03-31 07:37:43 【问题描述】：我们在 HBase 中有数据，我们想迁移到 AWS Aurora (MySQL)，我们需要使用现有数据，因此必须以某种方式将 NoSQL 数据加载到 Aurora。
这不是一个非常大的数据库。只有几张桌子。
是否有任何最佳实践/工具可以将数据从 NoSQL 迁移到关系数据库？我在互联网上看到很多反面的问题（DB -> NoSQL），但我的要求有点不同，我没有找到任何有用的信息。
有人可以帮忙吗？我什至从哪里开始？
【问题讨论】：
【参考方案1】：在不编写太多自定义代码的情况下执行此操作的一种简单方法是使用 Hortonworks (SHC) 的 Spark-HBase 连接器将数据从 HBase 表读取到 Spark 数据帧，然后将该数据帧写入 MySQL 表。关键的挑战是让 SHC 工作，因为根据我的经验，它对版本非常敏感。因此，诀窍是正确协调您的 Spark、HBase 和 SHC 版本（找到正确的组合比您想象的要棘手）。
但是，如果您设法正确获取所有依赖项，那么执行上述操作只需在 Jupyter Notebook 或 Pyspark 中编写几行代码即可。你可以在 Yarn 上运行它来并行化工作负载，以防它很大。应该管用。试试看吧。
【讨论】：
感谢您的回复和尝试的想法。我来自 SQL 背景，所以我也遇到了麻烦的是如何创建 RDBMS 表以容纳来自 NoSQL 表的数据，使用column-families 而不是 columns。数据框在那里有帮助吗？ RDB 表是否应该只反映数据框的结构？
如果你在谷歌上搜索一些 SHC 工作原理的 python 示例，它会非常直观——你在 Python 代码中定义一个表目录，它将 HBase 行和列映射到 Dataframe列（HBase 行被视为第一列）。从那里，您可以像往常一样将您的数据帧几乎一对一地映射到 MySQL 表上。几乎您在此搜索的任何示例都应该有效，但真正的技巧只是集成版本以确保它们都是可互操作的（否则您将获得大量 ClassNotFound 异常或 NoSuchMethod 异常）。我们如何使用 SQoop 对从 RDBMS 迁移到 HDFS 的数据进行测试？
】我们如何使用SQoop对从RDBMS迁移到HDFS的数据进行测试？【英文标题】：HowwedoTestingonmigrateddatafromRDBMStoHDFSusingSQoop?【发布时间】：2017-06-0601:21:21【问题描述】：测试人员如何测试数据是否从RDBMS移动到HDFS？请仅从测试角度解释。... 查看详情
从 Sql 迁移到 NoSql 数据库的限制
】从Sql迁移到NoSql数据库的限制【英文标题】：LimitstomovefromSqltoNoSqlDatabase【发布时间】：2014-01-1817:04:12【问题描述】：我们在当前的MySQL数据库中面临与性能相关的问题。我们的应用程序在几张约20张桌子上相当繁重。我们在此... 查看详情
我们不能用 RDBMS 模拟 nosql 键值对数据库吗
】我们不能用RDBMS模拟nosql键值对数据库吗【英文标题】：Can\'twesimulatenosqlkeyvaluepairdatabasesbyRDBMS【发布时间】：2021-07-0304:06:40【问题描述】：我读到使用AmazonDynamoDB的优势之一（除其他外）是我们可以将Java对象转换为XML/JSON并作... 查看详情
将数据从 RDBMS 加载到具有多个目标的 Hadoop
】将数据从RDBMS加载到具有多个目标的Hadoop【英文标题】：LoadingdatafromRDBMStoHadoopwithmultipledestinations【发布时间】：2017-05-0815:21:13【问题描述】：我们已经实现了一个使用Sqoop将数据从RDBMS加载到我们的hadoop集群的解决方案，对于... 查看详情
浅谈sqoop
...，是appche旗下的一款工具，主要是负责hadoop与RDBMS之间的数据迁移，即从hadoop文件系统导出数据到RDBMS,从RDBMS导入数据到hadoophdfs,hive,hbase等数据存储系统。b.其实就是将sqoop命令转换成MR程序来完成数据的迁移。c.本质就是执行和计... 查看详情
tidb的数据迁移工具现已开源
参考技术ATiDB是国内PingCAP团队开发的一个分布式SQL数据库，支持包括传统RDBMS和NoSQL的特性。现已将DM（datamigrationplatform，该数据迁移工具）开源。该数据迁移工具遵循Apache-2.0开源协议，允许用户自由地使用及修改。据介绍，DM(Da... 查看详情
使用 SQOOP 和 FLUME 将数据从 RDBMS 移动到 Hadoop
】使用SQOOP和FLUME将数据从RDBMS移动到Hadoop【英文标题】：DatamovingfromRDBMStoHadoop,usingSQOOPandFLUME【发布时间】：2014-03-1803:41:23【问题描述】：我正在学习Hadoop，并且在将数据从关系数据库移动到Hadoop以及反之亦然的过程中遇到了一... 查看详情
将 HBase 数据导出到 RDBMS
】将HBase数据导出到RDBMS【英文标题】：ExportHBaseDatatoRDBMS【发布时间】：2012-01-0613:23:06【问题描述】：我使用HBase来存储数据，但后来为了满足我的要求，我想将数据从HBase导出到RDBM，如mysql或postgres。我知道我们有Sqoop作为选项... 查看详情
使用 Apache Sqoop 将数据从 Mongo/Cassandra 导出到 HDFS
】使用ApacheSqoop将数据从Mongo/Cassandra导出到HDFS【英文标题】：ExportingdatafromMongo/CassandratoHDFSusingApacheSqoop【发布时间】：2014-08-2320:06:21【问题描述】：我有一个问题，我必须通过Hive从多个数据源（即RDBMS（MYSQL，Oracle）和NOSQL（Mongo... 查看详情
anoverviewofpostgresql&mysqlcrossreplication
本博客的目的在于简述MySQL和PostgreSQL之间如何跨数据库进行复制。涉及跨数据库复制的databases一般被称作异构databases。这是将数据从一种RDBMSserver复制到另一种server的一种很好的方法。PostgreSQL和MySQL都是传统的RDBMS数据库，但是... 查看详情
为啥 NoSQL 比 RDBMS 更擅长“横向扩展”？
...阅读了以下文字，讨论了NoSQL的优缺点"多年来，为了提高数据库服务器的性能，数据库管理员不得不随着数据库负载的增加（向上扩展）购买更 查看详情
时间序列数据存储：RDBMS 与 NoSQL
】时间序列数据存储：RDBMS与NoSQL【英文标题】：TimeSeriesDatastoring:RDBMSvsNoSQL【发布时间】：2018-10-2910:49:59【问题描述】：这些天来，我面临着存储一些时间序列数据的问题。这些数据取自工业机器：对于每个作业（大约每小时3个... 查看详情
将数据从 Amazon Redshift 迁移到 DynamoDB
】将数据从AmazonRedshift迁移到DynamoDB【英文标题】：MigratingDataFromAmazonRedshiftintoDynamoDB【发布时间】：2017-02-1011:43:21【问题描述】：有大量示例将数据从DynamoDB迁移到Redshift，但我找不到任何将数据从Redshift迁移到DynamoDB的示例或文... 查看详情
数据迁移的套路
数据迁移的类型随着业务的发展，存储也会经常性的需要迁移。以下场景是我们开发过程中经常遇到的业务、团队在快速扩张，需要适当时机进行微服务的拆分，需要独立的数据库，将数据从源数据库迁移到新的数据库单表的记... 查看详情
什么是nosql数据库？nosql和rdbms有什么区别
1理解ACID与BASE的区别（ACID是关系型数据库强一致性的四个要求，而BASE是NoSQL数据库通常对可用性及一致性的弱要求原则，它们的意思分别是，ACID：atomicity,consistency,isolation,durability;BASE：BasicallyAvailable,Soft-state,EventuallyConsistent。同... 查看详情
如何将数据从 Ms 访问迁移到 Derby 数据库或如何将数据从 My sql 迁移到 Derby 数据库
】如何将数据从Ms访问迁移到Derby数据库或如何将数据从Mysql迁移到Derby数据库【英文标题】：HowtomigrateDataFromMsaccesstoDerbyDatabaseorHowtomigrateDatafromMysqltoDerbyDatabase【发布时间】：2017-01-1111:21:44【问题描述】：我使用了许多工具，但它... 查看详情
将数据从本地迁移到 AWS redshift
】将数据从本地迁移到AWSredshift【英文标题】：Movedatafromon-premisetoAWSredshift【发布时间】：2019-01-1717:45:17【问题描述】：我需要将数据从本地移动到AWSredshift(region1)。最快的方法是什么？1)使用AWSsnowball将本地迁移到s3(region1)，然后... 查看详情
将数据从 Amazon Redshift 迁移到 Amazon RDS
】将数据从AmazonRedshift迁移到AmazonRDS【英文标题】：MigrateDataFromAmazonRedshifttoAmazonRDS【发布时间】：2019-12-1217:13:38【问题描述】：有人要求我提供将数据从Redshift迁移到RDS实例的解决方案。迁移将只包含几个表，我正在尝试将它们... 查看详情