将 DMS 连接到 S3

     2023-03-22     75

关键词:

【中文标题】将 DMS 连接到 S3【英文标题】:Connecting DMS to S3 【发布时间】:2018-05-18 15:22:33 【问题描述】:

我们正在尝试使用 S3 源设置 DMS,但是我们无法将复制实例连接到源 S3 端点。

当我们在源端点上运行连接测试时,我们收到的错误是:

Error Details: [errType=ERROR_RESPONSE, status=1020414, errMessage= Failed to connect to database., errDetails=]

我们已关注the documentation,但仍无法使连接正常工作。存储桶位于复制实例有权访问的 VPC 内,IAM 角色拥有GetObjectListBucketdms* 权限。我 95% 确定 JSON 映射文件设置正确,架构和表名指向正确的位置。

由于缺少错误消息或我们无法连接到源数据库(S3 存储桶/CSV 文件)的详细原因,调试这个感觉有点碰运气。我们使用的是 Amazon 控制台,而不是 CLI,如果这有很大的不同的话。

【问题讨论】:

你最后想通了吗?如果您以 IAM 用户的身份使用 DMS,那么此页面可能会有所帮助:docs.aws.amazon.com/dms/latest/userguide/… 你发现了吗?我也有同样的问题 我遇到了同样的问题——你有没有机会找到解决方案? 您能否提供附加到您的 DMS 实例的角色的详细 JSON?那么,您是否有关于您的 VPC/子网配置的更多信息?是否配置了任何 S3 网关等?最后一件事,你检查过这里提到的区域问题***.com/questions/59516519/… 吗? 【参考方案1】:

我也遇到了同样的错误。

检查此troubleshooting guide。它涵盖了您可能遇到的基本配置问题。

我的答案不在那里,我在任何地方都找不到它,甚至没有在官方论坛上提问。

就我而言,出于某种原因,我认为我应该在“存储桶名称”字段中使用完整的存储桶名称,例如“arn:aws:s3:::my-bucket”。可能是因为我必须将 ARN 用于上一个字段中的角色。

并且当你尝试连接它时的错误信息不会很清楚,它只是说它无法连接到存储桶。无论如何,您不需要提供 ARN,只需提供存储桶的名称,如“my-bucket”。

【讨论】:

将 Openshift 上的 PostgreSQL 连接到 Amazon S3

】将Openshift上的PostgreSQL连接到AmazonS3【英文标题】:ConnectPostgreSQLonOpenshifttoAmazonS3【发布时间】:2016-07-1022:04:05【问题描述】:我在Openshift(Tomcat7)上有一个Java应用程序,我需要大量廉价存储(TB)。显然Openshift使用起来太贵了,所... 查看详情

如何将 S3 托管的前端连接到 Elastic beanstalk 托管的后端?

】如何将S3托管的前端连接到Elasticbeanstalk托管的后端?【英文标题】:HowdoyouconnectanS3hostedfrontendtoaElasticbeanstalkhostedbackend?【发布时间】:2019-08-2808:13:26【问题描述】:我在我的react应用程序上运行了npmbuild,并在AWS上打开了一个S3... 查看详情

AWS DMS - 如何将 RDS 表数据写入单个 S3 目标文件?

】AWSDMS-如何将RDS表数据写入单个S3目标文件?【英文标题】:AWSDMS-HowtowritetoRDStabledatatoasingleS3targetfile?【发布时间】:2021-08-3003:05:11【问题描述】:我已成功设置DMS以csv格式(完全加载)将数据从RDS(SQLServer)复制到S3。但是,... 查看详情

从托管连接到 Amazon S3

】从托管连接到AmazonS3【英文标题】:ConnecttoAmazonS3fromhosting【发布时间】:2011-04-1500:46:17【问题描述】:好的,我在谷歌上搜索了一段时间,但似乎找不到关于如何从我的托管服务器连接到AmazonS3帐户的好教程。如果有人知道一... 查看详情

AWS s3bucket“只能将str(不是“NoneType”)连接到str”

】AWSs3bucket“只能将str(不是“NoneType”)连接到str”【英文标题】:AWSs3bucket"canonlyconcatenatestr(not"NoneType")tostr"【发布时间】:2021-12-2823:28:09【问题描述】:我无法找出问题所在。如果它的boto3或s3bucket,DEFAULT_FILE_S... 查看详情

如何将队列连接到 ZeroMQ PUB/SUB

】如何将队列连接到ZeroMQPUB/SUB【英文标题】:HowtoconnectqueuestoaZeroMQPUB/SUB【发布时间】:2016-06-2522:57:39【问题描述】:考虑以下几点:一组3个逻辑服务:S1、S2和S3每个服务的两个实例都在运行,所以我们有以下进程:S1P1,S1P2,S... 查看详情

如何连接到 Redshift 中的私有集群?

】如何连接到Redshift中的私有集群?【英文标题】:HowtoconnecttoaprivateclusterinRedshift?【发布时间】:2018-06-2512:37:40【问题描述】:我正在尝试尽可能安全地将数据从MySQL数据库转移到AmazonRedshift。我已经能够连接到集群,使用boto3将... 查看详情

为啥 Zeppelin 笔记本无法连接到 S3

】为啥Zeppelin笔记本无法连接到S3【英文标题】:WhyZeppelinnotebookisnotabletoconnecttoS3为什么Zeppelin笔记本无法连接到S3【发布时间】:2015-09-0206:43:04【问题描述】:我已经在我的awsEC2机器上安装了Zeppelin以连接到我的spark集群。Spark版... 查看详情

尝试使用 TextureLoader 从 Rails 应用程序连接到 S3 时出现 CORS 错误

】尝试使用TextureLoader从Rails应用程序连接到S3时出现CORS错误【英文标题】:CORSerrorwhiletryingtoconnecttoS3fromarailsappusingTextureLoader【发布时间】:2017-05-2214:38:14【问题描述】:这让我发疯了。我已经用谷歌搜索/binged/altavistad(不是真... 查看详情

sqlite3:连接到云中的数据库(S3)

】sqlite3:连接到云中的数据库(S3)【英文标题】:sqlite3:Connecttoadatabaseincloud(S3)【发布时间】:2019-11-0815:29:35【问题描述】:我在s3存储桶中有一个小的sqlite数据库(110kb)。每次运行python应用程序时,我都想连接到该数据库。... 查看详情

无法在 cloudformation 中创建带有事件的 s3 存储桶,以连接到它

】无法在cloudformation中创建带有事件的s3存储桶,以连接到它【英文标题】:Cannotcreates3bucketwitheventtolambaattachedtoitincloudformation【发布时间】:2018-04-0116:29:48【问题描述】:我有一个非常令人困惑的问题。我正在尝试创建带有附加... 查看详情

在 Heroku 上使用 Boto 时,无法连接到名称中带有句点的 S3 存储桶

】在Heroku上使用Boto时,无法连接到名称中带有句点的S3存储桶【英文标题】:Can\'tconnecttoS3bucketswithperiodsintheirname,whenusingBotoonHeroku【发布时间】:2015-02-2311:33:50【问题描述】:我们在尝试使用Boto连接到S3存储桶时遇到证书错误。... 查看详情

AWS DMS Redshift 作为目标

...发布时间】:2019-10-2212:33:16【问题描述】:我计划使用DMS将RDS持续迁移到Redshift。根据文档,如果目标是redshift,则DMS在复制到redshift之前使用S3存储桶临时存储数据。我找不到任何文件来确认此S3存储桶是否是临时的(仅用于初... 查看详情

“无法执行 HTTP 请求:连接到 <bucket-name>.s3.amazonaws.com:443 失败:连接超时

】“无法执行HTTP请求:连接到<bucket-name>.s3.amazonaws.com:443失败:连接超时【英文标题】:"UnabletoexecuteHTTPrequest:Connectto<bucket-name>.s3.amazonaws.com:443failed:connecttimedout【发布时间】:2019-07-0211:08:32【问题描述】:我正在尝... 查看详情

我有一个连接到 S3 以存储图像的 Django Web 应用程序,不知道如何组合 python 代码

】我有一个连接到S3以存储图像的DjangoWeb应用程序,不知道如何组合python代码【英文标题】:IhaveaDjangowebappthatisconnectedtoS3forstorageofimages,dontknowhowtocombinepythoncode【发布时间】:2017-05-0920:50:08【问题描述】:我有一个使用ElasticBeansta... 查看详情

将文件从 s3:// 复制到本地文件系统

...问题描述】:我是aws新手。我创建了一个集群并通过ssh连接到主节点。当我尝试将文件从s3://my-bucket-name/复制到pig中的本地file://home/hadoop文件夹时:cps3://my-bucket-name/path/to/filef 查看详情

如何使用堡垒主机通过 SSH 连接到 Redshift

】如何使用堡垒主机通过SSH连接到Redshift【英文标题】:HowtousebastionhosttoSSHtoRedshift【发布时间】:2018-12-1912:06:02【问题描述】:我一直试图弄清楚如何在AmazonRedshift集群是私有而不是公开访问时连接它们。我正在尝试将数据从我... 查看详情

从默认 VPC 中的 Lambda 访问 AWS S3

...留在默认VPC和同一子网中。现在的问题是我可以将函数连接到ec2但不能连接到s3。从早上开始就让我很生气,因为当我删除vpc设 查看详情