处理从 Amazon S3 下载的多个文件?

     2023-03-22     111

关键词:

【中文标题】处理从 Amazon S3 下载的多个文件?【英文标题】:Handling multiple file downloads from Amazon S3? 【发布时间】:2010-10-02 23:48:56 【问题描述】:

我有一个为客户存储全尺寸图像的私人存储桶,所有缩略图和较小尺寸都在网络服务器上。当用户想要下载多张图片时,我想压缩上述图片,然后将它们作为一个文件交付给用户。

目前,我能想到的唯一方法是将文件从 S3 传输到 Web 服务器,压缩,然后再传输给最终用户。

似乎可以或应该有更好的方法来解决这个问题。有什么想法或建议吗?

【问题讨论】:

您到底想解决什么问题?带宽使用?处理时间? 只是想减少从S3->Web Server->Client的双重传输,直接从S3->Client. 【参考方案1】:

有一个 EC2 实例来执行此操作。 EC2 和 S3 之间的流量是免费的(作为内部流量,速度更快),因此您不会像使用外部服务器那样为双倍的带宽付费。

【讨论】:

【参考方案2】:

显然有一些 Actionscript 库允许在客户端发生这种情况,例如 Fzip...您已经找到解决方案了吗?

【讨论】:

我目前只是将文件传输到 Web 服务器,然后压缩并传输到客户端。不是最佳的,但它暂时有效。 EC2 似乎可以很好地工作,但我没有深入研究。

无法从 Amazon S3 下载具有特殊字符的文件

】无法从AmazonS3下载具有特殊字符的文件【英文标题】:UnabletodownloadfilewithspecialcharacterfromAmazonS3【发布时间】:2018-05-1820:27:31【问题描述】:我一直在尝试从AmazonS3下载以特殊字符结尾的文件。由于Base64编码,文件名以“=”结尾... 查看详情

从 Amazon S3 下载 res.download 文件

】从AmazonS3下载res.download文件【英文标题】:res.downloadfilefromAmazonS3【发布时间】:2020-05-2903:02:48【问题描述】:我正在尝试从我的根目录之外下载一个文件,但是每次我尝试时,它都会尝试从根目录中获取它。我需要我网站的用... 查看详情

使用 php 从 Amazon s3 压缩和下载文件

】使用php从Amazons3压缩和下载文件【英文标题】:ZipanddownloadfilesfromAmazons3withphp【发布时间】:2014-12-0104:42:50【问题描述】:我正在使用托管在AmazonElasticBeanstalk上的php创建我的第一个Web应用程序,但我有点不知所措。我的任务是... 查看详情

使用 Java 开发工具包将多个文件批处理到 Amazon S3

】使用Java开发工具包将多个文件批处理到AmazonS3【英文标题】:BatchingmultiplefilestoAmazonS3usingtheJavaSDK【发布时间】:2015-08-0903:59:58【问题描述】:我正在尝试通过附加文件将多个文件上传到AmazonS3,这些文件都在同一个密钥下。我... 查看详情

使用 AWS 开发工具包从 Amazon S3 下载文件后如何删除文件

】使用AWS开发工具包从AmazonS3下载文件后如何删除文件【英文标题】:HowtodeleteafileafterdownloadingitfromAmazonS3usingtheAWSSDK【发布时间】:2021-12-0903:11:19【问题描述】:从aws-sdks3服务器下载后如何删除文件?我通过awssdk上传文件,从服... 查看详情

如何使用 Amazon S3 创建一次性下载链接?

】如何使用AmazonS3创建一次性下载链接?【英文标题】:HowcanIcreateaonetimedownloadlinkwithAmazonS3?【发布时间】:2013-10-2808:20:54【问题描述】:我想创建一个指向亚马逊s3托管文件的一次性下载链接。下载文件后,此链接即失效。我希... 查看详情

如何将 Amazon EBS 复制到 S3?

】如何将AmazonEBS复制到S3?【英文标题】:HowtoreplicateAmazonEBStoS3?【发布时间】:2011-09-1201:54:45【问题描述】:我们有一个用户上传文件的网站,其中一些文件很大。我们有多个EC2实例并希望对它们进行负载平衡。目前,我们将文... 查看详情

将所有文件从 Amazon S3 存储桶复制到 Microsoft Azure 容器的最佳方法

】将所有文件从AmazonS3存储桶复制到MicrosoftAzure容器的最佳方法【英文标题】:bestwaytocopyallfilesfromAmazonS3buckettoaMicrosoftAzureContainer【发布时间】:2015-06-2723:17:28【问题描述】:我需要将AmazonS3存储桶中的所有文件(例如100.000多个视... 查看详情

Rails:从 URL 保存文件并将其保存到 Amazon S3

】Rails:从URL保存文件并将其保存到AmazonS3【英文标题】:Rails:savefilefromURLandsaveittoAmazonS3【发布时间】:2013-03-0223:13:31【问题描述】:从给定URL下载文件并立即将其上传到AmazonS3的更直接的方法是什么(+将有关文件的一些信息保... 查看详情

Spring Boot Amazon AWS S3 存储桶文件下载 - 拒绝访问

】SpringBootAmazonAWSS3存储桶文件下载-拒绝访问【英文标题】:SpringBootAmazonAWSS3BucketFileDownload-AccessDenied【发布时间】:2016-07-2523:34:49【问题描述】:我有一个自动配置的AWS、SpringBoot应用程序,并且我正在尝试设置一个端点,该端点... 查看详情

Android Amazon s3 存储桶

】AndroidAmazons3存储桶【英文标题】:AndroidAmazons3bucket【发布时间】:2016-08-2509:26:46【问题描述】:如何从特定文件夹中的AmazonWebServicesS3存储桶下载文件。截至目前,我在我的androidstudio中导入amazontransferUtility项目示例,它工作正... 查看详情

java示例代码_从Amazon S3读取大文件

java示例代码_从Amazon S3读取大文件 查看详情

如何将文件从远程服务器传输到我的 Amazon S3 实例?

】如何将文件从远程服务器传输到我的AmazonS3实例?【英文标题】:HowtotransferfilesfromaremoteservertomyAmazonS3instance?【发布时间】:2012-11-0822:43:36【问题描述】:我在5个文件中有大约15GB的数据需要传输到AmazonS3存储桶,它们目前托管... 查看详情

如何将文件从 S3 复制到 Amazon EMR HDFS?

】如何将文件从S3复制到AmazonEMRHDFS?【英文标题】:HowdoIcopyfilesfromS3toAmazonEMRHDFS?【发布时间】:2011-11-2104:26:37【问题描述】:我正在通过EMR运行hive,并且需要将一些文件复制到所有EMR实例。据我了解,一种方法是将文件复制到... 查看详情

使用签名的 url 将文件从 angularjs 直接上传到 amazon s3

】使用签名的url将文件从angularjs直接上传到amazons3【英文标题】:uploadfilefromangularjsdirectlytoamazons3usingsignedurl【发布时间】:2013-10-1919:16:03【问题描述】:所以我在将文件直接上传到S3时遇到了一些问题。目前我的流程是向nodejs/exp... 查看详情

将文件从 Android 缓慢上传到 Amazon S3

】将文件从Android缓慢上传到AmazonS3【英文标题】:UploadfiletoAmazonS3fromAndroidslow【发布时间】:2015-09-2101:14:41【问题描述】:我已按照Amazon指南将文件上传到AmazonS3,但我注意到它太慢了。上传一个20kb左右的简单png文件大约需要10... 查看详情

WinHttp 不会从 WinXP 上的 Amazon S3 下载

】WinHttp不会从WinXP上的AmazonS3下载【英文标题】:WinHttpdoesn\'tdownloadfromAmazonS3onWinXP【发布时间】:2015-06-3008:10:03【问题描述】:最近亚马逊已禁用对S3存储桶的SSL支持,这似乎会导致WinXPSP3出现问题。我用这个代码hSession=WinHttpOpen(... 查看详情

访问 Amazon S3 公共存储桶

】访问AmazonS3公共存储桶【英文标题】:AccessAmazonS3publicbucket【发布时间】:2021-10-1212:58:53【问题描述】:您好,我正在尝试从AmazonS3公共存储桶之一下载数据。例如https://registry.opendata.aws/noaa-gfs-bdp-pds/存储桶有网络可访问文件夹... 查看详情