关键词：
【中文标题】如何在命令行将文件从远程服务器移动到 s3【英文标题】：how to move files from remote server to s3 at the command line 【发布时间】：2015-12-09 20:49:05 【问题描述】：我在远程服务器上有很多大文件，我想将它们移动到 S3 中。我想在命令行或使用 bash 脚本（例如，我不想使用像 cyberduck 这样的 gui 应用程序）来执行此操作，以便我可以自动化/复制工作。
我尝试使用 Osxfuse 和 sshfs 将远程服务器挂载到本地计算机上，然后使用 s3cmd 将其推送到 s3。这确实有效，但我一直遇到错误（无明显原因的连接丢失；安装错误等）。
这是最好的方法吗？有谁知道更好的方法吗？
谢谢， 一个
【问题讨论】：
【参考方案1】：您可以使用minio client aka mc 来做同样的事情。
$ mc cp --recursive localDir/ s3/remoteBucket
如果网络断开，mc 将为您提供恢复上传的选项。
【讨论】：
【参考方案2】：您的远程服务器在 ec2 中吗？您当前的设置需要两个副本（首先通过 sshfs 将数据提取到本地计算机，然后通过 s3cmd 推送到 s3），如果您直接在远程服务器上运行 s3cmd，则可以将其减少到一个。
如果您想将 s3 挂载为文件系统，还可以使用 goofys 或 s3fs 等工具。同样，您应该在远程服务器上执行此操作以避免额外的副本。
【讨论】：
如何通过 PuTTy 使用命令行将文件从 Windows 机器上传到 Linux 机器？
...indows，我想将文件从我的笔记本电脑上传到我的uni的通用服务器，该服务器同时运行Linux和MacO 查看详情
如何将文件从远程服务器传输到我的 Amazon S3 实例？
】如何将文件从远程服务器传输到我的AmazonS3实例？【英文标题】：HowtotransferfilesfromaremoteservertomyAmazonS3instance?【发布时间】：2012-11-0822:43:36【问题描述】：我在5个文件中有大约15GB的数据需要传输到AmazonS3存储桶，它们目前托管... 查看详情
如何通过命令行将文件加载到球拍中？
】如何通过命令行将文件加载到球拍中？【英文标题】：Howdoyouloadafileintoracketviacommandline?【发布时间】：2011-09-1620:14:36【问题描述】：我一直在尝试从命令行（通过“球拍”）启动球拍程序，但没有成功。根据文档（此处为http:/... 查看详情
如何使用 Node JS 或命令行将图像从服务器复制到本地
】如何使用NodeJS或命令行将图像从服务器复制到本地【英文标题】：HowcanIcopyimagefromservertolocalusingNodeJSorCommandline【发布时间】：2017-07-2019:18:27【问题描述】：我正在使用nodeJS，我需要将Facebook上托管的图像保存到我的本地服务器... 查看详情
当文件到达 NAS 时如何将文件从本地 NAS 移动到 AWS S3
】当文件到达NAS时如何将文件从本地NAS移动到AWSS3【英文标题】：Howtomovefilesfromon-premNAStoAWSS3whenfilearrivesonNAS【发布时间】：2022-01-0119:13:00【问题描述】：我有一个要求，我们需要将文件从本地NAS存储移动到AWSS3。文件到达时不断... 查看详情
我可以从脚本或命令行将文件复制到网上邻居吗？ [关闭]
】我可以从脚本或命令行将文件复制到网上邻居吗？[关闭]【英文标题】：CanIcopyfilestoaNetworkPlacefromascriptorthecommandline?[closed]【发布时间】：2010-09-0520:03:24【问题描述】：在WindowsXP中，是否可以通过命令行、批处理文件或更好的Pow... 查看详情
从命令行将数据从csv文件加载到oracle表[关闭]
】从命令行将数据从csv文件加载到oracle表[关闭]【英文标题】：Loaddatafromcsvfiletooracletablefromcommandline[closed]【发布时间】：2014-02-1206:58:17【问题描述】：我尝试使用sqlloader。问题是表需要为空才能加载数据。有没有办法在不截断表... 查看详情
从命令行将图标添加到现有的 EXE 文件 [关闭]
】从命令行将图标添加到现有的EXE文件[关闭]【英文标题】：AddicontoexistingEXEfilefromthecommandline[closed]【发布时间】：2010-10-1423:09:03【问题描述】：是否有可以将图标添加到现有可执行文件的命令行工具？它应该能够将图标设置为... 查看详情
如何在远程系统上使用 Ansible 任务移动/重命名文件
】如何在远程系统上使用Ansible任务移动/重命名文件【英文标题】：Howtomove/renameafileusinganAnsibletaskonaremotesystem【发布时间】：2014-08-0112:21:27【问题描述】：如何在远程系统上使用Ansible模块移动/重命名文件/目录？我不想使用命令/... 查看详情
git命令行将本地项目上传到仓库
参考技术A1.Git全局设置:2.（进入项目文件夹）通过命令gitinit把这个目录变成git可以管理的仓库3.把文件添加到版本库中，使用命令gitadd.添加到暂存区里面去，不要忘记后面的小数点“.”，意为添加文件夹下的所有文件4.用命令gi... 查看详情
使用 Airflow PUT 命令将 S3 文件移动到 Snowflake 阶段
】使用AirflowPUT命令将S3文件移动到Snowflake阶段【英文标题】：MoveS3filestoSnowflakestageusingAirflowPUTcommand【发布时间】：2020-08-2818:03:01【问题描述】：我正在尝试使用Airflow将文件从S3存储桶移动到Snowflake内部阶段（不是直接表）的解... 查看详情
将多个文件从一个目录移动到远程 sftp 服务器上的另一个目录
】将多个文件从一个目录移动到远程sftp服务器上的另一个目录【英文标题】：Movemultiplefilefromonedirectorytoanotheronremotesftpserver【发布时间】：2018-12-1016:14:06【问题描述】：我正在使用以下命令连接到我的远程sftp：sftpuser@host输入密... 查看详情
sh从命令行将变量导出到bash配置文件的简单命令(代码片段)
如何使用从 s3 到 redshift db 的复制命令解决语法错误
】如何使用从s3到redshiftdb的复制命令解决语法错误【英文标题】：howtoresolvesyntaxerrorusingcopycommandfroms3toredshiftdb【发布时间】：2019-09-0619:14:26【问题描述】：从s3复制命令到redshift的语法错误我可以连接到redshift数据库，但在复制命... 查看详情
如何从命令行将假媒体流传递给 Firefox？
】如何从命令行将假媒体流传递给Firefox？【英文标题】：HowcanIpassafakemediastreamtofirefoxfromcommandline?【发布时间】：2015-10-2919:40:49【问题描述】：我正在开发一个基于java/selenium的应用程序，需要将媒体（即音频和/或视频文件）传... 查看详情
如何从 S3 在 android 游戏中加载 swf 文件
】如何从S3在android游戏中加载swf文件【英文标题】：HowtoloadswffilesinandroidgamefromS3【发布时间】：2019-10-0204:38:22【问题描述】：我有一个10级的安卓游戏。菜单屏幕将有图标来加载关卡。每个级别都是一个单独的文件，例如level1.swf... 查看详情
从命令行将 vc++6 项目升级到 vc++ 2008
】从命令行将vc++6项目升级到vc++2008【英文标题】：Upgradevc++6projecttovc++2008fromcommandline【发布时间】：2013-11-2619:10:52【问题描述】：我正在尝试将vc++6项目(.dsp)升级到vc++2008项目(.vcproj)我正在使用vc++2008速成版从IDE成功升级和构建的... 查看详情
在不使用 S3 存储桶的情况下将数据从远程服务器的 .gz 文件加载到 redshift 的 postgresql 实例？
】在不使用S3存储桶的情况下将数据从远程服务器的.gz文件加载到redshift的postgresql实例？【英文标题】：Loadingdatafrom.gzfilefromremoteservertopostgresqlinstanceofredshiftwithoutusingS3bucket?【发布时间】：2016-02-1623:08:27【问题描述】：有没有办... 查看详情