下载整个S3存储桶?

我注意到似乎没有从AWS管理控制台下载整个s3桶的选项。

有什么简单的方法可以把所有东西都装进我的桶里吗?我正在考虑使根文件夹公共，使用wget抓取它，然后再次使它私有，但我不知道是否有更简单的方法。

当前回答

另一个可以帮助一些OS X用户的选项是Transmit。

它是一个FTP程序，还可以让您连接到S3文件。而且，它有一个选项，可以将任何FTP或S3存储作为文件夹挂载在Finder中，但这只是在有限的时间内。

其他回答

如果你只有文件在那里(没有子目录)，一个快速的解决方案是选择所有的文件(点击第一个，Shift+点击最后一个)，然后按Enter或右键单击并选择打开。对于大多数数据文件，这将直接下载到您的计算机。

我使用了几种不同的方法将Amazon S3数据复制到本地机器，包括s3cmd，到目前为止最简单的方法是Cyberduck。

你所需要做的就是输入你的亚马逊凭证，然后使用简单的界面来下载、上传、同步你的存储桶、文件夹或文件。

正如@layke所说，从S3 cli下载文件是最好的做法，这是安全的。但在某些情况下，人们需要使用wget来下载文件，下面是解决方案

aws s3 presign s3://<your_bucket_name/>

这将presign将为您提供临时公共URL，您可以使用presign_url从S3下载内容，在您的情况下使用wget或任何其他下载客户端。

@Layke的回答很好，但如果你有大量的数据，不想永远等待，你应该阅读“AWS CLI S3配置”。

以下命令将告诉AWS CLI使用1,000个线程执行作业(每个小文件或多部分副本的一部分)，并查看100,000个作业:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

运行这些之后，你可以使用简单的sync命令:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

aws s3 sync s3://source-bucket/source-path c:\my\local\data\path

在一个拥有4核CPU和16GB RAM的系统上，对于像我这样的情况(3-50GB文件)，同步/复制速度从9.5MiB/s提高到700+MiB/s，比默认配置提高了70倍。

如果您使用带有S3Fox的Firefox，它确实允许您选择所有文件(shift-选择第一个和最后一个)，然后右键单击并下载所有文件。

我已经处理了500多个文件，没有任何问题。

推荐文章