下载整个S3存储桶?

我注意到似乎没有从AWS管理控制台下载整个s3桶的选项。

有什么简单的方法可以把所有东西都装进我的桶里吗?我正在考虑使根文件夹公共，使用wget抓取它，然后再次使它私有，但我不知道是否有更简单的方法。

当前回答

如果你只有文件在那里(没有子目录)，一个快速的解决方案是选择所有的文件(点击第一个，Shift+点击最后一个)，然后按Enter或右键单击并选择打开。对于大多数数据文件，这将直接下载到您的计算机。

其他回答

如果您使用带有S3Fox的Firefox，它确实允许您选择所有文件(shift-选择第一个和最后一个)，然后右键单击并下载所有文件。

我已经处理了500多个文件，没有任何问题。

Aws同步是完美的解决方案。它不是双向的。从源头到目的地只有一条路。此外，如果你在bucket中有很多项目，首先创建s3端点将是一个好主意，这样下载就会更快(因为下载不是通过互联网进行的，而是通过内部网进行的)，而且不收费

试试这个命令:

aws s3同步您的bucketnamedirectory您的localdirectory

例如，如果你的桶名是myBucket，本地目录是c:\local，那么:

aws s3 sync s3://myBucket c:\local

有关awscli的更多信息，请查看这个 Aws cli安装

使用AWS S3 CLI下载:

aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive

要使用代码下载，请使用AWS SDK。

要使用GUI下载，请使用Cyberduck。

除了关于aws s3同步的建议外，我还建议查看s5cmd。

根据我的经验，我发现对于多次下载或大规模下载，这比AWS CLI要快得多。

S5cmd支持通配符，这样可以工作:

S5cmd cp s3://桶名/* ./文件夹

推荐文章