下载整个S3存储桶?

我注意到似乎没有从AWS管理控制台下载整个s3桶的选项。

有什么简单的方法可以把所有东西都装进我的桶里吗?我正在考虑使根文件夹公共，使用wget抓取它，然后再次使它私有，但我不知道是否有更简单的方法。

当前回答

正如@layke所说，从S3 cli下载文件是最好的做法，这是安全的。但在某些情况下，人们需要使用wget来下载文件，下面是解决方案

aws s3 presign s3://<your_bucket_name/>

这将presign将为您提供临时公共URL，您可以使用presign_url从S3下载内容，在您的情况下使用wget或任何其他下载客户端。

其他回答

您可以使用这个AWS cli命令将整个S3桶内容下载到本地文件夹

aws s3 sync s3://your-bucket-name "Local Folder Path"

如果你看到这样的错误

fatal error: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)

——no-verify-ssl(布尔)

默认情况下，AWS CLI与AWS服务通信时使用SSL。对于每个SSL连接，AWS CLI将验证SSL证书。此选项将覆盖验证SSL证书的默认行为。参考

使用命令——no-verify-ssl来使用这个标记

aws s3 sync s3://your-bucket-name "Local Folder Path" --no-verify-ssl

如果桶相当大，有一个叫做s4cmd的命令可以进行并行连接，提高下载时间:

把它安装在Debian上就像

apt install s4cmd

如果你有pip:

pip install s4cmd

它将读取~/。s3cfg文件(如果没有安装s3cmd并运行s3cmd——configure)，或者您可以在命令上指定——access-key=ACCESS_KEY——secret-key=SECRET_KEY。

命令行类似于s3cmd。在这种情况下，建议同步，因为您可以取消下载并重新启动，而不必重新下载文件。

s4cmd [--access-key=ACCESS_KEY --secret-key=SECRET_KEY] sync s3://<your-bucket> /some/local/dir

如果你下载了很多数据(>1TB)，这可能会影响你的账单，先计算一下这将是成本

使用awscli下载/上传文件到s3总是更好。同步将帮助您恢复没有任何麻烦。

aws s3 sync s3://bucketname/ .

另一个可以帮助一些OS X用户的选项是Transmit。

它是一个FTP程序，还可以让您连接到S3文件。而且，它有一个选项，可以将任何FTP或S3存储作为文件夹挂载在Finder中，但这只是在有限的时间内。

你可以用s3cmd命令简单地得到它:

s3cmd get --recursive --continue s3://test-bucket local-directory/

推荐文章