下载整个S3存储桶?

我注意到似乎没有从AWS管理控制台下载整个s3桶的选项。

有什么简单的方法可以把所有东西都装进我的桶里吗?我正在考虑使根文件夹公共，使用wget抓取它，然后再次使它私有，但我不知道是否有更简单的方法。

当前回答

除了关于aws s3同步的建议外，我还建议查看s5cmd。

根据我的经验，我发现对于多次下载或大规模下载，这比AWS CLI要快得多。

S5cmd支持通配符，这样可以工作:

S5cmd cp s3://桶名/* ./文件夹

其他回答

Aws同步是完美的解决方案。它不是双向的。从源头到目的地只有一条路。此外，如果你在bucket中有很多项目，首先创建s3端点将是一个好主意，这样下载就会更快(因为下载不是通过互联网进行的，而是通过内部网进行的)，而且不收费

使用awscli下载/上传文件到s3总是更好。同步将帮助您恢复没有任何麻烦。

aws s3 sync s3://bucketname/ .

另一个可以帮助一些OS X用户的选项是Transmit。

它是一个FTP程序，还可以让您连接到S3文件。而且，它有一个选项，可以将任何FTP或S3存储作为文件夹挂载在Finder中，但这只是在有限的时间内。

正如Neel Bhaat在这篇博客中解释的那样，有许多不同的工具可以用于此目的。有些是AWS提供的，大多数是第三方工具。所有这些工具都要求您将AWS帐户密钥和秘密保存在工具本身。在使用第三方工具时要非常谨慎，因为你保存的凭证可能会让你失去全部价值，让你完蛋。

因此，我总是建议为此使用AWS CLI。您可以从这个链接简单地安装它。接下来，运行以下命令并在AWS CLI中保存密钥和秘密值。

aws configure

并使用以下命令将AWS S3 Bucket同步到本地计算机。(本地机器应该安装了AWS CLI)

aws s3 sync <source> <destination>

例子:

1)用于AWS S3到本地存储

aws s3 sync <S3Uri> <LocalPath>

2)从本地存储到AWS S3

aws s3 sync <LocalPath> <S3Uri>

3)从AWS s3桶到另一个桶

aws s3 sync <S3Uri> <S3Uri>

为了添加另一个GUI选项，我们使用了WinSCP的S3功能。它非常容易连接，只需要你的访问密钥和密钥在用户界面。然后，您可以从任何可访问的存储桶中浏览和下载所需的任何文件，包括嵌套文件夹的递归下载。

由于通过安全检查新软件可能是一个挑战，而且WinSCP相当普遍，因此使用它而不是尝试安装更专业的实用程序会非常有益。

推荐文章