下面是一个总结，你必须做什么来复制整个桶:

1. 创建一个可以操作AWS s3桶的用户

遵循这篇官方文章:配置基础知识

别忘了:

勾选“编程访问”，以便有可能通过CLI处理AWS。 为用户添加正确的IAM policy，允许用户与s3桶进行交互

2. 下载、安装和配置AWS CLI

查看允许配置的链接:https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-quickstart.html

您可以使用以下命令来添加您在创建用户时获得的密钥:

$ aws configure
AWS Access Key ID [None]: <your_access_key>
AWS Secret Access Key [None]: <your_secret_key>
Default region name [None]: us-west-2
Default output format [None]: json

3.使用以下命令下载内容

你可以递归cp命令，但是aws sync命令是f:

aws s3 sync s3://your_bucket /local/path

要在真正下载之前查看下载的文件是什么，可以使用——dryrun选项。 为了提高速度，可以调整s3的max_concurrent_requests和max_queue_size属性。参见:http://docs.aws.amazon.com/cli/latest/topic/s3-config.html 您可以使用——exclude和——include选项排除/包含一些文件。参见:https://docs.aws.amazon.com/cli/latest/reference/s3/

例如，下面的命令将显示桶中显示的所有.png文件。在不使用——dryrun的情况下重播命令以下载结果文件。

aws s3 sync s3://your_bucket /local/path --recursive --exclude "*" --include "*.png" --dryrun

我使用了几种不同的方法将Amazon S3数据复制到本地机器，包括s3cmd，到目前为止最简单的方法是Cyberduck。

你所需要做的就是输入你的亚马逊凭证，然后使用简单的界面来下载、上传、同步你的存储桶、文件夹或文件。

AWS CLI

有关更多信息，请参阅“AWS CLI命令参考”。

AWS最近发布了他们的命令行工具，它的工作原理很像boto，可以使用

sudo easy_install awscli

or

sudo pip install awscli

安装完成后，您可以简单地运行:

aws s3 sync s3://<source_bucket> <local_destination>

例如:

aws s3 sync s3://mybucket .

将mybucket中的所有对象下载到当前目录。

并输出:

download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt

这将使用单向同步下载您的所有文件。它不会删除当前目录中的任何现有文件，除非您指定了——delete，而且它不会更改或删除S3上的任何文件。

您还可以进行S3桶到S3桶的同步，或本地到S3桶的同步。

请查看文档和其他示例。

虽然上面的示例是如何下载完整的存储桶，但您也可以通过执行下面的操作递归地下载文件夹

aws s3 cp s3://BUCKETNAME/PATH/TO/FOLDER LocalFolderName --recursive

这将指示CLI递归下载BUCKETNAME桶中的PATH/ to / folder目录中的所有文件和文件夹键。

使用AWS S3 CLI下载:

aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive

要使用代码下载，请使用AWS SDK。

要使用GUI下载，请使用Cyberduck。

你可以用s3cmd命令简单地得到它:

s3cmd get --recursive --continue s3://test-bucket local-directory/

正如Neel Bhaat在这篇博客中解释的那样，有许多不同的工具可以用于此目的。有些是AWS提供的，大多数是第三方工具。所有这些工具都要求您将AWS帐户密钥和秘密保存在工具本身。在使用第三方工具时要非常谨慎，因为你保存的凭证可能会让你失去全部价值，让你完蛋。

因此，我总是建议为此使用AWS CLI。您可以从这个链接简单地安装它。接下来，运行以下命令并在AWS CLI中保存密钥和秘密值。

aws configure

并使用以下命令将AWS S3 Bucket同步到本地计算机。(本地机器应该安装了AWS CLI)

aws s3 sync <source> <destination>

例子:

1)用于AWS S3到本地存储

aws s3 sync <S3Uri> <LocalPath>

2)从本地存储到AWS S3

aws s3 sync <LocalPath> <S3Uri>

3)从AWS s3桶到另一个桶

aws s3 sync <S3Uri> <S3Uri>