除了关于aws s3同步的建议外，我还建议查看s5cmd。

根据我的经验，我发现对于多次下载或大规模下载，这比AWS CLI要快得多。

S5cmd支持通配符，这样可以工作:

S5cmd cp s3://桶名/* ./文件夹

Aws同步是完美的解决方案。它不是双向的。从源头到目的地只有一条路。此外，如果你在bucket中有很多项目，首先创建s3端点将是一个好主意，这样下载就会更快(因为下载不是通过互联网进行的，而是通过内部网进行的)，而且不收费

只需要在aws s3 cp命令中传递——recursive &——include "*"，如下:aws——region "${BUCKET_REGION}" s3 cp s3://${BUCKET}${BUCKET_PATH}/ ${LOCAL_PATH}/tmp——recursive——include "*" 2>&1

我使用了几种不同的方法将Amazon S3数据复制到本地机器，包括s3cmd，到目前为止最简单的方法是Cyberduck。

你所需要做的就是输入你的亚马逊凭证，然后使用简单的界面来下载、上传、同步你的存储桶、文件夹或文件。

我已经为S3做了一些开发，我还没有找到一个简单的方法来下载整个存储桶。

如果您想用Java编写代码，那么jets3t库很容易用于创建存储桶列表并遍历该列表以下载它们。

首先，从AWS管理咨询器获取一个公共私钥集，这样您就可以创建一个S3service对象:

AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);

然后，获取bucket对象的数组:

S3Object[] objects = s3Service.listObjects(YourBucketNameString);

最后，遍历该数组，每次下载一个对象:

S3Object obj = s3Service.getObject(bucket, fileName);
            file = obj.getDataInputStream();

我把连接代码放在线程安全的单例中。由于显而易见的原因，省略了必要的try/catch语法。

如果你更愿意用Python编写代码，你可以使用Boto。

在查看BucketExplorer之后，“下载整个桶”可能会满足你的需要。

下面是一个总结，你必须做什么来复制整个桶:

1. 创建一个可以操作AWS s3桶的用户

遵循这篇官方文章:配置基础知识

别忘了:

勾选“编程访问”，以便有可能通过CLI处理AWS。 为用户添加正确的IAM policy，允许用户与s3桶进行交互

2. 下载、安装和配置AWS CLI

查看允许配置的链接:https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-quickstart.html

您可以使用以下命令来添加您在创建用户时获得的密钥:

$ aws configure
AWS Access Key ID [None]: <your_access_key>
AWS Secret Access Key [None]: <your_secret_key>
Default region name [None]: us-west-2
Default output format [None]: json

3.使用以下命令下载内容

你可以递归cp命令，但是aws sync命令是f:

aws s3 sync s3://your_bucket /local/path

要在真正下载之前查看下载的文件是什么，可以使用——dryrun选项。 为了提高速度，可以调整s3的max_concurrent_requests和max_queue_size属性。参见:http://docs.aws.amazon.com/cli/latest/topic/s3-config.html 您可以使用——exclude和——include选项排除/包含一些文件。参见:https://docs.aws.amazon.com/cli/latest/reference/s3/

例如，下面的命令将显示桶中显示的所有.png文件。在不使用——dryrun的情况下重播命令以下载结果文件。

aws s3 sync s3://your_bucket /local/path --recursive --exclude "*" --include "*.png" --dryrun