@Layke的回答很好，但如果你有大量的数据，不想永远等待，你应该阅读“AWS CLI S3配置”。

以下命令将告诉AWS CLI使用1,000个线程执行作业(每个小文件或多部分副本的一部分)，并查看100,000个作业:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

运行这些之后，你可以使用简单的sync命令:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

or

aws s3 sync s3://source-bucket/source-path c:\my\local\data\path

在一个拥有4核CPU和16GB RAM的系统上，对于像我这样的情况(3-50GB文件)，同步/复制速度从9.5MiB/s提高到700+MiB/s，比默认配置提高了70倍。

如果桶相当大，有一个叫做s4cmd的命令可以进行并行连接，提高下载时间:

把它安装在Debian上就像

apt install s4cmd

如果你有pip:

pip install s4cmd

它将读取~/。s3cfg文件(如果没有安装s3cmd并运行s3cmd——configure)，或者您可以在命令上指定——access-key=ACCESS_KEY——secret-key=SECRET_KEY。

命令行类似于s3cmd。在这种情况下，建议同步，因为您可以取消下载并重新启动，而不必重新下载文件。

s4cmd [--access-key=ACCESS_KEY --secret-key=SECRET_KEY] sync s3://<your-bucket> /some/local/dir

如果你下载了很多数据(>1TB)，这可能会影响你的账单，先计算一下这将是成本

您可以使用MinIO客户端执行以下操作:mc cp -r https://s3-us-west-2.amazonaws.com/bucketName/ localdir

MinIO还支持会话、断点续传下载、上传等等。MinIO支持Linux、OS X和Windows操作系统。它是用Golang编写的，在Apache Version 2.0下发布。

AWS CLI

有关更多信息，请参阅“AWS CLI命令参考”。

AWS最近发布了他们的命令行工具，它的工作原理很像boto，可以使用

sudo easy_install awscli

or

sudo pip install awscli

安装完成后，您可以简单地运行:

aws s3 sync s3://<source_bucket> <local_destination>

例如:

aws s3 sync s3://mybucket .

将mybucket中的所有对象下载到当前目录。

并输出:

download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt

这将使用单向同步下载您的所有文件。它不会删除当前目录中的任何现有文件，除非您指定了——delete，而且它不会更改或删除S3上的任何文件。

您还可以进行S3桶到S3桶的同步，或本地到S3桶的同步。

请查看文档和其他示例。

虽然上面的示例是如何下载完整的存储桶，但您也可以通过执行下面的操作递归地下载文件夹

aws s3 cp s3://BUCKETNAME/PATH/TO/FOLDER LocalFolderName --recursive

这将指示CLI递归下载BUCKETNAME桶中的PATH/ to / folder目录中的所有文件和文件夹键。

只需要在aws s3 cp命令中传递——recursive &——include "*"，如下:aws——region "${BUCKET_REGION}" s3 cp s3://${BUCKET}${BUCKET_PATH}/ ${LOCAL_PATH}/tmp——recursive——include "*" 2>&1

为了添加另一个GUI选项，我们使用了WinSCP的S3功能。它非常容易连接，只需要你的访问密钥和密钥在用户界面。然后，您可以从任何可访问的存储桶中浏览和下载所需的任何文件，包括嵌套文件夹的递归下载。

由于通过安全检查新软件可能是一个挑战，而且WinSCP相当普遍，因此使用它而不是尝试安装更专业的实用程序会非常有益。