下载整个S3存储桶?

我注意到似乎没有从AWS管理控制台下载整个s3桶的选项。

有什么简单的方法可以把所有东西都装进我的桶里吗?我正在考虑使根文件夹公共，使用wget抓取它，然后再次使它私有，但我不知道是否有更简单的方法。

当前回答

@Layke的回答很好，但如果你有大量的数据，不想永远等待，你应该阅读“AWS CLI S3配置”。

以下命令将告诉AWS CLI使用1,000个线程执行作业(每个小文件或多部分副本的一部分)，并查看100,000个作业:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

运行这些之后，你可以使用简单的sync命令:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

aws s3 sync s3://source-bucket/source-path c:\my\local\data\path

在一个拥有4核CPU和16GB RAM的系统上，对于像我这样的情况(3-50GB文件)，同步/复制速度从9.5MiB/s提高到700+MiB/s，比默认配置提高了70倍。

其他回答

AWS SDK API是将整个文件夹和存储库上传到AWS S3以及在本地下载整个AWS S3存储桶的最佳选择。

上传整个文件夹到AWS S3: AWS S3 sync。s3: / / BucketName

本地下载整个AWS S3桶:AWS S3 sync S3://BucketName。

您还可以为AWS S3桶中的特定文件夹分配路径，如BucketName/ path。

如果您使用带有S3Fox的Firefox，它确实允许您选择所有文件(shift-选择第一个和最后一个)，然后右键单击并下载所有文件。

我已经处理了500多个文件，没有任何问题。

当在Windows，我的首选GUI工具这是CloudBerry Explorer免费软件 Amazon S3。它有一个相当精致的文件资源管理器和类似ftp的界面。

您可以使用MinIO客户端执行以下操作:mc cp -r https://s3-us-west-2.amazonaws.com/bucketName/ localdir

MinIO还支持会话、断点续传下载、上传等等。MinIO支持Linux、OS X和Windows操作系统。它是用Golang编写的，在Apache Version 2.0下发布。

除了关于aws s3同步的建议外，我还建议查看s5cmd。

根据我的经验，我发现对于多次下载或大规模下载，这比AWS CLI要快得多。

S5cmd支持通配符，这样可以工作:

S5cmd cp s3://桶名/* ./文件夹

推荐文章