使用boto3下载具有特定前缀的桶中的所有对象

import boto3

s3 = boto3.client('s3', region_name='us-east-1', 
                     aws_access_key_id=AWS_KEY_ID, 
                     aws_secret_access_key=AWS_SECRET)

def get_all_s3_keys(bucket,prefix):
    keys = []

    kwargs = {'Bucket': bucket,Prefix=prefix}
    while True:
        resp = s3.list_objects_v2(**kwargs)
        for obj in resp['Contents']:
             keys.append(obj['Key'])

        try:
            kwargs['ContinuationToken'] = resp['NextContinuationToken']
        except KeyError:
            break

        return keys

def download_file(file_name, bucket,key):
    file=s3.download_file(
    Filename=file_name,
    Bucket=bucket,
    Key=key)
    return file

bucket="gid-folder"
prefix="test_"
keys=get_all_s3_keys(bucket,prefix):

for key in keys:
     download_file(key, bucket,key)
   
 

只需要在aws s3 cp命令中传递——recursive &——include "*"，如下:aws——region "${BUCKET_REGION}" s3 cp s3://${BUCKET}${BUCKET_PATH}/ ${LOCAL_PATH}/tmp——recursive——include "*" 2>&1

为了添加另一个GUI选项，我们使用了WinSCP的S3功能。它非常容易连接，只需要你的访问密钥和密钥在用户界面。然后，您可以从任何可访问的存储桶中浏览和下载所需的任何文件，包括嵌套文件夹的递归下载。

由于通过安全检查新软件可能是一个挑战，而且WinSCP相当普遍，因此使用它而不是尝试安装更专业的实用程序会非常有益。

如果您使用带有S3Fox的Firefox，它确实允许您选择所有文件(shift-选择第一个和最后一个)，然后右键单击并下载所有文件。

我已经处理了500多个文件，没有任何问题。

100%为我工作，我已经下载了所有的文件从aws s3备份。

安装AWS CLI。选择您的操作系统并按照以下步骤操作:安装或更新AWS CLI的最新版本 检查AWS版本:AWS——version

执行config命令:aws configure

Aws s3 cp s3://yourbucketname你的\本地\路径——递归

例如(Windows操作系统):aws s3 cp s3://yourbucketname C:\aws-s3-backup\project-name——recursive

请查看此链接:如何从S3下载整个存储桶到本地文件夹

如果你只有文件在那里(没有子目录)，一个快速的解决方案是选择所有的文件(点击第一个，Shift+点击最后一个)，然后按Enter或右键单击并选择打开。对于大多数数据文件，这将直接下载到您的计算机。