你可以用Boto3。

import boto3
s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
objs = list(bucket.objects.filter(Prefix=key))
if(len(objs)>0):
    print("key exists!!")
else:
    print("key doesn't exist!")

Here键是你要检查的路径是否存在

Boto 2的Boto。s3.key。Key对象曾经有一个exists方法，通过执行HEAD请求并查看结果来检查Key是否存在于S3上，但它似乎已经不存在了。你必须自己动手:

import boto3
import botocore

s3 = boto3.resource('s3')

try:
    s3.Object('my-bucket', 'dootdoot.jpg').load()
except botocore.exceptions.ClientError as e:
    if e.response['Error']['Code'] == "404":
        # The object does not exist.
        ...
    else:
        # Something else has gone wrong.
        raise
else:
    # The object does exist.
    ...

load()对单个键执行HEAD请求，这是快速的，即使有问题的对象很大，或者bucket中有很多对象。

当然，您可能会检查对象是否存在，因为您计划使用它。如果是这种情况，您可以忘记load()，直接执行get()或download_file()，然后在那里处理错误情况。

我不太喜欢在控制流中使用异常。这是在boto3中工作的另一种方法:

import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
key = 'dootdoot.jpg'
objs = list(bucket.objects.filter(Prefix=key))
if any([w.key == path_s3 for w in objs]):
    print("Exists!")
else:
    print("Doesn't exist")

您可以使用S3Fs，它本质上是boto3的包装器，它公开了典型的文件系统风格操作:

import s3fs
s3 = s3fs.S3FileSystem()
s3.exists('myfile.txt')

沿着这条线索，有人能得出结论，哪一种方法是检查S3中是否存在对象的最有效方法吗?

我认为head_object可能会赢，因为它只是检查元数据，比实际对象本身更轻

对于boto3, ObjectSummary可用于检查对象是否存在。

包含存储在Amazon S3桶中的对象的摘要。此对象不包含包含对象的完整元数据或其任何内容

import boto3
from botocore.errorfactory import ClientError
def path_exists(path, bucket_name):
    """Check to see if an object exists on S3"""
    s3 = boto3.resource('s3')
    try:
        s3.ObjectSummary(bucket_name=bucket_name, key=path).load()
    except ClientError as e:
        if e.response['Error']['Code'] == "404":
            return False
        else:
            raise e
    return True

path_exists('path/to/file.html')

在ObjectSummary.load

调用s3.Client。head_object更新ObjectSummary资源的属性。

这表明，如果您计划不使用get()，则可以使用ObjectSummary而不是Object。load()函数不检索对象，它只获取摘要。