对于MLflow，如果不能写入AWS3/MinIO数据湖，则调用MLflow .log_artifact()将引发此错误。

原因是没有在你的python env中设置凭据(就像这两个env变量一样):

os.environ['DATA_AWS_ACCESS_KEY_ID'] = 'login'
os.environ['DATA_AWS_SECRET_ACCESS_KEY'] = 'password'

注意，您也可以使用minio客户端直接访问MLflow构件(除了MLflow的连接外，还需要一个到数据湖的单独连接)。这个客户端可以像这样启动:

minio_client_mlflow = minio.Minio(os.environ['MLFLOW_S3_ENDPOINT_URL'].split('://')[1],
                    access_key=os.environ['AWS_ACCESS_KEY_ID'],
                    secret_key=os.environ['AWS_SECRET_ACCESS_KEY'],
                    secure=False)

我是这样解决这个问题的:

aws configure

之后我手动输入:

AWS Access Key ID [None]: xxxxxxxxxx
AWS Secret Access Key [None]: xxxxxxxxxx
Default region name [None]: us-east-1
Default output format [None]: just hit enter

从那以后，它对我起作用了

尝试手动指定键

    s3 = boto3.resource('s3',
         aws_access_key_id=ACCESS_ID,
         aws_secret_access_key= ACCESS_KEY)

出于安全考虑，请确保您没有在代码中直接包含ACCESS_ID和ACCESS_KEY。 考虑使用环境配置，并按照@Tiger_Mike的建议将它们注入到代码中。

对于Prod环境，可以考虑使用旋转访问键: https://docs.aws.amazon.com/IAM/latest/UserGuide/id_credentials_access-keys.html#Using_RotateAccessKey

我也有同样的问题，它可以通过在主目录中创建配置和凭据文件来解决。下面展示了我解决这个问题的步骤。

创建一个配置文件:

touch ~/.aws/config

在那个文件里，我输入了区域

[default]
region = us-west-2

然后创建证书文件:

touch ~/.aws/credentials

然后输入你的凭证

[Profile1]
aws_access_key_id = XXXXXXXXXXXXXXXXXXXX 
aws_secret_access_key = YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY

设置好所有这些后，然后我的python文件连接桶。运行此文件将列出所有内容。

import boto3
import os

os.environ['AWS_PROFILE'] = "Profile1"
os.environ['AWS_DEFAULT_REGION'] = "us-west-2"

s3 = boto3.client('s3', region_name='us-west-2')
print("[INFO:] Connecting to cloud")

# Retrieves all regions/endpoints that work with S3

response = s3.list_buckets()
print('Regions:', response)

你也可以参考以下链接:

带有Python Boto3库的Amazon S3 Boto 3文档 Boto3: Amazon S3 as Python Object Store

我在一家大公司工作，遇到过同样的错误，但我需要一个不同的工作方式。我的问题与代理设置有关。我已经设置了代理，所以在我能够让一切正常工作之前，我需要将我的no_proxy设置为AWS白名单。你也可以在bash脚本中设置它，如果你不想用操作系统设置混淆你的Python代码。

Python:

import os
os.environ["NO_PROXY"] = "s3.amazonaws.com"

Bash:

export no_proxy = "s3.amazonaws.com"

编辑:以上假设美国东部S3地区。对于其他区域:使用s3.[region].amazonaws.com，其中区域类似于us-east-1或us-west-2

如果在~/中有多个aws配置文件。aws /凭证等……

[Profile 1]
aws_access_key_id = *******************
aws_secret_access_key = ******************************************
[Profile 2]
aws_access_key_id = *******************
aws_secret_access_key = ******************************************

遵循两个步骤:

在终端中使用export AWS_DEFAULT_PROFILE=Profile 1命令创建一个您想使用的默认值。 请确保在使用boto3或打开编辑器的同一终端上运行上述命令。[理解以下场景]

场景:

如果有两个终端，分别是t1和t2。 然后在t1中运行export命令，然后从t2中打开JupyterLab或任何其他命令，您将得到NoCredentialsError: Unable to locate credentials错误。

解决方案:

在t1中运行export命令，然后从同一终端t1打开JupyterLab或任何其他命令。