Python请求模块简单而优雅,但有一件事让我感到困扰。 有可能得到一个requests.exception.ConnectionError的消息,像这样:
Max retries exceeded with url: ...
这意味着请求可以多次尝试访问数据。但是在任何文件中都没有提到这种可能性。查看源代码,我没有找到任何可以更改默认值(假设为0)的地方。
那么是否有可能设置请求的最大重试次数呢?
Python请求模块简单而优雅,但有一件事让我感到困扰。 有可能得到一个requests.exception.ConnectionError的消息,像这样:
Max retries exceeded with url: ...
这意味着请求可以多次尝试访问数据。但是在任何文件中都没有提到这种可能性。查看源代码,我没有找到任何可以更改默认值(假设为0)的地方。
那么是否有可能设置请求的最大重试次数呢?
执行重试的是底层urllib3库。要设置不同的最大重试计数,请使用替代传输适配器:
from requests.adapters import HTTPAdapter
s = requests.Session()
s.mount('http://stackoverflow.com', HTTPAdapter(max_retries=5))
max_retries参数接受一个整数或Retry()对象;后者为您提供了重试失败类型的细粒度控制(将整数值转换为仅处理连接失败的Retry()实例;默认情况下,连接后的错误不会被处理,因为这些错误可能会导致副作用)。
旧的答案,在请求1.2.1发布之前:
请求库并没有真正做到这一点,也没有打算这样做(请参阅此pull request)。目前(请求1.1),重试计数设置为0。如果你真的想设置一个更高的值,你必须全局设置这个:
import requests
requests.adapters.DEFAULT_RETRIES = 5
这个常数没有记录;使用它的风险由您自己承担,因为未来的版本可能会改变这种处理方式。
更新:这确实改变了;在1.2.1版本中,添加了在HTTPAdapter()类上设置max_retries参数的选项,因此现在您必须使用替代传输适配器,参见上面。猴子补丁方法不再有效,除非你也修补HTTPAdapter.__init__()默认值(非常不推荐)。
注意,Martijn Pieters的答案不适合1.2.1+版本。如果不给库打补丁,就不能全局设置它。
你可以这样做:
import requests
from requests.adapters import HTTPAdapter
s = requests.Session()
s.mount('http://www.github.com', HTTPAdapter(max_retries=5))
s.mount('https://www.github.com', HTTPAdapter(max_retries=5))
这不仅会改变max_retries,而且还会启用回退策略,在重试之前将所有http://地址的请求休眠一段时间(总共5次):
import requests
from requests.adapters import HTTPAdapter, Retry
s = requests.Session()
retries = Retry(total=5,
backoff_factor=0.1,
status_forcelist=[ 500, 502, 503, 504 ])
s.mount('http://', HTTPAdapter(max_retries=retries))
s.get('http://httpstat.us/500')
根据Retry的文档:如果backoff_factor是0.1,那么sleep()将休眠[0.05s, 0.1s, 0.2s, 0.4s,…])。如果返回的状态码为500,502,503或504,它还将强制重试。
重试的各种其他选项允许更细粒度的控制:
total – Total number of retries to allow. connect – How many connection-related errors to retry on. read – How many times to retry on read errors. redirect – How many redirects to perform. method_whitelist – Set of uppercased HTTP method verbs that we should retry on. status_forcelist – A set of HTTP status codes that we should force a retry on. backoff_factor – A backoff factor to apply between attempts. raise_on_redirect – Whether, if the number of redirects is exhausted, to raise a MaxRetryError, or to return a response with a response code in the 3xx range. raise_on_status – Similar meaning to raise_on_redirect: whether we should raise an exception, or return a response, if status falls in status_forcelist range and retries have been exhausted.
注意:raise_on_status相对较新,还没有在urllib3或请求中发布。raise_on_status关键字参数似乎最多在python 3.6版本中被纳入标准库。
要使请求在特定的HTTP状态码上重试,请使用status_forcelist。例如,status_forcelist=[503]将重试状态码503(服务不可用)。
默认情况下,重试仅在以下条件下触发:
无法从池中获得连接。 TimeoutError 引发的HTTPException(从http。客户端在python3 else httplib)。 这似乎是低级HTTP异常,如URL或protocol not 形成正确。 SocketError ProtocolError
注意,这些都是阻止接收常规HTTP响应的异常。如果生成任何常规响应,则不执行重试。如果不使用status_forcelist,即使状态为500的响应也不会被重试。
为了使它的行为更直观地与远程API或web服务器一起工作,我将使用上面的代码片段,它强制重试状态500、502、503和504,所有这些在web上并不罕见,并且(可能)在足够大的回退周期内可以恢复。
获得更高控制的一种更干净的方法可能是将重试内容打包到函数中,并使用装饰器使该函数可检索,并将异常白名单。
我在这里创建了相同的: http://www.praddy.in/retry-decorator-whitelisted-exceptions/
在该链接中重现代码:
def retry(exceptions, delay=0, times=2):
"""
A decorator for retrying a function call with a specified delay in case of a set of exceptions
Parameter List
-------------
:param exceptions: A tuple of all exceptions that need to be caught for retry
e.g. retry(exception_list = (Timeout, Readtimeout))
:param delay: Amount of delay (seconds) needed between successive retries.
:param times: no of times the function should be retried
"""
def outer_wrapper(function):
@functools.wraps(function)
def inner_wrapper(*args, **kwargs):
final_excep = None
for counter in xrange(times):
if counter > 0:
time.sleep(delay)
final_excep = None
try:
value = function(*args, **kwargs)
return value
except (exceptions) as e:
final_excep = e
pass #or log it
if final_excep is not None:
raise final_excep
return inner_wrapper
return outer_wrapper
@retry(exceptions=(TimeoutError, ConnectTimeoutError), delay=0, times=3)
def call_api():
在苦苦思索了一些答案之后,我找到了一个叫做backoff的库,它更适合我的情况。一个基本的例子:
import backoff
@backoff.on_exception(
backoff.expo,
requests.exceptions.RequestException,
max_tries=5,
giveup=lambda e: e.response is not None and e.response.status_code < 500
)
def publish(self, data):
r = requests.post(url, timeout=10, json=data)
r.raise_for_status()
我仍然建议尝试一下库的原生功能,但如果遇到任何问题或需要更广泛的控制,后退也是一种选择。
您可以使用请求库一次性完成所有任务。 如果您收到429,500,502,503或504状态码,则以下代码将重试3次,每次通过“backoff_factor”设置更长的延迟。https://findwork.dev/blog/advanced-usage-python-requests-timeouts-retries-hooks/上有个不错的教程。
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
retry_strategy = Retry(
total=3,
backoff_factor=1,
status_forcelist=[429, 500, 502, 503, 504],
method_whitelist=["HEAD", "GET", "OPTIONS"]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
http = requests.Session()
http.mount("https://", adapter)
http.mount("http://", adapter)
response = http.get("https://en.wikipedia.org/w/api.php")