我正在收集网站列表上的统计数据，为了简单起见，我正在使用请求。这是我的代码:
data=[]
websites=['http://google.com', 'http://bbc.co.uk']
for w in websites:
r= requests.get(w, verify=False)
data.append( (r.url, len(r.content), r.elapsed.total_seconds(), str([(l.status_code, l.url) for l in r.history]), str(r.headers.items()), str(r.cookies.items())) )
现在，我想要请求。10秒后进入超时，这样循环就不会卡住。
这个问题以前也很有趣，但没有一个答案是干净的。
我听说可能不使用请求是一个好主意，但我应该如何得到请求提供的好东西(元组中的那些)。
当前回答
嗯，我尝试了这个页面上的许多解决方案，仍然面临不稳定，随机挂起，连接性能差。
我现在正在使用Curl，我对它的“max time”功能和全局性能非常满意，即使实现如此糟糕:
content=commands.getoutput('curl -m6 -Ss "http://mywebsite.xyz"')
这里，我定义了一个最大6秒的时间参数，包括连接时间和传输时间。
我相信Curl有一个很好的python绑定，如果你更喜欢坚持python语法:)
其他回答
更新:https://requests.readthedocs.io/en/master/user/advanced/超时
在新版本的请求:
如果你为超时指定一个单独的值，像这样:
r = requests.get('https://github.com', timeout=5)
超时值将应用于连接超时和读取超时。如果你想分别设置值，请指定一个元组:
r = requests.get('https://github.com', timeout=(3.05, 27))
如果远程服务器非常慢，您可以告诉Requests永远等待响应，方法是将None作为超时值，然后检索一杯咖啡。
r = requests.get('https://github.com', timeout=None)
我以前的答案(可能已经过时了)(很久以前贴出来的):
还有其他方法可以克服这个问题:
1. 使用TimeoutSauce内部类
来自:https://github.com/kennethreitz/requests/issues/1928 # issuecomment - 35811896
import requests from requests.adapters import TimeoutSauce class MyTimeout(TimeoutSauce): def __init__(self, *args, **kwargs): connect = kwargs.get('connect', 5) read = kwargs.get('read', connect) super(MyTimeout, self).__init__(connect=connect, read=read) requests.adapters.TimeoutSauce = MyTimeout This code should cause us to set the read timeout as equal to the connect timeout, which is the timeout value you pass on your Session.get() call. (Note that I haven't actually tested this code, so it may need some quick debugging, I just wrote it straight into the GitHub window.)
2. 使用kevinburke请求的分支:https://github.com/kevinburke/requests/tree/connect-timeout
从它的文档:https://github.com/kevinburke/requests/blob/connect-timeout/docs/user/advanced.rst
如果你为超时指定一个单独的值，像这样: R = requests.get('https://github.com'， timeout=5) 超时值将应用于连接和读取 超时。如果要设置值，请指定一个元组 另外: R = requests.get('https://github.com'， timeout=(3.05, 27))
Kevinburke已请求将其合并到主要请求项目中，但尚未被接受。
设置超时参数:
r = requests.get(w, verify=False, timeout=10) # 10 seconds
2.25.1版的更改
如果读取之间的连接或延迟超过10秒，上面的代码将导致对requests.get()的调用超时。见:https://requests.readthedocs.io/en/stable/user/advanced/超时
设置stream=True并使用r.iter_content(1024)。是的,eventlet。我就是不喜欢超时。
try:
start = time()
timeout = 5
with get(config['source']['online'], stream=True, timeout=timeout) as r:
r.raise_for_status()
content = bytes()
content_gen = r.iter_content(1024)
while True:
if time()-start > timeout:
raise TimeoutError('Time out! ({} seconds)'.format(timeout))
try:
content += next(content_gen)
except StopIteration:
break
data = content.decode().split('\n')
if len(data) in [0, 1]:
raise ValueError('Bad requests data')
except (exceptions.RequestException, ValueError, IndexError, KeyboardInterrupt,
TimeoutError) as e:
print(e)
with open(config['source']['local']) as f:
data = [line.strip() for line in f.readlines()]
讨论在这里https://redd.it/80kp1h
我使用请求2.2.1和eventlet不适合我。相反，我可以使用gevent超时代替，因为gevent在我的服务中用于gunicorn。
import gevent
import gevent.monkey
gevent.monkey.patch_all(subprocess=True)
try:
with gevent.Timeout(5):
ret = requests.get(url)
print ret.status_code, ret.content
except gevent.timeout.Timeout as e:
print "timeout: {}".format(e.message)
请注意geevent .timeout. timeout不会被常规异常处理捕获。 所以要么显式地捕获getevent。timeout。timeout 或者传入一个不同的异常，像这样使用:with gevent。Timeout(5, requests.exceptions.Timeout):尽管在引发此异常时没有传递任何消息。
如果遇到这种情况，创建一个看门狗线程，在10秒后搞乱请求的内部状态，例如:
关闭底层套接字，理想情况下 如果请求重试该操作，则触发异常
请注意，根据系统库的不同，您可能无法设置DNS解析的截止日期。
