请求中的URL超过了最大重试次数

我试图获得应用商店>业务的内容:

import requests
from lxml import html

page = requests.get("https://itunes.apple.com/in/genre/ios-business/id6000?mt=8")
tree = html.fromstring(page.text)

flist = []
plist = []
for i in range(0, 100):
    app = tree.xpath("//div[@class='column first']/ul/li/a/@href")
    ap = app[0]
    page1 = requests.get(ap)

当我尝试(0,2)的范围，它工作，但当我把范围在100，它显示这个错误:

Traceback (most recent call last):
  File "/home/preetham/Desktop/eg.py", line 17, in <module>
    page1 = requests.get(ap)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 55, in get
    return request('get', url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 44, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 383, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 486, in send
    r = adapter.send(request, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/adapters.py", line 378, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='itunes.apple.com', port=443): Max retries exceeded with url: /in/app/adobe-reader/id469337564?mt=8 (Caused by <class 'socket.gaierror'>: [Errno -2] Name or service not known)

当前回答

只需使用请求功能:

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry


session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

session.get(url)

这将获取URL并重试3次，以防出现requests.exceptions.ConnectionError。Backoff_factor将有助于在尝试之间应用延迟，以避免在定期请求配额的情况下再次失败。

看一下urllib3.util.retry。重试，它有许多选项来简化重试。

2017-11-24 14:10:38

其他回答

只需使用请求功能:

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry


session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

session.get(url)

这将获取URL并重试3次，以防出现requests.exceptions.ConnectionError。Backoff_factor将有助于在尝试之间应用延迟，以避免在定期请求配额的情况下再次失败。

看一下urllib3.util.retry。重试，它有许多选项来简化重试。

2017-11-24 14:10:38

我的情况比较特殊。我试了上面的答案，没有一个管用。我突然想，是不是和我的网络代理有关?你知道，我在中国大陆，如果没有代理，我无法访问像谷歌这样的网站。然后我关掉了网络代理，问题就解决了。

2022-03-10 13:37:24

也可能是网络配置的问题。因此，为此你需要重新配置你的网络配置。

对于Ubuntu: Sudo vim /etc/network/interfaces

在dns-nameserver中添加“8.8.8.8”并保存。

重置你的网络:/etc/init.d /网络重启

现在试试. .

2021-06-25 07:44:54

在我的例子中，我在python脚本中部署了一些docker容器，然后调用其中一个部署的服务。当我在调用服务之前添加一些延迟时，错误被修复。我认为它需要时间来准备接受连接。

from time import sleep
#deploy containers
#get URL of the container
sleep(5)
response = requests.get(url,verify=False)
print(response.json())

2022-08-16 23:03:02

检查网络连接。我有这个，虚拟机没有一个正确的网络连接。

2020-07-28 17:28:18

请求中的URL超过了最大重试次数

推荐文章

最新文章

标签