请求中的URL超过了最大重试次数

我试图获得应用商店>业务的内容:

import requests
from lxml import html

page = requests.get("https://itunes.apple.com/in/genre/ios-business/id6000?mt=8")
tree = html.fromstring(page.text)

flist = []
plist = []
for i in range(0, 100):
    app = tree.xpath("//div[@class='column first']/ul/li/a/@href")
    ap = app[0]
    page1 = requests.get(ap)

当我尝试(0,2)的范围，它工作，但当我把范围在100，它显示这个错误:

Traceback (most recent call last):
  File "/home/preetham/Desktop/eg.py", line 17, in <module>
    page1 = requests.get(ap)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 55, in get
    return request('get', url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 44, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 383, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 486, in send
    r = adapter.send(request, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/adapters.py", line 378, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='itunes.apple.com', port=443): Max retries exceeded with url: /in/app/adobe-reader/id469337564?mt=8 (Caused by <class 'socket.gaierror'>: [Errno -2] Name or service not known)

当前回答

实现异常处理总是好的。它不仅有助于避免脚本意外退出，还有助于记录错误和信息通知。当使用Python请求时，我更喜欢捕获这样的异常:

    try:
        res = requests.get(adress,timeout=30)
    except requests.ConnectionError as e:
        print("OOPS!! Connection Error. Make sure you are connected to Internet. Technical Details given below.\n")
        print(str(e))            
        renewIPadress()
        continue
    except requests.Timeout as e:
        print("OOPS!! Timeout Error")
        print(str(e))
        renewIPadress()
        continue
    except requests.RequestException as e:
        print("OOPS!! General Error")
        print(str(e))
        renewIPadress()
        continue
    except KeyboardInterrupt:
        print("Someone closed the program")

这里的renewIPadress()是一个用户定义函数，它可以在IP地址被阻塞时更改IP地址。你可以不用这个函数。

2018-05-23 20:15:00

其他回答

我有类似的问题，但下面的代码为我工作。

url = <some REST url>    
page = requests.get(url, verify=False)

verify=False禁用SSL验证。Try和catch可以像往常一样添加。

2019-05-01 18:15:25

也可能是网络配置的问题。因此，为此你需要重新配置你的网络配置。

对于Ubuntu: Sudo vim /etc/network/interfaces

在dns-nameserver中添加“8.8.8.8”并保存。

重置你的网络:/etc/init.d /网络重启

现在试试. .

2021-06-25 07:44:54

当我在编写selenium浏览器测试脚本时，在使用JS api调用之前调用driver.quit()时遇到了这个错误。记住，放弃网络驱动是最不应该做的事情!

2019-08-05 17:34:50

当我在浏览器中运行路线时，我有同样的错误，但在邮差中，它工作得很好。我的问题是，在查询字符串之前的路由之后没有/。

127.0.0.1:5000 / api / v1 /搜索/ ?location=Madina提出错误，并在搜索对我有效后删除/。

2020-08-24 03:17:00

为这个请求添加报头。

headers={
'Referer': 'https://itunes.apple.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

requests.get(ap, headers=headers)

2019-07-29 09:53:54

请求中的URL超过了最大重试次数

推荐文章

最新文章

标签