抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

我正在练习“使用Python进行网络抓取”的代码，我一直有这个证书问题:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

错误是:

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

顺便说一句，我也在练习scrapy，但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案，但没有一个工作…真的令人沮丧)

当前回答

我可以找到这个解决方案，工作得很好:

cd /Applications/Python\ 3.7/
./Install\ Certificates.command

2020-02-07 00:04:25

其他回答

如果你在Mac上运行，你可以在聚光灯下搜索Install Certificates.command，然后按enter键。

2019-11-28 06:44:17

遗憾的是，我没有解决这个问题。但设法使代码工作(顺便说一句，几乎所有我的代码都有这个问题) 本地颁发者证书问题发生在python3.7下所以我改回python2.7 QAQ 所有这些都需要改变，包括“from urllib2 import urlopen”而不是“from urllib”。请求导入urlopen" 如此悲伤…

2018-05-09 13:33:52

我可以找到这个解决方案，工作得很好:

cd /Applications/Python\ 3.7/
./Install\ Certificates.command

2020-02-07 00:04:25

顺便说一句，如果你使用aiohttp得到同样的错误，只需将verify_ssl=False参数放入你的TCPConnector:

import aiohttp
...

async with aiohttp.ClientSession(
    connector=aiohttp.TCPConnector(verify_ssl=False)
) as session:
    async with session.get(url) as response:
        body = await response.text()

2022-01-13 11:27:02

open /Applications/Python\ 3.7/Install\ Certificates.command

在终端试试这个命令

2021-07-29 16:14:29

抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

推荐文章

最新文章

标签