我正在练习“使用Python进行网络抓取”的代码,我一直有这个证书问题:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

错误是:

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

顺便说一句,我也在练习scrapy,但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案,但没有一个工作…真的令人沮丧)


当前回答

对我来说,问题是我在我的.bash_profile中设置了REQUESTS_CA_BUNDLE

/Users/westonagreene/.bash_profile:
...
export REQUESTS_CA_BUNDLE=/usr/local/etc/openssl/cert.pem
...

一旦我将REQUESTS_CA_BUNDLE设置为空白(即从.bash_profile中删除),请求就会再次工作。

export REQUESTS_CA_BUNDLE=""

该问题仅在通过CLI(命令行接口)执行python请求时出现。如果我运行请求。get(URL, CERT)它解决得很好。

Mac OS Catalina(10.15.6)。 3.6.11的Pyenv。 我正在获得的错误消息:[SSL: CERTIFICATE_VERIFY_FAILED]证书验证失败:无法获得本地颁发者证书(_ssl.c:1056)

我的答案是:https://stackoverflow.com/a/64151964/4420657

其他回答

要使用未经验证的SSL,可以在代码中添加:

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

如果你在Mac上运行,你可以在聚光灯下搜索Install Certificates.command,然后按enter键。

我在Ubuntu 20.04系统上看到了这个问题,没有一个“真正的修复”(比如这个)有帮助。

虽然Firefox愿意打开该站点,但GNOME Web(即Epiphany)、Python3或wget都不接受该证书。经过一些搜索,我在ServerFault上找到了这个答案,它列出了两个常见的原因:

该证书实际上是由一个未知CA(例如内部CA)签署的。 证书是用来自一个知名CA的中间CA证书签名的,远程服务器配置错误,因为它没有将该中间CA证书作为其响应的CA链。

您可以使用Qualys SSL实验室网站检查该网站的证书,如果有问题,请联系该网站的管理员进行修复。

如果你现在真的需要解决这个问题,我推荐一个临时解决方案,比如Rambod's仅限于你试图访问的网站。

我在窗户上使用anaconda。得到相同的错误,直到我尝试以下;

import urllib.request
link = 'http://docs.python.org'
with urllib.request.urlopen(link) as response:
    htmlSource = response.read()

这是我从stackoverflow线程中使用urlopen得到的:

Python urllib urlopen不工作

遗憾的是,我没有解决这个问题。 但设法使代码工作(顺便说一句,几乎所有我的代码都有这个问题) 本地颁发者证书问题发生在python3.7下 所以我改回python2.7 QAQ 所有这些都需要改变,包括“from urllib2 import urlopen”而不是“from urllib”。请求导入urlopen" 如此悲伤…