抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

我正在练习“使用Python进行网络抓取”的代码，我一直有这个证书问题:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

错误是:

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

顺便说一句，我也在练习scrapy，但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案，但没有一个工作…真的令人沮丧)

当前回答

要解决这个问题:

你所需要做的就是安装Python证书!macOS的一个常见问题。

打开以下文件:

Install Certificates.command
Update Shell Profile.command

简单地运行这两个脚本，你就不会再有这个问题了。

希望这能有所帮助!

2018-11-15 10:39:17

其他回答

使用请求库。试试这个解决方案，或者只是在URL前添加https://:

import requests
from bs4 import BeautifulSoup
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = requests.get("http://en.wikipedia.org"+pageUrl, verify=False).text
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href']
                print(newPage)
                pages.add(newPage)
                getLinks(newPage)
getLinks("")

检查一下这对你是否有效

2019-09-12 09:46:58

对于新手用户，您可以进入Applications文件夹并展开Python 3.7文件夹。现在首先运行(或双击)安装证书。命令，然后更新Shell配置文件。命令

2019-09-15 05:28:43

对我来说，问题是我在我的.bash_profile中设置了REQUESTS_CA_BUNDLE

/Users/westonagreene/.bash_profile:
...
export REQUESTS_CA_BUNDLE=/usr/local/etc/openssl/cert.pem
...

一旦我将REQUESTS_CA_BUNDLE设置为空白(即从.bash_profile中删除)，请求就会再次工作。

export REQUESTS_CA_BUNDLE=""

该问题仅在通过CLI(命令行接口)执行python请求时出现。如果我运行请求。get(URL, CERT)它解决得很好。

Mac OS Catalina(10.15.6)。 3.6.11的Pyenv。我正在获得的错误消息:[SSL: CERTIFICATE_VERIFY_FAILED]证书验证失败:无法获得本地颁发者证书(_ssl.c:1056)

我的答案是:https://stackoverflow.com/a/64151964/4420657

2020-10-01 08:56:49

要使用未经验证的SSL，可以在代码中添加:

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

2020-03-13 13:22:38

我正在使用Debian 10 buster，并尝试用youtube-dl下载一个文件，并得到这个错误: sudo youtube-dl -k https://youtu.be/uscis0CnDjk

[youtube] uscis0CnDjk:下载网页 <urlopen ERROR [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Unable to get local issuer certificate (_ssl.c:1056)>(由URLError(SSLCertVerificationError(1， '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Unable to get local issuer certificate (_ssl.c:1056)')引起))

正确安装了python2和python3.8的证书，但我仍然收到相同的错误。最后(这不是最好的解决方案，但对我来说是消除证书检查，因为它是youtube-dl中的一个选项)使用这个命令 sudo youtube-dl -k——no-check-certificate https://youtu.be/uscis0CnDjk

2020-11-27 13:07:25

抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

推荐文章

最新文章

标签