抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

我正在练习“使用Python进行网络抓取”的代码，我一直有这个证书问题:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

错误是:

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

顺便说一句，我也在练习scrapy，但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案，但没有一个工作…真的令人沮丧)

当前回答

确保你的websockets是>=10.0

附加: 安装Certificates.command Update Shell Profile.command

Pip3安装websockets==10.0

2022-08-03 18:53:30

其他回答

我在Ubuntu 20.04系统上看到了这个问题，没有一个“真正的修复”(比如这个)有帮助。

虽然Firefox愿意打开该站点，但GNOME Web(即Epiphany)、Python3或wget都不接受该证书。经过一些搜索，我在ServerFault上找到了这个答案，它列出了两个常见的原因:

该证书实际上是由一个未知CA(例如内部CA)签署的。证书是用来自一个知名CA的中间CA证书签名的，远程服务器配置错误，因为它没有将该中间CA证书作为其响应的CA链。

您可以使用Qualys SSL实验室网站检查该网站的证书，如果有问题，请联系该网站的管理员进行修复。

如果你现在真的需要解决这个问题，我推荐一个临时解决方案，比如Rambod's仅限于你试图访问的网站。

2021-05-13 02:45:44

看看这篇文章，似乎对于Python的后期版本，证书没有预安装，这似乎导致了这个错误。您应该能够运行以下命令来安装证书包:/Applications/Python\ 3.6/ install \ Certificates.command

Post 1: urllib和“SSL: CERTIFICATE_VERIFY_FAILED”错误

帖子2:Airbrake错误:urlopen错误[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed:无法获得本地颁发者证书

2018-08-10 03:44:26

使用请求库。试试这个解决方案，或者只是在URL前添加https://:

import requests
from bs4 import BeautifulSoup
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = requests.get("http://en.wikipedia.org"+pageUrl, verify=False).text
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href']
                print(newPage)
                pages.add(newPage)
                getLinks(newPage)
getLinks("")

检查一下这对你是否有效

2019-09-12 09:46:58

有两步对我很有效: 导入Macintosh HD > Applications > Python3.7文件夹 -点击“Install Certificates.command”

2019-07-27 02:21:12

这是可行的。将环境变量pythonhttpverify设置为0。

输入linux命令:

export PYTHONHTTPSVERIFY = 0

使用python代码:

import os
os.environ["PYTHONHTTPSVERIFY"] = "0"

2020-07-14 05:28:38

抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

推荐文章

最新文章

标签