我正在练习“使用Python进行网络抓取”的代码,我一直有这个证书问题:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

错误是:

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

顺便说一句,我也在练习scrapy,但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案,但没有一个工作…真的令人沮丧)


当前回答

这是可行的。将环境变量pythonhttpverify设置为0。

输入linux命令:

export PYTHONHTTPSVERIFY = 0

OR

使用python代码:

import os
os.environ["PYTHONHTTPSVERIFY"] = "0"

其他回答

要解决这个问题:

你所需要做的就是安装Python证书!macOS的一个常见问题。

打开以下文件:

Install Certificates.command
Update Shell Profile.command

简单地运行这两个脚本,你就不会再有这个问题了。

希望这能有所帮助!

与Stack Overflow的所有专家相比,我是一个相对新手。

我有两个版本的jupyter笔记本正在运行(一个是通过新的Anaconda Navigator安装,另一个是通过????)。我想这是因为Anaconda是在我的Mac上作为本地安装安装的(根据Anaconda的说明)。

我已经安装了python 3.7。在那之后,我用我的终端打开了jupyter笔记本电脑,我认为它在我的Mac上安装了另一个全球版本。

然而,我不确定,因为我只是在不断地尝试和错误中学习!

我执行了终端命令:

conda install -c anaconda certifi 

(如上所述,但它没有工作。)

我的python 3.7安装在OS Catalina10.15.3:

/图书馆/ Python / 3.7 /网站 ~ /图书馆/ Python / 3.7 / lib / Python /网站

证书地址:

~ /图书馆/ Python / 3.7 / lib / Python /网站/ certifi-2019.11.28.dist-info

我试图找到安装证书命令…但通过查看文件结构无法找到它…不在应用程序中…不在上面的链接中。

我最终通过Spotlight找到了它(就像上面有人建议的那样)。它会自动双击并在相同的文件夹中安装另一个证书:

~ /图书馆/ Python / 3.7 / lib / Python /网站/

以上都没有解决我的任何问题……我还是得到了同样的错误。

所以,我解决了这个问题:

合上我的jupyter笔记本。 打开水蟒航海家。 打开jupyter笔记本通过导航GUI(而不是 通过终端)。 打开我的笔记本,运行代码。

我不能告诉你为什么会这样。但它为我解决了问题。

我只是想下次给别人省点麻烦。如果有人能告诉我为什么它有效,那就太好了。

我没有尝试其他终端命令,因为我知道两个版本的jupyter笔记本是一个问题。我只是不知道该怎么弥补。

要使用未经验证的SSL,可以在代码中添加:

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

对于新手用户,您可以进入Applications文件夹并展开Python 3.7文件夹。现在首先运行(或双击)安装证书。命令,然后更新Shell配置文件。命令

我可以找到这个解决方案,工作得很好:

cd /Applications/Python\ 3.7/
./Install\ Certificates.command