我正在练习“使用Python进行网络抓取”的代码，我一直有这个证书问题:
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
pages = set()
def getLinks(pageUrl):
global pages
html = urlopen("http://en.wikipedia.org"+pageUrl)
bsObj = BeautifulSoup(html)
for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
if 'href' in link.attrs:
if link.attrs['href'] not in pages:
#We have encountered a new page
newPage = link.attrs['href']
print(newPage)
pages.add(newPage)
getLinks(newPage)
getLinks("")
错误是:
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>
顺便说一句，我也在练习scrapy，但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案，但没有一个工作…真的令人沮丧)
我在Ubuntu 20.04系统上看到了这个问题，没有一个“真正的修复”(比如这个)有帮助。
虽然Firefox愿意打开该站点，但GNOME Web(即Epiphany)、Python3或wget都不接受该证书。经过一些搜索，我在ServerFault上找到了这个答案，它列出了两个常见的原因:
该证书实际上是由一个未知CA(例如内部CA)签署的。
证书是用来自一个知名CA的中间CA证书签名的，远程服务器配置错误，因为它没有将该中间CA证书作为其响应的CA链。
您可以使用Qualys SSL实验室网站检查该网站的证书，如果有问题，请联系该网站的管理员进行修复。
如果你现在真的需要解决这个问题，我推荐一个临时解决方案，比如Rambod's仅限于你试图访问的网站。
我也有同样的错误，并通过运行下面的程序代码解决了这个问题:
# install_certifi.py
#
# sample script to install or update a set of default Root Certificates
# for the ssl module. Uses the certificates provided by the certifi package:
# https://pypi.python.org/pypi/certifi
import os
import os.path
import ssl
import stat
import subprocess
import sys
STAT_0o775 = ( stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
| stat.S_IRGRP | stat.S_IWGRP | stat.S_IXGRP
| stat.S_IROTH | stat.S_IXOTH )
def main():
openssl_dir, openssl_cafile = os.path.split(
ssl.get_default_verify_paths().openssl_cafile)
print(" -- pip install --upgrade certifi")
subprocess.check_call([sys.executable,
"-E", "-s", "-m", "pip", "install", "--upgrade", "certifi"])
import certifi
# change working directory to the default SSL directory
os.chdir(openssl_dir)
relpath_to_certifi_cafile = os.path.relpath(certifi.where())
print(" -- removing any existing file or link")
try:
os.remove(openssl_cafile)
except FileNotFoundError:
pass
print(" -- creating symlink to certifi certificate bundle")
os.symlink(relpath_to_certifi_cafile, openssl_cafile)
print(" -- setting permissions")
os.chmod(openssl_cafile, STAT_0o775)
print(" -- update complete")
if __name__ == '__main__':
main()
