我正在练习“使用Python进行网络抓取”的代码,我一直有这个证书问题:
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
pages = set()
def getLinks(pageUrl):
global pages
html = urlopen("http://en.wikipedia.org"+pageUrl)
bsObj = BeautifulSoup(html)
for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
if 'href' in link.attrs:
if link.attrs['href'] not in pages:
#We have encountered a new page
newPage = link.attrs['href']
print(newPage)
pages.add(newPage)
getLinks(newPage)
getLinks("")
错误是:
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>
顺便说一句,我也在练习scrapy,但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案,但没有一个工作…真的令人沮丧)
我正在使用Debian 10 buster,并尝试用youtube-dl下载一个文件,并得到这个错误:
sudo youtube-dl -k https://youtu.be/uscis0CnDjk
[youtube] uscis0CnDjk:下载网页
<urlopen ERROR [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Unable to get local issuer certificate (_ssl.c:1056)>(由URLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Unable to get local issuer certificate (_ssl.c:1056)')引起))
正确安装了python2和python3.8的证书,但我仍然收到相同的错误。
最后(这不是最好的解决方案,但对我来说是消除证书检查,因为它是youtube-dl中的一个选项)使用这个命令
sudo youtube-dl -k——no-check-certificate https://youtu.be/uscis0CnDjk
我正在使用Debian 10 buster,并尝试用youtube-dl下载一个文件,并得到这个错误:
sudo youtube-dl -k https://youtu.be/uscis0CnDjk
[youtube] uscis0CnDjk:下载网页
<urlopen ERROR [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Unable to get local issuer certificate (_ssl.c:1056)>(由URLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Unable to get local issuer certificate (_ssl.c:1056)')引起))
正确安装了python2和python3.8的证书,但我仍然收到相同的错误。
最后(这不是最好的解决方案,但对我来说是消除证书检查,因为它是youtube-dl中的一个选项)使用这个命令
sudo youtube-dl -k——no-check-certificate https://youtu.be/uscis0CnDjk