我试图抓取一个网站，但它给了我一个错误。
我正在使用以下代码:
import urllib.request
from bs4 import BeautifulSoup
get = urllib.request.urlopen("https://www.website.com/")
html = get.read()
soup = BeautifulSoup(html)
print(soup)
我得到以下错误:
File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined>
我该怎么补救呢?
当前回答
如果您使用的是Windows，请尝试传递encoding='latin1'， encoding='iso-8859-1'或encoding='cp1252' 例子:
csv_data = pd.read_csv(csvpath,encoding='iso-8859-1')
print(print(soup.encode('iso-8859-1')))
其他回答
对于那些仍然得到这个错误的人，添加encode(“utf-8”)到soup也可以解决这个问题。
soup = BeautifulSoup(html_doc, 'html.parser').encode("utf-8")
print(soup)
我通过添加.encode("utf-8")来解决这个问题。
这意味着print(soup)变成print(soup.encode("utf-8"))。
如果您使用的是Windows，请尝试传递encoding='latin1'， encoding='iso-8859-1'或encoding='cp1252' 例子:
csv_data = pd.read_csv(csvpath,encoding='iso-8859-1')
print(print(soup.encode('iso-8859-1')))
我得到了相同的UnicodeEncodeError时，保存抓取的网页内容到一个文件。为了修复它，我替换了以下代码:
with open(fname, "w") as f:
f.write(html)
用这个:
with open(fname, "w", encoding="utf-8") as f:
f.write(html)
如果你需要支持Python 2，那么使用这个:
import io
with io.open(fname, "w", encoding="utf-8") as f:
f.write(html)
如果您想使用与UTF-8不同的编码，请指定用于编码的实际编码。
从Python 3.7开始， 将环境变量PYTHONUTF8设置为1
下面的脚本还包括其他有用的变量，用于设置系统环境变量。
setx /m PYTHONUTF8 1
setx PATHEXT "%PATHEXT%;.PY" ; In CMD, Python file can be executed without extesnion.
setx /m PY_PYTHON 3.10 ; To set default python version for py
源
