我修复了以下变化

之前更改

soup = BeautifulSoup(r.content, 'html5lib' )
print (soup.prettify())

后改变

soup = BeautifulSoup(r.content, features='html')
print(soup.prettify())

我的代码正常工作

我的解决方案是从conda中删除lxml，然后用pip重新安装它。

我使用的是Python 3.6，在这篇文章中我有同样的原始错误。在我运行命令后:

python3 -m pip install lxml

它解决了我的问题

BS4默认情况下需要HTML文档。因此，它将XML文档解析为HTML文档。在构造函数中传递features="xml"作为参数。它解决了我的问题。

我更喜欢内置的python html解析器，没有安装没有依赖

soup = BeautifulSoup（s， “html.parser”）

运行这三个命令来确保你已经安装了所有相关的软件包:

pip install bs4
pip install html5lib
pip install lxml

然后，如果需要，重新启动您的Python IDE。

这样就可以解决所有与这个问题有关的问题了。