我想使用Python从HTML文件中提取文本。我想从本质上得到相同的输出，如果我从浏览器复制文本，并将其粘贴到记事本。
我想要一些更健壮的东西，而不是使用正则表达式，正则表达式可能会在格式不佳的HTML上失败。我见过很多人推荐Beautiful Soup，但我在使用它时遇到了一些问题。首先，它会抓取不需要的文本，比如JavaScript源代码。此外，它也不解释HTML实体。例如，我会期望'在HTML源代码中转换为文本中的撇号，就像我将浏览器内容粘贴到记事本一样。
更新html2text看起来很有希望。它正确地处理HTML实体，而忽略JavaScript。然而，它并不完全生成纯文本;它产生的降价，然后必须转换成纯文本。它没有示例或文档，但代码看起来很干净。
相关问题:
在python中过滤HTML标签并解析实体 在Python中将XML/HTML实体转换为Unicode字符串
当前回答
另一个非python解决方案:Libre Office:
soffice --headless --invisible --convert-to txt input1.html
我更喜欢这种方法的原因是，每个HTML段落都转换为单个文本行(没有换行符)，这正是我所寻找的。其他方法需要后处理。Lynx的输出确实不错，但并不是我想要的。此外，Libre Office可以用来从各种格式转换…
其他回答
你也可以在stripogram库中使用html2text方法。
from stripogram import html2text
text = html2text(your_html_string)
需要安装stripogram，请执行sudo easy_install stripogram命令
PyParsing做得很好。PyParsing wiki被杀死了，所以这里有另一个位置，这里有使用PyParsing的示例(示例链接)。花点时间在pyparsing上的一个原因是，他还写了一本非常简短、组织良好的O'Reilly捷径手册，而且价格便宜。
话虽如此，我经常使用BeautifulSoup，处理实体问题并不难，你可以在运行BeautifulSoup之前转换它们。
古德勒克
html2text是一个Python程序，它在这方面做得很好。
另一个非python解决方案:Libre Office:
soffice --headless --invisible --convert-to txt input1.html
我更喜欢这种方法的原因是，每个HTML段落都转换为单个文本行(没有换行符)，这正是我所寻找的。其他方法需要后处理。Lynx的输出确实不错，但并不是我想要的。此外，Libre Office可以用来从各种格式转换…
我知道这里已经有很多答案了，但我认为newspaper3k也值得一提。我最近需要完成一个类似的任务，即从网络上的文章中提取文本，到目前为止，这个库在我的测试中完成了出色的工作。它忽略菜单项和边栏中的文本，以及OP请求时出现在页面上的任何JavaScript。
from newspaper import Article
article = Article(url)
article.download()
article.parse()
article.text
如果你已经下载了HTML文件，你可以这样做:
article = Article('')
article.set_html(html)
article.parse()
article.text
它甚至有一些NLP功能来总结文章的主题:
article.nlp()
article.summary
