我想使用Python从HTML文件中提取文本。我想从本质上得到相同的输出，如果我从浏览器复制文本，并将其粘贴到记事本。
我想要一些更健壮的东西，而不是使用正则表达式，正则表达式可能会在格式不佳的HTML上失败。我见过很多人推荐Beautiful Soup，但我在使用它时遇到了一些问题。首先，它会抓取不需要的文本，比如JavaScript源代码。此外，它也不解释HTML实体。例如，我会期望'在HTML源代码中转换为文本中的撇号，就像我将浏览器内容粘贴到记事本一样。
更新html2text看起来很有希望。它正确地处理HTML实体，而忽略JavaScript。然而，它并不完全生成纯文本;它产生的降价，然后必须转换成纯文本。它没有示例或文档，但代码看起来很干净。
相关问题:
在python中过滤HTML标签并解析实体 在Python中将XML/HTML实体转换为Unicode字符串
当前回答
虽然很多人提到使用regex来剥离html标记，但它有很多缺点。
例如:
<p>hello world</p>I love you
应该解析为:
Hello world
I love you
这是我想到的一个片段，你可以根据你的特定需求定制它，它就像一个魅力
import re
import html
def html2text(htm):
ret = html.unescape(htm)
ret = ret.translate({
8209: ord('-'),
8220: ord('"'),
8221: ord('"'),
160: ord(' '),
})
ret = re.sub(r"\s", " ", ret, flags = re.MULTILINE)
ret = re.sub("<br>|<br />|</p>|</div>|</h\d>", "\n", ret, flags = re.IGNORECASE)
ret = re.sub('<.*?>', ' ', ret, flags=re.DOTALL)
ret = re.sub(r" +", " ", ret)
return ret
其他回答
html2text是一个Python程序，它在这方面做得很好。
虽然很多人提到使用regex来剥离html标记，但它有很多缺点。
例如:
<p>hello world</p>I love you
应该解析为:
Hello world
I love you
这是我想到的一个片段，你可以根据你的特定需求定制它，它就像一个魅力
import re
import html
def html2text(htm):
ret = html.unescape(htm)
ret = ret.translate({
8209: ord('-'),
8220: ord('"'),
8221: ord('"'),
160: ord(' '),
})
ret = re.sub(r"\s", " ", ret, flags = re.MULTILINE)
ret = re.sub("<br>|<br />|</p>|</div>|</h\d>", "\n", ret, flags = re.IGNORECASE)
ret = re.sub('<.*?>', ' ', ret, flags=re.DOTALL)
ret = re.sub(r" +", " ", ret)
return ret
你也可以在stripogram库中使用html2text方法。
from stripogram import html2text
text = html2text(your_html_string)
需要安装stripogram，请执行sudo easy_install stripogram命令
用一种简单的方式
import re
html_text = open('html_file.html').read()
text_filtered = re.sub(r'<(.*?)>', '', html_text)
这段代码找到了html_text中以'<'开头，以'>'结尾的所有部分，并将所有找到的部分替换为空字符串
对我来说最好的工作是铭文。
https://github.com/weblyzard/inscriptis
import urllib.request
from inscriptis import get_text
url = "http://www.informationscience.ch"
html = urllib.request.urlopen(url).read().decode('utf-8')
text = get_text(html)
print(text)
结果真的很好
