我想使用Python从HTML文件中提取文本。我想从本质上得到相同的输出，如果我从浏览器复制文本，并将其粘贴到记事本。
我想要一些更健壮的东西，而不是使用正则表达式，正则表达式可能会在格式不佳的HTML上失败。我见过很多人推荐Beautiful Soup，但我在使用它时遇到了一些问题。首先，它会抓取不需要的文本，比如JavaScript源代码。此外，它也不解释HTML实体。例如，我会期望'在HTML源代码中转换为文本中的撇号，就像我将浏览器内容粘贴到记事本一样。
更新html2text看起来很有希望。它正确地处理HTML实体，而忽略JavaScript。然而，它并不完全生成纯文本;它产生的降价，然后必须转换成纯文本。它没有示例或文档，但代码看起来很干净。
相关问题:
在python中过滤HTML标签并解析实体 在Python中将XML/HTML实体转换为Unicode字符串
当前回答
注意:NTLK不再支持clean_html函数
下面是原始答案，评论部分有备选答案。
使用NLTK
我浪费了4-5个小时来修复html2text的问题。幸运的是我遇到了NLTK。 它神奇地起作用。
import nltk
from urllib import urlopen
url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
html = urlopen(url).read()
raw = nltk.clean_html(html)
print(raw)
其他回答
另一个在Python 2.7.9+中使用BeautifulSoup4的例子
包括:
import urllib2
from bs4 import BeautifulSoup
代码:
def read_website_to_text(url):
page = urllib2.urlopen(url)
soup = BeautifulSoup(page, 'html.parser')
for script in soup(["script", "style"]):
script.extract()
text = soup.get_text()
lines = (line.strip() for line in text.splitlines())
chunks = (phrase.strip() for line in lines for phrase in line.split(" "))
text = '\n'.join(chunk for chunk in chunks if chunk)
return str(text.encode('utf-8'))
解释道:
将url数据读入为html(使用BeautifulSoup)，删除所有脚本和样式元素，并使用.get_text()仅获取文本。分割成行，删除每个标题的开头和结尾空格，然后将多个标题分割成一行，each chunks = (phrase.strip() for line in line for phrase in line。(" "))。然后使用text = '\n'。加入，删除空行，最后返回为批准的utf-8。
注:
一些系统这是运行在https://连接失败，因为SSL问题，你可以关闭验证来解决这个问题。修复示例:http://blog.pengyifan.com/how-to-fix-python-ssl-certificate_verify_failed/ Python < 2.7.9在运行时可能会遇到一些问题 text.encode('utf-8')可能会留下奇怪的编码，可能只需要返回str(text)即可。
我知道已经有很多答案了，但是我找到的最优雅、最python化的解决方案在这里进行了部分描述。
from bs4 import BeautifulSoup
text = ' '.join(BeautifulSoup(some_html_string, "html.parser").findAll(text=True))
更新
根据弗雷泽的评论，这里有一个更优雅的解决方案:
from bs4 import BeautifulSoup
clean_text = ' '.join(BeautifulSoup(some_html_string, "html.parser").stripped_strings)
对我来说最好的工作是铭文。
https://github.com/weblyzard/inscriptis
import urllib.request
from inscriptis import get_text
url = "http://www.informationscience.ch"
html = urllib.request.urlopen(url).read().decode('utf-8')
text = get_text(html)
print(text)
结果真的很好
LibreOffice writer注释有其优点，因为应用程序可以使用python宏。它似乎为回答这个问题和进一步扩展LibreOffice的宏观基础提供了多种好处。如果这个解决方案是一次性实现，而不是作为更大的生产程序的一部分使用，那么在writer中打开HTML并将页面保存为文本似乎可以解决这里讨论的问题。
html2text是一个Python程序，它在这方面做得很好。
