from mechanize import Browser
br = Browser()
br.open('http://somewebpage')
html = br.response().readlines()
for line in html:
print line
当在HTML文件中打印一行时，我试图找到一种方法，只显示每个HTML元素的内容，而不是格式本身。如果它发现'<a href="等等。例如">some text</a>'，它只会打印'some text'， '<b>hello</b>'打印'hello'，等等。该怎么做呢?
当前回答
我需要一种方法来剥离标签和解码HTML实体为纯文本。下面的解决方案是基于Eloff的答案(我不能使用，因为它剥离实体)。
import html.parser
class HTMLTextExtractor(html.parser.HTMLParser):
def __init__(self):
super(HTMLTextExtractor, self).__init__()
self.result = [ ]
def handle_data(self, d):
self.result.append(d)
def get_text(self):
return ''.join(self.result)
def html_to_text(html):
"""Converts HTML to plain text (stripping tags and converting entities).
>>> html_to_text('<a href="#">Demo<!--...--> <em>(¬ \u0394ημώ)</em></a>')
'Demo (\xac \u0394\u03b7\u03bc\u03ce)'
"Plain text" doesn't mean result can safely be used as-is in HTML.
>>> html_to_text('<script>alert("Hello");</script>')
'<script>alert("Hello");</script>'
Always use html.escape to sanitize text before using in an HTML context!
HTMLParser will do its best to make sense of invalid HTML.
>>> html_to_text('x < y < z <!--b')
'x < y < z '
Named entities are handled as per HTML 5.
>>> html_to_text('&nosuchentity; ' ')
"&nosuchentity; ' "
"""
s = HTMLTextExtractor()
s.feed(html)
return s.get_text()
快速测试:
html = '<a href="#">Demo <em>(¬ \u0394ημώ)</em></a>'
print(repr(html_to_text(html)))
结果:
'Demo (¬ Δημώ)'
安全提示:不要混淆HTML剥离(将HTML转换为纯文本)和HTML消毒(将纯文本转换为HTML)。这个答案将删除HTML并将实体解码为纯文本——这并不能使结果在HTML上下文中安全使用。
例子:& lt; script>警报(“Hello”);& lt; / script>将转换为<script>alert("Hello");</script>，这是100%正确的行为，但如果结果纯文本按原样插入到HTML页面中，显然是不够的。
这个规则并不难:任何时候你插入一个纯文本字符串到HTML输出，总是HTML转义它(使用HTML .escape(s))，即使你“知道”它不包含HTML(例如，因为你剥离了HTML内容)。
但是，OP询问是否将结果打印到控制台，在这种情况下不需要HTML转义。相反，你可能想要剥离ASCII控制字符，因为它们会触发不需要的行为(特别是在Unix系统上):
import re
text = html_to_text(untrusted_html_input)
clean_text = re.sub(r'[\0-\x1f\x7f]+', '', text)
# Alternatively, if you want to allow newlines:
# clean_text = re.sub(r'[\0-\x09\x0b-\x1f\x7f]+', '', text)
print(clean_text)
其他回答
import re
def remove(text):
clean = re.compile('<.*?>')
return re.sub(clean, '', text)
你可以使用BeautifulSoup get_text()特性。
from bs4 import BeautifulSoup
html_str = '''
<td><a href="http://www.fakewebsite.example">Please can you strip me?</a>
<br/><a href="http://www.fakewebsite.example">I am waiting....</a>
</td>
'''
soup = BeautifulSoup(html_str)
print(soup.get_text())
#or via attribute of Soup Object: print(soup.text)
建议显式地指定解析器，例如BeautifulSoup(html_str, features="html.parser")，以便输出可重现。
我就是这么做的，但我不知道我在做什么。我通过剥离HTML标记从HTML表中获取数据。
它接受字符串“name”并返回不带HTML标记的字符串“name1”。
x = 0
anglebrackets = 0
name1 = ""
while x < len(name):
if name[x] == "<":
anglebrackets = anglebrackets + 1
if name[x] == ">":
anglebrackets = anglebrackets - 1
if anglebrackets == 0:
if name[x] != ">":
name1 = name1 + name[x]
x = x + 1
短版!
import re, html
tag_re = re.compile(r'(<!--.*?-->|<[^>]*>)')
# Remove well-formed tags, fixing mistakes by legitimate users
no_tags = tag_re.sub('', user_input)
# Clean up anything else by escaping
ready_for_web = html.escape(no_tags)
Regex来源:MarkupSafe。他们的版本也处理HTML实体，而这个快速的版本不能。
为什么我不能把标签撕掉，然后留下?
这是一件事，让人们远离<i>斜体</i>的东西，而不留下浮动。但任意输入并使其完全无害是另一回事。本页上的大多数技术都将保留未关闭的注释(<!——)和不是标签一部分的尖括号(blah <<<><blah)。HTMLParser版本甚至可以保留完整的标记，如果它们在未关闭的注释中。
如果你的模板是{{firstname}} {{lastname}}呢?Firstname = '<a' and lastname = 'href="http://evil。example/">'将被该页上的每个标签剥离器通过(除了@Medeiros!)，因为它们本身不是完整的标签。除去普通的HTML标记是不够的。
Django的strip_tags是这个问题顶部答案的改进版本(见下一个标题)，给出了以下警告:
绝对不能保证得到的字符串是HTML安全的。因此，永远不要在没有转义的情况下将strip_tags调用的结果标记为安全，例如使用escape()。
听从他们的建议!
要用HTMLParser去除标签，你必须运行它多次。
绕过这个问题最上面的答案很容易。
看看这个字符串(来源和讨论):
<img<!-- --> src=x onerror=alert(1);//><!-- -->
HTMLParser第一次看到它时，它不能告诉<img…>是一个标签。它看起来坏了，所以HTMLParser不会去掉它。它只去掉<!——评论——>，留给你
<img src=x onerror=alert(1);//>
这个问题是在2014年3月向Django项目披露的。他们的旧strip_tags本质上与这个问题的顶部答案相同。他们的新版本基本上是在循环中运行它，直到再次运行它不会改变字符串:
# _strip_once runs HTMLParser once, pulling out just the text of all the nodes.
def strip_tags(value):
"""Returns the given HTML with all tags stripped."""
# Note: in typical case this loop executes _strip_once once. Loop condition
# is redundant, but helps to reduce number of executions of _strip_once.
while '<' in value and '>' in value:
new_value = _strip_once(value)
if len(new_value) >= len(value):
# _strip_once was not able to detect more tags
break
value = new_value
return value
当然，如果总是转义strip_tags()的结果，这些都不是问题。
2015年3月19日更新:在1.4.20、1.6.11、1.7.7和1.8c1之前的Django版本中有一个错误。这些版本可以在strip_tags()函数中进入一个无限循环。固定版本见上文。详情请点击这里。
好的东西可以复制或使用
我的示例代码不处理HTML实体——Django和MarkupSafe的打包版本可以。
我的示例代码摘自用于防止跨站点脚本编写的优秀MarkupSafe库。它既方便又快速(C会加速到原生Python版本)。它包含在谷歌应用程序引擎中，并被Jinja2(2.7及以上)，Mako, Pylons等使用。它可以很容易地与Django 1.7的模板一起工作。
Django最新版本的strip_tags和其他HTML实用程序都不错，但我发现它们不如MarkupSafe方便。它们非常独立，你可以从这个文件中复制你需要的东西。
如果你需要去除几乎所有的标签，Bleach库是很好的选择。你可以让它强制执行这样的规则:“我的用户可以用斜体，但他们不能创建iframe。”
了解标签剥离器的属性!对它进行绒毛测试!这是我用来研究这个答案的代码。
这个问题本身是关于打印到控制台的，但这是“python从字符串中剥离HTML”的排名第一的谷歌结果，所以这就是为什么这个答案99%是关于web的。
如果您需要剥离HTML标记来进行文本处理，那么一个简单的正则表达式就可以了。如果您希望清除用户生成的HTML以防止XSS攻击，请不要使用此方法。删除所有<script>标签或跟踪<img>s不是一个安全的方法。下面的正则表达式将相当可靠地剥离大多数HTML标记:
import re
re.sub('<[^<]+?>', '', text)
对于那些不理解regex的人来说，这将搜索字符串<…>，其中内部内容由一个或多个不是<的(+)字符组成。的吗?意味着它将匹配它能找到的最小字符串。例如，给定<p>Hello</p>，它将分别用?匹配<'p>和</p>。没有它，它将匹配整个字符串<..Hello..>。
如果非标签<出现在html(例如。2 < 3)，它应该被写成转义序列&…总之，^<可能是不必要的。
