我们以前已经为我们的需求创建了不少爬虫。最后，通常是简单的正则表达式做得最好。虽然上面列出的库对于创建它们的原因来说是很好的，但如果您知道自己在寻找什么，正则表达式是一种更安全的方法，因为您还可以处理无效的HTML/XTML结构，如果通过大多数解析器加载，则会失败。

Symfony框架具有可以解析HTML的捆绑包，您可以使用CSS样式来选择DOM，而不是使用XPath。

您可以尝试使用类似HTMLTidy的东西来清理任何“损坏”的HTML，并将HTML转换为XHTML，然后可以使用XML解析器解析。

我推荐PHP简单HTML DOM解析器。

它确实有很好的功能，比如：

foreach($html->find('img') as $element)
       echo $element->src . '<br>';

我在这里没有提到的一种通用方法是通过Tidy运行HTML，它可以设置为输出保证有效的XHTML。然后可以在上面使用任何旧的XML库。

但对于您的具体问题，您应该看看这个项目：http://fivefilters.org/content-only/--这是Readability算法的一个修改版本，它旨在从页面中提取文本内容（而不是页眉和页脚）。

QueryPath很好，但要小心“跟踪状态”，因为如果你没有意识到它的含义，这可能意味着你浪费了大量调试时间，试图找出发生了什么以及代码为什么不工作。

这意味着对结果集的每一次调用都会修改对象中的结果集，这与jquery中的每个链接都是一个新的集一样是不可链接的，您有一个单独的集，它是查询的结果，而每个函数调用都会更改该单独的集。

为了获得类似jquery的行为，您需要在执行类似过滤器/修改的操作之前进行分支，这意味着它将更紧密地反映jquery中发生的情况。

$results = qp("div p");
$forename = $results->find("input[name='forename']");

$results现在包含输入的结果集[name='rename']而不是原始查询“div p”。这让我很困惑，我发现QueryPath跟踪过滤器和查找结果，以及修改结果并将其存储在对象中的所有内容。你需要这样做

$forename = $results->branch()->find("input[name='forname']")

那么$results将不会被修改，您可以一次又一次地重用结果集，也许有更多知识的人可以稍微澄清一下，但从我的发现来看，基本上是这样的。