我刚从《普通爬行》上看到这个。

http://www.commoncrawl.org/

也许这就是我们都在寻找的答案!!

你可以像浏览器一样发送它们，然后解析html，这是我一直在做的，即使是像Youtube这样的网站。

在文档上面有个备注

注:谷歌Web搜索API有 已正式弃用 2010年11月1日。它将继续 按照我们的弃用政策工作 但是请求的数量 每天制作的数量是有限的。 因此，我们鼓励您搬到 新的自定义搜索API。

弃用策略说他们将继续运行API 3年。因此，如果您已经有了一个使用旧API的应用程序，您还不必急于进行更改。如果您正在编写一个新的应用程序，请使用自定义搜索API。关于如何在Python中做到这一点，请参阅我的回答，但任何语言的想法都是一样的。

我刚从《普通爬行》上看到这个。

http://www.commoncrawl.org/

也许这就是我们都在寻找的答案!!

您可以从谷歌自定义搜索主页(http://www.google.com/cse/)创建“无处不在”自定义搜索引擎。 在添加新引擎时，您只需单击“高级”。在这里您可以提供Schema.org站点类型。“Thing”是最通用的类型，它涵盖了整个网络。

在自定义搜索控制面板的底部有一个选项:“要搜索的网站”，你可以选择“搜索整个网络，但强调包含的网站”