谷歌Web搜索API已弃用,由自定义搜索API取代(参见http://code.google.com/apis/websearch/)。

我想搜索整个网络,但看起来有了新的API,只有自定义网站可以搜索。

有没有一种方法可以通过编程的方式搜索整个网络?我可以从Java程序中使用JSON查询旧的API。


当前回答

你可以像浏览器一样发送它们,然后解析html,这是我一直在做的,即使是像Youtube这样的网站。

其他回答

在自定义搜索控制面板的底部有一个选项:“要搜索的网站”,你可以选择“搜索整个网络,但强调包含的网站”

我刚从《普通爬行》上看到这个。

http://www.commoncrawl.org/

也许这就是我们都在寻找的答案!!

你可以像浏览器一样发送它们,然后解析html,这是我一直在做的,即使是像Youtube这样的网站。

Gigablast提供了一个廉价的网络搜索API: http://www.gigablast.com/searchfeed.html

有一个叫做JFreeWebSearch的免费Java API,它使用了前面提到的Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch