谷歌Web搜索API已弃用,由自定义搜索API取代(参见http://code.google.com/apis/websearch/)。
我想搜索整个网络,但看起来有了新的API,只有自定义网站可以搜索。
有没有一种方法可以通过编程的方式搜索整个网络?我可以从Java程序中使用JSON查询旧的API。
谷歌Web搜索API已弃用,由自定义搜索API取代(参见http://code.google.com/apis/websearch/)。
我想搜索整个网络,但看起来有了新的API,只有自定义网站可以搜索。
有没有一种方法可以通过编程的方式搜索整个网络?我可以从Java程序中使用JSON查询旧的API。
当前回答
你可以像浏览器一样发送它们,然后解析html,这是我一直在做的,即使是像Youtube这样的网站。
其他回答
在自定义搜索控制面板的底部有一个选项:“要搜索的网站”,你可以选择“搜索整个网络,但强调包含的网站”
我刚从《普通爬行》上看到这个。
http://www.commoncrawl.org/
也许这就是我们都在寻找的答案!!
你可以像浏览器一样发送它们,然后解析html,这是我一直在做的,即使是像Youtube这样的网站。
Gigablast提供了一个廉价的网络搜索API: http://www.gigablast.com/searchfeed.html
有一个叫做JFreeWebSearch的免费Java API,它使用了前面提到的Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch