你可以做一些事情来防止屏幕抓取。有些不是很有效，而另一些(验证码)是，但阻碍可用性。你必须记住，它也可能阻碍合法的网站刮刀，如搜索引擎索引。

然而，我认为如果你不希望它被删除，这意味着你也不希望搜索引擎索引它。

这里有一些你可以尝试的方法:

Show the text in an image. This is quite reliable, and is less of a pain on the user than a CAPTCHA, but means they won't be able to cut and paste and it won't scale prettily or be accessible. Use a CAPTCHA and require it to be completed before returning the page. This is a reliable method, but also the biggest pain to impose on a user. Require the user to sign up for an account before viewing the pages, and confirm their email address. This will be pretty effective, but not totally - a screen-scraper might set up an account and might cleverly program their script to log in for them. If the client's user-agent string is empty, block access. A site-scraping script will often be lazily programmed and won't set a user-agent string, whereas all web browsers will. You can set up a black list of known screen scraper user-agent strings as you discover them. Again, this will only help the lazily-coded ones; a programmer who knows what he's doing can set a user-agent string to impersonate a web browser. Change the URL path often. When you change it, make sure the old one keeps working, but only for as long as one user is likely to have their browser open. Make it hard to predict what the new URL path will be. This will make it difficult for scripts to grab it if their URL is hard-coded. It'd be best to do this with some kind of script.

如果我必须这样做，我可能会结合使用后三种方法，因为它们最大限度地减少了对合法用户的不便。然而，你必须接受这样的事实:你不可能用这种方式屏蔽所有人，一旦有人想出了绕过它的方法，他们就可以永远地刮掉它。我猜你可以在发现他们的时候屏蔽他们的IP地址。

当然，这是可能的。为了100%的成功，让你的网站离线。

在现实中，你可以做一些事情，让抓取变得更加困难。谷歌进行浏览器检查，以确保您不是一个抓取搜索结果的机器人(尽管这和大多数其他事情一样，可以被欺骗)。

你可以做一些事情，比如在第一次连接到你的网站和随后的点击之间需要几秒钟。我不确定理想的时间是什么，也不知道具体怎么做，但这是另一个想法。

我相信还有其他一些人有更多的经验，但我希望这些想法至少有一定的帮助。

你真的没有什么办法可以完全防止这种情况。刮刮者可以伪造他们的用户代理，使用多个IP地址等，并以正常用户的身份出现。你唯一能做的就是让文本在页面加载时不可用——用图像、flash或JavaScript加载。然而，前两个都是糟糕的想法，如果JavaScript没有为一些常规用户启用，最后一个将是可访问性问题。

如果他们对你的网站进行了猛烈的攻击，并且浏览了你所有的页面，你可以做一些速率限制。

不过还是有希望的。刮刮器依赖于您的网站的数据是一致的格式。如果你能随机分配，它可能会打碎他们的刮刀。比如在每次加载时更改页面元素的ID或类名等。但这需要做很多工作，我不确定是否值得。即便如此，只要有足够的投入，他们可能就能解决这个问题。

我同意上面的大部分帖子，我想补充的是，你的网站对搜索引擎越友好，它就越容易被抓取。你可以尝试做一些让刮刀器更难的事情，但它也可能影响你的搜索能力……当然，这取决于你想让你的网站在搜索引擎上排名有多好。

好吧，正如所有帖子所说，如果你想让它对搜索引擎友好，那么机器人肯定会刮。

但你仍然可以做一些事情，它可能适用于60% - 70%的抓取机器人。

制作如下所示的检查器脚本。

如果一个特定的IP地址访问非常快，那么在几次访问(5-10次)后，将其IP地址+浏览器信息保存在文件或数据库中。

下一步

(这将是一个后台进程，并一直运行或在几分钟后调度。)制作另一个脚本，继续检查那些可疑的IP地址。

案例1。如果用户代理是一个已知的搜索引擎，如谷歌，Bing, Yahoo(你可以通过Google找到更多关于用户代理的信息)。那么你一定会看到http://www.iplists.com/。这个列表，并尝试匹配模式。如果它看起来像一个假的用户代理，那么要求在下次访问时填写验证码。(你需要多研究一下机器人的IP地址。我知道这是可以实现的，也尝试了IP地址的whois。这是有帮助的。)

例2。没有搜索机器人的用户代理:只需在下次访问时要求填写验证码。

从技术角度来看: 只需模拟谷歌在一次使用太多查询时的情况。这应该能让很多人停止。

从法律角度看: 听起来你发布的数据并不是私有的。这意味着你发布的名字、数据和其他信息是不受版权保护的。

如果是这种情况，刮刮器通过重新分发您的艺术家姓名等信息并没有侵犯版权。然而，当他们将你的网站加载到内存中时，他们可能侵犯了版权，因为你的网站包含了可版权的元素(如布局等)。

我建议你阅读Facebook诉Power.com的文章，看看Facebook如何阻止屏幕抓取。有很多合法的方法可以阻止别人窃取你的网站。他们可以影响深远，富有想象力。有时法院会相信这些论点。有时他们不会。

但是，假设你发布的是不受版权保护的公共领域信息，比如名字和基本数据……你应该以言论自由和开放数据的名义让它随风而逝。这就是网络的意义所在。