你不能停止正常的屏幕抓取。不管是好是坏，这就是网络的本质。

你可以让任何人都不能访问某些东西(包括音乐文件)，除非他们以注册用户的身份登录。在Apache中做到这一点并不难。我想在IIS中也不会太难。

我已经做了很多网络抓取，并在我的博客上总结了一些技巧来阻止网络抓取，基于我觉得讨厌的东西。

这是你的用户和刮刀者之间的权衡。如果你限制IP，使用验证码，要求登录，等等，你会给刮刀器带来困难。但这也可能会赶走真正的用户。

如果你想看一个很好的例子，请访问http://www.bkstr.com/。他们使用j/s算法来设置cookie，然后重新加载页面，以便它可以使用cookie来验证请求是否正在浏览器中运行。一个为抓取而构建的桌面应用程序绝对可以做到这一点，但它会阻止大多数cURL类型的抓取。

对不起，这真的很难做到……

我建议你礼貌地要求他们不要使用你的内容(如果你的内容是受版权保护的)。

如果是这样，他们不把它撤下来，那么你可以采取进一步的行动，给他们发一封停止通知信。

一般来说，无论你做什么来防止抓取可能最终会产生更负面的影响，例如可访问性，机器人/蜘蛛等。

与其将机器人列入黑名单，不如将它们列入白名单。如果你不想让你的搜索结果失去前几个引擎，你可以把他们的用户代理字符串列入白名单，这通常是广为人知的。不那么道德的机器人倾向于伪造流行网络浏览器的用户代理字符串。排名靠前的几个搜索引擎应该会为你带来95%以上的流量。

识别机器人本身应该是相当简单的，使用其他帖子建议的技术。

不幸的是，您最好的选择是手动的:寻找您认为指示抓取和禁止其IP地址的流量模式。

既然你谈论的是一个公共网站，那么让网站对搜索引擎友好也会让网站对抓取友好。如果一个搜索引擎可以抓取和刮除你的网站，那么恶意刮除者也可以。这是一条微妙的界线。