已经发布了一些其他/更好的解决方案，但为了完整起见，我想我会提到这个:

If your main concern is performance degradation, and you're looking at true hammering, then you're actually dealing with a DoS attack, and you should probably try to handle it accordingly. One common approach is to simply drop packets from an IP in the firewall after a number of connections per second/minute/etc. For example, the standard Linux firewall, iptables, has a standard operation matching function 'hashlimit', which could be used to correlate connection requests per time unit to an IP-address.

虽然，这个问题可能更适合于上一个so播客中提到的下一个so衍生产品，它还没有推出，所以我想可以回答:)

编辑: 正如novatrust指出的那样，仍然有ISP实际上没有分配ip给他们的客户，因此有效地，这样一个ISP的脚本客户将禁用该ISP的所有客户。

你这条路走得太艰难了。我可能会踢自己，因为我刚刚赢得了一个BOC从网站今天与机器人网站，但只是把随机废话文本验证码在网站主页上。机器人都在寻找文本“随机垃圾”。所以你基本上一开始就避免触发它们。任何用眼睛看的人都会发现上面写着“随机的废话”。

我建议使用基于防火墙的解决方案。Netfilter/iptables与大多数防火墙一样，允许您设置单位时间内新页面请求的最大数量。

例如，为了限制分配给人类的页面视图的数量——比如说，每30秒6次请求——你可以发布以下规则:

iptables -N BADGUY
iptables -t filter -I BADGUY -m recent --set --name badguys

iptables -A INPUT -p tcp --dport http -m state --state NEW -m recent --name http --set
iptables -A INPUT -p tcp --dport http -m state --state NEW -m recent --name http --rcheck --seconds 30 --hitcount 6 -j BADGUY
iptables -A INPUT -p tcp --dport http -m state --state NEW -m recent --name http --rcheck --seconds  3 --hitcount 2 -j DROP

请注意，此限制将独立应用于每个访问者，因此一个用户滥用网站不会影响其他访问者。

希望这能有所帮助!

开发一个首页组件和购物车，它们不能在浏览器中本机运行。如果你使用Flex/Flash或Silverlight之类的东西，就很难抓取，而且你可以完全控制服务器通信，因此可以完全屏蔽脚本编写者的内容。

首先，不要试图用技术来打败技术。

你的问题:

网站的可用性 列出使网站令人兴奋和有趣的内容 由脚本导致的服务器负载。

你的目标:

保持网站运行的速度不被机器人减慢。 将道具卖给非脚本人。 不要让“正常”用户完成任何任务来证明他们是人类。

目标#1:保持网站运行的速度不被机器人减慢。

这其实很简单。让其他人托管页面。首页不是托管在服务器上，而是由Amazon S3 / Akamai托管页面。无论如何，页面的大部分都是“静态的”。每5分钟左右重新生成页面，以刷新更动态的项目。(如果你想的话，可以每1分钟重新生成一次)。但是现在这些机器人攻击的不是你的服务器，而是Akamai的CDN，它当然可以承担负载。

当然，RSS订阅也可以这样做。没有理由其他服务不能为你承担带宽/负载的冲击。在相关的说明中，所有的图像都由Akamai等提供。为什么要承担这个责任?

目标#2:将道具卖给非脚本人员

我同意其他人的意见，让脚本没有真正的优势。然而，编写脚本也是一个热情的客户的标志，所以你也不想成为一个*洞。

所以我会说，让他们购买，但让他们支付一个膨胀的金额(或者更好)，只是放慢他们的速度，这样其他人就有机会了。

所以每当用户访问网站时，就会以29.99美元的价格提供这袋垃圾，并有一个计时器以随机速度降低或提高价格。有一个图像或其他指标，告诉人们如果他们有耐心，价格是否会下降。

用户有一个“立即购买”按钮，当他们看到价格/#商品是他们想要的时，他们就会点击这个按钮。

例子:

用户:

0秒$29.99(1件)图像 说:“等待一个更低的价格!” 7秒$31.99(1件)图像 说:“等待一个更低的价格!” 13秒$27.99(1项)图像 说:“我打赌你能做得更好!” 16秒1.99美元(0件物品 你会傻到付钱给我们吗 没有什么!” 21秒$4.99(两件物品 说:“越来越好了!” 24秒$4.99 (tres itemos 他说:“没有比这更好的了 箭!” 26秒$8.99(2项)图像 说:“我打赌你能做得更好!”

重复……

在一个逐渐收紧的周期中，正确的“$4.99 (tres itemos)”会显示出来

如果机器人点击刷新，循环就会重新开始。如果用户错过并选择了错误的道具/价格，你便需要决定是否让他们以该价格购买游戏。

例如，如果他们“过度消费”，他们为3件物品支付24.99美元，woot只会向他们收取4.99美元，然后在下次woot购买时提供20美元的优惠券。

目标#3:不要让“普通”用户完成任何任务来证明他们是人类。

你在这里犯了一个逻辑谬误。你假设任何图灵测试(http://en.wikipedia.org/wiki/Turing_test)都是恼人的。这不是真的!

以下是一些建议:

Create a game. The reward for playing the game is a $5 off coupon on the next order. Pair up 2 random users and have them chat with each other. Each user is told to answer 2 questions to the other user : "Ask what color is the your hair ?" and "What are you going to do next weekend?" Some users get paired with a woot random sentence generator. Each user is then asked if the other user is a human. If a user says the woot random sentence generator is human then reply "No I am not and may be you are from Mars as well. Do you want to try again?" Simple flash game that requires the user to maneuver through an obstacle course to get a discount coupon. Ask what city they are in. The reverse geo-code the ip address to see if they are close to being correct. Ask silly questions - "Do you think John McCain is a great president?" "Whose picture is on your driver's license?"

只问三次，因为你真正想做的是放慢脚本节奏。

使用JavaScript动态地将信息写入页面。如果没有JS渲染引擎，屏幕抓取器和机器人肯定无法读取信息。