我的第一个想法是，你说机器人正在抓取你的网页，这意味着他们只抓取HTML内容。因此，让您的订单屏幕验证(从http-logs)，报价相关的图形是从bot加载的

限定。将页面浏览量限制在每秒1次不会打扰人类用户。 通过JavaScript链接。简单的机器人不喜欢这个。 至于可用性，统计数据显示，不到1%的用户不使用JS。 2 a。以上的硬核版本。Flash中的链接。 参数存储在会话，而不是在查询字符串。大多数机器人是无状态的。

我将要描述的方法有两个要求。1) Javascript被强制执行2)一个具有有效http://msdn.microsoft.com/en-us/library/bb894287.aspx浏览器会话的web浏览器。

如果没有其中任何一个，你就是“故意”倒霉的。互联网被设计成允许匿名客户查看内容。简单的HTML没有办法解决这个问题。哦，我只是想说，简单的，基于图像的验证码很容易被击败，甚至作者也承认这一点。

Moving along to the problem and the solution. The problem is in two parts. The first is that you cannot block out an individual for "doing bad things". To fix this you setup a method that takes in the browsers valid session and generate a md5sum + salt + hash (of your own private device) and send it back to the browser. The browser then is REQUIRED to return that hashed key back during every post / get. If you do not ever get a valid browser session, then you reply back with "Please use a valid web browser blah blah blah". All popular browsers have valid browser session id's.

现在我们至少有了该浏览器会话的标识(我知道它不会永久锁定，但是通过简单的脚本很难“更新”一个浏览器会话)，我们可以有效地锁定一个会话(例如;让脚本编写人员很难访问你的网站，而不会对有效用户造成任何惩罚)。

Now this next part is why it requires javascript. On the client you build a simple hash for each character that comes from the keyboard versus the value of the text in the textarea. That valid key comes over to the server as a simple hash and has to be validated. While this method could easily be reverse engineered, it does make it one extra hoop that individuals have to go through before they can submit data. Mind you this only prevents auto posting of data, not DOS with constant visits to the web site. If you even have access to ajax there is a way to send a salt and hash key across the wire and use javascript with it to build the onkeypress characters "valid token" that gets sent across the wire. Yes like I said it could easily be reversed engineered, but you see where I am going with this hopefully.

现在为了防止不断的交通滥用。有几种方法可以在给定有效的会话id后建立模式。这些模式(即使使用Random来抵消请求时间)的epsilon比人类试图重现相同的误差范围时要低。由于您有一个会话ID，并且您有一个“看起来像一个bot”的模式，那么您可以用一个简单的轻量级响应屏蔽该会话，该响应是20字节而不是200000字节。

You see here, the goal is to 1) make the anonymous non-anonymous (even if it's only per session) and 2) develop a method to identify bots vs. normal people by establishing patterns in the way they use your system. You can't say that the latter is impossible, because I have done it before. While, my implementations were for tracking video game bots I would seem to think that those algorithms for identifying a bot vs. a user can be generalized to the form of web site visits. If you reduce the traffic that the bots consume you reduce the load on your system. Mind you this still does not prevent DOS attacks, but it does reduce the amount of strain a bot produces on the system.

问:你如何阻止脚本写手在一秒钟内上百次地攻击你的网站? A:你不需要。外部代理无法阻止这种行为。

你可以使用大量的技术来分析传入的请求，并尝试启发式地确定谁是人，谁不是人……但它会失败。最终，即使不是马上。

唯一可行的长期解决方案是改变游戏，使网站不再对机器人友好，或者减少对编剧的吸引力。

你是怎么做到的?那是另一个问题了!: -)

...

好吧，上面已经给出了一些选项(并拒绝了)。我对你的网站不是很熟悉，只看过一次，但由于人们可以阅读图像中的文本，而机器人无法轻松做到这一点，所以将公告更改为图像。不是验证码，只是一个图像-

generate the image (cached of course) when the page is requested keep the image source name the same, so that doesn't give the game away most of the time the image will have ordinary text in it, and be aligned to appear to be part of the inline HTML page when the game is 'on', the image changes to the announcement text the announcement text reveals a url and/or code that must be manually entered to acquire the prize. CAPTCHA the code if you like, but that's probably not necessary. for additional security, the code can be a one-time token generated specifically for the request/IP/agent, so that repeated requests generate different codes. Or you can pre-generate a bunch of random codes (a one-time pad) if on-demand generation is too taxing.

运行真实的人对这个问题的响应的时间试验，并忽略('哎呀，发生错误，对不起!请再试一次’)的反应比一半的时间要快。此事件还应该触发警报，提醒开发者至少有一个机器人已经弄清楚了代码/游戏，所以是时候修改代码/游戏了。

继续定期地改变游戏，即使没有机器人触发它，这只是在浪费编剧的时间。最终，编剧会厌倦这款游戏，去别的地方……我们希望;-)

最后一个建议:当你的主页收到请求时，把它放到一个队列中，然后在一个单独的进程中按顺序响应请求(你可能不得不入侵/扩展web服务器来做到这一点，但这可能是值得的)。如果来自同一IP/代理的另一个请求进入，而第一个请求在队列中，忽略它。这将自动减轻机器人的负载。

编辑:另一种选择，除了使用图像，是使用javascript来填写购买/不购买的文本;机器人很少解释javascript，所以他们不会看到它

看看ned Batchelder的这篇文章。他的文章是关于阻止垃圾邮件机器人的，但是同样的技术可以很容易地应用到您的站点。

而不是阻止机器人 人们可以识别自己，我们可以 通过增加难度来阻止机器人 为了让他们的帖子成功，或者 通过让他们无意中识别 他们自己就是机器人。这将删除 负担从人而来，而离去 评论形式免费可见的反垃圾邮件 措施。 这个技巧就是我预防的方法 这个网站上的垃圾邮件。它的工作原理。的 这里描述的方法不查看 根本就是内容。

其他一些想法:

创建一个官方的自动通知机制(RSS feed?Twitter?)当你的产品上市时，人们可以订阅它。这减少了人们编写脚本的需求。 在新商品上市前改变你的迷惑技巧。因此，即使编剧可以升级军备竞赛，他们也总是落后一天。

编辑:为了完全清楚，Ned在上面的文章中描述了通过防止BOT通过表单提交订单来防止自动购买物品的方法。他的技术并不能阻止机器人通过抓取主页来判断什么时候有Bandoleer of carrot出售。我不确定防止这种情况是否真的可能。

关于你对内德策略有效性的评论:是的，他讨论了蜜罐，但我不认为那是他最强的策略。他对SPINNER的讨论是我提到他的文章的最初原因。对不起，我在最初的帖子中没有说清楚:

转轮是一个隐藏字段，用于 一些东西:它将A哈希在一起 防止的值的数目 篡改和重播，并已习惯 模糊的字段名。旋转器是 MD5哈希值: 时间戳, 客户端的IP地址， 被评论的博客条目的条目id，以及 一个秘密。

以下是你如何在WOOT.com上实现它:

每次有新商品出售时，更改作为散列一部分的“secret”值。这意味着，如果有人打算设计一个BOT来自动购买物品，它只会在下一个物品开始销售之前起作用!!

即使有人能够快速重建他们的机器人，所有其他实际用户都已经购买了BOC，你的问题就解决了!

他讨论的另一个策略是不时地改变蜜罐技巧(同样，当新产品上市时改变它):

Use CSS classes (randomized of course) to set the fields or a containing element to display:none. Color the fields the same (or very similar to) the background of the page. Use positioning to move a field off of the visible area of the page. Make an element too small to show the contained honeypot field. Leave the fields visible, but use positioning to cover them with an obscuring element. Use Javascript to effect any of these changes, requiring a bot to have a full Javascript engine. Leave the honeypots displayed like the other fields, but tell people not to enter anything into them.

我想我的总体想法是在每个新产品上市时改变形式设计。或者至少，当一款新的中行上市时，它会有所改变。

一个月几次吗?

I think that sandboxing certain IPs is worth looking into. Once an IP has gone over a threshold, when they hit your site, redirect them to a webserver that has a multi-second delay before serving out a file. I've written Linux servers that can handle open 50K connections with hardly any CPU, so it wouldn't be too hard to slow down a very large number of bots. All the server would need to do is hold the connection open for N seconds before acting as a proxy to your regular site. This would still let regular users use the site even if they were really aggressive, just at a slightly degraded experience.

您可以使用这里描述的memcached，以较低的成本跟踪每个IP的命中数。