我们中的许多人都需要处理用户输入、搜索查询以及输入文本可能包含亵渎或不受欢迎的语言的情况。通常情况下，这需要过滤掉。
在哪里可以找到各种语言和方言的粗口?
源代码中是否有包含好的列表的api ?或者可能是一个API，用一些参数简单地说“是的，这是干净的”或“不，这是脏的”?
有什么好方法可以捕捉那些试图欺骗系统的人，比如$$、azz或a55?
如果您为PHP提供了解决方案，则会有加分。：）
编辑:回答简单地说，避免程序问题:
我认为，当用户可以使用公共图像搜索来查找添加到敏感社区池的图片时，这种过滤器是有一席之地的。如果他们可以搜索“阴茎”，那么他们可能会得到很多照片，是的。如果我们不想要照片，那么阻止这个词作为搜索词是一个很好的把关者，尽管不可否认这不是一个万无一失的方法。真正的问题是首先获得单词列表。
我指的是一种方法来判断单个令牌是否脏，然后简单地禁止它。我不会费心去阻止那种完全滑稽的“长脖子长颈鹿”的说法。你在那里什么也做不了。：）
当前回答
也是在游戏后期，但做了一些调查，偶然发现了这里。正如其他人所提到的，如果它是自动化的，这几乎是不可能的，但是如果你的设计/需求可以在某些情况下(但不是所有的时间)涉及人类交互来审查它是否亵渎神明，你可以考虑ML. https://learn.microsoft.com/en-us/azure/cognitive-services/content-moderator/text-moderation-api#profanity是我目前的选择，原因有很多:
支持多种本地化 他们不断更新数据库，所以我不必跟上最新的俚语或语言(维护问题) 当有很大的可能性(即90%或更多)时，你可以务实地否认它 你可以观察哪个类别会导致一个可能是或不是亵渎的标记，并可以让某人检查它，告诉它是否是亵渎的。
For my need, it was/is based on public-friendly commercial service (OK, videogames) which other users may/will see the username, but the design requires that it has to go through profanity filter to reject offensive username. The sad part about this is the classic "clbuttic" issue will most likely occur since usernames are usually single word (up to N characters) of sometimes multiple words concatenated... Again, Microsoft's cognitive service will not flag "Assist" as Text.HasProfanity=true but may flag one of the categories probability to be high.
当OP询问“a$$”时，这是我通过过滤器传递的结果:，正如你所看到的，它已经确定它不是亵渎的，但它有很高的概率是亵渎的，所以标记为审查(人类交互)的建议。
当概率高的时候，我可以返回“对不起，那个名字已经有人了”(即使没有)，这样对反审查的人来说就不那么冒犯了，如果我们不想整合人工审查，或者返回“您的用户名已经通知到直播运营部门，您可以等待您的用户名审核通过或选择其他用户名”。之类的……
顺便说一下，这个服务的成本/价格对于我的目的来说是相当低的(用户名多久会被更改一次?)，但是，对于OP来说，可能设计需要更密集的查询，并且可能不适合支付/订阅ml服务，或者不能进行人工审查/交互。这完全取决于设计……但如果设计确实符合要求，也许这可以成为OP的解决方案。
如果有兴趣，我可以在将来的评论中列出缺点。
其他回答
淫秽过滤器:坏主意，还是令人难以置信的坏主意?
此外，我们不能忘记Toontown的SpeedChat的不被人知的历史，在那里，即使使用“安全词白名单”，也会导致一个14岁的孩子迅速绕过它: “我想把我的长脖子长颈鹿插到你毛茸茸的白兔子身上。”
底线:最终，对于您实现的任何系统，绝对没有什么可以替代人工评审(无论是同行评审还是其他评审)。你可以随意使用一个基本的工具来消除这种恶意攻击，但对于那些顽固的恶意攻击者，你绝对必须使用一种非基于算法的方法。
一个消除匿名并引入问责制的系统(Stack Overflow在这方面做得很好)也很有帮助，特别是为了帮助对抗约翰·加布里埃尔的G.I.F.T.
你还问你从哪里可以得到亵渎列表来开始你的学习——一个开源项目是Dansguardian——看看他们默认的亵渎列表的源代码。还有一个额外的第三方短语列表，你可以为代理下载，这可能是一个有用的收集点。
编辑:谢谢你对你想要做的事情的澄清。在这种情况下，如果你只是想做一个简单的单词过滤器，有两种方法可以做到。一种方法是创建一个单独的长regexp，其中包含您想要审查的所有禁用短语，并使用它进行regex查找/替换。像这样的正则表达式:
$filterRegex = "(boogers|snot|poop|shucks|argh)"
并使用preg_match()在输入字符串上运行它来批量测试命中，
或preg_replace()来清空它们。
您还可以使用数组加载这些函数，而不是单个的长正则表达式，对于长单词列表，它可能更易于管理。有关如何灵活使用数组的一些好例子，请参阅preg_replace()。
有关其他PHP编程示例，请参阅本页，其中有一个比较高级的用于单词过滤的泛型类，它从经过审查的单词中删除了中间的字母，以及前面的Stack Overflow问题，其中也有一个PHP示例(其中主要有价值的部分是基于sql的过滤单词方法——如果您发现它不必要，可以省去let -speak补偿器)。
你还补充说:“真正的问题是首先获得单词列表。”——除了之前的一些丹斯格尔链接，你可能会发现这个458个单词的。zip很有用。
我用12种语言背诵了2200个坏词:恩，ar, cs, da, de, eo, es, fa, fi, fr, hi, hu, ja, ko, nl, pl, pl, ru, tlh, zh。
MySQL转储，JSON, XML或CSV选项可用。
https://github.com/turalus/openDB
我建议你执行这个SQL到你的数据库，并检查每次当用户输入一些东西。
我的结论是，为了创建一个好的脏话过滤器，我们需要三个主要组件，或者至少这是我要做的。他们是:
过滤器:一个针对黑名单、字典或类似的东西进行验证的后台服务。 不允许匿名账户 报告滥用
奖金，它将以某种方式奖励那些贡献准确的滥用记者和惩罚罪犯，例如暂停他们的帐户。
不喜欢。
因为:
Clbuttic 亵渎不是OMG邪恶 亵渎不能被有效地定义 大多数人很可能不喜欢被“保护”免受亵渎
编辑:虽然我同意评论者所说的“审查制度是错误的”，但这不是这个答案的本质。
如果你能做一些像Digg/Stackoverflow那样的事情，让用户可以投票/标记淫秽内容……这样做。
然后你所需要做的就是审查那些“淘气”的用户，如果他们违反了规则，就把他们屏蔽掉。
