我正在搜索“卡扎菲”这个词,这个词有很多种拼写方式。搜索这个最好的正则表达式是什么?

以下是30个变体的列表:

Gadaffi
Gadafi
Gadafy
Gaddafi
Gaddafy
Gaddhafi
Gadhafi
Gathafi
Ghadaffi
Ghadafi
Ghaddafi
Ghaddafy
Gheddafi
Kadaffi
Kadafi
Kaddafi
Kadhafi
Kazzafi
Khadaffy
Khadafy
Khaddafi
Qadafi
Qaddafi
Qadhafi
Qadhdhafi
Qadthafi
Qathafi
Quathafi
Qudhafi
Kad'afi

目前为止我最好的尝试是:

\b[KG]h?add?af?fi$\b

但我似乎还是遗漏了一些变体。有什么建议吗?


\ [KGQ] b h添加? h ?房颤?fi \ b

阿拉伯语的翻译是(维基说)“Qaḏḏāfī”,所以可能会加上一个q和一个H(“卡扎菲”,如文章(见下文)所述)。

顺便说一下,为什么在正则表达式的末尾有一个$ ?


顺便说一句,关于这个话题的文章不错:

卡扎菲,卡扎菲,还是卡扎菲?为什么这位利比亚领导人的名字有这么多种拼写方式?


EDIT

为了匹配后面提到的文章中的所有名称,这应该匹配所有名称。我们只希望它不会和其他很多东西匹配:D

\b(Kh?|Gh?|Qu?)[aeu](d['dt]?|t|zz|dhd)h?aff?[iy]\b

如果你想避免匹配没有人使用过的东西(即避免倾向于“。+”),你最好的方法是创建一个正则表达式,它只是所有的替代方案(例如。(Qadafi|Kadafi|…))然后将其编译为DFA,然后将DFA转换回正则表达式。假设一个适度合理的实现会给您一个“压缩”正则表达式,它保证不包含意外的变量。


如果你有一个包含30种可能性的具体清单,那就用一堆“or”把它们连在一起。然后你可以确保它只匹配你列出的东西,而不是更多。你的RE引擎可能会进一步优化,而且,好吧,有30个选择,即使它没有,它仍然不是一个大问题。试图手动将其转换为“聪明的”RE不可能得到更好的结果,结果可能更糟。


只是一个补充:你应该加上“Gheddafi”作为替代拼写。所以RE应该是

\b[KG]h?[ae]dd?af?fi$\b

(G|Gh|K|Kh|Q|Qh|Q|Qu)(a|au|e|u)(dh|zz|th|d|dd)(dh|th|a|ha|)(\x27|)(a|)(ff|f)(i|y)

当然不是最优化的版本,在音节上进行分割以最大化匹配,同时试图确保我们不会得到假阳性。


从潜在拼写列表中需要注意的一件有趣的事情是,包含的列表中只有3个Soundex值(如果忽略离群值'Kazzafi')

G310, k310, q310

现在,这里存在误报(“Godby”也是G310),但是通过结合有限的变音位命中,可以消除它们。

<?
$soundexMatch = array('G310','K310','Q310');
$metaphoneMatch = array('KTF','KTHF','FTF','KHTF','K0F');

$text = "This is a big glob of text about Mr. Gaddafi. Even using compound-Khadafy terms in here, then we might find Mr Qudhafi to be matched fairly well. For example even with apostrophes sprinkled randomly like in Kad'afi, you won't find false positives matched like godfrey, or godby, or even kabbadi";

$wordArray = preg_split('/[\s,.;-]+/',$text);
foreach ($wordArray as $item){
    $rate = in_array(soundex($item),$soundexMatch) + in_array(metaphone($item),$metaphoneMatch);
    if ($rate > 1){
        $matches[] = $item;
    }
}
$pattern = implode("|",$matches);
$text = preg_replace("/($pattern)/","<b>$1</b>",$text);
echo $text;
?>

稍作调整,再加上一些西里尔字母的音译,您将得到一个相当健壮的解决方案。


容易……谴责卡扎菲(为了规避风险| | |……它是自文档化的、可维护的,并且假设您的regexp引擎实际上编译正则表达式(而不是解释它们),它将编译到与更模糊的解决方案相同的DFA。

编写紧凑的正则表达式就像使用短变量名来加快程序的速度。只有当你的编译器是脑死亡的时候才有用。


我觉得你把事情复杂化了。正确的正则表达式很简单:

\u0627\u0644\u0642\u0630\u0627\u0641\u064a

它匹配7个阿拉伯Unicode编码点的串联,形成了单词القذافي(即卡扎菲)。


既然你在匹配小词,为什么不试试用Levenshtein距离的相似度搜索引擎呢?您最多可以允许k次插入或删除。通过这种方式,你可以将距离函数更改为其他更适合特定问题的函数。simMetrics库中有许多可用的函数。


为什么不采用混合的方法呢?介于所有可能性列表和匹配太多的复杂正则表达式之间的东西。

Regex是关于模式匹配的,我不能在列表中看到所有变体的模式。试着这样做,还会发现像“Gazzafy”或“Quud’haffi”这样的东西,它们很可能不是一个常用的变体,也绝对不在列表上。

但我可以看到一些变异的模式,所以我得出了这个结论:

\b(?:Gheddafi|Gathafi|Kazzafi|Kad'afi|Qadhdhafi|Qadthafi|Qudhafi|Qu?athafi|[KG]h?add?h?aff?[iy]|Qad[dh]?afi)\b

在一开始,我列出了那些我看不到模式的,然后是一些有模式的变体。

请访问www.rubular.com


使用CPAN模块Regexp::Assemble:

#!/usr/bin/env perl

use Regexp::Assemble;

my $ra = Regexp::Assemble->new;
$ra->add($_) for qw(Gadaffi Gadafi Gadafy Gaddafi Gaddafy
                    Gaddhafi Gadhafi Gathafi Ghadaffi Ghadafi
                    Ghaddafi Ghaddafy Gheddafi Kadaffi Kadafi
                    Kaddafi Kadhafi Kazzafi Khadaffy Khadafy
                    Khaddafi Qadafi Qaddafi Qadhafi Qadhdhafi
                    Qadthafi Qathafi Quathafi Qudhafi Kad'afi);
say $ra->re;

这将生成以下正则表达式:

(?-xism:(?:G(?:a(?:d(?:d(?:af[iy]|hafi)|af(?:f?i|y)|hafi)|thafi)|h(?:ad(?:daf[iy]|af?fi)|eddafi))|K(?:a(?:d(?:['dh]a|af?)|zza)fi|had(?:af?fy|dafi))|Q(?:a(?:d(?:(?:(?:hd)?|t)h|d)?|th)|u(?:at|d)h)afi))

还有什么是以Q, G或K开头,中间有d, z或t,并以人们实际搜索的“fi”结尾的呢?

/\b[GQK].+[dzt].+fi\b/i

完成了。

>>> print re.search(a, "Gadasadasfiasdas") != None
False
>>> print re.search(a, "Gadasadasfi") != None
True
>>> print re.search(a, "Qa'dafi") != None
True

有趣的是,我被否决了。有人能在评论里留下一些假阳性吗?


一个可能的替代方案是从示例http://regex.inginf.units.it生成正则表达式的在线工具。 给它一个机会吧!


我知道这是个老问题,但是…

这两个正则表达式都不是最漂亮的,但它们都经过优化,并且都匹配原始帖子中的所有变体。

“小美人”#1

(?:G(?:a(?:d(?:d(?:af[iy]|hafi)|af(?:f?i|y)|hafi)|thafi)|h(?:ad(?:daf[iy]|af?fi)|eddafi))|K(?:a(?:d(?:['dh]a|af?)|zza)fi|had(?:af?fy|dafi))|Q(?:a(?:d(?:(?:(?:hd)?|t)h|d)?|th)|u(?:at|d)h)afi)

《小美人》2

(?:(?:Gh|[GK])adaff|(?:(?:Gh|[GKQ])ad|(?:Ghe|(?:[GK]h|[GKQ])a)dd|(?:Gadd|(?:[GKQ]a|Q(?:adh|u))d|(?:Qad|(?:Qu|[GQ])a)t)h|Ka(?:zz|d'))af)i|(?:Khadaff|(?:(?:Kh|G)ad|Gh?add)af)y

安息吧,穆阿迈尔。


(服饰)+ (dasta) + \”?(得到)+ \ ' ?

在部分:

黑GQK铝 黑ahu铝+。 黑dtez铝+。 \”? 黑adhz铝+。 f那1,2 (i | y)

注:只是想试一试。