I have an idea, which can work and it most likely to be very fast. You can sub-sample an image to say 80x60 resolution or comparable, and convert it to grey scale (after subsampling it will be faster). Process both images you want to compare. Then run normalised sum of squared differences between two images (the query image and each from the db), or even better Normalised Cross Correlation, which gives response closer to 1, if both images are similar. Then if images are similar you can proceed to more sophisticated techniques to verify that it is the same images. Obviously this algorithm is linear in terms of number of images in your database so even though it is going to be very fast up to 10000 images per second on the modern hardware. If you need invariance to rotation, then a dominant gradient can be computed for this small image, and then the whole coordinate system can be rotated to canonical orientation, this though, will be slower. And no, there is no invariance to scale here.

如果你想要更一般的东西或使用大数据库(百万张图片)，那么 你需要研究图像检索理论(在过去5年里出现了大量的论文)。 在其他答案中有一些提示。但这可能有点过头了，建议直方图方法就可以了。尽管我认为是多种不同的组合 快速的方法会更好。

我的公司每个月有大约2400万张来自制造商的图片。我正在寻找一个快速的解决方案，以确保我们上传到我们的目录的图像是新的图像。

I want to say that I have searched the internet far and wide to attempt to find an ideal solution. I even developed my own edge detection algorithm. I have evaluated speed and accuracy of multiple models. My images, which have white backgrounds, work extremely well with phashing. Like redcalx said, I recommend phash or ahash. DO NOT use MD5 Hashing or anyother cryptographic hashes. Unless, you want only EXACT image matches. Any resizing or manipulation that occurs between images will yield a different hash.

对于phash/ahash，查看这个:imagehash

我想通过发布我的代码和准确性来扩展*redcalx的帖子。

工作内容:

from PIL import Image
from PIL import ImageFilter
import imagehash

img1=Image.open(r"C:\yourlocation")
img2=Image.open(r"C:\yourlocation")
if img1.width<img2.width:
    img2=img2.resize((img1.width,img1.height))
else:
    img1=img1.resize((img2.width,img2.height))
img1=img1.filter(ImageFilter.BoxBlur(radius=3))
img2=img2.filter(ImageFilter.BoxBlur(radius=3))
phashvalue=imagehash.phash(img1)-imagehash.phash(img2)
ahashvalue=imagehash.average_hash(img1)-imagehash.average_hash(img2)
totalaccuracy=phashvalue+ahashvalue

以下是我的一些结果:

item1  item2  totalsimilarity
desk1  desk1       3
desk1  phone1     22
chair1 desk1      17
phone1 chair1     34

希望这能有所帮助!

几年前，我用PHP编写了一个非常简单的图像比较解决方案。它为每张图像计算一个简单的哈希值，然后找出差值。它的工作非常好裁剪或裁剪与翻译版本的同一图像。

首先，我将图像调整为较小的尺寸，如24x24或36x36。然后我取每一列的像素，并找出这一列的平均R,G,B值。

在每一列都有自己的三个数字之后，我进行两次传递:第一次是奇数列，第二次是偶数列。第一次传递将所有处理过的cols相加，然后除以它们的数([1]+ [2]+ [5]+ [N-1] / (N/2))。第二步以另一种方式进行:([3]-[4]+[6]-[8]…(n /2))。

现在我有两个数。正如我在实验中发现的，第一个是主要的:如果它与另一张图像的值相差甚远，那么从人类的角度来看，它们根本就不相似。

So, the first one represents the average brightness of the image (again, you can pay most attention to green channel, then the red one, etc, but the default R->G->B order works just fine). The second number can be compared if the first two are very close, and it in fact represents the overall contrast of the image: if we have some black/white pattern or any contrast scene (lighted buildings in the city at night, for example) and if we are lucky, we will get huge numbers here if out positive members of sum are mostly bright, and negative ones are mostly dark, or vice versa. As I want my values to be always positive, I divide by 2 and shift by 127 here.

我在2017年用PHP写的代码，似乎我丢失了代码。但我还有截图:

同样的图片:

黑白版:

裁剪版:

另一张图片，翻译版:

和第四色域一样，但另一个场景:

我调整了差异阈值，因此结果非常好。但是正如你所看到的，这个简单的算法对于简单的场景翻译并没有什么好处。

另一方面，我可以注意到，修改可以从两张图像中每一张以75- 80%的比例制作裁剪副本，角落4个，角落和边缘中间8个，然后以同样的方式将裁剪的变体与另一张完整的图像进行比较;如果其中一个相似度得分明显更高，那么就使用它的值而不是默认值)。

正如卡特曼所指出的，您可以使用任何类型的哈希值来查找精确的重复项。

寻找近距离图像的一个起点可能在这里。这是CG公司用来检查修改后的图像是否仍然显示本质上相同的场景的工具。

选择100个随机点可能意味着相似(有时甚至不相似)的图像将被标记为相同，我认为这不是您想要的。如果图像格式不同(png、jpeg等)、大小不同或元数据不同，MD5哈希就无法工作。将所有图像缩小到一个更小的尺寸是一个不错的选择，只要你使用的是一个好的图像库/快速的语言，做一个像素对像素的比较不应该花费太长时间，而且尺寸足够小。

你可以试着让它们变得很小，然后如果它们是一样的，就在更大的尺寸上进行另一次比较——这可能是速度和准确性的良好结合……

我们笼统地称之为副本的东西，算法很难识别。 你的副本可以是:

确切的副本 接近精确重复。(图像的轻微编辑等) 重复(相同的内容，但不同的视角，相机等)

第一个和第二个更容易解决。3号。是非常主观的，仍然是一个研究课题。 我可以提供1号和2号的解决方案。 这两个解决方案都使用了优秀的图像哈希-哈希库:https://github.com/JohannesBuchner/imagehash

确切的副本 使用感知哈希度量可以找到精确的重复项。 phash库在这方面做得很好。我经常用它来清洁 训练数据。 用法(来自github网站)简单如:

from PIL import Image
import imagehash

# image_fns : List of training image files
img_hashes = {}

for img_fn in sorted(image_fns):
    hash = imagehash.average_hash(Image.open(image_fn))
    if hash in img_hashes:
        print( '{} duplicate of {}'.format(image_fn, img_hashes[hash]) )
    else:
        img_hashes[hash] = image_fn

接近精确复制 在这种情况下，您必须设置一个阈值，并比较它们之间距离的哈希值 其他。这必须通过对图像内容的反复试验来完成。

from PIL import Image
import imagehash

# image_fns : List of training image files
img_hashes = {}
epsilon = 50

for img_fn1, img_fn2 in zip(image_fns, image_fns[::-1]):
    if image_fn1 == image_fn2:
        continue

    hash1 = imagehash.average_hash(Image.open(image_fn1))
    hash2 = imagehash.average_hash(Image.open(image_fn2))
    if hash1 - hash2 < epsilon:
        print( '{} is near duplicate of {}'.format(image_fn1, image_fn2) )