我有一个字典列表，我想删除字典具有相同的键和值对。
这个列表:[{a: 123}, {b: 123}, {a: 123}]
我想返回这个:[{'a': 123}， {'b': 123}]
另一个例子:
这个列表:[{' a ': 123, ' b ': 1234}, {' a ': 3222, ' b ': 1234}, {' a ': 123, ' b ': 1234}]
我想退回这:[{' a ': 123, ' b ': 1234}, {' a ': 3222, ' b ': 1234}]
当前回答
下面是一个带有双嵌套列表理解的快速单行解决方案(基于@Emmanuel的解决方案)。
它使用每个字典中的单个键(例如，a)作为主键，而不是检查整个字典是否匹配
[i for n, i in enumerate(list_of_dicts) if i.get(primary_key) not in [y.get(primary_key) for y in list_of_dicts[n + 1:]]]
这不是OP要求的，但这是让我来到这个帖子的原因，所以我想我应该发布我最终得到的解决方案
其他回答
如果您操作的是嵌套字典，例如反序列化的JSON对象，那么其他答案将不起作用。在这种情况下，你可以使用:
import json
set_of_jsons = {json.dumps(d, sort_keys=True) for d in X}
X = [json.loads(t) for t in set_of_jsons]
如果你不关心规模和疯狂的性能，简单的func:
# Filters dicts with the same value in unique_key
# in: [{'k1': 1}, {'k1': 33}, {'k1': 1}]
# out: [{'k1': 1}, {'k1': 33}]
def remove_dup_dicts(list_of_dicts: list, unique_key) -> list:
unique_values = list()
unique_dicts = list()
for obj in list_of_dicts:
val = obj.get(unique_key)
if val not in unique_values:
unique_values.append(val)
unique_dicts.append(obj)
return unique_dicts
不是一个通用的答案，但如果你的列表恰好是按某个键排序的，像这样:
l=[{'a': {'b': 31}, 't': 1},
{'a': {'b': 31}, 't': 1},
{'a': {'b': 145}, 't': 2},
{'a': {'b': 25231}, 't': 2},
{'a': {'b': 25231}, 't': 2},
{'a': {'b': 25231}, 't': 2},
{'a': {'b': 112}, 't': 3}]
那么解决方案很简单:
import itertools
result = [a[0] for a in itertools.groupby(l)]
结果:
[{'a': {'b': 31}, 't': 1},
{'a': {'b': 145}, 't': 2},
{'a': {'b': 25231}, 't': 2},
{'a': {'b': 112}, 't': 3}]
使用嵌套字典并(显然)保持顺序。
使用自定义键删除重复项:
def remove_duplications(arr, key):
return list({key(x): x for x in arr}.values())
有时老式的循环仍然有用。这段代码比jcollado的稍长，但非常容易阅读:
a = [{'a': 123}, {'b': 123}, {'a': 123}]
b = []
for i in range(len(a)):
if a[i] not in a[i+1:]:
b.append(a[i])
