对于我的数据库，.duplicate (keep=False)在列排序之前不起作用。

data.sort_values(by=['Order ID'], inplace=True)
df = data[data['Order ID'].duplicated(keep=False)]

sort("ID")现在似乎不工作，似乎不赞成按排序文档，所以使用sort_values("ID")而不是在重复过滤器后排序，如下所示:

df[df.ID.duplicated(keep=False)].sort_values("ID")

博士TL;

这招对我很管用:

dups = [i for i, v in df["Col1"].value_counts().iteritems() if v > 1]
dups

输出:

[501, 505]

列出重复的行:

fltr = df["Col1"].isin(dups)  # Filter
df[fltr]

输出:

   Col1  Col2
0   501     D
1   501     H
2   505     E
3   501     E
4   505     M

解释:

获取一个列的value_counts()，例如Col1，返回一个包含以下内容的Series:

列Col1的数据作为级数索引。 将Col1中的值计数为级数值。

例如DataFrame下面的value_counts():

df["Col1"].value_counts()

输出:

501    3
505    2
502    1
503    1
Name: Col1, dtype: int64

现在使用iteritems()，我们可以访问Series对象的索引和值:

dups = [i for i, v in df["Col1"].value_counts().iteritems() if v > 1]
dups

输出:

[501, 505]

现在使用捕获的重复值作为原始DataFrame的过滤器。

fltr = df["Col1"].isin(dups)  # Filter
df[fltr]

   Col1  Col2
0   501     D
1   501     H
2   505     E
3   501     E
4   505     M

df[df.duplicated(['ID'], keep=False)]

它会把所有复制的行返回给你。

根据文件:

keep: {' first '， ' last '， False}，默认' first ' 'first':除第一次出现外，标记重复为True。 'last':除最后一次出现外，标记重复为True。 False:将所有副本标记为True。

方法#1:打印所有ID是重复ID之一的行:

>>> import pandas as pd
>>> df = pd.read_csv("dup.csv")
>>> ids = df["ID"]
>>> df[ids.isin(ids[ids.duplicated()])].sort_values("ID")
       ID ENROLLMENT_DATE        TRAINER_MANAGING        TRAINER_OPERATOR FIRST_VISIT_DATE
24  11795       27-Feb-12      0643D38-Hanover NH      0643D38-Hanover NH        19-Jun-12
6   11795        3-Jul-12  0649597-White River VT  0649597-White River VT        30-Mar-12
18   8096       19-Dec-11  0649597-White River VT  0649597-White River VT         9-Apr-12
2    8096        8-Aug-12      0643D38-Hanover NH      0643D38-Hanover NH        25-Jun-12
12   A036       30-Nov-11     063B208-Randolph VT     063B208-Randolph VT              NaN
3    A036        1-Apr-12      06CB8CF-Hanover NH      06CB8CF-Hanover NH         9-Aug-12
26   A036       11-Aug-12      06D3206-Hanover NH                     NaN        19-Jun-12

但我想不出一个好办法来防止重复这么多次id。我更喜欢方法#2:在ID上groupby。

>>> pd.concat(g for _, g in df.groupby("ID") if len(g) > 1)
       ID ENROLLMENT_DATE        TRAINER_MANAGING        TRAINER_OPERATOR FIRST_VISIT_DATE
6   11795        3-Jul-12  0649597-White River VT  0649597-White River VT        30-Mar-12
24  11795       27-Feb-12      0643D38-Hanover NH      0643D38-Hanover NH        19-Jun-12
2    8096        8-Aug-12      0643D38-Hanover NH      0643D38-Hanover NH        25-Jun-12
18   8096       19-Dec-11  0649597-White River VT  0649597-White River VT         9-Apr-12
3    A036        1-Apr-12      06CB8CF-Hanover NH      06CB8CF-Hanover NH         9-Aug-12
12   A036       30-Nov-11     063B208-Randolph VT     063B208-Randolph VT              NaN
26   A036       11-Aug-12      06D3206-Hanover NH                     NaN        19-Jun-12

使用元素逻辑或并将pandas duplicate方法的take_last参数设置为True和False，您可以从您的数据帧中获得一个包含所有副本的集合。

df_bigdata_duplicates = 
    df_bigdata[df_bigdata.duplicated(cols='ID', take_last=False) |
               df_bigdata.duplicated(cols='ID', take_last=True)
              ]