洗牌数据帧行

我有以下数据框架:

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

DataFrame是从CSV文件中读取的。所有类型为1的行都在上面，然后是类型为2的行，然后是类型为3的行，等等。

我想打乱DataFrame的行顺序，这样所有的类型都是混合的。可能的结果是:

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

我怎样才能做到这一点呢?

当前回答

Pandas的惯用方法是使用数据帧的.sample方法对所有行进行采样而不进行替换:

df.sample(frac=1)

frac关键字参数指定在随机样本中返回的行数百分比，因此frac=1表示返回所有行(按随机顺序)。

注意: 如果你想洗牌你的数据帧的位置和重置索引，你可以做例如。

df = df.sample(frac=1).reset_index(drop=True)

在这里，指定drop=True可以防止.reset_index创建包含旧索引项的列。

后续注意:虽然上面的操作看起来不到位，但python/pandas足够聪明，不会对打乱的对象执行另一个malloc。也就是说，即使引用对象改变了(我的意思是id(df_old)和id(df_new)不一样)，底层的C对象仍然是相同的。为了证明事实确实如此，你可以运行一个简单的内存分析器:

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)

2016-01-19 14:49:17

其他回答

TL;DR: np.random.shuffle(ndarray)可以完成这项工作。所以，在你的情况下

np.random.shuffle(DataFrame.values)

DataFrame在底层使用NumPy ndarray作为数据持有者。(你可以从DataFrame源代码检查)

因此，如果使用np.random.shuffle()，它将沿着多维数组的第一个轴对数组进行洗牌。但是DataFrame的索引仍然没有被打乱。

不过，还是有几点需要考虑的。

函数返回none。如果您希望保留原始对象的副本，则必须在传递给函数之前这样做。 Sklearn.utils.shuffle()，正如用户tj89建议的那样，可以指定random_state和另一个选项来控制输出。您可能需要它用于开发目的。 Sklearn.utils.shuffle()更快。但是会将DataFrame的轴信息(索引，列)与它包含的ndarray一起SHUFFLE。

基准测试结果

在sklearn.utils.shuffle()和np.random.shuffle()之间。

ndarray

nd = sklearn.utils.shuffle(nd)

0.10793248389381915秒，快8倍

np.random.shuffle(nd)

0.8897626010002568秒

DataFrame

df = sklearn.utils.shuffle(df)

0.3183923360193148秒，快3倍

np.random.shuffle(df.values)

0.9357550159329548秒

结论:如果可以将轴信息(索引，列)与ndarray一起洗牌，请使用sklearn.utils.shuffle()。否则，使用np.random.shuffle()

使用代码

import timeit
setup = '''
import numpy as np
import pandas as pd
import sklearn
nd = np.random.random((1000, 100))
df = pd.DataFrame(nd)
'''

timeit.timeit('nd = sklearn.utils.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('df = sklearn.utils.shuffle(df)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(df.values)', setup=setup, number=1000)

pythonbenchmarking

2018-03-23 01:40:58

(我没有足够的声誉来评论这篇文章，所以我希望别人能帮我。)有人担心第一种方法:

df.sample(frac=1)

它做了一个深度复制或者只是改变了数据框架。我运行以下代码:

print(hex(id(df)))
print(hex(id(df.sample(frac=1))))
print(hex(id(df.sample(frac=1).reset_index(drop=True))))

我的结果是:

0x1f8a784d400
0x1f8b9d65e10
0x1f8b9d65b70

这意味着该方法没有返回相同的对象，就像在上一个注释中建议的那样。所以这个方法确实会产生一个打乱的拷贝。

2018-07-11 16:31:32

通过传递frac参数，使用sample()洗牌数据帧。将打乱的DataFrame保存到一个新变量。

new_variable = DataFrame.sample(frac=1)

2022-02-13 12:27:07

您可以简单地使用sklearn来实现这一点

from sklearn.utils import shuffle
df = shuffle(df)

2016-09-24 07:17:19