更好的方式洗牌两个numpy数组一致

我有两个不同形状的numpy数组，但具有相同的长度(前维数)。我想对它们进行洗牌，以便相应的元素继续对应——即根据它们的前导索引对它们进行一致的洗牌。

这段代码可以工作，并说明了我的目标:

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

例如:

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

然而，这感觉很笨拙、效率低、速度慢，而且需要复制数组——我宁愿在适当的位置重新排列它们，因为它们会相当大。

还有更好的办法吗?更快的执行和更低的内存使用是我的主要目标，但优雅的代码也会很好。

我的另一个想法是:

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

这工作…但这有点可怕，因为我几乎没有看到它会继续工作的保证——例如，它看起来不像是那种保证在numpy版本中存活的东西。

当前回答

from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array

# Data is currently unshuffled; we should shuffle 
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]

2019-03-25 23:23:18

其他回答

有一个众所周知的函数可以处理这个问题:

from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)

只要将test_size设置为0，就可以避免分裂并得到打乱的数据。虽然它通常用于分割训练和测试数据，但它也会打乱它们。从文档

将数组或矩阵分割为随机的训练和测试子集包装输入验证和的快速实用程序 next (ShuffleSplit()。split(X, y))和应用程序将数据输入到类中拆分(和可选子采样)数据的单个调用 oneliner。

2018-11-07 19:55:43

这似乎是一个非常简单的解决方案:

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))

2020-04-17 03:00:44

上面的大多数解都是可行的，但是如果你有列向量，你必须先转置它们。这里有一个例子

def shuffle(self) -> None:
    """
    Shuffles X and Y
    """
    x = self.X.T
    y = self.Y.T
    p = np.random.permutation(len(x))
    self.X = x[p].T
    self.Y = y[p].T

2022-05-28 12:17:00

假设我们有两个数组a和b。

a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]])

我们首先可以通过排列一维来获得行下标

indices = np.random.permutation(a.shape[0])
[1 2 0]

然后使用高级索引。在这里，我们使用相同的下标来一致地洗牌两个数组。

a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]

这相当于

np.take(a, indices, axis=0)
[[4 5 6]
 [7 8 9]
 [1 2 3]]

np.take(b, indices, axis=0)
[[6 6 6]
 [4 2 0]
 [9 1 1]]

2018-12-05 18:30:49

只要使用numpy…

首先将两个输入数组合并，1D数组为标签(y)， 2D数组为数据(x)，并使用NumPy shuffle方法进行shuffle。最后把他们分开回来。

import numpy as np

def shuffle_2d(a, b):
    rows= a.shape[0]
    if b.shape != (rows,1):
        b = b.reshape((rows,1))
    S = np.hstack((b,a))
    np.random.shuffle(S)
    b, a  = S[:,0], S[:,1:]
    return a,b

features, samples = 2, 5
x, y = np.random.random((samples, features)), np.arange(samples)
x, y = shuffle_2d(train, test)

2020-04-02 21:30:02

更好的方式洗牌两个numpy数组一致

推荐文章

最新文章

标签