我有两个不同形状的numpy数组，但具有相同的长度(前维数)。我想对它们进行洗牌，以便相应的元素继续对应——即根据它们的前导索引对它们进行一致的洗牌。
这段代码可以工作，并说明了我的目标:
def shuffle_in_unison(a, b):
assert len(a) == len(b)
shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
permutation = numpy.random.permutation(len(a))
for old_index, new_index in enumerate(permutation):
shuffled_a[new_index] = a[old_index]
shuffled_b[new_index] = b[old_index]
return shuffled_a, shuffled_b
例如:
>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
[1, 1],
[3, 3]]), array([2, 1, 3]))
然而，这感觉很笨拙、效率低、速度慢，而且需要复制数组——我宁愿在适当的位置重新排列它们，因为它们会相当大。
还有更好的办法吗?更快的执行和更低的内存使用是我的主要目标，但优雅的代码也会很好。
我的另一个想法是:
def shuffle_in_unison_scary(a, b):
rng_state = numpy.random.get_state()
numpy.random.shuffle(a)
numpy.random.set_state(rng_state)
numpy.random.shuffle(b)
这工作…但这有点可怕，因为我几乎没有看到它会继续工作的保证——例如，它看起来不像是那种保证在numpy版本中存活的东西。
只使用NumPy在原地将任意数量的数组洗牌在一起。
import numpy as np
def shuffle_arrays(arrays, set_seed=-1):
"""Shuffles arrays in-place, in the same order, along axis=0
Parameters:
-----------
arrays : List of NumPy arrays.
set_seed : Seed value if int >= 0, else seed is random.
"""
assert all(len(arr) == len(arrays[0]) for arr in arrays)
seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed
for arr in arrays:
rstate = np.random.RandomState(seed)
rstate.shuffle(arr)
可以这样使用
a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])
shuffle_arrays([a, b, c])
有几件事需要注意:
断言确保所有输入数组都具有相同的长度
第一个维度。
数组按其第一个维度重新排列-没有返回任何内容。
在正int32范围内的随机种子。
如果需要可重复洗牌，则可以设置种子值。
shuffle之后，可以使用np对数据进行拆分。使用片分割或引用-取决于应用程序。
只要使用numpy…
首先将两个输入数组合并，1D数组为标签(y)， 2D数组为数据(x)，并使用NumPy shuffle方法进行shuffle。最后把他们分开回来。
import numpy as np
def shuffle_2d(a, b):
rows= a.shape[0]
if b.shape != (rows,1):
b = b.reshape((rows,1))
S = np.hstack((b,a))
np.random.shuffle(S)
b, a = S[:,0], S[:,1:]
return a,b
features, samples = 2, 5
x, y = np.random.random((samples, features)), np.arange(samples)
x, y = shuffle_2d(train, test)
对连接列表进行就地洗牌的一种方法是使用种子(可以是随机的)并使用numpy.random.shuffle进行洗牌。
# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
np.random.seed(seed)
np.random.shuffle(a)
np.random.seed(seed)
np.random.shuffle(b)
就是这样。这将以完全相同的方式对a和b进行洗牌。这也是在原地完成的，这总是一个加分项。
编辑，不要使用np.random.seed()，而是使用np.random.RandomState
def shuffle(a, b, seed):
rand_state = np.random.RandomState(seed)
rand_state.shuffle(a)
rand_state.seed(seed)
rand_state.shuffle(b)
当调用它时，只需传入任意种子来提供随机状态:
a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)
输出:
>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]
编辑:修正了重新播种随机状态的代码
