我有一个熊猫数据框架，我想把它分为3个单独的集。我知道使用sklearn中的train_test_split。交叉验证，可以将数据分为两组(训练和测试)。然而，我无法找到将数据分成三组的任何解决方案。最好是有原始数据的下标。
我知道一个解决办法是使用train_test_split两次，并以某种方式调整索引。但是是否有一种更标准/内置的方法将数据分成3组而不是2组?
当前回答
将数据集分割为训练集和测试集，如在其他答案中一样，使用
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
然后，如果您适合您的模型，您可以添加validation_split作为参数。这样就不需要提前创建验证集。例如:
from tensorflow.keras import Model
model = Model(input_layer, out)
[...]
history = model.fit(x=X_train, y=y_train, [...], validation_split = 0.3)
验证集旨在作为训练集训练期间的代表运行测试集，完全来自训练集，无论是通过k-fold交叉验证(推荐)还是通过validation_split;然后，您不需要单独创建一个验证集，仍然可以将数据集分为您所要求的三个集。
其他回答
使用train_test_split非常方便，不需要在划分到几个集后执行重新索引，也不需要编写一些额外的代码。上面的最佳答案没有提到使用train_test_split分隔两次而不改变分区大小将不会给出最初预期的分区:
x_train, x_remain = train_test_split(x, test_size=(val_size + test_size))
那么x_remain中的验证集和测试集的部分就会发生变化，可以算作
new_test_size = np.around(test_size / (val_size + test_size), 2)
# To preserve (new_test_size + new_val_size) = 1.0
new_val_size = 1.0 - new_test_size
x_val, x_test = train_test_split(x_remain, test_size=new_test_size)
在这种情况下，将保存所有初始分区。
def train_val_test_split(X, y, train_size, val_size, test_size):
X_train_val, X_test, y_train_val, y_test = train_test_split(X, y, test_size = test_size)
relative_train_size = train_size / (val_size + train_size)
X_train, X_val, y_train, y_val = train_test_split(X_train_val, y_train_val,
train_size = relative_train_size, test_size = 1-relative_train_size)
return X_train, X_val, X_test, y_train, y_val, y_test
在这里，我们使用sklearn的train_test_split将数据分割2次
在监督学习的情况下，你可能想拆分X和y(其中X是你的输入，y是基本真理输出)。 你只需要注意在分割之前以同样的方式洗牌X和y。
在这里，X和y在同一个数据帧中，所以我们对它们进行洗牌，将它们分开，并对每个数据帧应用拆分(就像在选择的答案中一样)，或者X和y在两个不同的数据帧中，所以我们洗牌X，将y按洗牌X的方式重新排序，并对每个数据帧应用拆分。
# 1st case: df contains X and y (where y is the "target" column of df)
df_shuffled = df.sample(frac=1)
X_shuffled = df_shuffled.drop("target", axis = 1)
y_shuffled = df_shuffled["target"]
# 2nd case: X and y are two separated dataframes
X_shuffled = X.sample(frac=1)
y_shuffled = y[X_shuffled.index]
# We do the split as in the chosen answer
X_train, X_validation, X_test = np.split(X_shuffled, [int(0.6*len(X)),int(0.8*len(X))])
y_train, y_validation, y_test = np.split(y_shuffled, [int(0.6*len(X)),int(0.8*len(X))])
然而，将数据集分为train、test、cv(0.6、0.2、0.2)的一种方法是使用train_test_split方法两次。
from sklearn.model_selection import train_test_split
x, x_test, y, y_test = train_test_split(xtrain,labels,test_size=0.2,train_size=0.8)
x_train, x_cv, y_train, y_cv = train_test_split(x,y,test_size = 0.25,train_size =0.75)
我能想到的最简单的方法是将分割分数映射到数组下标，如下所示:
train_set = data[:int((len(data)+1)*train_fraction)]
test_set = data[int((len(data)+1)*train_fraction):int((len(data)+1)*(train_fraction+test_fraction))]
val_set = data[int((len(data)+1)*(train_fraction+test_fraction)):]
其中data = random.shuffle(data)
