我有一个80%类别变量的机器学习分类问题。如果我想使用一些分类器进行分类，我必须使用一个热编码吗?我可以将数据传递给分类器而不进行编码吗?
我试图做以下的特征选择:
I read the train file:
num_rows_to_read = 10000
train_small = pd.read_csv("../../dataset/train.csv", nrows=num_rows_to_read)
I change the type of the categorical features to 'category':
non_categorial_features = ['orig_destination_distance',
'srch_adults_cnt',
'srch_children_cnt',
'srch_rm_cnt',
'cnt']
for categorical_feature in list(train_small.columns):
if categorical_feature not in non_categorial_features:
train_small[categorical_feature] = train_small[categorical_feature].astype('category')
I use one hot encoding:
train_small_with_dummies = pd.get_dummies(train_small, sparse=True)
问题是，第三部分经常卡住，尽管我使用的是一个强大的机器。
因此，如果没有一个热编码，我就无法进行任何特征选择，以确定特征的重要性。
你有什么建议吗?
首先，最简单的热编码方法:使用Sklearn。
http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html
其次，我不认为使用熊猫进行一个热编码是那么简单(虽然未经证实)
在pandas中为python创建虚拟变量
最后，你需要一个热编码吗?一个热编码以指数方式增加了特征的数量，大大增加了任何分类器或任何你要运行的东西的运行时间。特别是当每个分类特征都有很多层次时。相反，你可以进行虚拟编码。
使用虚拟编码通常工作得很好，运行时间和复杂性要少得多。一位睿智的教授曾经告诉我，“少即是多”。
如果你愿意，这是我的自定义编码函数的代码。
from sklearn.preprocessing import LabelEncoder
#Auto encodes any dataframe column of type category or object.
def dummyEncode(df):
columnsToEncode = list(df.select_dtypes(include=['category','object']))
le = LabelEncoder()
for feature in columnsToEncode:
try:
df[feature] = le.fit_transform(df[feature])
except:
print('Error encoding '+feature)
return df
编辑:比较更清楚:
一热编码:将n层转换为n-1列。
Index Animal Index cat mouse
1 dog 1 0 0
2 cat --> 2 1 0
3 mouse 3 0 1
你可以看到，如果你的分类特征中有许多不同类型(或级别)，这会使你的记忆爆发式增长。记住，这只是一列。
伪代码:
Index Animal Index Animal
1 dog 1 0
2 cat --> 2 1
3 mouse 3 2
转换为数字表示。极大地节省了特征空间，代价是准确性。
熊猫的热编码非常简单:
def one_hot(df, cols):
"""
@param df pandas DataFrame
@param cols a list of columns to encode
@return a DataFrame with one-hot encoding
"""
for each in cols:
dummies = pd.get_dummies(df[each], prefix=each, drop_first=False)
df = pd.concat([df, dummies], axis=1)
return df
编辑:
使用sklearn的LabelBinarizer实现one_hot的另一种方法:
from sklearn.preprocessing import LabelBinarizer
label_binarizer = LabelBinarizer()
label_binarizer.fit(all_your_labels_list) # need to be global or remembered to use it later
def one_hot_encode(x):
"""
One hot encode a list of sample labels. Return a one-hot encoded vector for each label.
: x: List of sample Labels
: return: Numpy array of one-hot encoded labels
"""
return label_binarizer.transform(x)
