如何矢量化分类数据

Question

我想向量化一些分类数据以构建列车和测试矩阵。

我有85个城市，我想获得一个矩阵282520行，每一行是像

[1 0 0 ..., 0 0 0] 

矢量我想有每行的矢量为1或0取决于城市，所以每因此城市应该是一个列：

print(df['city']) 

0   METROPOLITANA DE SANTIAGO 
1   METROPOLITANA DE SANTIAGO 
2   METROPOLITANA DE SANTIAGO 
3   METROPOLITANA DE SANTIAGO 
4       COQUIMBO 
5       SANTIAGO 
6       SANTIAGO 
7   METROPOLITANA DE SANTIAGO 
8   METROPOLITANA DE SANTIAGO 
9   METROPOLITANA DE SANTIAGO 
10       BIO BIO 
11       COQUIMBO 
...        ... 
282520 METROPOLITANA DE SANTIAGO 
Name: city, dtype: object 

这是我的尝试：

from sklearn import preprocessing 

list_city = getList(df,'city') 
le = preprocessing.LabelEncoder() 
le.fit(list_city) 

print(le.transform(['AISEN'])) 
print(le.transform(['TARAPACA'])) 
print(le.transform(['AISEN DEL GENERAL CARLOS IBANEZ DEL CAMP'])) 

我得到以下输出：

[0] 
[63] 
[1] 

的问题是，我刚开了城市的指数，我找了建议，就如何向量化的数据。

Answer 1

一个选项是pd.get_dummies（它完全在sklearn生态系统之外）。

df = pd.DataFrame(['METROPOLITANA DE SANTIAGO', 'COQUIMBO', 'SANTIAGO', 'SANTIAGO'], 
        columns=['city']) 
pd.get_dummies(df) 

city_COQUIMBO city_METROPOLITANA DE SANTIAGO city_SANTIAGO 
0    0        1    0 
1    1        0    0 
2    0        0    1 
3    0        0    1 

如果你需要一个NumPy的阵列，只要抓住了values。

pd.get_dummies(df).values 

[[0 1 0] 
[1 0 0] 
[0 0 1] 
[0 0 1]] 

---

另一种方法是使用LabelEncoder和OneHotEncoder的组合。如您注意到的，LabelEncoder将返回任意标签数组的分类索引。 OneHotEncoder会将这些索引翻转为一个一个k编码方案。

le = LabelEncoder() 
enc = OneHotEncoder(sparse=False) 
enc.fit_transform(le.fit_transform(df.city.values).reshape(-1, 1)) 

[[ 0. 1. 0.] 
[ 1. 0. 0.] 
[ 0. 0. 1.] 
[ 0. 0. 1.]] 

---

另一个选择是DictVectorizer。

dv = DictVectorizer(sparse=False) 
dv.fit_transform(df.apply(dict, 1)) 

[[ 0. 1. 0.] 
[ 1. 0. 0.] 
[ 0. 0. 1.] 
[ 0. 0. 1.]]