我想将NumPy数组转换为单位向量。更具体地说,我正在寻找这个归一化函数的等效版本:
def normalize(v):
norm = np.linalg.norm(v)
if norm == 0:
return v
return v / norm
这个函数处理向量v的范数为0的情况。
在sklearn或numpy中是否提供了类似的函数?
我想将NumPy数组转换为单位向量。更具体地说,我正在寻找这个归一化函数的等效版本:
def normalize(v):
norm = np.linalg.norm(v)
if norm == 0:
return v
return v / norm
这个函数处理向量v的范数为0的情况。
在sklearn或numpy中是否提供了类似的函数?
当前回答
不使用sklearn,只使用numpy。 只需定义一个函数:。
假设行是变量,列是样本(轴= 1):
import numpy as np
# Example array
X = np.array([[1,2,3],[4,5,6]])
def stdmtx(X):
means = X.mean(axis =1)
stds = X.std(axis= 1, ddof=1)
X= X - means[:, np.newaxis]
X= X / stds[:, np.newaxis]
return np.nan_to_num(X)
输出:
X
array([[1, 2, 3],
[4, 5, 6]])
stdmtx(X)
array([[-1., 0., 1.],
[-1., 0., 1.]])
其他回答
如果你在使用scikit-learn,你可以使用sklearn.预处理。normalize:
import numpy as np
from sklearn.preprocessing import normalize
x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True
你提到了scikit learn,所以我想分享另一个解决方案。
学习MinMaxScaler
在sci-kit learn中,有一个叫做MinMaxScaler的API,它可以自定义你喜欢的值范围。
它也为我们处理了NaN问题。
nan被视为缺失值:不考虑是否合适,并予以维护 在transform. ...参见参考文献[1]
代码示例
代码很简单,只需输入即可
# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
Reference
[1] sklearn.preprocessing.MinMaxScaler
如果你想将存储在3D张量中的n维特征向量归一化,你也可以使用PyTorch:
import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize
vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()
如果你不需要最大的精度,你的函数可以简化为:
v_norm = v / (np.linalg.norm(v) + 1e-16)
一个简单的点积就可以了。不需要任何额外的包装。
x = x/np.sqrt(x.dot(x))
顺便说一下,如果x的范数为0,它本质上是一个零向量,并且不能转换为单位向量(范数为1)。如果你想捕获np.array([0,0,…0])的情况,那么使用
norm = np.sqrt(x.dot(x))
x = x/norm if norm != 0 else x