如何在Python中实现Softmax函数

从Udacity的深度学习课程中，y_i的softmax仅仅是指数除以整个Y向量的指数之和:

其中S(y_i)是y_i的软最大函数e是指数函数j是no。输入向量Y中的列。

我试过以下几种方法:

import numpy as np

def softmax(x):
    """Compute softmax values for each sets of scores in x."""
    e_x = np.exp(x - np.max(x))
    return e_x / e_x.sum()

scores = [3.0, 1.0, 0.2]
print(softmax(scores))

[ 0.8360188   0.11314284  0.05083836]

但建议的解决方案是:

def softmax(x):
    """Compute softmax values for each sets of scores in x."""
    return np.exp(x) / np.sum(np.exp(x), axis=0)

它产生与第一个实现相同的输出，尽管第一个实现显式地取每列与Max的差值，然后除以和。

有人能用数学方法解释一下吗?一个是对的，另一个是错的?

实现在代码和时间复杂度方面是否相似?哪个更有效率?

当前回答

我想补充一点对这个问题的理解。这里减去数组的最大值是正确的。但如果你运行另一篇文章中的代码，你会发现当数组是2D或更高维度时，它不会给你正确的答案。

在这里我给你一些建议:

为了得到max，试着沿着x轴做，你会得到一个1D数组。重塑你的最大数组原始形状。 np。Exp得到指数值。 np。沿轴求和。得到最终结果。

根据结果，你将通过做矢量化得到正确的答案。因为和大学作业有关，所以我不能把具体的代码贴在这里，如果你不明白我可以多给你一些建议。

2017-07-16 02:00:38

其他回答

他们都是正确的，但从数值稳定性的角度来看，你的更合适。

你从

e ^ (x - max(x)) / sum(e^(x - max(x))

利用a^(b - c) = (a^b)/(a^c)我们得到

= e ^ x / (e ^ max(x) * sum(e ^ x / e ^ max(x)))

= e ^ x / sum(e ^ x)

这就是另一个答案说的。你可以用任意变量替换max(x)它会消掉。

2016-01-23 22:00:06

为了保持数值的稳定性，应减去max(x)。下面是softmax函数的代码;

def softmax (x):

if len(x.shape) > 1:
    tmp = np.max(x, axis = 1)
    x -= tmp.reshape((x.shape[0], 1))
    x = np.exp(x)
    tmp = np.sum(x, axis = 1)
    x /= tmp.reshape((x.shape[0], 1))
else:
    tmp = np.max(x)
    x -= tmp
    x = np.exp(x)
    tmp = np.sum(x)
    x /= tmp


return x

2016-11-06 15:52:37

更简明的说法是:

def softmax(x):
    return np.exp(x) / np.exp(x).sum(axis=0)

2016-09-06 20:08:40

似乎每个人都发布了他们的解决方案，所以我将发布我的:

def softmax(x):
    e_x = np.exp(x.T - np.max(x, axis = -1))
    return (e_x / e_x.sum(axis=0)).T

我得到了与从sklearn导入的完全相同的结果:

from sklearn.utils.extmath import softmax

2018-10-17 04:25:11

目标是使用Numpy和Tensorflow实现类似的结果。与原始答案的唯一变化是np的轴参数。和api。

初始方法:axis=0 -然而，当维度为N时，这并不能提供预期的结果。

修改方法:axis=len(e_x.shape)-1 -总是在最后一个维度上求和。这提供了与tensorflow的softmax函数类似的结果。

def softmax_fn(input_array):
    """
    | **@author**: Prathyush SP
    |
    | Calculate Softmax for a given array
    :param input_array: Input Array
    :return: Softmax Score
    """
    e_x = np.exp(input_array - np.max(input_array))
    return e_x / e_x.sum(axis=len(e_x.shape)-1)

2018-10-03 12:53:50

如何在Python中实现Softmax函数

推荐文章

最新文章

标签