下面是如何以数字稳定的方式实现逻辑sigmoid(如这里所述):

def sigmoid(x):
    "Numerically-stable sigmoid function."
    if x >= 0:
        z = exp(-x)
        return 1 / (1 + z)
    else:
        z = exp(x)
        return z / (1 + z)

或许这句话更准确:

import numpy as np

def sigmoid(x):  
    return np.exp(-np.logaddexp(0, -x))

在内部，它实现了与上面相同的条件，但随后使用log1p。

一般而言，多项logistic乙型为:

def nat_to_exp(q):
    max_q = max(0.0, np.max(q))
    rebased_q = q - max_q
    return np.exp(rebased_q - np.logaddexp(-max_q, np.logaddexp.reduce(rebased_q)))

(然而,logaddexp。Reduce可能更准确。)

一个班轮…

In[1]: import numpy as np

In[2]: sigmoid=lambda x: 1 / (1 + np.exp(-x))

In[3]: sigmoid(3)
Out[3]: 0.9525741268224334

我觉得很多人可能会对自由参数感兴趣来改变sigmoid函数的形状。其次，对于许多应用程序，您需要使用镜像sigmoid函数。第三，你可能想做一个简单的归一化，例如输出值在0和1之间。

Try:

def normalized_sigmoid_fkt(a, b, x):
   '''
   Returns array of a horizontal mirrored normalized sigmoid function
   output between 0 and 1
   Function parameters a = center; b = width
   '''
   s= 1/(1+np.exp(b*(x-a)))
   return 1*(s-min(s))/(max(s)-min(s)) # normalize function to 0-1

并绘制和比较:

def draw_function_on_2x2_grid(x): 
    fig, ((ax1, ax2), (ax3, ax4)) = plt.subplots(2, 2)
    plt.subplots_adjust(wspace=.5)
    plt.subplots_adjust(hspace=.5)

    ax1.plot(x, normalized_sigmoid_fkt( .5, 18, x))
    ax1.set_title('1')

    ax2.plot(x, normalized_sigmoid_fkt(0.518, 10.549, x))
    ax2.set_title('2')

    ax3.plot(x, normalized_sigmoid_fkt( .7, 11, x))
    ax3.set_title('3')

    ax4.plot(x, normalized_sigmoid_fkt( .2, 14, x))
    ax4.set_title('4')
    plt.suptitle('Different normalized (sigmoid) function',size=10 )

    return fig

最后:

x = np.linspace(0,1,100)
Travel_function = draw_function_on_2x2_grid(x)

Tensorflow还包括一个sigmoid函数: https://www.tensorflow.org/versions/r1.2/api_docs/python/tf/sigmoid

import tensorflow as tf

sess = tf.InteractiveSession()
x = 0.458
y = tf.sigmoid(x)

u = y.eval()
print(u)
# 0.6125396

下面是如何以数字稳定的方式实现逻辑sigmoid(如这里所述):

def sigmoid(x):
    "Numerically-stable sigmoid function."
    if x >= 0:
        z = exp(-x)
        return 1 / (1 + z)
    else:
        z = exp(x)
        return z / (1 + z)

或许这句话更准确:

import numpy as np

def sigmoid(x):  
    return np.exp(-np.logaddexp(0, -x))

在内部，它实现了与上面相同的条件，但随后使用log1p。

一般而言，多项logistic乙型为:

def nat_to_exp(q):
    max_q = max(0.0, np.max(q))
    rebased_q = q - max_q
    return np.exp(rebased_q - np.logaddexp(-max_q, np.logaddexp.reduce(rebased_q)))

(然而,logaddexp。Reduce可能更准确。)

使用numpy包允许sigmoid函数解析向量。

为了与Deeplearning相一致，我使用以下代码:

import numpy as np
def sigmoid(x):
    s = 1/(1+np.exp(-x))
    return s