神经网络激活函数全解析
激活函数
激活函数是用于为线性的神经元计算引入非线性特性 ，sigmoid函数是激活函数中常见的一种。
简单来说，神经元的计算逻辑为：Z=WX+b（线性加权），激活函数作用于 Z，输出最终的神经元结果 A，即 A=σ(Z)，其中σ代表激活函数。
sigmoid函数
是将(−∞,+∞)的线性输出映射到[0,1]区间
公式：
输出范围：（0,1)
Tanh（双曲正切）函数
公式：
输出：（-1，1）
softsign函数
公式：
输出：（-1，1）
ReLU函数
公式：
输出：[0,+∞）
可在：https://en.wikipedia.org/wiki/Logistic_function查看更多激活函数
