ReLU函数,函数

relu激励函数曲线fig curveofactivationfunctionrelu
relu 的函数公式如下[relu max(0,x relu 的函数图形如下
注意,该函数并非线性,其输出是非线性的 relu 的导数是
先看sigmoid,tanh和relu的函数图:解析:为什么relu要好过于tanh和
优点:收敛速度快相较于sigmoid和tanh函数,relu对于随机梯度下降的