苏木三少
错的不是你,而是这个世界。

tensorflow学习笔记

激励函数 activation function

激励函数的位置:输入隐藏层的第二层。

常用的激励函数:
神经网络中的激励函数为神经元提供了规模化的非线性化能力。常见的激励函数包括sigmoid函数,tanh函数和ReLU函数。
sigmoid函数
sigmoid函数一般是大家接触机器学习模型时最早学习到的激励函数模型。它的优点是整个区间都可导。

tanh函数
sigmoid函数的缺点是它不关于原点对称。我们对sigmoid函数进行平移,使其中心对称,得到tahn函数,其表现比sigmoid函数更好。

ReLU函数
tanh函数与sigmoid函数共同的缺点: 当它们倾向于比较大或者比较小的数的时候,整个函数的变化比较平缓,会影响到网络的学习效率。所以在实际工作中用得更多的是ReLU函数

赞(2) 打赏
有问题的朋友随时留言,或者加我为好友。我的QQ是805375353. <<苏木三少博客 » tensorflow学习笔记

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

十年之约