反向传播算法会产生梯度消失的问题，反向传播算法简称BP算法，是适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。以及反向传播算法(过程及公式推导)，反向传播算法原理，反向传播算法公式，反向传播算法会产生梯度消失的问题，反向传播算法的流程等问题，今天小编将带您来分享一下。

反向传播算法会产生梯度消失的问题

　　反向传播算法简称BP算法，是适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。

　　BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。

　　一、反向传播算法简介

　　反向传播算法即误差反向传播算法，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。

　　BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。

　　它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。

　　这是BP算法得以应用的基础。

　　反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

　　BP算法的学习过程由正向传播过程和反向传播过程组成。

　　在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。

　　如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。

　　误差达到所期望值时，网络学习结束。

　　二、权重更新步骤

　　1.将输入激励和响应误差相乘，从而获得权重的梯度；

　　2.将这个梯度乘上一个比例并取反后加到权重上。

　　3.这个比例将会影响到训练过程的速度和效果，因此称为训练因子。

　　梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。

　　以上是反向传播算法会产生梯度消失的问题的详细答案，以及反向传播算法的目的，反向传播算法可以解决非线性分类问题，反向传播算法例题，反向传播算法描述错误的是，反向传播算法会产生梯度爆炸的问题吗等生活问题中的小常识，更多有趣的生活知识尽在本站的首页。

复制或转载请注明出处：http://www.jinrong001.com/xueli/7253.html