一种改进的多记忆BP神经网络算法(图文)

设为上有阶连续偏导数的实函数，引入记号

(7)

(8)

(9)

(10)

式中，。

构造一个维向量：

(11)

式中，为在处的梯度；为对角阵的和，即

(12)

其中，，(13)

(14)

定理1　 若在上存在阶连续偏导数，则由式（11）构造的为在处的一个下降方向。

证明：

(15)

而由式（7）～（11）得，括号中第一项和第三项都是大于零，而第二项又是小于零，则得

由引理知，为在处的一个下降方向。

定理2 若能量函数在上存在阶连续偏导数，则当充分小时，

(16)

式中，，，即能量函数E(W)沿着方向进行迭代的效果要比沿负梯度方向进行迭代的效果要好。免费论文网。

证明：

因为存在阶连续偏导数，故可以将在处展成一阶泰勒公式：

(17)

(18)

式中与是关于的高阶无穷小。将上面二式相减，得：

 3/4   首页 上一页 1 2 3 4 下一页 尾页