 (19)
又
 (20)
而
所以
 (21)
则当 充分小时，有
式中，当 时，等式成立。即能量函数 沿着方向 进行迭代的效果要比沿负梯度方向 进行迭代的效果要好。
1.4算法仿真
在以上理论证明中已经证明只有必要条件能量函数存在 阶连续偏导数成立时，定理2才恒成立。不妨在实际仿真中取 。
我们采用三层BP网络，在相同的初始权值和阈值的条件下，分别采用使用了梯度下降法的标准BP算法和基于二阶导数的多记忆BP算法进行计算，学习率 ，计算中的样本函数选取如下：
（1）对函数 在 区间内均分选取十个点；
（2）对函数 在 区间内均分选取十个点。
 计算结果如图1、图2所示。图中曲线为误差 随学习次数 的变化。曲线1为采用标准BP算法的误差收敛曲线，曲线2为基于二阶导数的多记忆BP算法的误差收敛曲线。从误差曲线上可以看出：基于二阶导数的多记忆BP算法和标准BP算法相比，其学习收敛速度有了明显的提高。本文所提出的基于高阶导数的多记忆BP算法，不但能有效地防止振荡，而且大大加快了网络的学习收敛速度。免费论文网。
2结论
理论证明，基于高阶导数的多记忆BP算法，将能量函数的阶导数与最速下降方向相结合，构造出一个新的最速下降方向，从而提高了神经网络的学习速度。通过数字算例仿真，结果表明该算法是一种收敛速度快、稳定、适应性强的BP算法。
参考文献：
[1] 李翔.从复杂到有序：神经网络智能控制理论新进展[M].上海：上海交通大学出版社，2006：136－142
[2]张贵青.人工神经网络导论[M].北京：中国水利电力出版社，2004：42－48
[3] 张艳辉，李立琳.智能控制的主要方法与研究热点[J]. 郑州经济管理干部学院学报，Vol.20，No.4：86-88
[4] 吴启迪.反馈式神经网络智能控制[M].上海：上海科技教育出版社，2004：103－105
[5] 孙蕾，周明全.一种基于拟牛顿法的大类别分类算法[J]. 小型微型计算机系统，2006,27（1）：90-93
[6]GlennFung, MangasarianOL.Proximal support vector machine classifiers[C]. Proceedings of the Seventh ACMSIGKDDInternational Conference on Knowledge Discovery and Data Mining, Aug26-29, 2001,San Francisco, CA, F.Provost & R.Srikant, editors, ACM, NY2001, 77-8
[7] 俞玉森. 数学规划的原理和方法[M]. 武汉：华中理工大学出版社，1993：95－103
[8] 姜鹏飞，蔡之华. 基于遗传算法和梯度下降的神经网络组合训练方法[J].计算机应用，2007，Vol27，No2:366-369
4/4 首页 上一页 2 3 4 |
