学习过程： （4）
对于输出节点： （5）
对于非输出节点： （6）
1.2基于高阶导数的多记忆BP神经网络算法的描述
在本研究中选择三层BP神经网络模型，输入层结点个数由实际问题所决定，设输入层结点个数为 ，隐含层结点个数为 ，输出层结点个数由实际问题所决定，设输出层结点个数为 。
设 为训练样本输入对，其中 ； 为网络的输入变量； 为相应的理论输出； 为网络的实际输出。能量函数 取为 ，式中 是训练模式对的个数，是输出单元的个数， 为训练模式为 时单元 的理想输出， 为训练模式为时单元的实际输出。 为允许的误差值，激励函数取为 。
基于高阶导数的多记忆BP神经网络算法如下：
（1）选择一组初始权值 和初始阈值 ， ，  。免费论文网。
（2）将输入向量 输入到神经网络中，输入按正向传播方式，计算各个结点的输出，最后得到相应的输出 。
（3）计算能量函数 。
（4）如果 ，则修改权值 ，令 ，式中 为在 处的梯度， 为对角阵的和，见式（12）。同理修改阈值 ，令 ，其中 相对于而言， 为学习率。 和 的计算可参考文献[8]。
（5）返回到（2），以 为新的权值， 为新的阈值，直到 为止。
1.3基于高阶导数的多记忆BP神经网络的收敛和快速性证明
定义1 设 在 上有定义，非零向量 ，如果存在一个正数 ，使得对任意 都有 成立，则称 为在处的一个下降方向。
2/4 首页 上一页 1 2 3 4 下一页 尾页 |
