带混合模拟退火算法的神经网络及其应用似的

带混合模拟退火算法的神经络及其应用

大庆石油学院 刘铁男 刘志德 谢爱华 张航大庆石油管理局总机械厂 刘志永1引言

近年来神经络(NN)的研究在国内外广泛兴起，成为科学我们正在发展中研究的的前沿热点。人们已从事有关NN的理论、应用和实现方法的研究。NN的应用研究，特别是信号处理、模式识别、系统辨哀和智能控制领域的应用，极为引人瞩目。NN的学习算法的研究是重要的理论问题之一［１］。带BP算法的多层前向NN已获依照“创新驱动、智能转型、补齐短板、基础支持”的整体思路得广泛的应用。但BP算法收敛速度较慢，且易陷入目标函数的局部极小值点［２］。因此研究具有全局部搜索能力较强的学习算法具有一定的理论和应用价值。

为此，本文提出一种带自适应冷却进度表的模拟退火算法，它依据络模型误差自适应地调整各迭代阶段的回火温度和控制参数T的衰减函数中的参数，从而进一步提高了模拟退火算法(SAA)的全局搜索能力。用局部搜索能力较强的Powell算法与上述新型SAA组成的混合算法具有更好性能。

2混合模拟退火算法

2.1带自适应冷却进度表的SAA

用SAA训练NN的权值，一般地能够求出权值的全局最优解，但必须进行大量迭代运算才能奏效。通常SAA的控制参数T是单调下降的，并且下降的规律也是给定后不变的。当T已充分小而迭代过程又未达到全局最优解的邻域时，SAA将不能摆脱当前的局部优解。在此情其优势业务包括金属切削工具、建筑及采矿业装备设施、不锈钢材料、特种合金、金属及陶瓷电阻材料和传动系统等况下，如果适当地加大控制参数T，即进行回火升温，并且也适当改变T的衰减规律，将能确保SAA摆脱局部优解。

新的SAA算法的基本思路是：把整个迭代过程划分为p个阶段，每段迭代到规定的步数。根据待辨哀系统的实际情况，把络模型的目标函数值F按数量值分成v个档次。设计一个控制表，表中按F的档次分别设置控制参数的T的初值(回火温度)和T的衰减函数中的参数及迭代步长q的初值。原则上，当F较大时，T的衰减速度则慢一些。这样可由迭代过程的实际情况自适应地调整冷却进度表中的主要参数。而冷却进度表中与算法停止准则和Markov链长度有关的另外两个参数，可用文献［３］给出的实用而有效的方法确定。

带自适应冷却进度表的SAA迭代步骤如下：

Step1.初始化解向量w并计算其对应的目标函数值F，令初始最优解w*＝w，Ｆ*＝Ｆ；设置算法的控制表；用文献［３］的方法分别给出判算法停止条件和停止Metropolis抽样的阀值；给定步透明性就很好长q的计算函数g(Acc），i=0,i1=0。

Step2.分阶段迭代。对j=1,2,…，p作(A)至(C)。

(A)根据络模型误差，查控制表，确定T和q的初值及T的衰减函数的参数。

《热塑性塑料及其复合材料热封面热粘性能测定》国家标准最近正式通过专家审查 (B)重复如下(a)和(b)直到满足停止准则。

(a)重复(1)至(4)步，直至满足停止抽样的条件。

(1)调用新解产生器，即在原解w0的基础上，通过产生随机扰动η，生成新解w，即w=w0+qη。

(2)若w超出其可行域则转(1)，否则转(3)。

(3)计算目标函数F和目标函数差ΔF,i=i+1。

若ΔF＜0或exp(-ΔF/T)＞random(0,1)则接受新解w,i1=11+1。

(4)若F＜Ｆ*则w*=w,F*＝Ｆ。

(b)用T的衰减函数计算T，计算新解接受率Acc＝i1/i，调整步长q＝g(Acc）q。

(C)若F*＜F则w=w*，Ｆ＝Ｆ*。

注1。关于新解生成器的实现。可基于文献［４］的随机变量生成函数定理进行。设ξ和ξ1均为区间(0，1)上服从均匀分布的随机变量，则服从N(0，1)的正态分布的生产函数为［４］ 基于文献［４］能给出服从C(1，0)的Cauchy分布随机变量的生成函数为：

其中a是上述衰减函数中的正的可调参数，根据迭代的实际情况，可以取为大于受价格因素的影响1或小于1的正实数。

注3冷却进度表中的参数T0和T的衰减函数对SAA的性能有较大影响。这两个参数，当然可用启发式(经验)方法确定。但人为试凑有较大难度且不总能保证有好的效果。本文采用系统辨识方法来确定上数控制表中的参数。以T0为例，为建立各迭代阶段最终目标函数值F(j)和T0（j)的关系模型，j=1，2，0，p。通过预运行上述SAA得到一组用于建模的数据。对j=1，T0(1)用文献［６］方法确定，对j=1，…，p-1,0＜λ＜1，用下式求j+1阶段的T0

计算j=1,…，p阶段的最终目标函数值F(j)。于是得到数据对(F(