模擬退火算法來源於固體退火原理,將固體加溫至充分高,再讓其徐徐冷卻,加溫時,固體內部粒子隨溫升變爲無序狀,內能增大,而徐徐冷卻時粒子漸趨有序,在每個溫度都達到平衡態,最後在常溫時達到基態,內能減爲最小。根據Metropolis準則,粒子在溫度T時趨於平衡的概率爲e-ΔE/(kT),其中E爲溫度T時的內能,ΔE爲其改變量,k爲Boltzmann常數。用固體退火模擬組合優化問題,將內能E模擬爲目標函數值f,溫度T演化成控制參數t,即得到解組合優化問題的模擬退火算法:由初始解i和控制參數初值t開始,對當前解重複“產生新解→計算目標函數差→接受或捨棄”的迭代,並逐步衰減t值,算法終止時的當前解即爲所得近似最優解,這是基於蒙特卡羅迭代求解法的一種啓發式隨機搜索過程。退火過程由冷卻進度表(Cooling Schedule)控制,包括控制參數的初值t及其衰減因子Δt、每個t值時的迭代次數L和停止條件S。
1 . 模擬退火算法的模型
模擬退火算法可以分解爲解空間、目標函數和初始解三部分。
模擬退火的基本思想:
(1) 初始化:初始溫度T(充分大),初始解狀態S(是算法迭代的起點), 每個T值的迭代次數L
(2) 對k=1,……,L做第(3)至第6步:
(3) 產生新解S′
(4) 計算增量Δt′=C(S′)-C(S),其中C(S)爲評價函數
(5) 若Δt′<0則接受S′作爲新的當前解,否則以概率exp(-Δt′/T)接受S′作爲新的當前解.
(6) 如果滿足終止條件則輸出當前解作爲最優解,結束程序。
終止條件通常取爲連續若干個新解都沒有被接受時終止算法。
(7) T逐漸減少,且T->0,然後轉第2步。
算法對應動態演示圖:
模擬退火算法新解的產生和接受可分爲如下四個步驟:
第一步是由一個產生函數從當前解產生一個位於解空間的新解;爲便於後續的計算和接受,減少算法耗時,通常選擇由當前新解經過簡單地變換即可產生新解的方法,如對構成新解的全部或部分元素進行置換、互換等,注意到產生新解的變換方法決定了當前新解的鄰域結構,因而對冷卻進度表的選取有一定的影響。
第二步是計算與新解所對應的目標函數差。因爲目標函數差僅由變換部分產生,所以目標函數差的計算最好按增量計算。事實表明,對大多數應用而言,這是計算目標函數差的最快方法。
第三步是判斷新解是否被接受,判斷的依據是一個接受準則,最常用的接受準則是Metropo1is準則: 若Δt′<0則接受S′作爲新的當前解S,否則以概率exp(-Δt′/T)接受S′作爲新的當前解S。
第四步是當新解被確定接受時,用新解代替當前解,這隻需將當前解中對應於產生新解時的變換部分予以實現,同時修正目標函數值即可。此時,當前解實現了一次迭代。可在此基礎上開始下一輪試驗。而當新解被判定爲捨棄時,則在原當前解的基礎上繼續下一輪試驗。
模擬退火算法與初始值無關,算法求得的解與初始解狀態S(是算法迭代的起點)無關;模擬退火算法具有漸近收斂性,已在理論上被證明是一種以概率l 收斂於全局最優解的全局優化算法;模擬退火算法具有並行性。
2 模擬退火算法的簡單應用
作爲模擬退火算法應用,討論貨郎擔問題(Travelling Salesman Problem,簡記爲TSP):設有n個城市,用數碼1,…,n代表。城市i和城市j之間的距離爲d(i,j) i, j=1,…,n.TSP問題是要找遍訪每個域市恰好一次的一條迴路,且其路徑總長度爲最短.。
求解TSP的模擬退火算法模型可描述如下:
解空間 解空間S是遍訪每個城市恰好一次的所有迴路,是{1,……,n}的所有循環排列的集合,S中的成員記爲(w1,w2 ,……,wn),並記wn+1= w1。初始解可選爲(1,……,n)
目標函數 此時的目標函數即爲訪問所有城市的路徑總長度或稱爲代價函數:
我們要求此代價函數的最小值。
新解的產生 隨機產生1和n之間的兩相異數k和m,若k<m,則將
(w1, w2 ,…,wk , wk+1 ,…,wm ,…,wn)
變爲:
(w1, w2 ,…,wm , wm-1 ,…,wk+1 , wk ,…,wn).
如果是k>m,則將
(w1, w2 ,…,wk , wk+1 ,…,wm ,…,wn)
變爲:
(wm, wm-1 ,…,w1 , wm+1 ,…,wk-1 ,wn , wn-1 ,…,wk).
上述變換方法可簡單說成是“逆轉中間或者逆轉兩端”。
也可以採用其他的變換方法,有些變換有獨特的優越性,有時也將它們交替使用,得到一種更好方法。
代價函數差 設將(w1, w2 ,……,wn)變換爲(u1, u2 ,……,un), 則代價函數差爲:
根據上述分析,可寫出用模擬退火算法求解TSP問題的僞程序:
Procedure TSPSA:
begin
init-of-T; { T爲初始溫度}
S={1,……,n}; {S爲初始值}
termination=false;
while termination=false
begin
for i=1 to L do
begin
generate(S′form S); { 從當前迴路S產生新迴路S′}
Δt:=f(S′))-f(S);{f(S)爲路徑總長}
IF(Δt<0) OR (EXP(-Δt/T)>Random-of-[0,1])
S=S′;
IF the-halt-condition-is-TRUE THEN
termination=true;
End;
T_lower;
End;
End
模擬退火算法的應用很廣泛,可以較高的效率求解最大截問題(Max Cut Problem)、0-1揹包問題(Zero One Knapsack Problem)、圖着色問題(Graph Colouring Problem)、調度問題(Scheduling Problem)等等。
3 模擬退火算法的參數控制問題
模擬退火算法的應用很廣泛,可以求解NP完全問題,但其參數難以控制,其主要問題有以下三點:
(1) 溫度T的初始值設置問題。
溫度T的初始值設置是影響模擬退火算法全局搜索性能的重要因素之一、初始溫度高,則搜索到全局最優解的可能性大,但因此要花費大量的計算時間;反之,則可節約計算時間,但全局搜索性能可能受到影響。實際應用過程中,初始溫度一般需要依據實驗結果進行若干次調整。
(2) 退火速度問題。
模擬退火算法的全局搜索性能也與退火速度密切相關。一般來說,同一溫度下的“充分”搜索(退火)是相當必要的,但這需要計算時間。實際應用中,要針對具體問題的性質和特徵設置合理的退火平衡條件。
(3) 溫度管理問題。
溫度管理問題也是模擬退火算法難以處理的問題之一。實際應用中,由於必須考慮計算複雜度的切實可行性等問題,常採用如下所示的降溫方式:
T(t+1)=k×T(t)
式中k爲正的略小於1.00的常數,t爲降溫的次數
其實,模擬退火就是在一定的解空間內用模擬退火的方式來尋求一個"最優解",其計算複雜度,最壞情況應該就是2的N次方,但是考慮到最壞的情況又不能體現模擬退火的優越性,因爲其中尋優的過程中,新解的產生機制和接受機制以及終止條件和降溫方式都影響着這個複雜度的問題.