五種最優化方法.docx

五種最優化方法
.最優化方法概述
最優化問題的分類
1）無約束和有約束條件；
2）確定性和隨機性最優問題（變量是否確定）；
3）線性優化與非線性優化（目標函數和約束條件是否線性）；
4）靜態規劃和動態規劃（解是否隨時間變化）。
五種最優化方法
.最優化方法概述
最優化問題的分類
1）無約束和有約束條件；
2）確定性和隨機性最優問題（變量是否確定）；
3）線性優化與非線性優化（目標函數和約束條件是否線性）；
4）靜態規劃和動態規劃（解是否隨時間變化）。
最優化問題的一般形式（有約束條件）：
minf(X)
XwQ
hb(X)=0J=l2…..L
s.t
sJX)>OJ=12“..ru
式中f（X）稱為目標函數（或求它的極小，或求它的極大），si（X）稱為不等式約
束，hj（X）稱為等式約束?；^程就是優選X,使目標函數達到最優值。
.牛頓法
簡介
1）解決的是無約束非線性規劃問題：
2）是求解函數極值的一種方法：
3）是一種函數逼近法。
原理和步驟
牛頓法的軍本思想是，在極小點附近川一階T^,vlor多頂式近似目標函數「；）,進而求出極小點的估計值.
考慮問題
73.1)
miii/(j*).工WI鼠,
甲-八工，界）+）＜J得到NQ的底點，記作廣…I則
在點工八附近，/1因此可用函數/力的極小點作為目標函數八m的極小
點的的計.如果「是了上）的極小點的個估計，那么利卅9,3,21式可以得到極小點的?個進?步的估“.這拌*利用迭代公火（W3.力可以得到個序列可以證明，在定條件F，這個序列收斂于問題（9.3.1）的最優解,而且是2級收斂
.最速下降法（梯度法）
最速下降法簡介
1）解決的是無約束非線性規劃問題；
2）是求解函數極值的一種方法：
3）沿函數在該點處目標函數下降最快的方向作為搜索方向:
最速下降法算法原理和步驟
最速卜降法的迭代公式是
(10,10)
其中d⑴是從小|出發的搜索方向,
這里取在點
處的最速王隆田也
E|J
九是從工⑴強發沿方向一進行一維搜索的步長，即3滿足
（KUJI）
f(.xk,+入城山)=min/(rcA)+),
計算步驟如下:
⑴給定制苴/《《「，允許誤差e>0,置QL
（2）計算搜索方向*1=—$〃”，）.
（3）若||〃|||《E，則停止計算;否則，從上山出發，沿d㈤進行一維搜索，求人，便W+W"min/"-'）,
（4）令嚴力=—置*=4+】，轉步驟⑵.
.模式搜索法（步長加速法）
簡介
1）解決的是無約束非線性規劃問題；
2）不需要求目標函數的導數，所以在解決不可導的函數或者求導異常麻煩的函數的優化問題時非常有效。
3）模式搜索法每一次迭代都是交替進行軸向移動和模式移動。軸向移動的目的
是探測有利的下降方向，而模式移動的目的則是沿著有利方向加速移動。
模式搜索法步驟
模式搜索法二??
基本原理
(A)軸向移動T用y表示
每次軸向移動的開始點稱為參考點
%給定的初始點,1初/承孝/小+產？
與.廣…第A+1次軸向移動結束時所得到的點，氏m鼻,…
若〃覆,i)<f(4)，則從點與**出發作模式移動一軸向移動成功^模式移動
否則，判斷是否有&<e(£為給定