田 野a, 張興義b
(安徽大學(xué) a.物質(zhì)科學(xué)與信息技術(shù)研究院, b.計算機科學(xué)與技術(shù)學(xué)院, 安徽 合肥 230601)
超多目標(biāo)優(yōu)化問題指含有多于3個目標(biāo)函數(shù)的優(yōu)化問題,它廣泛存在于許多領(lǐng)域中,例如無人機群路徑規(guī)劃和混合動力汽車控制[1-2].一個超多目標(biāo)優(yōu)化問題可以定義為
minf(x)=(f1(x),f2(x),…,fM(x))
x∈Ω
(1)
其中,x=(x1,x2,…,xD)T∈Ω?RD是決策向量,f=(f1,f2,…,fM)T∈Λ?RM是目標(biāo)向量,D是決策變量數(shù)目,M>3是目標(biāo)函數(shù)數(shù)目,Ω是D維的決策空間,Λ是M維的目標(biāo)空間.由于超多目標(biāo)優(yōu)化問題的目標(biāo)之間往往是互相矛盾的,故一般不存在一個可以在所有目標(biāo)上均達到最優(yōu)值的解.因此,求解超多目標(biāo)優(yōu)化問題的目的是找到一組在各個目標(biāo)上折衷的解,而決策者可以從該解集中選擇任意一個或多個解作為最終的決策方案[3].所有最優(yōu)的折衷解構(gòu)成了該問題的帕累托(Pareto)最優(yōu)解集,而這些解在目標(biāo)空間中的圖像稱為帕累托前沿面.
自VEGA于1985年被提出以來[4],已有許多采用了不同環(huán)境選擇策略的進化算法被用于求解多目標(biāo)優(yōu)化問題,如基于擁擠距離選擇的NSGA-Ⅱ、基于歐氏距離截斷的SPEA2和基于網(wǎng)格選擇的PESA-Ⅱ[5-7].這些多目標(biāo)進化算法均采用帕累托支配關(guān)系作為基本的解選擇策略,上述環(huán)境選擇策略則用于區(qū)分帕累托支配關(guān)系無法區(qū)分的解.其中帕累托支配關(guān)系用于保證選擇的解的收斂性,而其它環(huán)境選擇策略用于保證選擇的解的分布性.根據(jù)帕累托支配關(guān)系,解x支配解y當(dāng)且僅當(dāng)
(2)
記作f(x)f(y),并且認(rèn)為解x要優(yōu)于解y.若x不支配y且y不支配x,則稱它們是互相非支配的,并認(rèn)為它們之間無法區(qū)分.從以上定義可以看出,對于2個具有M個目標(biāo)的隨機解,其中一個支配另一個的期望概率是0.5M-1.因此,對于M較大的超多目標(biāo)優(yōu)化問題來說,進化算法的種群中的解大都互相非支配,即帕累托支配關(guān)系無法區(qū)分大多數(shù)的解.這一現(xiàn)象被稱為帕累托支配受阻[8].
在求解超多目標(biāo)優(yōu)化問題時,帕累托支配關(guān)系的無效,會直接導(dǎo)致選擇的解的收斂性無法保證,并使得整個進化算法無法有效收斂.實際上,許多研究指出,NSG-Ⅱ等傳統(tǒng)多目標(biāo)進化算法僅在問題的目標(biāo)數(shù)M≤3時有效,它們無法有效求解超多目標(biāo)優(yōu)化問題[8-9].為此,一些采用了特殊環(huán)境選擇策略的進化算法被相繼提出,用于求解超多目標(biāo)優(yōu)化問題.這些算法大體可以分為基于帕累托支配關(guān)系的算法、基于改進支配關(guān)系的算法、基于目標(biāo)分解的算法和基于性能指標(biāo)的算法.本文將對以上4類超多目標(biāo)進化算法進行詳細介紹,并對一些具有代表性的算法的性能進行實驗對比.此外,本文也對超多目標(biāo)進化優(yōu)化的發(fā)展趨勢給出一些看法.
該類型的超多目標(biāo)進化算法仍采用帕累托支配關(guān)系作為基本的解選擇策略,用以剔除種群中少量的被支配解.對于剩余的大部分非支配解,該類算法采用特殊的環(huán)境選擇策略來同時保證選擇的解的收斂性與分布性.
KnEA中設(shè)計了基于knee point優(yōu)先選擇的策略用于區(qū)分非支配解[10].Knee point是位于前沿面上最凸的部分的解,在knee point附近任何一維目標(biāo)值的稍微減少都會導(dǎo)致其它維目標(biāo)值的大幅增加[11].因此,在一個非支配解集中,knee point的收斂性要優(yōu)于其它非支配解.KnEA通過優(yōu)先選擇非支配解中的knee point來保證收斂性,并通過一種自適應(yīng)的小生境技術(shù)來使得選出的knee point具有較好的分布性.
由于高維目標(biāo)空間中的解的收斂性與分布性存在一定的矛盾,BiGE分別將每個解的收斂性與分布性定義為一個新的目標(biāo)函數(shù)[12].因此,原有的超多目標(biāo)優(yōu)化問題被轉(zhuǎn)化為了一個雙目標(biāo)優(yōu)化問題,即最小化收斂性評價函數(shù)與分布性評價函數(shù).之后,該問題便可利用傳統(tǒng)基于帕累托支配關(guān)系的環(huán)境選擇策略予以求解.
1by1EA中設(shè)計了一種逐一選擇策略來應(yīng)對超多目標(biāo)優(yōu)化問題[13].該算法每次從所有非支配解中選出收斂性最好的一個,并將它一定鄰域范圍內(nèi)的其它解刪除,從而能夠在選出收斂性較好的解的同時保證其分布性.實驗證實1by1EA可以在超多目標(biāo)優(yōu)化問題上獲得較好的效果,但如何確定解的收斂性度量標(biāo)準(zhǔn)仍有待研究.
為了更加準(zhǔn)確地評價解的收斂性和分布性,GFM-MOEA中提出了一種前沿面建模的方法[14],它可以根據(jù)當(dāng)前種群估計出前沿面形狀的函數(shù)表達式.GFM-MOEA將解到前沿面的距離作為其收斂性度量,并將解在前沿面上的投影與其它解的投影的距離作為其分布性度量.GFM-MOEA中的前沿面建模方法不僅提升了在不同形狀前沿面上的收斂性度量的準(zhǔn)確性,也提供了一種較為準(zhǔn)確的前沿面歸一化方法.
總而言之,基于帕累托支配關(guān)系的算法的研究重點,在于如何評價高維空間中每個解的收斂性與分布性.此外,對于高維空間中的解來說,較好的分布性往往對應(yīng)著較差的收斂性[9],因此,如何在選擇策略中平衡收斂性與分布性也是設(shè)計該類算法的重點.
由于帕累托支配關(guān)系無法區(qū)分超多目標(biāo)優(yōu)化問題的大部分解,因此,一些工作通過改進帕累托支配關(guān)系使其具有區(qū)分超多目標(biāo)優(yōu)化問題的解的能力.現(xiàn)有用于超多目標(biāo)優(yōu)化問題的支配關(guān)系可以分為4類,即基于支配區(qū)域擴展的支配關(guān)系、基于網(wǎng)格的支配關(guān)系、基于模糊邏輯的支配關(guān)系和基于小生境的支配關(guān)系.
根據(jù)帕累托支配關(guān)系的定義可知,一個具有M維目標(biāo)的解的支配區(qū)域占整個目標(biāo)空間0.5M.因此,第一類支配關(guān)系通過擴大每個解的支配區(qū)域來提升其支配其它解的概率,從而達到區(qū)分解的目的.例如,CDAS和GPO分別通過修改解的目標(biāo)函數(shù)值和帕累托支配的定義來擴大每個解的支配區(qū)域[15-16].
第二類支配關(guān)系將目標(biāo)空間劃分為若干網(wǎng)格,并用每個解所在的網(wǎng)格坐標(biāo)來代替目標(biāo)值進行帕累托支配關(guān)系的判斷.由于某個維度上目標(biāo)值不同的2個解的網(wǎng)格坐標(biāo)值可能是相同的,它們之間的非支配關(guān)系便可能變?yōu)橹渑c被支配的關(guān)系.因此,采用網(wǎng)格坐標(biāo)也可以提升一個解支配其它解的概率.屬于該類支配關(guān)系的有ε支配和grid支配等[17-18].
第三類支配關(guān)系利用模糊邏輯來提升一個解支配其它解的概率.在帕累托支配關(guān)系中,解x支配解y的充分條件是x的所有目標(biāo)值均小于等于y;而在基于模糊邏輯的支配關(guān)系中,x的大部分目標(biāo)值小于等于y即可使得x支配y,因此,一個解支配其它解的概率被大幅提升了.屬于該類支配關(guān)系的有(1-k)支配和fuzzy支配等[19-20].
第四類支配關(guān)系利用小生境技術(shù)來判斷解之間的支配關(guān)系.該類支配關(guān)系將每個解劃分至一個小生境中,而相同小生境內(nèi)的收斂性最好的解支配其它所有解.例如,θ支配生成一組均勻分布的權(quán)值向量[21],并將每個解分配至離它最近的權(quán)值向量.SDR采用一種自適應(yīng)小生境技術(shù)來自動地確定每個解所在的小生境以及每個小生境的大小[22],可在不同形狀前沿面上獲得較好的分布性.
值得注意的是,以上工作均只提出了新型支配關(guān)系,并在傳統(tǒng)多目標(biāo)進化算法如NSGA-Ⅱ上驗證了性能.因此,將這些支配關(guān)系與第一類超多目標(biāo)進化算法結(jié)合來進一步提升性能是非??尚械姆桨?
自MOEA/D被提出以來,基于目標(biāo)分解的多目標(biāo)進化算法受到越來越多研究者的關(guān)注[23].雖然MOEA/D不是為求解超多目標(biāo)優(yōu)化問題而設(shè)計的,但由于其沒有使用任何支配關(guān)系,它也能較好地求解超多目標(biāo)優(yōu)化問題.該類算法的核心思想是生成一組均勻分布的權(quán)值向量,并根據(jù)每個解在每個權(quán)值向量上的聚集函數(shù)值將解分配至權(quán)值向量上.通過在每個權(quán)值向量上僅保留一個聚集函數(shù)值最好的解可以保證收斂性,而權(quán)值向量本身的均勻分布又可以保證分布性.該類算法的研究重點主要在于聚集函數(shù)的設(shè)計、解到權(quán)值向量的分配方法以及權(quán)值向量的自適應(yīng).
MOEA/D中給出了3種聚集函數(shù),即加權(quán)和方法、Tchebycheff方法與PBI方法.實驗證實,加權(quán)和方法僅適用于具有凸前沿面的多目標(biāo)優(yōu)化問題,Tchebycheff方法的綜合性能最好,而PBI方法能夠獲得分布性更好的種群.MOEA/D-AWA中通過將權(quán)值向量轉(zhuǎn)換提出了一種改進的Tchebycheff方法,它能獲得和PBI方法同樣好的分布性[24].RVEA中提出了一種全新的聚集函數(shù)APD,它能更好地求解超多目標(biāo)優(yōu)化問題[25].
在進化過程中可能會出現(xiàn)一些解在多個權(quán)值向量上有最好的聚集函數(shù)值的現(xiàn)象,因此,如何將解分配至權(quán)值向量也是一個研究重點.MOEA/D中采用較為直接的方法,即將每個解復(fù)制多份并分配至它能達到最好的聚集函數(shù)值的所有權(quán)值向量上.MOEA/D-DE中限制了每個解的復(fù)制次數(shù),這使得選擇過程不會過于貪心[26].MOEA/D-DU限制每個解僅可被分配至離它最近的若干權(quán)值向量上[27],而RVEA限制每個解僅可被分配至離它最近的一個權(quán)值向量上[25].MOEA/D-STM將解到權(quán)值向量的分配視為一個線性分配問題,并利用一個匹配方法予以解決[28].
基于目標(biāo)分解的多目標(biāo)進化算法得到的種群,一般和權(quán)值向量具有相同的分布,因此,當(dāng)問題的前沿面形狀過于復(fù)雜而與權(quán)值向量的分布不一致時,該類算法得到的種群的分布性往往較差[29].為此,一些算法通過在進化過程中調(diào)整權(quán)值向量的分布來提升分布性.例如,A-NSGA-Ⅲ和RVEA*根據(jù)當(dāng)前種群的分布來調(diào)整權(quán)值向量[25,30],而MOEA/D-AWA和AR-MOEA則在進化過程中維持一個分布性較好的外部文檔[24,31],并依此來更新權(quán)值向量的分布.
由于基于目標(biāo)分解的算法具有較高的運行效率和較好的效果,其已成為求解超多目標(biāo)優(yōu)化問題最重要的算法類型之一.得益于基于目標(biāo)分解的算法的靈活框架,一些工作將目標(biāo)分解與其它選擇策略結(jié)合來進一步提升性能.例如,NSGA-Ⅲ和MOEA/DD是結(jié)合了帕累托支配關(guān)系的基于目標(biāo)分解的算法[32-33],而θ支配也借鑒了目標(biāo)分解的思想[21].
為了對比多目標(biāo)進化算法的性能,一些性能指標(biāo)被提出用于定量地評價算法得到的種群質(zhì)量.這些指標(biāo)也被用于進化算法的環(huán)境選擇策略中,即選出種群中具有最好指標(biāo)值的子集.性能指標(biāo)通常可以同時評價種群的收斂性與分布性,因此,算法無需再考慮收斂性與分布性的平衡.
HypE采用HV指標(biāo)作為環(huán)境選擇的準(zhǔn)則[34],它每次從種群中刪除一個能使種群HV值下降最少的解,因此,最終剩余的解能有較高的HV值,即較好的收斂性與分布性.由于HV的計算復(fù)雜度與問題的目標(biāo)數(shù)呈指數(shù)級相關(guān),為了提升算法在超多目標(biāo)優(yōu)化問題上的效率,HypE中采用了蒙特卡洛模擬法來近似地估計種群的HV值.
MOMBI-Ⅱ采用基于R2指標(biāo)的環(huán)境選擇策略[35].R2指標(biāo)的思想與基于目標(biāo)分解的算法類似,即衡量種群相對于一組均勻分布的權(quán)值向量的收斂性與分布性.因此,MOMBI-Ⅱ得到的種群也具有和權(quán)值向量相同的分布.此外,該算法中采用了一種目標(biāo)空間歸一化策略用于求解非歸一化的超多目標(biāo)優(yōu)化問題.
AR-MOEA采用一種改進的IGD指標(biāo)來進行環(huán)境選擇[31].IGD指標(biāo)衡量種群與前沿面的接近程度,需要計算種群中每個解與前沿面上一組均勻參考點之間的距離.由于問題的前沿面對于進化算法來說是未知的,AR-MOEA利用一組均勻分布的權(quán)值向量作為計算指標(biāo)的參考點,并在進化過程中不斷調(diào)整權(quán)值向量的分布以更加接近問題的前沿面形狀.
MaOEA/IGD也是基于IGD指標(biāo)的超多目標(biāo)進化算法[36].它首先采用單目標(biāo)進化算法估計出問題的前沿面的范圍,并根據(jù)此范圍在目標(biāo)空間中建立一個超平面.通過在超平面上生成一組均勻分布的參考點,MaOEA/IGD便可以計算種群的IGD值從而進行環(huán)境選擇.
雖然使用性能指標(biāo)可以大大簡化對解的收斂性和分布性評價,但性能指標(biāo)的計算本身存在2個難題:①性能指標(biāo)值一般對選取的參考點極為敏感[37],因此,如何選取合適的參考點是值得研究的問題;②基于性能指標(biāo)的算法需要反復(fù)計算種群的性能指標(biāo)值,這使得該類算法的運行效率較低,因此,如何提升性能指標(biāo)的計算效率也是值得研究的問題.
本節(jié)將對8個具有代表性的超多目標(biāo)進化算法進行實驗對比,包括基于帕累托支配關(guān)系的算法GFM-MOEA、基于改進支配關(guān)系的算法GrEA(采用了grid支配)和NSGA-II/SDR(采用了SDR),基于目標(biāo)分解的算法MOEA/D、MOEA/DD和RVEA,以及基于性能指標(biāo)的算法MOMBI-Ⅱ和AR-MOEA.實驗基于進化多目標(biāo)優(yōu)化平臺PlatEMO完成[38].
(1)測試函數(shù).實驗選取常用的超多目標(biāo)優(yōu)化測試問題DTLZ1-DTLZ7和WFG1-WFG9[39-40].所有測試問題的目標(biāo)數(shù)M設(shè)為5和10.DTLZ1的決策變量數(shù)D設(shè)為M+4,DTLZ7的決策變量數(shù)D設(shè)為M+19,其它所有測試問題的決策變量數(shù)設(shè)為M+9.
(2)種群大小.所有算法在5維問題上的種群大小N設(shè)為126,在10維問題上的種群大小N設(shè)為275.此外,所有基于目標(biāo)分解的算法所使用的權(quán)值向量的數(shù)目等于種群大小.
(3)迭代次數(shù).所有算法在DTLZ1和DTLZ3上的迭代次數(shù)設(shè)為500,在其它所有測試問題上的迭代次數(shù)設(shè)為300.
(4)算法參數(shù).GFM-MOEA中的懲罰參數(shù)設(shè)為0.2,使用建模方法的頻率設(shè)為0.1,GrEA中的每維網(wǎng)格數(shù)設(shè)為10,MOEA/D中使用的聚集函數(shù)為PBI,MOEA/DD中的鄰域范圍設(shè)為0.1N,RVEA中的懲罰參數(shù)設(shè)為2,使用參考點自適應(yīng)的頻率設(shè)為0.1,MOMBI-Ⅱ中的變化閾值設(shè)為0.5,容忍閾值設(shè)為0.001,文檔大小設(shè)為5.
(5)遺傳算子.所有算法采用模擬二進制交叉和多項式變異來產(chǎn)生子代[41-42],其中交叉概率為1、變異概率為1/D、分布指數(shù)設(shè)為20.
表1給出了8個超多目標(biāo)進化算法在DTLZ1-DTLZ7和WFG1-WFG9上的IGD指標(biāo)值[43],表中顯示的平均值是30次獨立運行的結(jié)果.同時,表1中每行最好的IGD值以深色高亮顯示,且與最好的IGD值在Wilcoxon秩和檢驗(顯著性水平為0.05)下無顯著差異的結(jié)果以淺色高亮顯示.由表1中可見,不同算法在超多目標(biāo)優(yōu)化問題上的性能差異較大,其中GFM-MOEA獲得了15個最好結(jié)果,GrEA和MOEA/D分別獲得了5個最好結(jié)果,MOEA/DD獲得了3個最好結(jié)果,RVEA獲得了2個最好結(jié)果,MOMBI-Ⅱ和AR-MOEA分別獲得了1個最好結(jié)果.
DTLZ1和DTLZ3具有較多的局部最優(yōu)值,它們能測試算法在超多目標(biāo)優(yōu)化問題上的收斂性.可以看出,基于目標(biāo)分解的MOEA/DD和基于性能指標(biāo)的AR-MOEA在這2個測試問題上的綜合性能最好.DTLZ5和DTLZ6的前沿面始終是一條一維的曲線,它們能測試算法在具有退化的前沿面的問題上的性能.從表中易知,基于PBI方法的MOEA/D能夠在這2個測試問題上獲得明顯好于其它算法的結(jié)果.DTLZ7和WFG1-WFG3具有極不規(guī)則的前沿面形狀,而GFM-MOEA、GrEA和AR-MOEA在求解這3個測試問題時表現(xiàn)出了最好的性能.WFG4-WFG9的前沿面是高維空間中的超球面,但前沿面每維的范圍各不相同,它們能測試算法在高維空間上的歸一化能力.顯然,基于前沿面建模的GFM-MOEA可以獲得比其它算法更好的結(jié)果.
表1 8個超多目標(biāo)進化算法在DTLZ1-DTLZ7和WFG1-WFG9上的IGD值
為了更加直觀地比較8個算法的性能差異,圖1展示了它們在10維DTLZ1、DTLZ3、DTLZ5、DTLZ7、WFG2和WFG4上的結(jié)果.圖1中以平行坐標(biāo)圖的方式繪制了每個算法得到的最好IGD值所對應(yīng)的種群[44].在較難收斂的DTLZ1和DTLZ3上,除GFM-MOEA和GrEA外的其它所有算法均能收斂到前沿面上.在具有退化前沿面的DTLZ5上,只有MOEA/D能夠收斂到前沿面并保持較好的分布性.在具有不規(guī)則前沿面的DTLZ7和WFG2上,GFM-MOEA、GrEA和AR-MOEA得到的種群的分布范圍要明顯大于其它算法得到的種群.而在具有未歸一化前沿面的WFG4上,GFM-MOEA、GrEA和NSGA-Ⅱ/SDR得到的種群的分布范圍最廣.
圖1 8個超多目標(biāo)進化算法在DTLZ1、DTLZ3、DTLZ5、DTLZ7、WFG2和WFG4上的結(jié)果Fig.1 Results of eight many-objective evolutionary algorithms on DTLZ1, DTLZ3, DTLZ5, DTLZ7, WFG2, and WFG4
根據(jù)以上實驗結(jié)果來看,若待解決問題較容易收斂但具有復(fù)雜的前沿面形狀,可以選擇GFM-MOEA來求解,因為它在具有不規(guī)則或未歸一化的前沿面的問題上的綜合性能最好.若待解決的問題較難收斂則可以選擇AR-MOEA,因為它有較好的收斂性且在具有不規(guī)則前沿面的問題上也有較好的分布性.
經(jīng)過了十余年的研究與發(fā)展,進化算法可以在超多目標(biāo)優(yōu)化測試問題上取得非常理想的結(jié)果.除了以上介紹的4類超多目標(biāo)進化算法之外,超多目標(biāo)進化優(yōu)化的研究在近些年也呈現(xiàn)出了一些新的特點.
首先,大多數(shù)超多目標(biāo)進化算法均通過改進選擇策略來提升性能,它們大都采用類似的遺傳算子如模擬二進制交叉和多項式變異.與此不同的是,近些年還有少數(shù)算法通過改進產(chǎn)生子代解的算子來提升進化算法求解超多目標(biāo)優(yōu)化問題的性能.例如,NMPSO中設(shè)計了一種粒子群算法[45],MaOEDA-IR中設(shè)計了一種分布估計算法[46],而CSEA中設(shè)計了一種代理模型輔助算法[47].
其次,大多數(shù)超多目標(biāo)進化算法僅在測試問題上進行了效果驗證,但并沒有被用于解決實際中的超多目標(biāo)優(yōu)化問題.實際上,目前常用的超多目標(biāo)優(yōu)化測試問題的形式太過理想[48],它們與實際問題的形式有一些差異.因此,一些工作設(shè)計了更加多樣化的超多目標(biāo)優(yōu)化測試問題[49],而另一些工作著重于分析超多目標(biāo)進化算法在實際問題上的性能[2].
再者,由于高維目標(biāo)空間過大,算法很難將得到的數(shù)百個解分布于整個高維前沿面.為此,一些工作在求解超多目標(biāo)優(yōu)化問題時加入決策者的偏好信息來為決策者提供更符合要求的候選解[50];此外,一些工作則通過搜索前沿面的knee point來代替搜索覆蓋整個前沿面的解集[51],從而在沒有決策者的偏好信息時也能提供更少更好的候選解.
最后,高維目標(biāo)空間中解的可視化也是一個值得研究的難題.雖然目前有許多高維數(shù)據(jù)的可視化方法,但仍然沒有一種方法能夠滿足算法設(shè)計者和問題決策者的所有要求[52].設(shè)計更好的高維數(shù)據(jù)可視化方法不僅能指導(dǎo)設(shè)計者開發(fā)更加有效的超多目標(biāo)進化算法,還能使決策者能夠更加直觀地進行方案選擇.
本文首先簡單介紹了超多目標(biāo)優(yōu)化問題的定義與研究概況,然后詳細地介紹了4類超多目標(biāo)進化算法的特點及一些代表性算法,并通過實驗對比了8個具有代表性的超多目標(biāo)進化算法的性能.本文實驗所對比的算法大都是近5年發(fā)表于進化計算領(lǐng)域的頂級期刊《IEEE Transactions on Evolutionary Computation》上的,它們可以代表當(dāng)前超多目標(biāo)進化算法的最高水平.實驗證實,GFM-MOEA在具有復(fù)雜前沿面的超多目標(biāo)優(yōu)化問題上能獲得更好的效果,而AR-MOEA更加適合于較難收斂的超多目標(biāo)優(yōu)化問題.除了算法研究之外,本文也介紹了幾個關(guān)于超多目標(biāo)優(yōu)化的研究熱點,包括遺傳算子的設(shè)計、測試問題的設(shè)計、偏好信息的利用和高維可視化方法的設(shè)計.