圖像超分辨率卷積神經(jīng)網(wǎng)絡(luò)加速算法*

劉 超，張曉暉，胡清平

(1. 海軍工程大學(xué) 兵器工程學(xué)院, 湖北 武漢 430033;2. 軍事科學(xué)院 系統(tǒng)工程研究院, 北京 100044)

單幀圖像超分辨率重建旨在從給定的低分辨率圖像中重建出高分辨率圖像，該技術(shù)能夠提供視覺效果更好的圖像并提供更多的圖像信息[1]。最近的超分辨率算法主要是基于深度學(xué)習(xí)的方法，此類方法利用先驗知識學(xué)習(xí)低分辨率和高分辨率圖像之間的映射關(guān)系，可以顯著增強圖像細(xì)節(jié)。2014年，香港中文大學(xué)Dong等成功地將深度學(xué)習(xí)引入到圖像超分辨率重建問題中，提出基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建算法(Super Resolution Convolution Neural Network, SRCNN)取得了較好的效果[2]。

隨后，基于深度學(xué)習(xí)的方法被大量改進(jìn)，2016年，Kim等針對SRCNN方法感受野較小的問題，提出使用更多的卷積層來增加網(wǎng)絡(luò)感受野，同時為了減少網(wǎng)絡(luò)參數(shù)，引入遞歸神經(jīng)網(wǎng)絡(luò)，提出的深度遞歸卷積網(wǎng)絡(luò)(Deeply-Recursive Convolutional Network，DRCN)方法得到的效果比SRCNN有了較大提高[3]。在SRCNN和DRCN中，低分辨率圖像一般先通過上采樣插值擴(kuò)充到與高分辨率圖像同樣的大小，再作為網(wǎng)絡(luò)輸入，這就意味著卷積操作是在較高的分辨率上進(jìn)行，相比于在低分辨率圖像上計算，會降低效率，于是SHI等提出了一種在低分辨率圖像上直接計算卷積得到高分辨率圖像的高效率高效亞像素卷積網(wǎng)絡(luò)(Efficient Sub-Pixel Convolutional Neural network，ESPCN)方法[4]。上述方法對于大尺度放大因子重建會存在圖像模糊問題， Ledig等將生成對抗網(wǎng)絡(luò)引入超分辨率重建中，提出了一種基于生成對抗網(wǎng)絡(luò)的超分辨率重建超分辨率重建生成對抗網(wǎng)絡(luò)(Super-Resolution Generative Adversarial Network，SRGAN)方法，該方法能夠提高大尺度放大因子的重建質(zhì)量[5]。為了提高運行速度，2017年，Dong等通過引入1×1卷積和轉(zhuǎn)置卷積對經(jīng)典的SRCNN進(jìn)行了改進(jìn)，提出了一種快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Fast Super-Resolution Convolutional Neural Network，F(xiàn)SRCNN)模型，取得了很好的加速和復(fù)原效果，但模型參數(shù)冗余，難以進(jìn)行嵌入式部署[6]。2017年，武漢大學(xué)肖進(jìn)勝等通過分析SRCNN卷積核尺寸和數(shù)量，提出了一種改進(jìn)的SRCNN，重建效果得到了一定的提高，但模型參數(shù)大量增加[7]。

雖然目前這些模型取得了較好的效果，但由于模型參數(shù)冗余，計算量依舊很大，難以實時運行和進(jìn)行嵌入式部署。

通過深入分析當(dāng)前超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)，發(fā)現(xiàn)限制其運行速度主要有以下三個方面:首先，作為預(yù)處理步驟，大部分基于深度學(xué)習(xí)的方法需要使用雙線性插值將原始低分辨率圖像上采樣到期望的大小，以形成輸入。因此，模型的計算復(fù)雜度隨著高分辨率圖像(而不是原始低分辨率圖像)的空間尺寸二次增長。對于放大因子n，插值的低分辨率圖像的卷積計算成本是原始低分辨率圖像計算成本的n2倍。如果直接從原始低分辨率圖像學(xué)習(xí)網(wǎng)絡(luò)，則計算速度快n2倍。其次，目前，模型參數(shù)主要來源于卷積操作，標(biāo)準(zhǔn)卷積需要同時進(jìn)行特征提取和特征融合的工作，從參數(shù)利用角度來講，效率低且效果不佳。相反，2017年，谷歌提出的深度可分離卷積(depthwise separable convolution)把兩步分離開來，從深度方向把不同的通道之間相互獨立開，先進(jìn)行特征提取，再進(jìn)行特征融合，這種方式可以充分利用模型參數(shù)進(jìn)行表示學(xué)習(xí)，在使用更少參數(shù)的情況下取得更好的效果[8]。因此，利用深度可分離卷積替換標(biāo)準(zhǔn)卷積能夠降低模型計算量，同時提升模型表達(dá)能力。再次，大的卷積核會導(dǎo)致模型參數(shù)和計算量的暴增(參數(shù)數(shù)量隨著卷積核尺寸二次增長)，但是為了獲取更大的感受野，部分模型采用大尺寸卷積核[9]。然而多個3×3卷積核級聯(lián)也可以獲得與對應(yīng)大尺寸卷積核同樣大小的有效感受野，并且包含了更多的非線性，同時減少了網(wǎng)絡(luò)參數(shù)(如，利用2個3×3卷積核的組合比1個5×5卷積核的效果更佳，同時參數(shù)量(3×3×2+1<5×5×1+1)被降低)。

根據(jù)上述分析，本文設(shè)計了一種簡潔高效的網(wǎng)絡(luò)結(jié)構(gòu)。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像快速超分辨率重建模型

針對當(dāng)前超分辨率模型參數(shù)較多、計算量較大等問題，本文設(shè)計了一種輕量級的超分辨率卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(Light Super-Resolution Convolutional Neural Network, LSRCNN)，如圖1所示。

整個重建模型主要包含特征提取、非線性映射和重建三層網(wǎng)絡(luò)單元結(jié)構(gòu)：特征提取網(wǎng)絡(luò)單元結(jié)構(gòu)緊跟在輸入層后面，利用常規(guī)卷積提取大量低分辨率特征；非線性映射網(wǎng)絡(luò)單元結(jié)構(gòu)采用深度可分離卷積進(jìn)行非線性映射，并引入1×1卷積進(jìn)行維度壓縮和擴(kuò)展；重建網(wǎng)絡(luò)單元結(jié)構(gòu)通過子像素卷積層進(jìn)行上采樣操作。為了便于理解，將常規(guī)卷積層表示為Conv(fi,ni,ci)，深度可分離卷積層表示為SepConv(fi,ni,ci)，子像素卷積層表示為SubConv(fi,ni,ci)，其中變量fi、ni、ci分別表示卷積核的大小、數(shù)量的和輸入通道數(shù)量(當(dāng)前層的輸入通道數(shù)量和上一層的卷積核數(shù)量表示同一量，即ci=ni-1，i為層數(shù))。

由于整個網(wǎng)絡(luò)包含幾十個變量，不可能對其進(jìn)行逐一研究，因此本文提前給不敏感變量分配一個合理的值，并保持敏感變量(當(dāng)變量的輕微變化可能顯著影響性能時，稱為變量敏感)未設(shè)置。下面將對不同網(wǎng)絡(luò)單元結(jié)構(gòu)進(jìn)行詳細(xì)設(shè)計，并確定對應(yīng)結(jié)構(gòu)的敏感變量和非敏感變量。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像快速超分辨率重建模型Fig.1 Image fast super-resolution reconstruction model based on convolution neural network

1.1 特征提取網(wǎng)絡(luò)單元

大部分基于神經(jīng)網(wǎng)絡(luò)的超分辨率模型的特征提取網(wǎng)絡(luò)單元采用1個或多個卷積核進(jìn)行低分辨率特征提取。與之相似，本文的特征提取網(wǎng)絡(luò)單元采用1個常規(guī)卷積進(jìn)行低分辨率特征提取，但在輸入圖像層面有所不同的是，LSRCNN在不進(jìn)行插值的情況下對原始低分辨率圖像進(jìn)行特征提取。設(shè)低分辨率輸入表示為Y，通過與第一組卷積核進(jìn)行卷積，將每個輸入圖像塊表示為高維特征向量。由前面分析可知，卷積核尺寸的增加會引起參數(shù)的二次增長，由于3×3已經(jīng)能夠足夠覆蓋圖像特征， 因此設(shè)置f1=3；對于輸入通道數(shù)量，根據(jù)文獻(xiàn)[2]的分析，在YCBCR空間中，利用亮度通道進(jìn)行模型訓(xùn)練能夠取得更好的效果，因此設(shè)置c1=1；低分辨率圖像的特征向量(底層特征)對最終結(jié)果很關(guān)鍵，由于卷積核數(shù)量n1表示了低分辨率特征通道數(shù)量，可將其定義為第一個敏感變量d，因此，第一層可以表示為Conv(3,d,1)，圖2為特征提取單元輸出的低分辨率特征。

1.2 非線性映射網(wǎng)絡(luò)單元

非線性映射是影響超分辨率重建性能最重要的部分，一般緊跟在特征提取步驟后面，用于將高維低分辨率特征直接映射到高分辨率特征空間。然而，由于低分辨率特征維度d通常非常大，映射步驟的計算復(fù)雜度相當(dāng)高，因此減少非線性映射網(wǎng)絡(luò)單元模型參數(shù)成為壓縮超分辨率模型的關(guān)鍵。

谷歌的Inception結(jié)構(gòu)通過應(yīng)用1×1層來節(jié)省計算成本[10]，基于同樣的考慮，本文在進(jìn)行特征映射前，通過引入1×1層來減少低分辨率特征維度d。因此設(shè)置卷積核大小f2=1，通過采用較少的卷積核數(shù)量n2=s?d使低分辨率特征尺寸從d減小到s。其中，s是確定收縮水平的第二個敏感變量，因此第二層可以表示為Conv(1,s,d)。通過該策略可以大量減少參數(shù)數(shù)量。

由上述分析可知，相對于常規(guī)卷積，深度可分離卷積能夠在減少參數(shù)的同時，提高映射能力。為了充分利用其優(yōu)勢，本文非線性映射單元除了用于通道壓縮和膨脹的1×1卷積，其余均采用深度可分離卷積。通過該策略，可以大大減少參數(shù)數(shù)量，同時增加網(wǎng)絡(luò)的非線性能力。作為性能和網(wǎng)絡(luò)規(guī)模之間的折中，本文采用中等濾波器尺寸f3=3，為了保持網(wǎng)絡(luò)性能不下降，使用多個3×3層來替代單個寬度。因此，映射層數(shù)量m是另一個敏感變量，這里所有的映射層采用相同的濾波器數(shù)量n3=s。那么非線性映射部分可以表示為m×SepConv(3,s,s)。

由于映射圖層的卷積核數(shù)量n3=s比較小，如果直接從這些低維特征生成高分辨率圖像，則最終的恢復(fù)質(zhì)量將會很差。因此，需要在映射部分之后添加一個擴(kuò)展層，以擴(kuò)展高分辨率的特征維度，為了保持與收縮層的一致性，本文還采用1×1卷積，其數(shù)量與低分辨率特征提取層的數(shù)量相同，則擴(kuò)展層可表示為Conv(1,d,s)。

1.3 重建網(wǎng)絡(luò)單元

重建網(wǎng)絡(luò)單元主要對非線性映射層獲取的特征進(jìn)行上采樣和聚合，可采用雙三次或雙線性插值、上池化+卷積方式和轉(zhuǎn)置卷積等方式。但雙三次或雙線性插值內(nèi)核固定，不能夠很好地恢復(fù)細(xì)節(jié)，轉(zhuǎn)置卷積雖然可以學(xué)習(xí)一組輸入特征圖的上采樣內(nèi)核，但學(xué)習(xí)過程中需要補零操作，導(dǎo)致圖像邊緣存在失真。2016年，文獻(xiàn)[4]提出了一種全新的上采樣方式——子像素卷積層(sub-pixel convolution)，該方式能夠減弱轉(zhuǎn)置卷積補零操作帶來的影響，并減小運算量。因此，本文在網(wǎng)絡(luò)末端引入子像素卷積層。

圖2 特征提取單元的輸出特征Fig.2 Output feature of the feature extraction unit

子像素卷積層的實質(zhì)是，通過在常規(guī)卷積層后面添加相位移層改變圖像尺寸，在利用其進(jìn)行上采樣的過程中，插值函數(shù)被隱含地包含在前面的卷積層中，可以被自動學(xué)習(xí)。對于放大因子為k=r的網(wǎng)絡(luò)，子像素卷積層的卷積核數(shù)量應(yīng)該設(shè)置為r2，然后將每個像素的r2個通道重新排列成一個r×r區(qū)域，對應(yīng)高分辨率圖像中的一個r×r大小的子塊，從而大小為r2×H×W的特征圖像被重新排列成1×rH×rW大小的高分辨率圖像。設(shè)放大因子為r，則n5=r2；子像素卷積的卷積部分在低分辨率圖像上進(jìn)行，因此可采用較小尺寸的卷積，這里為了盡量壓縮模型參數(shù)，設(shè)置f5=1，那么子像素卷積層可以表示為SubConv(r2,1,d)。

1.4 網(wǎng)絡(luò)總體結(jié)構(gòu)和性能分析

將上述三部分連接起來，形成一個完整的LSRCNN網(wǎng)絡(luò)Conv(3,d,1)-Conv(1,s,d)-m×SepConv(3,s,s)-Conv(1,d,s)-SubConv(r2,1,d)，這里每個卷積后面都跟有ReLU激活函數(shù)?？刂凭W(wǎng)絡(luò)參數(shù)和速度的三個敏感變量分別為低分辨率特征維度d、非線性映射單元深度可分離卷積數(shù)量s以及映射深度m。為簡單起見，本文將LSRCNN網(wǎng)絡(luò)稱為LSRCNN(d,s,m)。參數(shù)數(shù)量(不考慮偏置的情況下)為：18d+2sd+m(9s+s2)，設(shè)SLR為低分辨率圖像大小，則計算復(fù)雜度為：

O{[18d+2sd+m(9s+s2)]SLR}

(1)

(2)

本文對LSRCNN(48,16,1)和SRCNN進(jìn)行比較，通過上式計算可知，LSRCNN(48,16,1)的參數(shù)量為2800，SRCNN參數(shù)量為8032，其參數(shù)量僅有SRCNN的35%；對于放大因子為3的網(wǎng)絡(luò)，提高運算速度8032/2800×32=25.8倍。值得注意的是，這種加速并不以降低性能為代價。相反，LSRCNN(48,16,1)性能在Set5數(shù)據(jù)集上為32.53 dB，優(yōu)于SRCNN的0.17 dB。

1.5 損失函數(shù)

本文采用均方誤差(Mean Square Error, MSE)作為損失函數(shù)，優(yōu)化目標(biāo)表示為：

(3)

其中，Yi和Xi是訓(xùn)練數(shù)據(jù)中的第i個低分辨率和高分辨率子圖像對，F(xiàn)(Yi;θ)是具有參數(shù)θ的Yi的網(wǎng)絡(luò)輸出。網(wǎng)絡(luò)通過最小化估計Y和真實高分辨率圖像塊G之間的誤差找到最優(yōu)參數(shù)θ=[Wj,Bj]，對所有參數(shù)使用標(biāo)準(zhǔn)反向傳播的隨機(jī)梯度下降進(jìn)行優(yōu)化。

2 實驗結(jié)果與分析

2.1 實驗細(xì)節(jié)

數(shù)據(jù)集：91數(shù)據(jù)集具有良好的質(zhì)量，被廣泛用作基于學(xué)習(xí)的超分辨率重建方法的訓(xùn)練集[11]，在實驗中本文采用91圖像數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集。為了更好地和其他模型結(jié)果進(jìn)行比較，沒有采用數(shù)據(jù)增強技術(shù)。使用Set5[12]和Set14[13]數(shù)據(jù)集作為測試數(shù)據(jù)集。

訓(xùn)練樣本：為了生成訓(xùn)練數(shù)據(jù)，本文首先用所需的放大因子k對原始訓(xùn)練圖像進(jìn)行采樣，以形成低分辨率圖像(由于不同語言的Resize函數(shù)內(nèi)部實現(xiàn)機(jī)制有所差異，為了和其他模型比較，這里的采樣操作采用MATLAB中的Resize函數(shù))。然后將低分辨率訓(xùn)練圖像裁剪成具有步幅l的一組尺寸為fsub×fsub的子圖像。相應(yīng)的高分辨率子圖像(尺寸為kfsub×kfsub)也從高分辨率圖像中裁剪出來。這些低分辨率/高分辨率(Low Resolution/High Resolution, LR / HR)子圖像對是基本訓(xùn)練數(shù)據(jù)。

對于填充問題，為了確保提取的低分辨率特征輪廓清晰，對特征提取層不進(jìn)行填充。實驗中發(fā)現(xiàn)非線性映射層是否填充對結(jié)果影響不大，這里為了保證映射層輸入輸出尺寸相同，采用零填充，由于卷積核尺寸均為3，填充尺寸設(shè)置為P=1，最終網(wǎng)絡(luò)輸出尺寸為k(fsub-2)×k(fsub-2)，而不是kfsub×kfsub。因此，需要在高分辨率圖像上裁剪2k邊界像素。最后，對于典型的放大因子3，本文將LR / HR子圖像的大小設(shè)置為18×18/48×48。

訓(xùn)練參數(shù)：優(yōu)化算法采用學(xué)習(xí)率可以自適應(yīng)優(yōu)化的Adam算法[14]，初始學(xué)習(xí)率lr=0.001；權(quán)重初始化采用xavier初始化方法[15]；Batchsize設(shè)置為32；周期數(shù)設(shè)置為80。

訓(xùn)練環(huán)境：訓(xùn)練過程均采用Keras庫實現(xiàn)[16]，訓(xùn)練平臺采用CPU為 intel i7 4710MQ，GPU為NVIDIA GTX 860，內(nèi)存為16 G的筆記本電腦。

2.2 不同敏感參數(shù)研究

為了測試LSRCNN結(jié)構(gòu)的屬性，本文設(shè)計了一組包含三個敏感變量的控制實驗(即低分辨率特征維度d、非線性映射單元深度可分離卷積數(shù)量s以及映射深度m)。這里分別設(shè)置d=48， 64；s=16， 24和m=1， 2，因此總共進(jìn)行了不同組合的12次實驗。

這些實驗在Set5數(shù)據(jù)集上的平均PSNR值如表1所示。本文分別在水平和垂直方向上分析實驗結(jié)果，首先固定d和m，分析s對模型性能的影響，可以看到，隨著s尺寸的增大，網(wǎng)絡(luò)具有更好的性能。這種趨勢也可以從圖3(a)所示的收斂曲線觀察到。但是當(dāng)網(wǎng)絡(luò)參數(shù)冗余，s的增加并不能提高性能，甚至?xí)l(fā)過擬合(見表1中第四行s的變化規(guī)律)。其次固定s，并檢查d和m的影響，通常更好的結(jié)果需要更多的參數(shù)，但是更多的參數(shù)可能引起網(wǎng)絡(luò)過擬合，并不能保證更好的結(jié)果(見表1中第2列的變化規(guī)律)。這種趨勢也反映在圖3(b)中，可以看到網(wǎng)絡(luò)最后幾乎匯聚到一起。從所有的結(jié)果中，能夠找到性能和參數(shù)之間的最佳平衡LSRCNN(48,24,2)，在適度參數(shù)情況下，獲得了最好的效果。由于選擇的batchsize比較小，因此收斂曲線會存在比較明顯的跳躍。

表1 不同敏感參數(shù)在Set5測試集上的PSNR比較Tab.1 Comparison of PSNR for different sensitive parameters in Set5 test set

(a) 固定d=48，m=1，改變s (a) Fixed d=48, m=1, change s

(b) 固定s=24，改變d和m (b) Fixed s=24, change d and m圖3 不同敏感參數(shù)的PSNR收斂曲線Fig.3 PSNR convergence curve of different sensitive parameters

2.3 與其他方法比較

本文將提出的方法與傳統(tǒng)的錨定鄰域回歸方法A+[17]以及三種基于外部數(shù)據(jù)庫學(xué)習(xí)的超分辨率重建算法進(jìn)行比較，即SRCNN[2]、改進(jìn)的SRCNN[7]、FSRCNN-s[6]方法。A+方法的實現(xiàn)基于它們發(fā)布的源代碼，其余三種基于深度學(xué)習(xí)的方法根據(jù)文獻(xiàn)內(nèi)容在Keras框架上進(jìn)行了編寫，為了對恢復(fù)質(zhì)量進(jìn)行比較，所有模型都對沒有增強的91數(shù)據(jù)集圖像進(jìn)行了訓(xùn)練，因此結(jié)果可能與對照論文略有不同。本文選擇了兩個代表性的LSRCNN模型LSRCNN(48,16,1)(簡寫為LSRCNN-s)和LSRCNN(48,24,2)(簡寫為LSRCNN)。所有模型的運行時間通過NIVIDIA GTX 860 GPU上的Python進(jìn)行測試。表2列出了放大因子為3的定量結(jié)果(PSNR、模型參數(shù)和測試時間)。首先，分析測試時間，可以看到，提出的LSRCNN是最快的方法，比改進(jìn)的SRCNN至少快15倍(在GPU上測試時間)，LSRCNN-s最快可以達(dá)到50幀/s的處理速度。其次，LSRCNN也具有更少的參數(shù)，相比于動輒具有幾萬甚至幾十萬參數(shù)的模型，LSRCNN-s僅有2800個參數(shù)，按照32 bit的精度進(jìn)行存儲，只需要10 KB空間，便可以滿足嵌入式部署。最后，LSRCNN在具有更少參數(shù)的情況下，PSNR依舊優(yōu)于A+、SRCNN、改進(jìn)的SRCNN以及FSRCNN等算法。

圖4和圖5分別為Set5數(shù)據(jù)集和Set14數(shù)據(jù)集中典型圖像在放大因子為3條件下不同模型的測試效果，可以看到本文算法相比其他算法在邊緣和對比度保持方面效果更好，與原圖效果最接近，且取得了最好的PSNR。

3 結(jié)論

本文針對當(dāng)前基于深度學(xué)習(xí)超分辨率模型存在參數(shù)量大、運行速度慢等問題，通過深入分析影響當(dāng)前網(wǎng)絡(luò)模型參數(shù)數(shù)量和運算性能的因素，結(jié)合深度模型壓縮技術(shù)取得的最新成果，提出了一種更為高效的網(wǎng)絡(luò)結(jié)構(gòu)，通過減少卷積核尺寸、將子像素卷積層放置在網(wǎng)絡(luò)末端進(jìn)行上采樣、引入1×1卷積進(jìn)行維度壓縮以及采用最新的深度可分離卷積，可以大幅度降低網(wǎng)絡(luò)參數(shù)，提高模型非線性表達(dá)能力，從而實現(xiàn)高速運行而不損失重建分離卷積，可以大幅度降低網(wǎng)絡(luò)參數(shù)，提高模型非線性表達(dá)能力，能夠?qū)崿F(xiàn)高速運行，而不損失重建質(zhì)量。實驗結(jié)果表明，本文提出的方法在參數(shù)更少、運算速度更快的情況下，取得了更優(yōu)的超分辨率效果。模型大小僅有10 KB，可以達(dá)到50幀/s的處理速度，能夠部署到FPGA等嵌入式設(shè)備并實時運行。

表2 不同模型在測試集上的PSNR、參數(shù)數(shù)量和測試時間

(a) Original/PSNR (b) Bicubic/24.04 dB (c) A+/27.02 dB (d) SRCNN/27.51 dB

(e) Improved SRCNN/27.71 dB (f) FSRCNN/27.92 dB (g) LSRCNN-s/28.16 dB (h) LSRCNN/28.29 dB圖4 測試集Set5中的蝴蝶圖像在放大因子為3條件下重建效果Fig.4 Reconstruction effect of butterfly image from the Set5 dataset with an upscaling factor 3

(a) Original/PSNR (b) Bicubic/31.68 dB (c) A+/33.20 dB (d) SRCNN/33.27 dB

(e)Improved SRCNN/33.18 dB (f) FSRCNN/33.30 dB (g) LSRCNN-s/33.28 dB (h) LSRCNN/33.38 dB圖5 測試集Set14的lena圖像的在放大因子為3條件下的重建效果Fig.5 Reconstruction effect of lena image from the Set14 dataset with an upscaling factor 3