徐 冰(北京空間科技信息研究所)
國外星上數(shù)據(jù)壓縮算法發(fā)展研究
徐 冰(北京空間科技信息研究所)
星上數(shù)據(jù)壓縮技術(shù)是與對地觀測衛(wèi)星相伴產(chǎn)生的。近年來,隨著新型遙感技術(shù)的快速發(fā)展,以及用戶對遙感圖像質(zhì)量需求的日益提高,對地觀測衛(wèi)星所獲取的圖像分辨率也在不斷提高。在這樣的發(fā)展情況下,海量的高分辨率對地觀測衛(wèi)星圖像數(shù)據(jù)對數(shù)傳系統(tǒng)形成了巨大的壓力,也直接影響了衛(wèi)星對地觀測的時效性。為解決這個問題,國外的對地觀測衛(wèi)星(特別是高分辨率對地觀測衛(wèi)星)普遍采用了星上數(shù)據(jù)壓縮技術(shù),在滿足成像質(zhì)量的前提下,進行可控的數(shù)據(jù)壓縮處理,以滿足衛(wèi)星數(shù)據(jù)傳輸和星上存儲的要求。
從原理上說,無論是星上數(shù)據(jù)壓縮,還是日常電子設(shè)備中的數(shù)據(jù)壓縮,其目的都是以盡可能有效的方式將原有信息轉(zhuǎn)換成另一種表現(xiàn)形式,使得數(shù)據(jù)源的每個信號用盡可能少的數(shù)據(jù)來表示,并在解碼時盡可能近乎無誤地恢復(fù)出原來的輸入信號。從信息論的角度看,數(shù)據(jù)壓縮的本質(zhì)可以看作是去除數(shù)據(jù)中冗余信息的過程。根據(jù)統(tǒng)計,數(shù)據(jù)冗余信息包括空間冗余、時間冗余、信息熵冗余、結(jié)構(gòu)冗余、知識冗余和視覺冗余等。
數(shù)據(jù)壓縮算法大體上可分為兩類:無損壓縮和有損壓縮。星上數(shù)據(jù)壓縮算法也遵循這種分類方法。
無損壓縮采用了不丟失信息的壓縮算法,主要基于信息熵原理進行編碼,能夠精確地獲得壓縮前的圖像數(shù)據(jù)。目前常用的無損壓縮算法包括霍夫曼編碼、游程編碼、二進制信源編碼、算術(shù)編碼和無損預(yù)測編碼等。無損壓縮可從壓縮數(shù)據(jù)準確無誤地恢復(fù)原始圖像,但壓縮比不高。
有損壓縮所得到的數(shù)據(jù)與原數(shù)據(jù)并不完全相同,存在一定的差值,但具有較高的壓縮比。在很多情況下,損失一部分特定的圖像信息,并不會對圖像的判讀造成重要影響,用有限的損失獲得壓縮性能方面較大的提升,常常是一種有效的數(shù)據(jù)壓縮應(yīng)用方法。從信息論的角度看,有損壓縮不僅去掉了數(shù)據(jù)中的冗余信息,同時也刪除了其中的不相干信息,因此有損壓縮不能精確地恢復(fù)原始圖像數(shù)據(jù),而只能對圖像數(shù)據(jù)進行近似重構(gòu),前提是這種重構(gòu)所帶來的誤差并不影響人對原始數(shù)據(jù)所表達的信息的理解。有損壓縮算法主要包括有損預(yù)測編碼、變換編碼和矢量量化編碼等。
星上數(shù)據(jù)壓縮系統(tǒng)的關(guān)鍵在于核心壓縮算法的選取。目前,國外已發(fā)射的對地觀測衛(wèi)星系統(tǒng)主要采用的壓縮算法包括差分脈沖調(diào)制編碼(DPCM)壓縮算法、賴斯(RICE)算法、離散余弦變換(DCT)壓縮算法以及離散小波變換(DWT)壓縮算法等。
DPCM算法
DPCM壓縮算法屬于有損壓縮的預(yù)測編碼法,其基本思想是用已經(jīng)傳送的前一個抽樣值來預(yù)測當(dāng)前抽樣值,對其真值與預(yù)測值的差值進行編碼。誤差主要包括預(yù)測誤差、量化誤差和系統(tǒng)誤差。與其他熵壓縮算法相比,DPCM算法失真小,易于硬件實現(xiàn),但壓縮效率相對較低,對信道噪聲很敏感,易產(chǎn)生誤差擴散。
20世紀80年代中期,法國開發(fā)了固定碼長的一維DPCM壓縮算法,并成功應(yīng)用到斯波特-1~4衛(wèi)星上,壓縮比為1.33∶1。其基本原理是每3個像素中,第1個像素完整傳送(8bit),而后2個像素采用前后2個完整傳送的像素平均值進行預(yù)測,之后對這2個像素的真值與預(yù)測值的差值進行非均一量化,采用5bit進行編碼。
后來,伊士曼柯達(Eastman Kodak)公司基于DPCM壓縮算法開發(fā)了可變碼長的自適應(yīng)差分脈沖調(diào)制編碼(ADPCM)壓縮算法,壓縮比有所提高,該壓縮算法采用帶寬壓縮(BWC)特定用途集成電路(ASIC),即BWCP進行實現(xiàn)。BWCP具有2種工作模式,一種是固定碼長輸出,另一種是可變碼長輸出。美國于1999年發(fā)射的第一代商業(yè)遙感衛(wèi)星伊科諾斯-2采用了ADPCM壓縮算法,壓縮比為4.25∶1。此后美國發(fā)射的快鳥-2和世界觀測-1衛(wèi)星也都采用了ADPCM壓縮算法。
RICE算法
伊科諾斯-2衛(wèi)星
國外典型對地觀測衛(wèi)星的星上數(shù)據(jù)壓縮算法
RICE算法是一種無損壓縮算法,屬于預(yù)測編碼法,由美國航空航天局(NASA)的羅伯特·賴斯(Robert Rice)博士于20世紀90年代初最先提出。1997年CCSDS正式公布了衛(wèi)星數(shù)據(jù)無損壓縮建議標準,基于RICE基本算法提出了CCSDS-LDC無損壓縮算法,該算法在編碼方案中增加了2個低熵編碼選項。
RICE壓縮編碼由預(yù)處理器和自適應(yīng)熵編碼器兩部分組成。其基本思想是輸入的數(shù)據(jù)流先處理成數(shù)據(jù)塊,再由預(yù)處理器根據(jù)數(shù)據(jù)特性對數(shù)據(jù)塊進行預(yù)處理,然后使用自適應(yīng)熵編碼器進行壓縮編碼,最終選擇最短長度的編碼數(shù)據(jù)作為輸出。RICE壓縮算法的主要特點是可動態(tài)地根據(jù)數(shù)據(jù)特性實時調(diào)整編碼方式,具有較高的編碼效率,且硬件實現(xiàn)復(fù)雜度也較低。
國外有很多衛(wèi)星任務(wù)都使用了CCSDS-LDC無損壓縮算法。例如,美國于2000年發(fā)射的“多光譜熱成像衛(wèi)星”(MTI)和地球觀測-1衛(wèi)星都采用了CCSDS-LDC算法進行無損數(shù)據(jù)壓縮,采用ASIC集成電路進行實現(xiàn),“多光譜熱成像衛(wèi)星”的壓縮比為2.5∶1。
DCT算法
DCT壓縮算法屬于變換編碼方法,其基本思想是對圖像進行DCT可逆變換,將原圖像從空間域映射到變換域,對變換域中得到的變換系數(shù)進行量化和編碼。因DCT變換后,大部分的圖像能量都集中于少數(shù)低頻變換系數(shù)上,因此對低頻和高頻變換系數(shù)分別量化,可達到數(shù)據(jù)壓縮的目的。
基于DCT的壓縮理論,國外已經(jīng)提出了多種壓縮算法。其中,JPEG國際圖像壓縮標準就是以DCT理論為核心的壓縮算法。目前,JPEG和其他基于DCT的壓縮算法已經(jīng)應(yīng)用于許多空間任務(wù)中,特別是對地觀測任務(wù)。
蘇聯(lián)1988年發(fā)射的福布斯-1(Fobos-1)探測器最早使用了固定碼長的DCT壓縮算法,實現(xiàn)了壓縮比為4、8和12的離線軟件壓縮,但受當(dāng)時處理技術(shù)的限制,壓縮一幅208×144的圖像約需1h。2002年,法國發(fā)射了斯波特-5衛(wèi)星,采用了可變碼長的DCT壓縮算法,全色壓縮比為2.8∶1,多光譜壓縮比為2.28∶1。
斯波特-5衛(wèi)星及其數(shù)據(jù)壓縮裝置(右)
斯波特-5星上圖像壓縮框圖
斯波特-5衛(wèi)星的數(shù)據(jù)壓縮裝置將來自有效載荷的7種數(shù)據(jù)流分成3個通道進行壓縮,每個通道最后都輸出45.5Mbit/s的比特流,然后再進行格式化、編碼和加密,最后存儲在固態(tài)存儲器中。
此外,2008年發(fā)射的“泰國地球觀測系統(tǒng)”衛(wèi)星也采用了DCT壓縮算法,壓縮比為2.8∶1或3.7∶1。印度發(fā)射的制圖衛(wèi)星-1和2都采用了基本的JPEG壓縮算法,壓縮比達到3.2∶1。德國2008年發(fā)射的“快眼”衛(wèi)星星座也采用JPEG壓縮算法進行實時壓縮,無損壓縮比為2∶1,有損壓縮比為10∶1。日本2006年發(fā)射的“先進陸地觀測衛(wèi)星”(ALOS),星上全色立體測繪遙感相機獲取的數(shù)據(jù)采用JPEG有損壓縮算法,壓縮比為4∶1或8∶1;先進可見光和近紅外輻射計-2獲取的數(shù)據(jù)采用近無損DPCM算法,壓縮比為1.33∶1。
法國經(jīng)研究發(fā)現(xiàn),DCT壓縮算法在壓縮比大于3時,圖像數(shù)據(jù)恢復(fù)后將會出現(xiàn)“塊贗像”,主要是去相關(guān)器在高壓縮比下帶來的缺陷。因此,DCT算法只適用于壓縮比低于3的情況,也就是說為了不出現(xiàn)“塊贗像”,8bit量化的圖像數(shù)據(jù),壓縮后每像元必須大于3bit。
DWT算法
DWT壓縮算法是法國針對DCT壓縮方法存在的問題,而開發(fā)出的一種新型變換編碼方法。與DCT變換編碼方法相比,DWT具有良好的時頻特性和多分辨率特性,同時獲得圖像整體的低頻和高頻分量,能量分布更集中,而且還包括重要的圖像邊緣信息,在高壓縮比的情況下可以獲得更好的重建圖像質(zhì)量。
昴宿星-HR衛(wèi)星及其數(shù)據(jù)壓縮裝置(右)
基于DWT的壓縮理論,國外已經(jīng)提出了多種壓縮算法。其中,JPEG2000國際圖像壓縮標準就是以DWT理論為核心的壓縮算法。與基于DCT理論的JPEG標準相比,JPEG2000不僅可獲得更高的壓縮比,而且還提供了感興趣區(qū)域(ROI)壓縮新特性,使得我們可以根據(jù)圖像各部分的重要性來對圖像各部分進行不同壓縮比的壓縮。
法國于2011年發(fā)射的昴宿星-HR衛(wèi)星就使用了DWT壓縮算法,采用ASIC實現(xiàn)小波圖像壓縮模塊(WICOM),模塊中包括去相關(guān)DWT模塊、位平面編碼器和存儲器。昴宿星-HR衛(wèi)星的全色圖像以2.5bit/像素進行壓縮,壓縮比為4.8∶1,多光譜圖像以2.8bit/像素進行壓縮,壓縮比約為4.3∶1,速率最高達25兆像素/s。該小波圖像壓縮模塊利用小波圖像壓縮算法實現(xiàn)了接近于JPEG2000標準的壓縮性能,而在硬件實現(xiàn)上,又不會像JPEG2000標準復(fù)雜度過高。另外,該小波圖像壓縮模塊采用抗輻射加固設(shè)計。
盡管DWT壓縮算法比DCT壓縮算法可以獲得更高的壓縮比,但是當(dāng)壓縮比過高時,DWT壓縮算法也會出現(xiàn)“塊贗像”,主要是由于低復(fù)雜度區(qū)域高值量化產(chǎn)生的模糊效應(yīng),限制了DWT算法的壓縮性能。
法國國家空間研究中心(CNES)作為JPEG2000標準委員會的成員,針對將JPEG2000壓縮標準應(yīng)用于星上壓縮,從2000年開始開展了一系列JPEG2000抗輻射硬件研究工作,經(jīng)研究發(fā)現(xiàn),該算法利用現(xiàn)有硬件技術(shù)實現(xiàn)過于復(fù)雜,主要是因為算術(shù)編碼器和處理最優(yōu)截斷點的碼率分配程序難于實現(xiàn)。
目前,國外對地觀測衛(wèi)星主要采用DPCM、RICE、DCT和DWT壓縮算法進行星上數(shù)據(jù)壓縮。從算法本質(zhì)來說,DPCM和RICE屬于預(yù)測編碼,DCT和DWT屬于變換編碼;從計算復(fù)雜度來說,DPCM和RICE原理簡單,易于硬件實現(xiàn),DCT和DWT變換計算復(fù)雜度較高,硬件實現(xiàn)困難;從壓縮比角度來說,DPCM和RICE壓縮比較低,而DCT和DWT壓縮比較高。而對于DCT和DWT兩種變換壓縮算法來說,DCT算法復(fù)雜度較低,但壓縮比也較低,而DWT算法復(fù)雜度較高,但壓縮比較高,但二者有共同缺點,在達到較高壓縮比時,圖像恢復(fù)后均會出現(xiàn)“塊贗像”,導(dǎo)致圖像質(zhì)量嚴重下降。
在星上數(shù)據(jù)壓縮算法選取方面,應(yīng)綜合考慮多項因素,包括算法復(fù)雜度、硬件實現(xiàn)困難度、壓縮比要求、衛(wèi)星數(shù)據(jù)傳輸和存儲能力等。例如,美國從“伊科諾斯”衛(wèi)星到“世界觀測”衛(wèi)星,都采用原理簡單、易于硬件實現(xiàn)的ADPCM壓縮算法,一部分原因是其星上數(shù)據(jù)存儲和數(shù)據(jù)下傳能力較強,因此放寬了對星上壓縮算法的要求?!笆澜缬^測”衛(wèi)星的星上存儲容量為2.2Tbit,X頻段數(shù)據(jù)傳輸速率達到800Mbit/s。
而法國作為星上數(shù)據(jù)壓縮領(lǐng)域的技術(shù)引領(lǐng)者,一直在研究和開發(fā)最新型的星上數(shù)據(jù)壓縮算法,并將其應(yīng)用到實用衛(wèi)星上進行驗證。法國最新發(fā)射的“昴宿星”采用DWT壓縮算法,對星上數(shù)據(jù)進行高效壓縮,降低了對星上數(shù)據(jù)存儲和數(shù)據(jù)下傳能力的要求?!瓣乃扌恰钡男巧洗鎯θ萘績H為600Gbit,X頻段數(shù)據(jù)傳輸速率為465Mbit/s。區(qū)域相關(guān)系數(shù)上移,使其位于比背景區(qū)域較高的比特平面上,在編碼過程,這些上移的ROI系數(shù)將先被編碼,生成的比特流位于整個數(shù)據(jù)比特流的最前面,而比特平面較低的背景區(qū)域像素將被舍棄。在圖像恢復(fù)后,不僅保留了ROI區(qū)域信息,還保留了一部分背景區(qū)域信息,整體圖像質(zhì)量較高。最大位移法適合于將云作為非ROI區(qū)域的情況,配合云判別技術(shù)實現(xiàn)ROI區(qū)域壓縮,可保留ROI區(qū)域的圖像信息,但不保留背景區(qū)域(云區(qū)域)的圖像信息。最大位移法是一般位移法的特例,其位移因子的選擇必須使ROI區(qū)域的最小系數(shù)大于背景區(qū)域的最大系數(shù)。
無論是一般位移法還是最大位移法,其關(guān)鍵技術(shù)都在于如何生成ROI掩模。經(jīng)過小波變換后ROI信息就會分散到變換系數(shù)中去,掩模用于確定哪些變換系數(shù)與ROI信息有關(guān)應(yīng)該保留,反之舍棄。
除了研究這些基本的壓縮算法外,國外還在研究選擇性壓縮方法,即ROI壓縮算法,其基本思想是首先對圖像數(shù)據(jù)進行檢測,確定感興趣區(qū)域和非感興趣區(qū)域,然后對感興趣區(qū)域進行較低壓縮比的壓縮,對非感興趣區(qū)域進行較高壓縮比的壓縮。遙感衛(wèi)星獲取的數(shù)據(jù)量極大,而檢測方法過于復(fù)雜,很難準確確定ROI區(qū)域和非ROI區(qū)域。但光學(xué)圖像中的云信息可以看作是無用數(shù)據(jù),利用云判別技術(shù)剔除云區(qū)域,剩余圖像數(shù)據(jù)將被認為是感興趣區(qū)域進行壓縮。近年來,法國國家空間研究中心一直在研究星上云判別技術(shù),開發(fā)星上云判別硬件模塊。
JPEG2000標準中定義了兩種ROI壓縮算法,分別是一般位移法(Scaling)和最大位移法(Maxshift),這兩種方法應(yīng)用領(lǐng)域不同,各具優(yōu)缺點。一般位移法能夠適當(dāng)保留背景圖像質(zhì)量,適合于無法準確判別感興趣區(qū)域的情況。一般位移法的主要原理是選擇一個適當(dāng)?shù)奈灰埔蜃?,將ROI
目前,國外已經(jīng)將星上數(shù)據(jù)壓縮作為緩解高分辨率衛(wèi)星圖像數(shù)據(jù)存儲和下傳壓力的有效手段,并開發(fā)了眾多星上數(shù)據(jù)壓縮算法,這些算法各具優(yōu)缺點。從發(fā)展方向來看,國外逐漸從計算復(fù)雜度低、壓縮比低的壓縮算法向計算復(fù)雜度高、壓縮比高的壓縮算法過渡。DWT壓縮算法能夠?qū)崿F(xiàn)較高的壓縮比,但算法和硬件的復(fù)雜度較高,需要較長的運算時間。因此,隨著計算機技術(shù)和高速超大規(guī)模集成電路,特別是小波變換專用ASIC芯片技術(shù)的迅速發(fā)展,離散小波變換有望成為未來星上數(shù)據(jù)壓縮的一種熱點發(fā)展方向,但這些新型算法雖然性能先進,仍存在一系列工程化實現(xiàn)的問題亟待解決,比如空間環(huán)境適應(yīng)性問題、計算復(fù)雜度降低和快速算法實現(xiàn)問題、高性能星載數(shù)據(jù)處理硬件等等。另外,選擇性星上數(shù)據(jù)壓縮以及智能化星上處理技術(shù)能夠根據(jù)不同用戶對遙感數(shù)據(jù)的不同需求在軌快速生產(chǎn)產(chǎn)品,有效提高下傳數(shù)據(jù)的利用率,因此將成為未來星上數(shù)據(jù)處理領(lǐng)域的另一個發(fā)展方向。