• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      圖像數(shù)據(jù)增強(qiáng)技術(shù)研究綜述

      2021-05-25 05:27:18朱曉慧錢麗萍
      軟件導(dǎo)刊 2021年5期
      關(guān)鍵詞:像素樣本文獻(xiàn)

      朱曉慧,錢麗萍,傅 偉

      (北京建筑大學(xué)電氣與信息工程學(xué)院,北京 100044)

      0 引言

      基于數(shù)據(jù)驅(qū)動(dòng)的人工智能時(shí)代已出現(xiàn)一個(gè)明顯趨勢——那些具有豐富、廉價(jià)數(shù)據(jù)的領(lǐng)域更容易孕育出AI 技術(shù)。但目前眾多領(lǐng)域現(xiàn)有數(shù)據(jù)集大都存在規(guī)模較小、分布不均衡且采集、標(biāo)注困難等突出問題,可以說數(shù)據(jù)的匱乏或昂貴往往是阻礙人工智能發(fā)展的直接原因。為解決這一問題,數(shù)據(jù)增強(qiáng)技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)增強(qiáng)的主要挑戰(zhàn)是如何將現(xiàn)存的小規(guī)模數(shù)據(jù)集經(jīng)由變化或?qū)W習(xí),使數(shù)據(jù)擁有“自我繁殖”的能力,從而產(chǎn)生足量、合理且均衡的擴(kuò)增數(shù)據(jù)。因此,國內(nèi)外專家學(xué)者對其進(jìn)行了大量研究,如今數(shù)據(jù)增強(qiáng)技術(shù)在醫(yī)學(xué)影像、視頻影音及自然語言處理等領(lǐng)域都有著廣闊的應(yīng)用前景。

      目前,國內(nèi)針對數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行全面綜述的文獻(xiàn)較少。文獻(xiàn)[1]對基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)方法進(jìn)行全面總結(jié),將數(shù)據(jù)增強(qiáng)作為其中一類方法進(jìn)行介紹,但缺乏重點(diǎn)性和全面性;文獻(xiàn)[2]對基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法進(jìn)行綜述,但只介紹了數(shù)據(jù)增強(qiáng)中的生成對抗網(wǎng)絡(luò)技術(shù),同樣不夠全面。本文則對不同種類的數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行全面調(diào)研,重點(diǎn)分析所采用的典型策略。根據(jù)數(shù)據(jù)增強(qiáng)方式的不同,將現(xiàn)有數(shù)據(jù)增強(qiáng)技術(shù)分為有監(jiān)督和無監(jiān)督兩大類,對這兩個(gè)類別的研究分別進(jìn)行討論,并將每個(gè)類別作進(jìn)一步細(xì)分,對各個(gè)子類別進(jìn)行具體介紹,最后闡述各種數(shù)據(jù)增強(qiáng)技術(shù)在圖像領(lǐng)域的應(yīng)用。

      1 數(shù)據(jù)增強(qiáng)及其典型分類

      1.1 數(shù)據(jù)增強(qiáng)

      數(shù)據(jù)增強(qiáng)也稱為數(shù)據(jù)擴(kuò)增,是一種擴(kuò)充數(shù)據(jù)規(guī)模的有效方法。該技術(shù)的發(fā)展主要具有以下3 方面重要意義:

      (1)豐富數(shù)據(jù)集本身。將不斷發(fā)展的數(shù)據(jù)增強(qiáng)技術(shù)應(yīng)用于各種數(shù)據(jù)集上,很好地解決了目前數(shù)據(jù)集存在的規(guī)模小、質(zhì)量差、不均衡且難以獲取等問題,從數(shù)量和性能方面豐富了數(shù)據(jù)集本身,這是數(shù)據(jù)增強(qiáng)對數(shù)據(jù)集起到的最直接的作用。

      (2)提升相應(yīng)分類檢測系統(tǒng)性能。通過數(shù)據(jù)增強(qiáng)獲得大量結(jié)構(gòu)合理、種類多樣的數(shù)據(jù),很好地滿足了深度學(xué)習(xí)模型對數(shù)據(jù)集數(shù)量和質(zhì)量的高要求,減少了網(wǎng)絡(luò)過擬合現(xiàn)象,從而得到泛化性能好的網(wǎng)絡(luò)模型,對相應(yīng)分類器、檢測器等準(zhǔn)確率的提升具有一定促進(jìn)作用。

      (3)拓展延伸價(jià)值。數(shù)據(jù)增強(qiáng)技術(shù)不斷發(fā)展,現(xiàn)已廣泛應(yīng)用于眾多領(lǐng)域。在數(shù)據(jù)至上的時(shí)代,從數(shù)據(jù)角度推動(dòng)多個(gè)行業(yè)發(fā)展,這是數(shù)據(jù)增強(qiáng)技術(shù)帶來的附加延伸價(jià)值,具有深遠(yuǎn)的意義。

      1.2 典型分類

      現(xiàn)有數(shù)據(jù)增強(qiáng)技術(shù)按照不同標(biāo)準(zhǔn)可劃分為不同種類。其中較為典型的分類包括:根據(jù)數(shù)據(jù)集處理階段分類、根據(jù)數(shù)據(jù)增強(qiáng)方式分類以及根據(jù)數(shù)據(jù)增強(qiáng)應(yīng)用領(lǐng)域分類,具體如圖1 所示。

      Fig.1 Typical classification of data enhancement methods圖1 數(shù)據(jù)增強(qiáng)方法典型分類

      2 有監(jiān)督數(shù)據(jù)增強(qiáng)

      2.1 單樣本數(shù)據(jù)增強(qiáng)

      2.1.1 幾何變換類

      幾何變換類主要從圖像數(shù)據(jù)形態(tài)出發(fā)進(jìn)行數(shù)據(jù)增強(qiáng),包括翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、縮放變形以及仿射等操作。

      (1)翻轉(zhuǎn)(Flip)。包括水平翻轉(zhuǎn)和垂直翻轉(zhuǎn),將圖像的左右(或上下)部分以圖像垂直(或水平)中軸線為中心進(jìn)行鏡像對換,顯然該操作可以簡單地增加樣本數(shù)量。

      (2)旋轉(zhuǎn)(Rotation)。旋轉(zhuǎn)操作是對翻轉(zhuǎn)的進(jìn)一步提升,一般以圖像中心為旋轉(zhuǎn)中心進(jìn)行隨機(jī)旋轉(zhuǎn)(有正負(fù)角度約束),以此獲得更多形態(tài)的圖像數(shù)據(jù)。

      (3)裁剪(Crop)。隨機(jī)定義感興趣區(qū)域,截取該區(qū)域圖像并調(diào)整為原始圖像尺寸。該操作相當(dāng)于增加隨機(jī)擾動(dòng),可獲取大批量的新數(shù)據(jù)。隨機(jī)裁剪幾乎是所有深度學(xué)習(xí)框架訓(xùn)練都會(huì)采用的數(shù)據(jù)增強(qiáng)方法,在LeNet、AlexNet 及VGG 等經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練中均有所涉及。

      (4)縮放變形(Zoom)。按照設(shè)定的比例縮小或放大圖像數(shù)據(jù),但該操作會(huì)改變圖像大小,存在失真問題,但全卷積網(wǎng)絡(luò)對于尺度沒有嚴(yán)格要求。

      (5)仿射。仿射類操作包括視覺變換操作和分段仿射操作,前者通過對圖像應(yīng)用隨機(jī)的四點(diǎn)透視變換加以實(shí)現(xiàn),后者則通過移動(dòng)圖像中點(diǎn)網(wǎng)格上的點(diǎn)及點(diǎn)周圍區(qū)域加以實(shí)現(xiàn)。

      上述方法都屬于幾何變換類數(shù)據(jù)增強(qiáng)方法,以此擴(kuò)增數(shù)據(jù)最為簡單、常用。但過多地使用這些變換方法會(huì)導(dǎo)致擴(kuò)增的數(shù)據(jù)樣本較為單一,且會(huì)產(chǎn)生大量無實(shí)際應(yīng)用價(jià)值的數(shù)據(jù)樣本,因此研究者們又從其他角度出發(fā)提出很多變換方法。

      2.1.2 顏色變換類

      上述幾何變換類操作沒有改變圖像本身內(nèi)容,只是選擇圖像的一部分或?qū)ο袼剡M(jìn)行了重布置,因此在增強(qiáng)樣本的多樣性方面存在欠缺。若通過改變圖像本身的內(nèi)容實(shí)現(xiàn)增強(qiáng),則屬于顏色變換類數(shù)據(jù)增強(qiáng),常見操作包括噪聲、模糊、顏色變換、隨機(jī)擦除以及超像素法等。

      (1)噪聲?;谠肼暤臄?shù)據(jù)增強(qiáng)是指在原始圖片基礎(chǔ)上隨機(jī)疊加一些噪聲,主要包括高斯噪聲、CoarseDropout、SimplexNoiseAlpha 以及FrequencyNoiseAlpha 等。其中,添加高斯噪聲是最簡單、常用的方法,其通過對圖像添加符合高斯分布的噪聲來實(shí)現(xiàn);CoarseDropout 方法則相對復(fù)雜,其通過在位置隨機(jī)且面積大小可選定的矩形區(qū)域上丟失部分信息實(shí)現(xiàn)轉(zhuǎn)換;SimplexNoiseAlpha 方法是在產(chǎn)生連續(xù)單一噪聲的掩模后,將掩模與源圖像進(jìn)行混合;Frequency?NoiseAlpha 方法是在頻域中用隨機(jī)指數(shù)對噪聲映射進(jìn)行加權(quán)后,再向空間域進(jìn)行轉(zhuǎn)換。

      (2)模糊。該操作通過減少各像素點(diǎn)值的差異實(shí)現(xiàn)像素的平滑化,主要包括簡單、常見的高斯模糊,以及根據(jù)扭曲場平滑度與強(qiáng)度逐一移動(dòng)局部像素點(diǎn)實(shí)現(xiàn)模糊效果的ElasticTransformation 方法。

      (3)顏色變換。顏色變換是指通過多種方法實(shí)現(xiàn)圖像視覺角度可見的明顯改變,包括向HSV 空間每個(gè)像素添加或減少V 值來改變色調(diào)飽和度的HSV 對比度轉(zhuǎn)換法、將圖片從RGB 顏色空間轉(zhuǎn)換到另一顏色空間增加或減少顏色參數(shù)后再返回RGB 顏色空間的RGB 顏色擾動(dòng)法、按給定概率值將部分或全部通道像素值從v 設(shè)置為255-v 的轉(zhuǎn)換法,以及將圖像從RGB 轉(zhuǎn)換為灰度空間再借由某一通道與原圖混合的GrayScale 法。

      (4)隨機(jī)擦除。顧名思義,該方法就是對圖片上隨機(jī)選取的一塊區(qū)域進(jìn)行圖像信息擦除操作。

      (5)超像素法。從像素角度出發(fā),在最大分辨率處生成圖像的若干超像素并調(diào)整到原始大小,再將原始圖像中所有超像素區(qū)域按一定比例替換為超像素,其他區(qū)域不變。

      上述為顏色變換類的數(shù)據(jù)增強(qiáng)方法,該方法一定程度上增加了數(shù)據(jù)樣本的多樣性與變化性。文獻(xiàn)[3]采用顏色變換方法對從千島湖海參養(yǎng)殖場采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng),提高了模型識(shí)別的準(zhǔn)確率;文獻(xiàn)[4]使用色彩增強(qiáng)方法對CompCars 數(shù)據(jù)集進(jìn)行增強(qiáng)處理;文獻(xiàn)[5]利用增強(qiáng)模型對道路圖像進(jìn)行顏色空間轉(zhuǎn)換,得到突出車道線的高對比度增強(qiáng)圖像。顏色變換類數(shù)據(jù)增強(qiáng)方法在各領(lǐng)域研究中應(yīng)用較為廣泛,也取得了比較突出的成果。

      2.2 多樣本數(shù)據(jù)增強(qiáng)

      2.2.1 SMOTE

      SMOTE 通過人工合成新樣本處理樣本不平衡問題,該方法基于插值,可以有針對性地為小樣本類合成新樣本。其作為多樣本數(shù)據(jù)增強(qiáng)方法的一種得到了有效應(yīng)用,并在不斷優(yōu)化完善的過程中涌現(xiàn)出大量改進(jìn)方法。針對SMOTE 在合成少數(shù)類新樣本時(shí)存在的不足,文獻(xiàn)[6]提出一種改進(jìn)的SMOTE 算法GA-SMOTE,將遺傳算法與SMOTE 相結(jié)合,通過選擇算子對少數(shù)類樣本進(jìn)行有區(qū)別的選擇,并使用交叉、變異算子控制合成樣本質(zhì)量。該改進(jìn)方法不僅能出色地實(shí)現(xiàn)新樣本的整體合成,還能有效提高分類器性能。文獻(xiàn)[7]介紹SMOTE 算法在處理不平衡數(shù)據(jù)集過程中,存在采樣有效性不足、模糊正負(fù)類邊界、影響原始數(shù)據(jù)分布等缺陷。之后以此為基礎(chǔ),提出KM-SMOTE 和RM-SMOTE 兩種優(yōu)化策略。文獻(xiàn)[8]在SMOTE 算法及其改進(jìn)版本BSMOTE 兩個(gè)具有代表性方法的基礎(chǔ)上,提出DBSMOTE 算法進(jìn)行新的少數(shù)類樣本生成。該方法以邊界樣本及其最鄰近多數(shù)類樣本的中點(diǎn)作為新樣本合成來源,在拓寬少數(shù)類分類邊界的同時(shí),降低了生成噪聲數(shù)據(jù)的可能性。

      1.1.1 試驗(yàn)材料 2017年5月9日在浙江省杭州市臨安區(qū)浙江農(nóng)林大學(xué)平山試驗(yàn)基地種植徐薯22.每個(gè)小區(qū)面積3.6 m2,扦插60株,3次重復(fù).8月5日開始采收,測定小區(qū)內(nèi)的甘薯葉和葉柄,間隔10 d再進(jìn)行一次采收,至8月25日,共采收3次;采收的甘薯葉片葉柄在45 ℃烘干至恒質(zhì)量,粉碎,過90目篩,低溫保存待測.

      2.2.2 SamplePairing

      SamplePairing 方法主要用于數(shù)據(jù)增強(qiáng),其核心原理簡單,即隨機(jī)從原訓(xùn)練集中抽取兩張不同類別的圖片,將其分別經(jīng)過如翻轉(zhuǎn)、移動(dòng)等基礎(chǔ)數(shù)據(jù)增強(qiáng)操作后,采用像素取平均值的方式疊加合成新數(shù)據(jù)樣本,并選擇原數(shù)據(jù)樣本標(biāo)簽中的一種作為新數(shù)據(jù)標(biāo)簽。SamplePairing 是一種高效的數(shù)據(jù)增強(qiáng)手段,滿足奧卡姆剃刀原理,經(jīng)其處理后的訓(xùn)練集規(guī)??捎蒒 擴(kuò)增為N*N。但該方法因可能引入不同標(biāo)簽樣本而導(dǎo)致訓(xùn)練誤差明顯增加,且可解釋性不強(qiáng)、缺少理論支撐,故對其的應(yīng)用研究相對較少。

      2.2.3 Mixup

      Mixup 是基于鄰域風(fēng)險(xiǎn)最小化原則的數(shù)據(jù)增強(qiáng)方法,其使用線性插值得到新樣本數(shù)據(jù),是對SamplePairing 的進(jìn)一步延伸,也是一種對圖像進(jìn)行混類增強(qiáng)的算法,可將不同類別的圖像混合以擴(kuò)增訓(xùn)練數(shù)據(jù)。目前采用Mixup 方法進(jìn)行數(shù)據(jù)增強(qiáng)的研究已有很多,如文獻(xiàn)[9]從對抗訓(xùn)練角度解釋了Mixup 工作機(jī)制,既證明了其有效性,又提出在其基礎(chǔ)上改進(jìn)的方案系列;文獻(xiàn)[10]通過對Mixup 的深入分析,確定其“manifold intrusion”的局限性,并針對此問題提出一種新穎的自適應(yīng)版本Mixup,對原方法進(jìn)行了一定改進(jìn);文獻(xiàn)[11]也對Mixup 方法進(jìn)行了介紹與應(yīng)用,由其訓(xùn)練的模型都具有很好的泛化能力。大量實(shí)驗(yàn)結(jié)果表明,Mix?up 可以改進(jìn)深度學(xué)習(xí)模型在ImageNet 數(shù)據(jù)集、CIFAR 數(shù)據(jù)集、語音數(shù)據(jù)集和表格數(shù)據(jù)集中的泛化誤差,減少模型對已損壞標(biāo)簽的記憶,增強(qiáng)模型對對抗樣本的魯棒性和穩(wěn)定性。盡管有著較好的改進(jìn)效果,但Mixup 在偏差與方差平衡方面尚未有較好的解釋。

      3 無監(jiān)督數(shù)據(jù)增強(qiáng)

      傳統(tǒng)數(shù)據(jù)增強(qiáng)方法大多是有監(jiān)督形式,但這類方法完全由使用者定義,不是所有任務(wù)都適合。故為了獲得更好的訓(xùn)練模型,無監(jiān)督方式引起了人們關(guān)注,目前主要從生成新數(shù)據(jù)和學(xué)習(xí)增強(qiáng)策略兩個(gè)方向進(jìn)行探究。

      3.1 生成新數(shù)據(jù)

      通過模型學(xué)習(xí)數(shù)據(jù)分布,隨機(jī)生成與訓(xùn)練數(shù)據(jù)集分布一致的數(shù)據(jù)是無監(jiān)督數(shù)據(jù)增強(qiáng)方法的重要組成部分。為了實(shí)現(xiàn)這種方式,生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)因具有強(qiáng)大的學(xué)習(xí)與生成能力受到了部分專家學(xué)者關(guān)注[12]。生成對抗網(wǎng)絡(luò)思想的誕生是受到博弈論中二人零和博弈的啟發(fā),通過兩個(gè)參與者的對抗互相提升,其中包含兩個(gè)模型:生成模型G 和判別模型D。具體網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2 所示。

      Fig.2 Generative adversarial network model圖2 生成對抗網(wǎng)絡(luò)模型

      GAN 模型相比于FVBNs 模型能夠并行生成樣本,而不需要逐維產(chǎn)生;相比于玻爾茲曼機(jī)、非線性ICA 等生成模型對生成器的限制較少,能夠收斂到納什平衡,從而生成高質(zhì)量的數(shù)據(jù)樣本。正因具有這些優(yōu)點(diǎn),GAN 在數(shù)據(jù)增強(qiáng)領(lǐng)域已得到廣泛應(yīng)用。如文獻(xiàn)[13]提出使用生成對抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)以解決不平衡數(shù)據(jù)問題,其生成的圖像樣本具有較好的多樣性;文獻(xiàn)[14]將生成對抗網(wǎng)絡(luò)應(yīng)用于生物領(lǐng)域癌癥數(shù)據(jù)樣本的生成,實(shí)現(xiàn)訓(xùn)練集樣本規(guī)模的擴(kuò)增,相比傳統(tǒng)方法提高了識(shí)別準(zhǔn)確率。生成對抗網(wǎng)絡(luò)的應(yīng)用使數(shù)據(jù)增強(qiáng)領(lǐng)域迎來了突破性發(fā)展。

      3.2 學(xué)習(xí)增強(qiáng)策略

      作為無監(jiān)督數(shù)據(jù)增強(qiáng)的另一類研究方向,學(xué)習(xí)增強(qiáng)策略不需要人工干預(yù),而是通過模型自主學(xué)習(xí)出適合當(dāng)前任務(wù)的數(shù)據(jù)增強(qiáng)方法,其中以近年來提出的AutoAugment 和PBA(Population Based Augmentation)方法最具代表性與創(chuàng)新性。

      4 圖像領(lǐng)域應(yīng)用及性能分析

      4.1 醫(yī)學(xué)圖像

      由于醫(yī)學(xué)數(shù)據(jù)本身的隱私性、復(fù)雜性以及添加專家標(biāo)注的困難性,探究恰當(dāng)、有效的數(shù)據(jù)增強(qiáng)方法是十分必要的。目前數(shù)據(jù)增強(qiáng)技術(shù)已被應(yīng)用于肝臟組織CT、腦部MRI及胸部X 射線等醫(yī)學(xué)圖像增強(qiáng)。

      文獻(xiàn)[18]利用DCGAN 成功生成肝臟病變組織CT 圖像,并與經(jīng)典數(shù)據(jù)增強(qiáng)方法進(jìn)行比較,實(shí)驗(yàn)結(jié)果表明,利用GAN 生成的圖像對數(shù)據(jù)集進(jìn)行增強(qiáng)能夠?qū)⒎诸悳?zhǔn)確率提升7%;文獻(xiàn)[19]在肺結(jié)節(jié)病變組織生成過程中,使用DC?GAN 生成真實(shí)性較高的結(jié)節(jié)圖像;同樣,文獻(xiàn)[20]針對肺結(jié)節(jié)病變問題,也提出使用DCGAN 進(jìn)行數(shù)據(jù)增強(qiáng),該方法不僅克服了隨機(jī)剪裁、圖像縮放等操作造成的圖像尺寸與病變位置變化的問題,而且還能生成質(zhì)量高、形狀多樣的肺結(jié)節(jié)圖像,且該方法生成速度更快、成本更低。針對腦部MRI 圖像樣本數(shù)量少的問題,文獻(xiàn)[21]通過具有跳躍連接結(jié)構(gòu)的自編碼器對腦部MRI 圖像進(jìn)行降噪處理,并采用DCGAN 生成圖像,在病理特征和圖像質(zhì)量兩方面都與真實(shí)圖像具有較高相似度;文獻(xiàn)[22]采用左右翻轉(zhuǎn)和旋轉(zhuǎn)方法對MRI 圖像進(jìn)行增強(qiáng),然后將增強(qiáng)后的數(shù)據(jù)樣本用于醫(yī)學(xué)圖像分割領(lǐng)域,極大地提高了分割精度。另外,文獻(xiàn)[23]運(yùn)用改進(jìn)的GAN 方法擴(kuò)充胸部X 射線數(shù)據(jù)集,并通過圖靈測試驗(yàn)證其有效性;文獻(xiàn)[24]運(yùn)用GAN 增強(qiáng)胸部X 射線圖像數(shù)據(jù)集,并將其應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,可實(shí)現(xiàn)對心血管異常的分類,相較于傳統(tǒng)數(shù)據(jù)增強(qiáng)方法,用GAN 進(jìn)行數(shù)據(jù)增強(qiáng)能實(shí)現(xiàn)更高的分類準(zhǔn)確率。數(shù)據(jù)增強(qiáng)在醫(yī)學(xué)領(lǐng)域的具體應(yīng)用遠(yuǎn)不止這些,但由此足以看出數(shù)據(jù)增強(qiáng)在該領(lǐng)域運(yùn)用的廣泛性和必要性。

      醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)匯總分析如表1 所示,可看出目前生成對抗網(wǎng)絡(luò)數(shù)據(jù)增強(qiáng)在醫(yī)學(xué)領(lǐng)域應(yīng)用較多,且效果很好。

      4.2 人臉表情圖像

      人臉表情識(shí)別方法使得計(jì)算機(jī)能夠感知人類情感,如今在計(jì)算機(jī)視覺、模式識(shí)別、心理學(xué)及認(rèn)知科學(xué)等領(lǐng)域都得到了廣泛應(yīng)用。然而,現(xiàn)有的人臉表情數(shù)據(jù)庫規(guī)模較小且數(shù)據(jù)量不均衡。為解決該問題,文獻(xiàn)[25]采用添加噪聲、裁剪等傳統(tǒng)方法合成新樣本,為識(shí)別系統(tǒng)的訓(xùn)練提供大量數(shù)據(jù);文獻(xiàn)[26]比較了分別采用調(diào)整大小、裁剪、添加噪聲及調(diào)整對比度等單一方法取得的效果,還分析了結(jié)合使用這些技術(shù)實(shí)現(xiàn)的性能提升;文獻(xiàn)[27]的模型中也引入圖像隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)和裁剪等數(shù)據(jù)增強(qiáng)方法以克服小數(shù)據(jù)問題。

      傳統(tǒng)針對圖像識(shí)別任務(wù)的數(shù)據(jù)增強(qiáng)方法,如進(jìn)行幾何或像素顏色變換存在圖像相似度過高的問題,無法增加圖像特征的多樣性。因此,文獻(xiàn)[28]提出一種基于約束性循環(huán)一致生成對抗網(wǎng)絡(luò)(CCycleGAN)的方法,從本質(zhì)上擴(kuò)展人臉表情數(shù)據(jù)集;文獻(xiàn)[29]提出的StarGAN 模型架構(gòu)有效解決了現(xiàn)有方法在處理兩個(gè)以上域時(shí)擴(kuò)展性和魯棒性有限的問題,實(shí)現(xiàn)了僅依靠單個(gè)模型對多個(gè)域中圖像轉(zhuǎn)換生成的目標(biāo)?;诖?,文獻(xiàn)[30]提出一種靜態(tài)圖像數(shù)據(jù)增強(qiáng)方法,通過修改StarGAN 模型的重構(gòu)誤差構(gòu)造新目標(biāo)函數(shù),利用生成器生成同一個(gè)人的不同面部表情,以更好地實(shí)現(xiàn)多種人臉表情圖像風(fēng)格之間的轉(zhuǎn)換。人臉表情圖像數(shù)據(jù)增強(qiáng)匯總分析如表2 所示。

      Table 1 Summary analysis of medical image data enhancement表1 醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)匯總分析

      Table 2 Summary analysis of facial expression image data enhancement表2 人臉表情圖像數(shù)據(jù)增強(qiáng)匯總分析

      4.3 行人監(jiān)控安防圖像

      在自動(dòng)駕駛、智能監(jiān)控、行人分析和智能機(jī)器人等領(lǐng)域,行人檢測技術(shù)是其中的關(guān)鍵環(huán)節(jié)。目前基于深度學(xué)習(xí)的行人檢測方法都需要在大量有標(biāo)注數(shù)據(jù)的情況下進(jìn)行訓(xùn)練才能取得理想效果。如文獻(xiàn)[31]使用隨機(jī)顏色失真、隨機(jī)擴(kuò)展、隨機(jī)裁剪、隨機(jī)插值調(diào)整圖片大小、水平翻轉(zhuǎn)等傳統(tǒng)方法增加訓(xùn)練量,以提高行人檢測模型的準(zhǔn)確率。然而行人樣本圖像的生成不僅需要行人圖像自身足夠真實(shí),還要能夠與背景環(huán)境自然融合,鑒于這兩點(diǎn)要求,若直接采用普通生成式模型將難以滿足實(shí)際需求;文獻(xiàn)[32]提出一種新穎的自動(dòng)化生成帶標(biāo)注行人數(shù)據(jù)的方法——PSGAN,其是第一個(gè)把生成對抗網(wǎng)絡(luò)用于行人或物體檢測類任務(wù)的數(shù)據(jù)增強(qiáng)模型,可提高檢測準(zhǔn)確率;文獻(xiàn)[33]提出基于生成對抗網(wǎng)絡(luò)的鐵路周界行人樣本生成算法,生成圖像與原圖像基本相似,有較好的泛化性能且能更好地兼顧環(huán)境;文獻(xiàn)[34]為解決行人數(shù)據(jù)集規(guī)模小的問題,也提出基于GAN 的數(shù)據(jù)增強(qiáng)方案。行人樣本圖像數(shù)據(jù)增強(qiáng)匯總分析如表3 所示。

      Table 3 Summary analysis of pedestrian sample image data enhancement表3 行人樣本圖像數(shù)據(jù)增強(qiáng)匯總分析

      4.4 討論

      無論是醫(yī)學(xué)還是行人安防等領(lǐng)域圖像,數(shù)據(jù)增強(qiáng)方法本質(zhì)上都是相似的:傳統(tǒng)直觀的方法是對不同信號(hào)進(jìn)行裁剪、拼接、交換、旋轉(zhuǎn)、拉伸等,基于深度學(xué)習(xí)模型的方法主要是生成與原數(shù)據(jù)相似的數(shù)據(jù)。有監(jiān)督增強(qiáng)方法大多應(yīng)用于各領(lǐng)域的分類檢測任務(wù),而無監(jiān)督增強(qiáng)方法既在分類檢測任務(wù)中有所應(yīng)用,也在獨(dú)立數(shù)據(jù)樣本生成任務(wù)中有所涉及。但無論在哪個(gè)領(lǐng)域,只要選取適合的數(shù)據(jù)增強(qiáng)方法,均能起到一定的效果。

      5 結(jié)語

      本文綜述了數(shù)據(jù)增強(qiáng)技術(shù)采用的主要方法及其應(yīng)用研究,具體從有監(jiān)督和無監(jiān)督兩方面進(jìn)行介紹,并介紹了數(shù)據(jù)增強(qiáng)技術(shù)在圖像領(lǐng)域的應(yīng)用。數(shù)據(jù)增強(qiáng)技術(shù)作為快速解決數(shù)據(jù)不平衡或數(shù)據(jù)缺失問題的一種強(qiáng)有力的工具,展現(xiàn)出極大的價(jià)值和潛力。數(shù)據(jù)增強(qiáng)方法作為緩解圖像數(shù)據(jù)集不足等問題的有效措施已得到較廣泛的應(yīng)用,對具體方法的選擇與已有數(shù)據(jù)及任務(wù)目標(biāo)息息相關(guān)。在后續(xù)研究中,如何通過分析已有數(shù)據(jù)及要完成任務(wù),選擇更合適或運(yùn)用更恰當(dāng)?shù)臄?shù)據(jù)增強(qiáng)方法成為研究者們需要進(jìn)一步探究的問題。

      猜你喜歡
      像素樣本文獻(xiàn)
      趙運(yùn)哲作品
      藝術(shù)家(2023年8期)2023-11-02 02:05:28
      像素前線之“幻影”2000
      Hostile takeovers in China and Japan
      速讀·下旬(2021年11期)2021-10-12 01:10:43
      用樣本估計(jì)總體復(fù)習(xí)點(diǎn)撥
      Cultural and Religious Context of the Two Ancient Egyptian Stelae An Opening Paragraph
      大東方(2019年12期)2019-10-20 13:12:49
      “像素”仙人掌
      推動(dòng)醫(yī)改的“直銷樣本”
      The Application of the Situational Teaching Method in English Classroom Teaching at Vocational Colleges
      The Role and Significant of Professional Ethics in Accounting and Auditing
      商情(2017年1期)2017-03-22 16:56:36
      隨機(jī)微分方程的樣本Lyapunov二次型估計(jì)
      大悟县| 镇坪县| 江山市| 旅游| 民权县| 宁陵县| 称多县| 海口市| 大方县| 永登县| 尉犁县| 宁明县| 宁化县| 涞源县| 泰来县| 阳泉市| 塘沽区| 石阡县| 建宁县| 松潘县| 无棣县| 安陆市| 陆河县| 菏泽市| 崇文区| 嘉义市| 洛宁县| 怀远县| 潢川县| 洛南县| 灵璧县| 灵丘县| 平罗县| 来宾市| 颍上县| 保定市| 个旧市| 肥东县| 贺兰县| 红桥区| 准格尔旗|