劉 懿 孟凡杰 章超偉 刁鵬飛

1 南京醫(yī)科大學(xué)附屬逸夫醫(yī)院眼科,江蘇省南京市 211100; 2 南京萊科智能工程研究院

近視是一個(gè)全球性的公共衛(wèi)生問題,我國(guó)青少年近視現(xiàn)象日趨嚴(yán)重,且不斷增多的高度近視可能會(huì)導(dǎo)致病理性近視的增加,引起一系列進(jìn)行性和不可逆的眼底病變。早期發(fā)現(xiàn)病理性近視并積極隨訪和及時(shí)治療并發(fā)癥對(duì)保護(hù)近視患者免受永久性視力喪失十分重要。在屈光手術(shù)中,術(shù)前篩查出病理性近視患者,對(duì)患者術(shù)后視力的穩(wěn)定性、可預(yù)測(cè)性也至關(guān)重要[1]。

得益于眼底照相檢查設(shè)備的普及和深度學(xué)習(xí)技術(shù)的發(fā)展,基于眼底彩照的病理性近視自動(dòng)篩查成為可能[2-3]。

目前的基于深度學(xué)習(xí)的病理性近視自動(dòng)診斷工作都依賴于大規(guī)模的病案數(shù)據(jù) ,但對(duì)于大多數(shù)中小規(guī)模的眼科門診,病案數(shù)據(jù)的規(guī)模通常都較小,不同機(jī)構(gòu)因設(shè)備不同,眼底彩照也都有差異,且數(shù)據(jù)中非病理性近視和病理性近視數(shù)量的比例也嚴(yán)重不均衡,導(dǎo)致直接應(yīng)用深度學(xué)習(xí)模型效果不佳。因此,本研究的目的是探索不均衡小樣本眼底彩照病理性近視自動(dòng)檢測(cè)方法,使得深度學(xué)習(xí)模型能在病例量較小且分布不均衡的情況下取得同樣有效的結(jié)果,從而推動(dòng)病理性近視自動(dòng)檢測(cè)在中小規(guī)模眼科臨床中的應(yīng)用。

1 材料與方法

1.1 樣本數(shù)據(jù)的收集和預(yù)處理 本研究收集了南京醫(yī)科大學(xué)附屬逸夫醫(yī)院眼科中心門診2020年6月—2022年3月間以后極部為中心55度范圍內(nèi)眼底照相,眼底彩照包括視乳頭及黃斑部,其中包含了眼科綜合眼病中心及眼視光屈光手術(shù)中心的患者,并進(jìn)行了定期隨訪檢查。入組標(biāo)準(zhǔn):年齡18～50歲屈光患者,矯正視力1.0及以上,排除全身疾病史,如合并高血壓、糖尿病、青光眼、外傷史等。使用Canon CX-1 MYD/NM眼底相機(jī)(Hybrid Digital Mydriatic/Non-Mydriatic Retinal Camera)獲得眼底彩照,所有圖像均由2位視網(wǎng)膜專家進(jìn)行標(biāo)注,分為近視性正常眼底改變、近視性病理視網(wǎng)膜病變,在評(píng)分者之間出現(xiàn)差異的情況下,有問題的圖像由一位高級(jí)視網(wǎng)膜專家進(jìn)行評(píng)分。經(jīng)過以上步驟的處理,最終從466只眼睛中收集466張圖像用于本研究,其中高度近視眼125張,包括24例病理性近視患者的41只眼的 41張圖像。圖1展示了中—低度近視眼(OD:-3.75DS-0.5DC×50,BCVA:1.2,AL:25.26)、高度近視眼(OS: -6.25DS-1.0DC×180,BCVA:1.2,AL:28.17)及病理性近視眼(OS:-8.00DS-1.5DC×165,BCVA:1.2,AL:27.03)的眼底彩照樣本示例。

圖1 眼底彩照樣本示例

所有的眼底彩照將進(jìn)行標(biāo)準(zhǔn)化預(yù)處理的過程,彩照文件格式為JPG,預(yù)處理包括將每幅原始圖像裁剪為正方形,去掉圖中多余的黑色邊緣,及將圖像縮小到512×512分辨率以便于模型更高效地進(jìn)行學(xué)習(xí)和處理。

樣本數(shù)據(jù)的收集程序符合《赫爾辛基宣言》的原則,并獲得南京醫(yī)科大學(xué)附屬逸夫醫(yī)院倫理委員會(huì)的批準(zhǔn),所有的眼底彩照都進(jìn)行了匿名化處理。本研究的設(shè)計(jì)和實(shí)施不涉及任何商業(yè)目的。

1.2 方法 本研究采用由華為及中國(guó)科學(xué)院最新提出的Pathologic Myopia Challenge 優(yōu)勝模型Transformer-iN-Transformer (TNT)[4]作為病理性近視自動(dòng)檢測(cè)的基礎(chǔ)深度學(xué)習(xí)模型,同時(shí)根據(jù)病理性近視眼底彩照的特點(diǎn),采用包括翻轉(zhuǎn)、縮放、旋轉(zhuǎn)在內(nèi)的數(shù)據(jù)增強(qiáng)方法對(duì)不均衡小樣本數(shù)據(jù)進(jìn)行增強(qiáng)。

1.2.1 TNT模型設(shè)計(jì):TNT模型利用嵌套的Transformer[5]模塊對(duì)圖像中分塊(patch)和像素(pixel)級(jí)的特征進(jìn)行更精細(xì)的建模。在每個(gè)TNT塊中,外部的Transformer模塊用于處理圖像分塊級(jí)的信息,其中每個(gè)塊又可以進(jìn)行進(jìn)一步細(xì)分,由內(nèi)部Transformer模塊進(jìn)行更細(xì)粒度的處理。在一系列針對(duì)圖像進(jìn)行分類的任務(wù)中,TNT模塊都展現(xiàn)出顯著的優(yōu)異性[6-10]。

如圖2所示,具體而言,本研究將圖像拆分為一系列粗粒度分塊,并將每個(gè)塊重塑為一個(gè)更細(xì)粒度的塊序列。通過分別對(duì)粗粒度和細(xì)粒度的圖像塊進(jìn)行線性變換來獲得嵌入式表示(Embedding),然后利用TNT進(jìn)行圖像的表征學(xué)習(xí),分別提取分塊之間的全局關(guān)系和局部結(jié)構(gòu)信息,對(duì)圖像的全局和局部結(jié)構(gòu)信息進(jìn)行建模,并提高特征的表示能力的效果。模型設(shè)計(jì)及損失函數(shù)定義可參考相關(guān)文獻(xiàn)[4],超參數(shù)批量大小batchsize=8,學(xué)習(xí)率lr=0.000 1,L2正則化參數(shù)l2=0.000 5。

圖2 基于TNT模型的病理性近視檢測(cè)

1.2.2 數(shù)據(jù)增強(qiáng)方法及策略:數(shù)據(jù)增強(qiáng)是一種能有效緩解數(shù)據(jù)樣本量少、樣本分布不均衡等問題的方法[11],能有效提升模型的泛化能力,降低模型過擬合的風(fēng)險(xiǎn)。常用的數(shù)據(jù)增強(qiáng)方法包括圖像翻轉(zhuǎn)、縮放、旋轉(zhuǎn)、裁剪、移位、加入噪聲等,但針對(duì)病理性近視眼底彩照的特征及數(shù)據(jù)增強(qiáng)不引入不相關(guān)數(shù)據(jù)的原則[12],本研究主要采用了翻轉(zhuǎn)、縮放、旋轉(zhuǎn)的數(shù)據(jù)增強(qiáng)方法,并根據(jù)數(shù)據(jù)采集場(chǎng)景對(duì)增強(qiáng)的具體操作進(jìn)行了約束,這些過程主要增加了圖像的不均一性,而不丟失任何病變的特征且不引入過多不相關(guān)的噪聲圖像特征。

翻轉(zhuǎn):由于眼底彩照數(shù)據(jù)采集的特點(diǎn),本研究只采用水平翻轉(zhuǎn)對(duì)圖像進(jìn)行增強(qiáng)。縮放:通?？s放分為向內(nèi)縮小和向外擴(kuò)大兩種。當(dāng)向內(nèi)縮小時(shí),縮小后圖像空出來的區(qū)域?qū)?huì)進(jìn)行填充。由于眼底彩照縮小后填充部分為純黑背景,填充后基本沒有改變?cè)瓐D的特征,不會(huì)引入更多的差異性,所以在本研究中,僅采用隨機(jī)向外擴(kuò)大不超過20%的比例,比例過大將導(dǎo)致圖像丟失大量關(guān)鍵信息。旋轉(zhuǎn):眼底彩照本身不會(huì)產(chǎn)生過大的旋轉(zhuǎn)角度,所以在本研究中,采用隨機(jī)旋轉(zhuǎn)±10°以內(nèi)的方法對(duì)圖像進(jìn)行增強(qiáng)。見圖3。

圖3 眼底彩照的數(shù)據(jù)增強(qiáng)

針對(duì)圖像樣本分布不均衡的問題,我們采用兩種策略來指導(dǎo)數(shù)據(jù)增強(qiáng)過程,使得數(shù)據(jù)中非病理性近視和病理性近視的圖像規(guī)模接近?！安蓸釉鰪?qiáng)”策略每次先對(duì)非病理性近視的數(shù)據(jù)進(jìn)行隨機(jī)采樣,使其規(guī)模與病理性近視一致,再同比例進(jìn)行數(shù)據(jù)增強(qiáng);“全量增強(qiáng)”策略直接對(duì)所有訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng),但針對(duì)病理性近視的數(shù)據(jù)擴(kuò)增倍數(shù)更大,以使得增強(qiáng)后其規(guī)模與非病理性近視數(shù)據(jù)接近。

在對(duì)真實(shí)樣本進(jìn)行測(cè)試時(shí),模型將用同樣的策略對(duì)樣本進(jìn)行增強(qiáng),然后采用投票策略對(duì)同一張樣本圖像的多個(gè)增強(qiáng)后的測(cè)試結(jié)果進(jìn)行后處理,得到該樣本的最終檢測(cè)結(jié)果。

2 結(jié)果

2.1 篩查人群一般情況 本研究接受病理性近視篩查的人數(shù)共238例466眼,其中男性110例220眼,女性128例246眼,年齡分布(27.3±7.6)歲。病理性近視共24例,其中男7例,女17例,年齡分布(28.6±7.6)歲;非病理性近視共214例,其中男103例,女111例,年齡分布(27.2±7.6)歲。有無病理性近視受試者的年齡、性別差異均無統(tǒng)計(jì)學(xué)意義(P=0.419、0.426>0.05)。

2.2 病理性近視自動(dòng)檢測(cè)的效果 本研究采用五折交叉驗(yàn)證[13]進(jìn)行模型效果驗(yàn)證實(shí)驗(yàn)。把受試者數(shù)據(jù)同分布地平均分成5份,每次實(shí)驗(yàn)選取一份做測(cè)試,其余4份用作訓(xùn)練。每一輪訓(xùn)練集包含眼底彩照372張,其中病理性近視圖像32張,非病理性近視圖像340張,通過數(shù)據(jù)增強(qiáng)后,包含病理性近視圖像1 280張,非病理性近視圖像1 360張。表1列出了TNT基線模型及結(jié)合不同數(shù)據(jù)增強(qiáng)策略的情況下,在不均衡小樣本上進(jìn)行病理性近視檢測(cè)的效果。圖4為TNT基線模型及數(shù)據(jù)增強(qiáng)方法的ROC曲線。

表1 病理性近視自動(dòng)檢測(cè)實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明,在不均衡小樣本的數(shù)據(jù)上直接運(yùn)用深度學(xué)習(xí)模型進(jìn)行病理性近視檢測(cè),將可能導(dǎo)致極低的敏感性和特異性,ROC曲線也表明其基本不具有有效的分類能力。而合適的數(shù)據(jù)增強(qiáng)方法可以有效提升深度學(xué)習(xí)模型的性能,本研究中TNT模型結(jié)合數(shù)據(jù)增強(qiáng)后準(zhǔn)確率可以達(dá)到(98.09±0.89)%,敏感性為(93.33±6.09)%,特異性為(88.14±7.92)%,AUC值為0.99,基本達(dá)到了大規(guī)模訓(xùn)練模型的性能。

3 討論

病理性近視在世界范圍內(nèi)被認(rèn)為是一種公共衛(wèi)生負(fù)擔(dān)。雖然大多數(shù)近視患者通常通過配戴眼鏡或隱形眼鏡來保持良好的視力,但患者視力下降的主要原因是各種類型的病理性近視眼底病變的發(fā)展所致。因此,臨床上早期發(fā)現(xiàn)病理性近視患者,并將其與非病理性近視進(jìn)行鑒別是十分重要的。

近年來,研究人員開展了一系列基于深度學(xué)習(xí)的病理性近視自動(dòng)診斷工作,采用的大多是有監(jiān)督的學(xué)習(xí)方法,如CNN、Efficient Net等[2-3]。這些模型和方法在大規(guī)模的標(biāo)注數(shù)據(jù)上都能取得顯著的分類效果,但當(dāng)數(shù)據(jù)量較小、不同類別的樣本量差異過大時(shí),都會(huì)出現(xiàn)嚴(yán)重的過擬合現(xiàn)象。因此針對(duì)大量中小規(guī)模眼科門診病案數(shù)據(jù)量小、數(shù)據(jù)分布不均衡的現(xiàn)狀和深度學(xué)習(xí)模型在小樣本上學(xué)習(xí)效果不佳的困難,本研究探索利用深度學(xué)習(xí)自動(dòng)檢測(cè)不均衡小樣本下的病理性近視的方法和途徑。

實(shí)驗(yàn)中我們發(fā)現(xiàn),由于非病理性近視的圖像在訓(xùn)練集中占據(jù)了主導(dǎo)(超過了90%),基線模型傾向于將所有的圖像都識(shí)別為非病理性近視,導(dǎo)致雖然測(cè)試準(zhǔn)確率超過了90%,但敏感性和特異性極低,基本不具備有效的分類能力,在真實(shí)的場(chǎng)景中難以應(yīng)用。而在基線模型基礎(chǔ)上,通過結(jié)合合適的數(shù)據(jù)增強(qiáng)方法,模型不僅測(cè)試準(zhǔn)確率進(jìn)一步提高,其敏感性和特異性也大幅提升,使得深度學(xué)習(xí)模型具備了應(yīng)用的可能性。這將有助于對(duì)就診患者進(jìn)行病理性近視風(fēng)險(xiǎn)分級(jí),幫助高度近視患者隨訪、保護(hù)視力。

對(duì)比現(xiàn)有的病理性近視自動(dòng)診斷工作,本研究的創(chuàng)新性主要體現(xiàn)在給出了一個(gè)在不均衡小樣本眼底彩照數(shù)據(jù)上應(yīng)用深度學(xué)習(xí)模型進(jìn)行病理性近視檢測(cè)的有效方法。其優(yōu)勢(shì)在于對(duì)任何的眼科醫(yī)療機(jī)構(gòu),尤其是中小規(guī)模的眼科門診,都可以利用本方法在自有的病案數(shù)據(jù)上進(jìn)行學(xué)習(xí)并得到較高的檢測(cè)準(zhǔn)確率。這項(xiàng)研究的結(jié)果表明,結(jié)合數(shù)據(jù)增強(qiáng)的TNT模型在樣本數(shù)據(jù)匱乏的情況下,可以高準(zhǔn)確率地僅根據(jù)眼底彩照檢測(cè)病理性近視。

通過在PubMed、知網(wǎng)上進(jìn)行充分的檢索,目前并沒有發(fā)現(xiàn)不均衡小樣本病理性近視自動(dòng)檢測(cè)相關(guān)的研究。因此,期望我們的工作能推動(dòng)該領(lǐng)域的研究,并有助于病理性近視自動(dòng)篩查的推廣和普及。