近日，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院·醫(yī)療機(jī)器人與微創(chuàng)手術(shù)器械研究中心秦文健博士團(tuán)隊(duì)在數(shù)字病理圖像分析領(lǐng)域先后取得多項(xiàng)研究進(jìn)展，團(tuán)隊(duì)針對(duì)如何對(duì)數(shù)字病理圖像單張巨大尺寸計(jì)算、多倍率信息利用、跨尺度信息融合的技術(shù)挑戰(zhàn)，開(kāi)展一系列相關(guān)研究，實(shí)現(xiàn)了“從算法模型創(chuàng)新——到實(shí)際臨床驗(yàn)證”的科研思路。

針對(duì)不同放大倍率下組織病理學(xué)圖像信息融合的不足，秦文健團(tuán)隊(duì)提出了一種創(chuàng)新性的深度多倍率相似性學(xué)習(xí)方法，該方法不僅有助于多放大倍率學(xué)習(xí)模型的可解釋性，易于可視化低維（如細(xì)胞級(jí)）到高維（如組織級(jí)）的特征表示，克服了跨放大倍率信息傳播理解的困難；同時(shí)借助于相似性交叉熵?fù)p失函數(shù)的設(shè)計(jì)，可以更好學(xué)習(xí)交叉放大倍率之間信息的相似性。最后通過(guò)不同主干網(wǎng)絡(luò)特征提取和不同放大倍率組合的實(shí)驗(yàn)驗(yàn)證了所提出方法的有效性，結(jié)果顯示與現(xiàn)有方法對(duì)比，性能優(yōu)異。相關(guān)研究工作以“Deep Multi-Magnification Similarity Learning for Histopathological Image Classification”為題發(fā)表于生物醫(yī)學(xué)信息領(lǐng)域權(quán)威期刊IEEE Journal of Biomedical and Health Informatics。

為與臨床實(shí)際診療步驟相結(jié)合，并驗(yàn)證算法在臨床的有效性，團(tuán)隊(duì)與臨床醫(yī)院合作實(shí)現(xiàn)了自動(dòng)診斷算法的研究——提出了基于多倍率注意力卷積神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督框架。該方法只需圖像級(jí)標(biāo)簽（而不需要像素級(jí)注釋），即可以實(shí)現(xiàn)感興趣區(qū)域（癌癥）的檢測(cè)，直接提示可疑病灶區(qū)域。在TGCA肝癌數(shù)據(jù)集進(jìn)行了論證，該框架顯著優(yōu)于單尺度檢測(cè)方法，檢測(cè)時(shí)間非?？臁Ｍ瑫r(shí)，方法與三位病理學(xué)家的診斷結(jié)果相比，性能優(yōu)于初級(jí)和中級(jí)病理學(xué)家，略低于高級(jí)病理學(xué)家。相關(guān)研究工作以“Weakly Supervised Framework for Cancer Region Detection of Hepatocellular Carcinoma in Whole-Slide Pathologic Images Based on Multiscale Attention Convolutional Neural Network”為題發(fā)表于病理學(xué)權(quán)威雜志The American Journal of Pathology。

為融合病理圖像形態(tài)學(xué)信息與分子基因功能信息實(shí)現(xiàn)病人生存狀態(tài)的準(zhǔn)確預(yù)測(cè)，團(tuán)隊(duì)結(jié)合前期病理圖像計(jì)算的工作積累，設(shè)計(jì)了融合病理圖像與基因的多模態(tài)生存預(yù)后預(yù)測(cè)模型，揭示了多模態(tài)信息對(duì)癌癥預(yù)后有很大的潛力，通過(guò)多模態(tài)模型的建模有望為輔助臨床診斷與決策提供有效工具。相關(guān)研究以“Integrative Histology-Genomic Analysis Predicts Hepatocellular Carcinoma Prognosis Using Deep Learning”為題發(fā)表于期刊Genes。