種子動(dòng)態(tài)萌發(fā)表型分析算法的研究和軟件實(shí)現(xiàn)

趙建華,周潔,戴杰,丁國(guó)輝,徐凌翔,關(guān)雪瑩,周濟(jì),4*

(1.南京農(nóng)業(yè)大學(xué)前沿交叉研究院/作物表型組學(xué)交叉研究中心,江蘇 南京 210095; 2.南京農(nóng)業(yè)大學(xué)人工智能學(xué)院,江蘇 南京 210031;3.浙江大學(xué)農(nóng)業(yè)與生物技術(shù)學(xué)院,浙江 杭州 310029; 4.英國(guó)國(guó)立農(nóng)業(yè)植物研究所/英國(guó)劍橋作物研究中心,劍橋 CB3 0LE,英國(guó))

種子是高等植物生存、傳播和繁衍的一種基本形式,既具有抵御不利環(huán)境的形態(tài)結(jié)構(gòu)和生理特征[1],也是維護(hù)種質(zhì)資源的重要形式[2]。種子保存了植物關(guān)鍵遺傳信息,亦被稱為“農(nóng)業(yè)芯片”,對(duì)衡量作物品質(zhì)和農(nóng)業(yè)生產(chǎn)都具有重要意義[3]。種子在合適的環(huán)境下萌發(fā)和出苗,根據(jù)其萌發(fā)特征可分為吸脹(imbibition)、萌動(dòng)(radicle emergence)和發(fā)芽(seedling)3個(gè)階段,包括種子因吸水體積膨脹的吸脹階段,胚根、胚芽向外生長(zhǎng)突破種皮的萌動(dòng)階段(protrusion,俗稱“露白”),胚根長(zhǎng)與種子等長(zhǎng)或胚芽長(zhǎng)為種子 1/2長(zhǎng)的發(fā)芽階段(germination)[4]。種子發(fā)芽是種子生活力(viability)和活力(vigor)的基本表征,量化分析其萌發(fā)過程中的關(guān)鍵性狀,為了解不同作物的生存、生長(zhǎng)、產(chǎn)量形成及遺傳完整性提供了重要依據(jù)[5]。特別是在全球環(huán)境變化加劇的今天,胚根突破種皮的時(shí)間和胚芽生長(zhǎng)速率等性狀[6]以及相關(guān)趨性[7]往往體現(xiàn)了植物的抗逆性和適應(yīng)環(huán)境的能力。因此,通過對(duì)幼根(radicle)、胚芽(embryonic shoot)和子葉(cotyledon)的表型分析,可為判斷種子在不同環(huán)境下的活力提供依據(jù),進(jìn)而為研究作物早期萌發(fā)、出苗和品質(zhì)等重要農(nóng)藝性狀提供表型組信息[8]。

當(dāng)前大規(guī)模種子萌發(fā)表型鑒定仍主要依靠人工觀察,限制了萌發(fā)試驗(yàn)的監(jiān)測(cè)頻率、規(guī)模和準(zhǔn)確性,因此植物研究領(lǐng)域?qū)ψ詣?dòng)化表型獲取和高通量鑒定的需求日益增長(zhǎng)[9]。近年來,國(guó)內(nèi)外學(xué)者結(jié)合計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)對(duì)種子萌發(fā)表型分析進(jìn)行了很多有益嘗試。例如:Halcro等[10]利用圖像處理、k均值聚類算法和高斯混合方法采集種子的顏色、大小和形狀特征數(shù)據(jù);SeedExtractor[11]和phenoSeeder[12]可以在單一背景下自動(dòng)化獲取單個(gè)種子的二維、三維形態(tài)數(shù)據(jù),但分析速度受限于數(shù)據(jù)采集和處理算法;Vlaminck等[13]利用ImageJ來測(cè)量水稻幼芽特征數(shù)據(jù),但分析準(zhǔn)確性和通量受限于軟件平臺(tái);GERMINATOR[14]通過胚根和種皮之間顏色的對(duì)比度快速鑒定發(fā)芽,但只能應(yīng)用于相對(duì)簡(jiǎn)單的萌發(fā)圖像;RGSES[15]通過圖像處理獲得種子顏色、形狀、紋理等特征,并結(jié)合人工神經(jīng)網(wǎng)絡(luò)技術(shù)來預(yù)測(cè)水稻種子發(fā)芽趨勢(shì),但準(zhǔn)確性相對(duì)較低;SeedGerm[16]表型平臺(tái)利用計(jì)算機(jī)視覺分析,根據(jù)幼根生長(zhǎng)鑒定發(fā)芽和種子發(fā)芽率,進(jìn)而通過表型性狀鑒定油菜品種的遺傳差異和對(duì)萌發(fā)調(diào)節(jié)蛋白磷酸酶(HAI3)在染色體上完成定位,但不能對(duì)交錯(cuò)幼根進(jìn)行分割和動(dòng)態(tài)分析;SeedQuant[17]結(jié)合深度學(xué)習(xí)和計(jì)算機(jī)視覺統(tǒng)計(jì)發(fā)芽種子,但該算法不能對(duì)發(fā)芽后的種子繼續(xù)動(dòng)態(tài)監(jiān)測(cè);GrowScreen-Agar[18]利用匹配濾波器對(duì)未交錯(cuò)重疊的擬南芥幼苗根冠進(jìn)行定量分析,并獲得根系結(jié)構(gòu)數(shù)據(jù),但在幼根互相遮擋情況下的分析準(zhǔn)確率較低;Gong等[19]基于語義分割算法分割水稻幼苗根系,但只能對(duì)單個(gè)種子進(jìn)行分析,且對(duì)種子排列要求較高;RootNav2.0[20]利用卷積神經(jīng)網(wǎng)絡(luò)從圖像中獲取復(fù)雜根系結(jié)構(gòu),精確分割根系,但算法計(jì)算復(fù)雜度高,很難應(yīng)用于對(duì)種子幼根根系的大規(guī)模分析。

目前尚無以分割交叉幼根為目標(biāo)的種子動(dòng)態(tài)萌發(fā)表型檢測(cè)的相關(guān)研究,也未發(fā)現(xiàn)針對(duì)從萌發(fā)到胚根出現(xiàn)生長(zhǎng)的整個(gè)過程來構(gòu)建量化監(jiān)測(cè)平臺(tái)的報(bào)道。針對(duì)現(xiàn)有分析軟件算法在這一研究方向上的不足之處,本研究借鑒SeedGerm的開源軟件包[16]和AirMeasurer的動(dòng)態(tài)表型分析算法[21],創(chuàng)新地提出了基于幼根分割、根尖點(diǎn)追蹤的種子萌發(fā)動(dòng)態(tài)表型分析算法。此外,還利用Python編程語言和圖像處理、機(jī)器學(xué)習(xí)等開源軟件庫(kù)設(shè)計(jì)了數(shù)字化性狀提取軟件包,對(duì)幼根動(dòng)態(tài)分割和根尖點(diǎn)追蹤等表型分析難題開展有益研究,為今后大規(guī)模自動(dòng)化檢測(cè)關(guān)鍵種子萌發(fā)表型組提供參考。

1 材料與方法

1.1 種子萌發(fā)試驗(yàn)設(shè)置

種子萌發(fā)試驗(yàn)圖像數(shù)據(jù)于2020年5月至8月完成采集。以小麥(Triticumaestivum)萌發(fā)試驗(yàn)為例,在發(fā)芽盒底部放置雙層藍(lán)色濾紙,并在濾紙上方放置A3尺寸的深藍(lán)色或深紅色發(fā)芽紙。研究采用3個(gè)弱筋小麥品種,分別為‘揚(yáng)麥25’‘寧麥26’和‘淮麥30’,于2019年收獲,保存期為1年。如圖1所示:每個(gè)品種選取18粒(6行3列)麥粒放置于藍(lán)色發(fā)芽紙上,并將固定體積的水加入濾紙中,靜置2 h,待濾紙均勻吸收水分后開始種子萌發(fā)試驗(yàn),發(fā)芽盒內(nèi)溫度保持22～24 ℃,濕度為99%。拍攝和人工試驗(yàn)數(shù)據(jù)采集周期為7 d。

1.2 算法技術(shù)路線

在獲取圖像序列后,本研究構(gòu)建了自動(dòng)化分析流程,其技術(shù)路線如圖1-a所示。首先,對(duì)輸入圖像序列(圖1-b)完成預(yù)處理,即通過圖形用戶界面(graphic user interface,GUI;圖1-c)中的顏色空間(color space)獲得種子的前景和背景蒙版(mask)。然后,根據(jù)種子蒙版獲得種子萌發(fā)初始性狀,如種粒長(zhǎng)度、寬度等;再通過種子二維骨架追蹤種子尖點(diǎn),獲得種子萌發(fā)早、后期的相關(guān)性狀,如幼根根長(zhǎng)、幼根生長(zhǎng)速率等。最后輸出種子萌發(fā)性狀的量化分析結(jié)果,并存儲(chǔ)在純文本CSV文件中。

圖1 技術(shù)路線(a)、數(shù)據(jù)獲取(b)、分析軟件界面(c)以及前背景標(biāo)注(d、e)和預(yù)訓(xùn)練結(jié)果(f)Fig.1 Technical roadmap of research(a),data collection(b),graphic user interface(GUI)of the analysis software(c),data labelling of foreground and background objects(d,e),and pre-training results(f)

1.3 萌發(fā)時(shí)間序列圖像采集

為高質(zhì)量提取種子萌發(fā)性狀,完整記錄整個(gè)萌發(fā)試驗(yàn)過程,本研究對(duì)置于半透明塑料發(fā)芽盒中的多個(gè)種子進(jìn)行連續(xù)拍攝,拍攝間隔為1 h,以時(shí)序圖像方式記錄種子萌發(fā)過程。拍攝使用PiCamera高清攝像頭(Sony IMX477 sensor,Japan;5M像素),拍攝圖像最大分辨率為2 592×1 944,攝像頭由運(yùn)行于樹莓派微型單板計(jì)算機(jī)(PiFoundation,UK)的Python軟件控制(圖1-b)。基于時(shí)序的小麥種子圖像分辨率為 2 130×1 130像素(垂直×水平),每次試驗(yàn)共采集150～160張圖像,記錄7 d的小麥種子萌發(fā)過程。

1.4 圖像處理和機(jī)器學(xué)習(xí)的軟件實(shí)現(xiàn)

性狀分析算法結(jié)合了自動(dòng)化圖像處理、圖論和監(jiān)督式機(jī)器學(xué)習(xí),通過編程語言Python(3.70)完成算法和各子功能的軟件實(shí)現(xiàn)。其中使用的開發(fā)程序庫(kù)包括:圖像處理庫(kù)scikit-image(0.17.2)和OpenCV-Python(4.4.0.46);機(jī)器學(xué)習(xí)庫(kù)scikit-learn(0.23.2);科學(xué)數(shù)據(jù)處理庫(kù)NumPy(1.19.4)、Pandas(1.2.3)和SciPy(1.5.4);圖形界面庫(kù)PyQt5(5.15.2)。以上開發(fā)均通過PyCharm集成開發(fā)環(huán)境(integrated development environment,IDE)完成源代碼編寫和測(cè)試,以下提及的各類函數(shù)均基于上述軟件開發(fā)庫(kù)完成相應(yīng)軟件實(shí)現(xiàn)(software implementation)。

針對(duì)本研究在背景分割時(shí)使用的機(jī)器學(xué)習(xí)部分,算法首先自動(dòng)選擇圖像序列中位于前、中、后3個(gè)時(shí)間點(diǎn)的圖像作為訓(xùn)練樣張,然后通過用戶拖動(dòng)GUI界面(圖1-d)的滑桿對(duì)不同顏色空間中的前背景對(duì)象進(jìn)行初始分割(圖1-e)。在得到前景和背景蒙版后,將不同萌發(fā)階段的前景和背景蒙版所包含的像素通過紅、綠、藍(lán)(Red-Green-Blue,RGB)和色相、飽和度、明度(Hue-Saturation-Value,HSV)2個(gè)顏色空間(共 6個(gè)通道)作為機(jī)器學(xué)習(xí)的訓(xùn)練樣本數(shù)據(jù)集,再通過用戶選擇的監(jiān)督式機(jī)器模型進(jìn)行學(xué)習(xí)。最后將訓(xùn)練后的前、背景分割模型應(yīng)用到整個(gè)圖像序列,為后續(xù)的性狀分析提供動(dòng)態(tài)蒙版(圖1-f)。

1.5 人工檢測(cè)和算法評(píng)估

在建立人工真實(shí)數(shù)據(jù)集(ground truth dataset)時(shí),使用ImageJ軟件對(duì)140張隨機(jī)選取的萌發(fā)圖像進(jìn)行人工測(cè)量,獲得種粒長(zhǎng)、寬、周長(zhǎng)、面積、種子露白時(shí)間、幼根根長(zhǎng)、幼根根生長(zhǎng)速率、種子發(fā)芽時(shí)間、幼芽芽長(zhǎng)、幼芽面積等性狀。將算法獲取的關(guān)鍵性狀數(shù)據(jù)如幼根根長(zhǎng)、幼根生長(zhǎng)速率和幼芽芽長(zhǎng)與人工真實(shí)數(shù)據(jù)對(duì)比完成數(shù)理統(tǒng)計(jì),并使用分析結(jié)果中的決定系數(shù)R2和均方根誤差(root mean square error,RMSE)作為算法獲取性狀的評(píng)價(jià)指標(biāo)。根據(jù)決定系數(shù)R2確定算法數(shù)據(jù)和人工數(shù)據(jù)的線性回歸關(guān)系,R2越高表示 2種數(shù)據(jù)間的關(guān)聯(lián)性越高,RMSE越低表示模型誤差越小。相關(guān)工作通過微軟Excel(V16)的數(shù)理統(tǒng)計(jì)函數(shù)集完成。通過IDE性能分析(Python profiler),本算法處理單張小麥圖像(5 MB)的平均用時(shí)為90～100 s,處理1個(gè)小麥圖像序列(150～160張)用時(shí)210～220 min,占用內(nèi)存667 MB,程序運(yùn)行時(shí)間和內(nèi)存消耗與圖像序列大小呈線性關(guān)系。

2 結(jié)合監(jiān)督式機(jī)器學(xué)習(xí)和自動(dòng)化圖像處理的種子萌發(fā)表型分析

2.1 圖形用戶界面(GUI)

鑒于開源軟件包SeedGerm[16]界面交互能力不強(qiáng),本研究使用功能更齊全的PyQt5開發(fā)包[22]搭建種子萌發(fā)表型分析軟件的GUI。GUI集成了本研究的分析算法,可對(duì)多物種種子萌發(fā)圖像序列進(jìn)行批量處理,輸出關(guān)鍵萌發(fā)性狀的量化分析和數(shù)字化提取結(jié)果,包括種子的長(zhǎng)、寬、面積、周長(zhǎng),種子露白時(shí)間、萌發(fā)時(shí)間,幼根長(zhǎng)度、幼根生長(zhǎng)速度,幼芽長(zhǎng)度等。通過初始界面(圖1-c),用戶可在“圖像路徑”選擇圖像序列,在“品種”下拉列表選擇作物種類(如油菜、小麥或棉花等)。在“數(shù)據(jù)預(yù)處理”定義參數(shù),如濾紙面板數(shù)量、發(fā)芽試驗(yàn)面板中種子的行列數(shù)、開始和結(jié)束圖像序號(hào)(默認(rèn)值為所選圖像序列的第一和最后一張圖像)。在“種子提取”的“背景標(biāo)注”下拉列表中可選擇顏色空間(例如,LAB顏色空間,L代表亮度,A和B代表顏色分量;HSV顏色空間,H代表色調(diào),S代表飽和度,V代表亮度),并通過調(diào)整滑桿位置(圖1-d)對(duì)背景進(jìn)行高效人工標(biāo)注(圖1-e),獲得基于像素的前背景訓(xùn)練集。

在“種子分割”下拉列表中,可選擇3種為分割幼根幼芽重新訓(xùn)練的監(jiān)督式機(jī)器學(xué)習(xí)算法,如K近鄰[23](K-Nearest Neighbor,KNN)、支持向量機(jī)[24](Support Vector Machine,SVM)和隨機(jī)森林[25](Random Forest,RF)。不同機(jī)器學(xué)習(xí)算法可對(duì)不同質(zhì)量圖像的前景(種子、幼根和幼芽)、背景(發(fā)芽紙)的像素簇分別學(xué)習(xí),進(jìn)而得到不同時(shí)期種子萌發(fā)的像素特征及其蒙版(圖1-e)。若需對(duì)幼根、幼芽特征信息單獨(dú)提取,用戶還可在“根、芽提取”部分對(duì)獲取的種子蒙版進(jìn)行操作,提高建立訓(xùn)練集的效率。

圖2 種子萌發(fā)初始性狀(如穗粒和吸脹特征等)分析(第1小時(shí))Fig.2 Phenotypic analysis of initial seed germination traits such as grain phenotypes and imbibition in the first hour

2.2 種子萌發(fā)初始性狀分析

以下算法解析以對(duì)小麥種子萌發(fā)性狀的量化分析和數(shù)字化提取為例展開介紹。對(duì)小麥種子萌發(fā)初始階段的性狀分析從第0小時(shí)開始,種子經(jīng)歷吸脹到達(dá)露白階段初期。如圖2所示:通過一系列圖像處理算法完成對(duì)初始萌發(fā)性狀的量化分析。首先,從GUI端口獲取輸入的RGB圖像(圖2-a)和用機(jī)器學(xué)習(xí)算法處理后得到前景(即種子)、背景(即發(fā)芽紙和發(fā)芽盒)蒙版。然后,利用SciPy庫(kù)的label函數(shù)和regionprops函數(shù)對(duì)種子蒙版(圖2-b)進(jìn)行篩選,測(cè)量并記錄每粒種子的質(zhì)心坐標(biāo)(橙色)及其編號(hào)(黃色)。雖然種子在吸脹過程中由于自身滾動(dòng)導(dǎo)致質(zhì)心位置變化,但在1 h內(nèi)(拍攝間隔),種子質(zhì)心位置變化較小,可通過對(duì)比2張相鄰圖像中種子的質(zhì)心坐標(biāo)完成種子的定位(圖2-c)。

基于獲取的種子質(zhì)心,使用thin算法提取種子的二維骨架(圖2-d)。若二維骨架的長(zhǎng)度變長(zhǎng)(超過種子長(zhǎng)度1/3)且監(jiān)測(cè)區(qū)域中出現(xiàn)白色像素,則判斷種子進(jìn)入露白階段。對(duì)種子的初始性狀分析還包括種子面積、種子輪廓長(zhǎng)度(即種子周長(zhǎng))、種子寬度和長(zhǎng)度(圖2-e)。這些初始性狀測(cè)量基于像素,可通過測(cè)量放在發(fā)芽盒中的標(biāo)尺(如圖2-a白色標(biāo)簽)完成從像素到公制(如mm)的轉(zhuǎn)換。

2.3 種子萌發(fā)早期性狀分析和幼根根尖追蹤算法

在種子萌發(fā)早期,種子幼根還未發(fā)生交叉。幼根根尖追蹤算法對(duì)這一時(shí)期的種子幼根進(jìn)行的性狀分析主要集中于露白時(shí)間、萌發(fā)時(shí)間、幼根長(zhǎng)度變化等性狀。算法流程如圖3-a所示,首先對(duì)種子萌發(fā)圖像(圖3-b)進(jìn)行前背景分割,獲得每粒種子的質(zhì)心坐標(biāo)和編號(hào)(圖3-c),然后提取每粒種子及其幼根的二維骨架(綠色;圖3-d),分析其形態(tài)特征。再通過SciPy中的binary_hit_or_miss算法獲得骨架端點(diǎn),將距離質(zhì)心遠(yuǎn)的端點(diǎn)作為幼根根尖點(diǎn),并在追蹤算法中記錄根尖點(diǎn)坐標(biāo)(紅色;圖3-e)。同時(shí),將根骨架沿法線方向到根輪廓的2倍距離作為幼根直徑。最后,對(duì)本圖獲得的種子根尖點(diǎn)(淡黃色;圖3-f)與前一張圖像中對(duì)應(yīng)的種子根尖點(diǎn)(紅色;圖3-f)坐標(biāo)進(jìn)行比較,并根據(jù)不同時(shí)間點(diǎn)的根尖點(diǎn)坐標(biāo)重建幼根骨架,并根據(jù)重建的骨架長(zhǎng)度計(jì)算幼根生長(zhǎng)速率(圖3-f)。

圖3 分析流程(a)和早期萌發(fā)(激活新陳代謝階段)的種子性狀分析(第38小時(shí))(b—f)Fig.3 Analysis workflow(a)and phenotypic analysis of seed-based traits at the reactivation of metabolism phase(38th hour)(b-f)

2.3.1 幼根根尖點(diǎn)追蹤算法本研究原創(chuàng)的根尖點(diǎn)追蹤算法能夠用于重建幼根骨架,并獲得幼根根長(zhǎng)和幼根生長(zhǎng)速率。算法對(duì)未露白種子i以初始化有向圖Gi(V,E)(空集)表示,當(dāng)種子露白后以第1次檢測(cè)到的根尖點(diǎn)坐標(biāo)Ci,j初始化Gi的頂點(diǎn)Gi.V,并將Gi.E的邊集合設(shè)置為空集,即沒有根骨架。如式(1)所示:

Gi(V,E)={Gi(V,E)|Gi.V=Ci,j,Gi.E=?, ifCi,j≠? andGi(V,E)=?}

(1)

式中:i(1～n,n為發(fā)芽試驗(yàn)種子總數(shù))為種子序號(hào),j(1～m,m為序列圖像的總數(shù))表示該圖像在圖像序列中的序號(hào);G.V表示有向圖的頂點(diǎn)集合,存放幼根骨架當(dāng)前根尖點(diǎn)坐標(biāo),其中“.”表示對(duì)有向圖G中成員數(shù)據(jù)的調(diào)用;G.E表示有向圖的邊集合,即幼根二維骨架集合;Ci,j為第j張圖像中檢測(cè)到的第i粒種子的根尖點(diǎn)集合。

2.3.2 幼根重建算法根據(jù)第j張圖像檢測(cè)到的第i粒種子及其對(duì)應(yīng)的根尖點(diǎn)集合Ci,j,與第j-1張圖像(前一張圖像)中相應(yīng)的第i粒種子及其對(duì)應(yīng)的根尖點(diǎn)集合Ci,j-1,遍歷同一粒種子i在前后2張圖像中的根尖點(diǎn)集合里的根尖點(diǎn)元素Tk,i,j∈Ci,j和Tk,i,j-1∈Ci,j-1,其中k(1～K,K表示此根尖點(diǎn)集合Ci,j中根尖點(diǎn)總數(shù))為根尖點(diǎn)k在種子i在圖像j里的根尖點(diǎn)集合中的序號(hào)。計(jì)算Tk,i,j和Tk,i,j-1的距離是否小于20像素(根據(jù)圖像分辨率獲取的經(jīng)驗(yàn)閾值)。同時(shí),計(jì)算相對(duì)應(yīng)的根尖點(diǎn)Tk,i,j-1和Tk,i,j構(gòu)成的向量和重建骨架的夾角是否大于120°。若以上2項(xiàng)條件均符合,算法將連接2個(gè)根尖點(diǎn)Tk,i,j和Tk,i,j-1,以重建線段作為2個(gè)根尖點(diǎn)間的幼根骨架,并添加到有向圖的重建根骨架集合Gi.E中。第i個(gè)種子在圖像j上檢測(cè)到的根尖點(diǎn)及對(duì)應(yīng)幼根骨架重建完成后,用Ci,j替代并更新該種子的有向圖集合Gi.V。如式(2)所示:

(2)

算法對(duì)序列中所有圖像中的根尖點(diǎn)都重復(fù)上述操作,可對(duì)圖像序列中所有可測(cè)種子的根尖點(diǎn)完成追蹤并重建幼根二維骨架。IDE性能分析結(jié)果顯示,此部分算法對(duì)每張圖像的處理時(shí)間為25～35 s,運(yùn)行時(shí)間隨圖像數(shù)量增加而線性增加。

圖4 分析流程(a)和基于圖論分割、重建重疊的種子幼根骨架(b—f)Fig.4 Analysis workflow(a)and segment overlapped radicle skeletons using graph theory and skeleton reconstruction techniques(b-f)

2.4 對(duì)復(fù)雜種子幼根的分割和追蹤

在種子萌發(fā)后期,種子幼根將出現(xiàn)較復(fù)雜的交叉重疊現(xiàn)象。針對(duì)這一問題,算法首先分割交叉的幼根骨架,再根據(jù)每粒種子的根尖點(diǎn)坐標(biāo)完成動(dòng)態(tài)追蹤,按時(shí)序重建每粒種子對(duì)應(yīng)的幼根骨架。算法流程如圖4-a 所示,其中對(duì)交叉重疊幼根的分割算法主要分為二維骨架分解和重建2部分。

2.4.1 幼根骨架分解算法對(duì)重疊種子幼根骨架進(jìn)行Harris角點(diǎn)檢測(cè)[26],篩選合適的角點(diǎn)(2種,分別為“十”字交叉點(diǎn)、“人”字交叉點(diǎn))作為幼根交叉點(diǎn)(圖4-b紅色像素區(qū)域),選擇交叉點(diǎn)上下左右各8像素作為交叉區(qū)域。分析交叉區(qū)域骨架,分為2種情況:如圖4-c所示,第1種是包含1個(gè)交叉點(diǎn)和3個(gè)端點(diǎn)的“人”字交叉點(diǎn);第2種是包含2個(gè)交叉點(diǎn)和4個(gè)端點(diǎn)的“十”字交叉點(diǎn)。對(duì)于第1種幼根交叉方式,分割方法為:連接交叉點(diǎn)(橙色)和3個(gè)端點(diǎn)(天藍(lán)色),構(gòu)建3個(gè)向量;分別計(jì)算向量間夾角([0°,180°])的余弦值,余弦值越小表示夾角越大,連接夾角最大的2個(gè)端點(diǎn)構(gòu)建1條幼根骨架,連接剩下的端點(diǎn)和交叉點(diǎn)構(gòu)建另一條幼根骨架。對(duì)于第2種交叉方式,算法分割方法為:取2個(gè)交叉點(diǎn)連線的中點(diǎn)作為新交叉點(diǎn)(橙色),從新交叉點(diǎn)到4個(gè)端點(diǎn)(天藍(lán)色)連線作為4個(gè)向量;計(jì)算向量之間的夾角,連接夾角最大的2個(gè)端點(diǎn)作為1條幼根骨架,連接剩下的2個(gè)端點(diǎn)作為另一條幼根骨架,并分別保存分割后的2條幼根。

去除交叉區(qū)域后剩余幼根骨架不存在交錯(cuò)重疊(圖4-d),因此可根據(jù)其是否與種皮部分(圖4-d,深藍(lán)色)連接分為一級(jí)骨架和二級(jí)骨架(圖4-e)。將交叉點(diǎn)區(qū)域骨架分解后加入二級(jí)骨架集合。

2.4.2 基于種子的幼根骨架重建算法遍歷并計(jì)算二級(jí)骨架和一級(jí)骨架之間距離最近的2個(gè)端點(diǎn),計(jì)算2個(gè)端點(diǎn)之間線段的距離和2個(gè)端點(diǎn)之間線段與一級(jí)骨架的夾角。若距離小于距離閾值(即20像素)且夾角大于角度閾值(即120°),則將該二級(jí)骨架拼接到對(duì)應(yīng)的一級(jí)骨架中。通過以上方法可將全部的一、二級(jí)骨架重新拼接(圖4-f),并根據(jù)不同種子的質(zhì)心和所在骨架區(qū)域?qū)?yīng)的種子序號(hào),完成重疊幼根的分割和種子歸屬分析(圖4-g)。根據(jù)種子序號(hào)和分割交錯(cuò)的種子根骨架,再運(yùn)用2.3節(jié)中的幼根根尖追蹤和骨架重建算法,可追蹤某粒種子對(duì)應(yīng)的所有幼根根尖點(diǎn),并基于時(shí)序完成幼根骨架的重建。

2.5 種子萌發(fā)后期性狀分析

在萌發(fā)后期,種子扎根扶葉,胚芽鞘向上豎起。此時(shí)對(duì)種子發(fā)芽性狀的量化分析主要集中于幼根長(zhǎng)度、根生長(zhǎng)速率和幼芽長(zhǎng)度等性狀。算法流程如圖5-a所示,首先根據(jù)萌發(fā)圖像(圖5-b)進(jìn)行前背景分割,對(duì)每粒種子的質(zhì)心坐標(biāo)和二維骨架完成初始分析(圖5-c)。針對(duì)種子幼根骨架交錯(cuò)重疊問題,利用2.4節(jié)算法分割幼根骨架,從機(jī)器學(xué)習(xí)算法獲取的幼根、幼芽蒙版(圖5-d)中提取幼根(綠色)和幼芽(藍(lán)綠色)的二維骨架,基于骨架尖點(diǎn)坐標(biāo)獲得幼根、幼芽的長(zhǎng)度和生長(zhǎng)速率(圖5-e)。利用convex_hull_image算法獲得幼根的凸包(convex hull),以凸包中的像素總數(shù)作為凸包面積,即為根面積。利用種子幼芽蒙版的像素總數(shù)作為幼芽的面積。并通過圖像中標(biāo)尺完成從像素到毫米的轉(zhuǎn)換。

圖5 分析流程(a)和后期萌發(fā)(即種子萌發(fā)至幼苗發(fā)育階段)的種子性狀分析(b—e)Fig.5 Analysis workflow and phenotypic analysis of seed-based traits during the seed germination(a)and seedling development phases(b-e)

3 結(jié)果與分析

軟件處理完圖像序列后,會(huì)生成相關(guān)性狀的CSV文件,初始性狀包括:種粒的長(zhǎng)度、寬度、周長(zhǎng)、面積。萌發(fā)早期性狀包括:露白時(shí)間、根長(zhǎng)、根直徑、根面積、根生長(zhǎng)速率、發(fā)芽時(shí)間。萌發(fā)后期包括:芽長(zhǎng)、芽面積、芽直徑以及對(duì)幼根持續(xù)追蹤后的根長(zhǎng)、根直徑、根面積、根生長(zhǎng)速率。若圖像中包含標(biāo)尺,算法會(huì)將長(zhǎng)度單位從像素轉(zhuǎn)換為毫米。

3.1 種子幼根追蹤算法在動(dòng)態(tài)表型分析中的應(yīng)用

以圖像序列3中第16號(hào)種子為例(圖6-a),種子露白前持續(xù)分析種粒性狀(圖6-b白色輪廓)。種子露白后,按時(shí)序獲得幼根長(zhǎng)度和生長(zhǎng)速率等性狀(圖6-b粉色)。根據(jù)追蹤結(jié)果可以發(fā)現(xiàn),隨著胚根生長(zhǎng),第28小時(shí)胚根長(zhǎng)與種子等長(zhǎng),標(biāo)記種子發(fā)芽;第40小時(shí),種子出現(xiàn)2條次生胚根;第60小時(shí),根系出現(xiàn)交叉。基于時(shí)序?qū)λ蟹N子的根骨架重建效果如圖6-c所示,表示第1～72小時(shí)幼根生長(zhǎng)過程(深藍(lán)色為第1小時(shí),深紅色為第72小時(shí))。

圖6 種子幼根萌發(fā)性狀動(dòng)態(tài)分析Fig.6 Dynamic analysis of the seed-based radicle emergence trait

3.2 萌發(fā)性狀量化分析與人工數(shù)據(jù)對(duì)比

以小麥為例,‘揚(yáng)麥25’‘寧麥26’和‘淮麥30’(分別記為G1、G2及G3)的圖像序列均有3個(gè)重復(fù),關(guān)鍵性狀量化分析結(jié)果如圖7-a、b、c所示,3個(gè)小麥品種分別在第56、40、23小時(shí)開始露白,此后根長(zhǎng)、幼根生長(zhǎng)速率和幼根面積穩(wěn)定增長(zhǎng)。其中,‘淮麥30’的幼根生長(zhǎng)速率和幼根面積增加較快,體現(xiàn)了較好的萌發(fā)性。第120小時(shí)左右,‘寧麥26’的幼芽生長(zhǎng)速度加快,并快速超越其他2個(gè)品種,體現(xiàn)了良好的出芽能力。

將不同重復(fù)中獲得的根長(zhǎng)、芽長(zhǎng)、根生長(zhǎng)速率的數(shù)據(jù)通過線性回歸分析與人工測(cè)量數(shù)據(jù)進(jìn)行對(duì)比,獲得的決定系數(shù)R2分別為0.922(n=188粒種子,P<0.001,RMSE=1.727)、0.719(n=191粒種子,P<0.001,RMSE=0.406)、0.897(n=115粒種子,P<0.001,RMSE=2.726)。相關(guān)性分析結(jié)果表明(7-d、e、f),算法計(jì)算的幼根和幼芽性狀數(shù)據(jù)與實(shí)際性狀數(shù)據(jù)顯著相關(guān),算法能較精確提取小麥種子的萌發(fā)性狀數(shù)據(jù)。

3.3 算法在不同作物種子萌發(fā)試驗(yàn)中的應(yīng)用

雖然本算法基于單子葉植物須根系研發(fā),為提高算法的泛化能力,設(shè)計(jì)算法時(shí)也考慮了雙子葉植物直根系的幼根特征。以棉花(Gossypiumbarbadense)和油菜(Brassicanapus)為例,通過簡(jiǎn)單參數(shù)調(diào)整后,本算法還可動(dòng)態(tài)分析這2種作物的幼根根長(zhǎng)性狀。棉花幼根根長(zhǎng)的動(dòng)態(tài)分析結(jié)果(圖7-g)顯示,3個(gè)棉花品種的露白時(shí)間相差不大,第2個(gè)品種(G2)的幼根生長(zhǎng)略快。油菜幼根根長(zhǎng)的分析結(jié)果(圖7-h)顯示,第6個(gè)品種(G6)露白時(shí)間較晚,幼根在萌發(fā)前期生長(zhǎng)較慢,在萌發(fā)后期生長(zhǎng)加速;第5個(gè)品種(G5)的幼根在萌發(fā)前期生長(zhǎng)較快,在后期生長(zhǎng)速度減緩。

圖7 性狀量化分析結(jié)果(a—c)、線性回歸分析結(jié)果(d—f)、算法應(yīng)用(g、h)Fig.7 The result of traits quantitative analysis(a-c)and linear regression analysis(d-f)nd the application of dynamic detection algorithm(g,h)

4 結(jié)論

1)本研究提出的種子動(dòng)態(tài)萌發(fā)表型檢測(cè)算法結(jié)合了自動(dòng)化圖像處理技術(shù)、圖論和機(jī)器學(xué)習(xí)算法,即利用監(jiān)督式機(jī)器學(xué)習(xí)算法進(jìn)行圖像前背景分割,用于不同品種不同背景的試驗(yàn)圖像;利用自動(dòng)化圖像處理算法獲取基于形狀和顏色空間的性狀,進(jìn)而通過圖論算法解決圖像處理和機(jī)器學(xué)習(xí)算法無法解決的根尖點(diǎn)追蹤和交叉根分割等問題,提取種子萌發(fā)過程中的關(guān)鍵動(dòng)態(tài)性狀。在種子相互遮擋或根系交叉情況下,種子動(dòng)態(tài)萌發(fā)表型監(jiān)測(cè)算法仍能對(duì)關(guān)鍵表型(如幼根和幼芽生長(zhǎng))進(jìn)行持續(xù)監(jiān)測(cè),為作物遺傳育種和關(guān)鍵表型分析提供量化依據(jù)和智能化解析技術(shù),為大規(guī)模種子萌發(fā)表型分析研究提供了新算法。

2)雖然本算法對(duì)關(guān)鍵動(dòng)態(tài)性狀如幼根長(zhǎng)、幼根生長(zhǎng)速率、幼芽長(zhǎng)的分析達(dá)到92.2%(n=188)、71.9%(n=191)和89.7%(n=115)的相關(guān)性,但特征提取精度仍有提升空間,后續(xù)將圍繞這一點(diǎn)展開研究。

3)目前已針對(duì)小麥、棉花和油菜3種作物完成了預(yù)試驗(yàn),后續(xù)將會(huì)擴(kuò)展應(yīng)用場(chǎng)景,將算法泛化,應(yīng)用到更多作物上去。本研究表明,分割交叉幼根骨架算法對(duì)本文提到的2種交叉方式的分割效果較好,但未針對(duì)更復(fù)雜的交叉場(chǎng)景進(jìn)行研究。在今后的研究中,我們將嘗試更多計(jì)算機(jī)視覺算法,提高算法在復(fù)雜幼根交叉情況下的分割效果,更準(zhǔn)確測(cè)量幼根生長(zhǎng)速率,并進(jìn)一步提高算法的泛化性和魯棒性。