朱偉,趙文亮,何凱
(1 中國科學院深圳先進技術(shù)研究院,深圳市精密工程重點實驗室,廣東 深圳 518055;2中國科學院深圳先進技術(shù)研究院,粵港澳人機智能協(xié)同系統(tǒng)聯(lián)合實驗室 廣東 深圳 518055)
生物技術(shù)是應(yīng)用生物學、化學和工程學的基本原理,使用生物體(包括微生物、動物細胞和植物細胞)或其成分(細胞器和酶)來改進產(chǎn)品、改良植物和動物,或基于特殊用途而培養(yǎng)微生物的技術(shù)[1-5]。隨著現(xiàn)代生物技術(shù)的飛速發(fā)展,基因工程、細胞工程、蛋白質(zhì)工程、酶工程以及生化工程所取得的成果被廣泛應(yīng)用于醫(yī)藥、農(nóng)業(yè)、環(huán)保、輕化工等重要領(lǐng)域。
在現(xiàn)代生物技術(shù)迅速發(fā)展的進程中,基因工程是現(xiàn)代生物工程技術(shù)的核心,其最突出的優(yōu)點是打破了物種之間常規(guī)育種的界限,原核生物與真核生物之間、動物與植物之間,甚至人與其他生物之間的遺傳信息得以重組和轉(zhuǎn)移[6-8]。在整個基因工程技術(shù)操作流程中,對外源目標基因的分離、克隆以及對目標基因的結(jié)構(gòu)和功能的研究構(gòu)成了下游基因工程常規(guī)操作的基礎(chǔ),例如重組目標基因表達的結(jié)構(gòu)和引入外源基因[9-10]。其中克隆挑取環(huán)節(jié)工作量很大,一個工業(yè)微生物改造項目通常需要挑取數(shù)萬個菌落,傳統(tǒng)的人工挑取效率相對較低,操作者很容易遺漏目標菌落或主觀選擇判斷,從而降低了實驗項目的客觀性和科學性,使用機器人來代替人工克隆挑取操作已成為主流發(fā)展趨勢[11]。
歐美國家在生物圖像識別處理和計算運動控制方面具有較深入的研究,對克隆挑取機器人的研制起步較早。1990 年美國加利福尼亞州立大學Lawrence Berkeley 實驗室結(jié)合圖像識別處理系統(tǒng),采用帶有12 個挑針的轉(zhuǎn)輪完成了150 菌落/時的快速挑取[12]。1992 年英國MRC Laboratory of Molecular Biology 研制出同時具有菌落挑取和微孔板移動功能的克隆挑取系統(tǒng),挑取速度為853 菌落/時[13]。2009 年美國亞利桑那州立大學工程實驗室采用12 挑針的旋轉(zhuǎn)輪,配備三個直線運動軸,挑取速度達1200菌落/時[14]。隨著克隆挑取技術(shù)的不斷發(fā)展,一些大型生物醫(yī)療器械公司也開始涉足此方面的研究,其中國際市場成熟產(chǎn)品占有率比較高的有瑞士TECAN 公司研制的Freedom EVO工作站(包含克隆挑取功能)、英國KBiosyetems公司開發(fā)的K 系列挑取機器人、美國Hudson Robotic 公司開發(fā)的Rapid Pick 系列和Molecular Devices 公司開發(fā)的Qpix 系列菌落挑選機器人,最大挑取速度超過3000菌落/時[15-17]。
我國在該方面的研究較晚,相比國外相應(yīng)研究成果較少,與國外同類型儀器仍有較大差距。2003 年北京機械工業(yè)自動化研究所研制了包含96個挑針的挑取頭和8通道的微量移液系統(tǒng),可以實現(xiàn)克隆挑取和自動分液的功能,仍處于實驗室研究階段[18-19]。本文基于國外傳統(tǒng)克隆挑取機器人永久式金屬針頭挑取方案具有挑取效率低、消毒不徹底、制造成本高等缺點進行了改造,提出采用一次性挑針挑取菌落以提高工作效率及挑取結(jié)果科學性的方案。
克隆菌落挑取機器人主要是由視覺、控制和執(zhí)行三個系統(tǒng)構(gòu)成。視覺系統(tǒng)主要是將培養(yǎng)皿中菌落轉(zhuǎn)換成圖像數(shù)字信號,然后通過圖像信號的處理,識別出目標菌落[20-22]??刂撇呗允菍σ呀?jīng)識別出的菌落進行坐標轉(zhuǎn)換,將目標菌落的圖像坐標轉(zhuǎn)換成世界坐標,然后對菌落挑取路徑進行優(yōu)化,完成目標菌落的挑取排序。執(zhí)行系統(tǒng)主要是根據(jù)識別出的菌落坐標,控制器控制執(zhí)行機構(gòu)完成挑針挑取任務(wù),然后接種到96孔板中[23-25]。圖1為克隆挑取設(shè)備完成單個克隆挑取所經(jīng)歷的過程。
克隆挑取機器人當前的技術(shù)路線是使用圖像處理和機器視覺技術(shù)來完成目標菌落的圖像采集和定位,安裝在機械臂上的針狀金屬頭用于將目標菌落挑取到96 孔板中,然后使用蒸餾水、醫(yī)用酒精和加熱器分別對挑針進行清洗、消毒和高溫滅菌[26-29]。但是目前傳統(tǒng)技術(shù)路線具有以下缺點:
(1)現(xiàn)有的克隆挑取機器人采用的永久性金屬針頭要求較高的加工精度,制造成本相應(yīng)有所提高;
(2)由于金屬針頭在工作過程中清洗消毒后循環(huán)使用,工作過程中可能存在消毒不徹底的因素,降低了實驗結(jié)果的可靠性和科學性;
圖1 克隆挑取設(shè)備單個克隆挑取經(jīng)歷過程Fig.1 Single clone-selecting process
(3)由于金屬針頭每次循環(huán)過程中都需要高溫消毒,增加了能量消耗和單位挑取時間。
基于上述缺點本文改進了挑選的方法,提出了一種使用一次性竹簽式針頭進行菌落挑選的方式,有效地解決了傳統(tǒng)主流技術(shù)存在的上述問題:
(1)竹簽式針頭為木質(zhì)材料,制造成本比較低,其直徑大約是金屬針頭5倍左右,其要求的裝配精度也相對較低;
(2)竹簽式針頭只用一次后就更換新的針頭,從根源上消除了傳統(tǒng)金屬針頭消毒不徹底的問題;
(3)由于竹簽式自動菌落挑選儀針頭是一次性的,對挑針預(yù)先經(jīng)過批量高溫滅菌處理后即可投入使用,從而節(jié)省了每次循環(huán)的能量消耗和消毒時間。
針頭傳送機構(gòu)和針頭夾取及點樣機構(gòu)相對其他機構(gòu)精度要求不高,且需要短時間內(nèi)大行程運動,故這兩個機構(gòu)優(yōu)先選用氣缸驅(qū)動。由于在挑取過程中針頭夾取及點樣機構(gòu)隨轉(zhuǎn)盤驅(qū)動機構(gòu)轉(zhuǎn)動,為防止氣管之間纏繞選用了氣動旋轉(zhuǎn)接頭來解決此問題。圖2 全面展示了機器人的5 部分主要機構(gòu),各機構(gòu)關(guān)系如圖3所示。
圖2 克隆挑取機器人基本結(jié)構(gòu)Fig.2 Basic structure of the clone-selecting robot
圖3 各構(gòu)件及系統(tǒng)關(guān)系圖Fig.3 Design for the clone-selecting robot
考慮到菌落挑取對精度的要求,本課題中轉(zhuǎn)盤驅(qū)動機構(gòu)和培養(yǎng)皿平面運動導軌機構(gòu)均由伺服電機驅(qū)動。由于控制電機數(shù)目比較多,執(zhí)行中間環(huán)節(jié)配備了多個傳感器對其檢測定位,并且對菌落進行圖像處理后需要計算機對菌落位置轉(zhuǎn)換進行大量計算,故本課題優(yōu)先選用工控機-運動控制卡-CCD 相機對設(shè)備進行控制[30]。圖2 中各構(gòu)件和各控制系統(tǒng)的關(guān)系如圖3所示。
控制系統(tǒng)可以被分為六個模塊,分別是工控機模塊、CCD 相機模塊、運動控制卡模塊、伺服驅(qū)動模塊、輸入信號模塊和輸出信號模塊。其結(jié)構(gòu)關(guān)系如圖4 所示,每個模塊的功能描述如下:
圖4 控制系統(tǒng)結(jié)構(gòu)圖Fig.4 Design for the control unit
(1)工控機模塊 負責CCD 相機采集圖像的分析處理工作,負責整個設(shè)備資源的調(diào)動,使設(shè)備穩(wěn)定有序的運轉(zhuǎn)。具體完成的任務(wù)包括基于圖像處理軟件HexSight 對采集的圖像進行處理,并進行被識別對象坐標的提取。
(2)CCD相機模塊 負責采集克隆菌落圖像。
(3)運動控制卡模塊 負責對電機的控制;板卡還用于接收一些設(shè)備的運行信息,比如軸狀態(tài)、軸速度和軸運行時間等。
(4)伺服驅(qū)動模塊 該模塊負責驅(qū)動電機工作,伺服電機負責帶動十字滑臺運動來完成定位,帶動轉(zhuǎn)盤轉(zhuǎn)動來完成間歇運動。
(5)輸入信號模塊 負責接收光電信號的輸入,包括十字滑臺和轉(zhuǎn)盤的原點信號、十字滑臺的限位信號、檢測傳送機構(gòu)中挑針有無及氣缸狀態(tài)輸入信號。
(6)輸出信號模塊 負責控制電磁閥實現(xiàn)對挑針上下行和氣爪張閉的控制。
計算機和執(zhí)行機構(gòu)之間是通過與運動控制卡相連的端子板上的I/O 接口來傳送數(shù)據(jù),運動控制卡與執(zhí)行機構(gòu)之間以光電耦合方式實現(xiàn)通信,大大增強了通信的抗干擾能力,運動控制卡可以同時控制多個軸聯(lián)動運行,其內(nèi)部結(jié)構(gòu)如圖5(a)所示。本課題設(shè)備占用與其配套的端子板上輸入端口有16 個,輸出端口有11 個,各端口分別與控制卡相連的端子板連接,圖5(b)為端子板連接實物圖,各I/O 口定義如表1、表2所示。
控制系統(tǒng)硬件連接布局如圖6 所示。系統(tǒng)工作流程主要由取針-挑取-接種-落針四部分動作組成,各氣爪、氣缸運行過程如圖7 所示,其中1、2、3 號氣缸位置保持不動,1~8號氣爪順時針轉(zhuǎn)動實現(xiàn)克隆挑取整個過程。當8 個氣爪工位滿載循環(huán)運行時,各號氣爪上挑針的功能如表3 所示,整個系統(tǒng)工作流程如圖8 所示。
為了驗證結(jié)構(gòu)設(shè)計和控制系統(tǒng)的可靠性,本實驗以大腸桿菌為例,將其從培養(yǎng)皿挑取并接種到96 孔板中。將控制系統(tǒng)中電機、電磁閥、傳感器上電后其配帶的軟件便會識別到各終端的狀態(tài),圖9為控制系統(tǒng)上電后軟件檢測的輸入、輸出設(shè)備元件狀態(tài),由圖可知各連接設(shè)備正常。
表1 各輸入端口地址分配及功能表Tab.1 Address allocation and function of the input ports
圖5 控制卡原理及端子板接線圖Fig.5 Control principle and terminal board for the signal input and output
表2 各輸出端口地址分配及功能表Tab.2 Address allocation and function of the output ports
圖6 控制系統(tǒng)硬件連接圖Fig.6 Hardware for the control system
圖7 氣缸、氣爪位置關(guān)系及運行過程Fig.7 Position and the operation process of the cylinder and pneumatic gripper
表3 滿載循環(huán)工作各氣爪上挑針功能Tab.3 Picking function of the needles on each pneumatic gripper in a full-load working cycle
圖8 控制系統(tǒng)工作流程圖Fig.8 Working flowsheet for the control system
使用Halcon 軟件對相機拍攝后的菌落圖像進行菌落識別和篩選后(圖10),便可定位各目標菌落對應(yīng)的像素點在圖像上的坐標(圖11),然后對相機進行標定從而實現(xiàn)像素坐標系到世界坐標系的轉(zhuǎn)換,本課題選用的是Hexsight公司提供的圖像處理軟件,將相機拍攝的菌落照片上傳到該軟件上后經(jīng)過標定及坐標轉(zhuǎn)換就得到了每個菌落的世界坐標[31],如圖12所示。
確定控制系統(tǒng)、相機標定及坐標轉(zhuǎn)換無誤后,啟動電機、氣缸隨程序設(shè)定步驟依次運行,取針-挑取-接種-落針四個步驟如圖13 所示。為了檢測挑取效果,現(xiàn)以其中三個菌落為例來檢驗設(shè)備挑取準確性。隨機取培養(yǎng)皿中三個目標菌落進行挑取,挑取結(jié)果表4 及圖14 所示,結(jié)果顯示平均挑取誤差為0.03 mm,遠小于菌落平均直徑2 mm,滿足實驗要求。
圖9 控制系統(tǒng)狀態(tài)顯示圖Fig.9 Display of the control system
圖10 菌落圖像識別及篩選Fig.10 Colony image recognition and screening
本文在綜合分析克隆菌落挑取機器人國內(nèi)外研究現(xiàn)狀后,設(shè)計了一款多針、轉(zhuǎn)盤式的菌落挑取機器人,采用模塊化的設(shè)計方法,提出克隆菌落挑取機器人的總體設(shè)計方案。然后對各個功能模塊進行具體結(jié)構(gòu)設(shè)計,進而對菌落挑取視覺定位系統(tǒng)進行設(shè)計,最后通過控制系統(tǒng)的設(shè)計和關(guān)鍵零部件的選型計算完成樣機的制作,在樣機的基礎(chǔ)上選用大腸桿菌進行相關(guān)實驗,驗證了克隆菌落挑取機器人功能模塊的可行性、菌落挑取視覺定位算法的可行性與準確性。通過實驗數(shù)據(jù)分析,得出如下結(jié)論:
(1)本文提出的基于取針-挑取-接種-落針四步工作流程的一次性挑針克隆挑取方案僅需挑取前對挑針進行一次批量消毒,摒棄了傳統(tǒng)設(shè)備工作中對金屬挑針清洗、消毒兩項中間環(huán)節(jié)(如摘要圖所示)。采用多針、轉(zhuǎn)盤式結(jié)構(gòu)設(shè)計滿足了取針-挑取-接種-落針四工位同時進行,大大提高了挑取效率。
(2)選擇采用基于PCI 總線模式控制的“工控機+運動控制卡+CCD 相機”的開放式運動控制交互方法,并提出了控制系統(tǒng)整體結(jié)構(gòu)框架,對控制系統(tǒng)的各個模塊進行設(shè)計。實驗證明樣機可實現(xiàn)多軸聯(lián)動點位運動,圖片數(shù)字信號的接收與傳送,傳感器數(shù)字信號與控制卡之間信號的相互傳遞。
(3)基于Halcon、HexSight 圖像處理軟件平臺設(shè)計的視覺定位系統(tǒng)可行且視覺定位精度滿足設(shè)計要求。菌落挑取視覺定位算法準確地建立了以像素為單位的圖像坐標系與以毫米為單位的世界坐標系之間的轉(zhuǎn)換關(guān)系,快速準確計算出目標菌落的世界坐標,平均定位精度為0.03 mm。執(zhí)行機構(gòu)可以精確挑取指定菌落并接種到96 孔板中,證明了一次性挑針挑取方式的可行性。
隨著研究的深入,發(fā)現(xiàn)還有些待改進的地方,也是后續(xù)研究工作的幾個方面。
圖11 各目標菌落面積及幾何中心坐標Fig.11 Target colony area and geometric center coordinates
圖12 相機標定及坐標轉(zhuǎn)換Fig.12 Camera calibration and coordinate conversion
(1)在保證能夠滿足加工工藝的情況下,可以增加轉(zhuǎn)盤上的工位,減小培養(yǎng)皿下方直線模組尺寸,從而減小克隆挑取機器人轉(zhuǎn)盤的轉(zhuǎn)動角距和直徑,降低設(shè)備整體重心,使之結(jié)構(gòu)更加緊湊,運行更加快捷。
圖13 運行步驟實物圖Fig.13 Process operation
圖14 選定目標菌落及其挑取結(jié)果Fig.14 Target colonies selected and their analysis
(2)對于含有單種菌落的培養(yǎng)皿而言,目前控制和圖像識別系統(tǒng)只能挑取能夠識別到的所有菌落,無法在控制界面上人工指定目標菌落點動挑取,也無法對挑取目標菌落的大小、間距、數(shù)量、灰度值等特征進行動態(tài)設(shè)定范圍內(nèi)挑取。
(3)對于含有多種菌落的培養(yǎng)皿而言,目前控制和圖像處理系統(tǒng)還無法通過識別菌落顏色、大小、邊緣形狀等特征對指定單種或多種進行選擇性挑取。
(4)對培養(yǎng)皿中菌落圖像識別處理后,工控機會得到一系列菌落坐標,其排列順序影響著執(zhí)行機構(gòu)運動的總行程,進而會影響挑取效率,故需要設(shè)計一套算法使之能夠計算出每次挑取培養(yǎng)皿中目標菌落對應(yīng)的最佳挑取路徑。
表4 實驗結(jié)果Tab.4 Experimental results