黃銘明,蘇其瑜,曾 維,湯 煒,田衛(wèi)東,張 勁
1.四川大學(xué) 醫(yī)學(xué)信息工程系,成都 610065
2.四川大學(xué) 華西口腔醫(yī)學(xué)院,成都 610041
下頜骨骨折是較為常見的骨折,造成下頜骨骨折的首要原因是交通事故[1-3]。一般手術(shù)會采用鈦板堅(jiān)固內(nèi)固定術(shù)來治療。鈦板堅(jiān)固內(nèi)固定選擇尺寸合適的小鈦板,彎曲使其和下頜骨骨面緊貼,能使骨折復(fù)位后達(dá)到穩(wěn)定的作用[4]。但是術(shù)后可能出現(xiàn)錯牙合畸形等后遺癥,這是因?yàn)殁伆鍒?jiān)固內(nèi)固定術(shù)對醫(yī)生的操作技術(shù)有較高的要求。然而在教學(xué)訓(xùn)練中,書本或視頻教學(xué)直觀性差,實(shí)物模型訓(xùn)練成本較高,而臨床觀察操作不能短時間內(nèi)重復(fù)練習(xí)。于是,通過虛擬現(xiàn)實(shí)技術(shù)模擬下頜骨單線骨折手術(shù)場景,用于醫(yī)學(xué)生以及實(shí)習(xí)醫(yī)生等的訓(xùn)練,讓其模擬手術(shù)過程,達(dá)到低成本可反復(fù)地訓(xùn)練提高手術(shù)技能的目的。
20世紀(jì)80年代,Jaron Lanier提出了虛擬現(xiàn)實(shí)技術(shù)[5]這一概念。到了20世紀(jì)80年代末,J.Rosen和Dr.S.Delp就首次把虛擬現(xiàn)實(shí)與外科手術(shù)結(jié)合[6]。而在1996年的第四屆醫(yī)學(xué)虛擬現(xiàn)實(shí)會議上[7]第一次提出虛擬手術(shù)這一概念。隨后幾年,世界各國家都陸續(xù)開始對虛擬手術(shù)仿真系統(tǒng)的研究,日本和歐美對相關(guān)技術(shù)的研究起步較早,相關(guān)技術(shù)也處于領(lǐng)先狀態(tài)[8-12]。
1995年美國的Merril構(gòu)建了一個人體軀干模型,可以通過器官組織的物理特性進(jìn)行彎曲拉伸的模擬[13];1996年Levy開發(fā)的子宮檢查仿真器引入了觸覺設(shè)備,首次實(shí)現(xiàn)了加入力反饋設(shè)備的虛擬手術(shù),對后來的虛擬手術(shù)力反饋系統(tǒng)奠定了基礎(chǔ)[14]。佐治亞理工學(xué)院開發(fā)了用于肩關(guān)節(jié)鏡手術(shù)訓(xùn)練和術(shù)前規(guī)劃的虛擬手術(shù)系統(tǒng)[15]。賓夕法尼亞大學(xué)針對鼻腔鏡手術(shù),使用NeuroTouch仿真軟件開發(fā)了一套訓(xùn)練系統(tǒng)[16]。除此之外,虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域的公司針對虛擬手術(shù)仿真系統(tǒng)也開發(fā)出了相應(yīng)的醫(yī)療器械仿真設(shè)備和和人體可視化軟件等。
早期由于技術(shù)限制和較高的研究成本,國內(nèi)虛擬手術(shù)仿真的研究起步較晚,且目前國內(nèi)的研究工作主要針對醫(yī)學(xué)圖像的三維重建和可視化,碰撞檢測,人體軟組織變形計(jì)算等方面[17-20]。2001年,鼻內(nèi)窺鏡手術(shù)仿真系統(tǒng)在北京301醫(yī)院設(shè)計(jì)完成,這是我國的第一套包含觸覺反饋的虛擬手術(shù)仿真系統(tǒng)[21];近幾年,中國醫(yī)科大學(xué)開發(fā)了一套基于Web的一體化小兒心臟病虛擬手術(shù)訓(xùn)練系統(tǒng),這套系統(tǒng)可以通過可視化技術(shù)實(shí)現(xiàn)手術(shù)的初步設(shè)計(jì)和指導(dǎo)[22];云南省第一人民醫(yī)院肝膽外科對虛擬手術(shù)仿真系統(tǒng)進(jìn)行了系統(tǒng)的研究和應(yīng)用,對相應(yīng)的肝臟手術(shù)的復(fù)雜情況進(jìn)行精準(zhǔn)的評估模擬,為精準(zhǔn)肝切除復(fù)雜性肝臟腫瘤提供了手術(shù)數(shù)據(jù)和依據(jù)[23]。
虛擬手術(shù)要求使用者能夠體會到處于手術(shù)室般身臨其境的感受,并且能夠?qū)崟r與虛擬手術(shù)場景的模型進(jìn)行交互。因此不僅需要搭建逼真的三維手術(shù)室場景,還需要場景中的模型之間的交互行為與現(xiàn)實(shí)中無異,能夠?qū)崿F(xiàn)對一些物理現(xiàn)象的模擬。Unity3D能很好地實(shí)現(xiàn)上述要求。Unity3D擁有強(qiáng)大的物理引擎模擬物體運(yùn)動、碰撞與形變等;通過Unity3D的光影系統(tǒng)可以很容易地實(shí)現(xiàn)現(xiàn)實(shí)生活中的各種光影效果,光影系統(tǒng)的調(diào)節(jié)參數(shù)包括光照面積、陰影強(qiáng)度、色溫等[24]。在近幾年,越來越多的非游戲領(lǐng)域的虛擬場景構(gòu)建都會使用Unity3d來進(jìn)行開發(fā),并且取得了很好的效果。
廣泛用于開發(fā)類似虛擬手術(shù)的虛擬現(xiàn)實(shí)場景的硬件平臺目前主要有PC端和移動端。基于PC端的VR設(shè)備有HTC Vive、Oculus Rift、PS VR、蟻視頭盔等。移動端的有Microsoft HoloLens、三星Gear VR、Joycher、Cardboard等[25]。
其中基于PC端的HTC Vive是很適合開發(fā)虛擬手術(shù)的VR設(shè)備。而且HTC Vive在同類型設(shè)備中,其特有的LightHouse定位技術(shù)[26],轉(zhuǎn)變了其他設(shè)備采用的被追蹤器件發(fā)射定位信號,追蹤器件接受信號的方式,轉(zhuǎn)而采用基站發(fā)射信號,被追蹤設(shè)備接受信號的方式,極大地提高了定位的準(zhǔn)確性和實(shí)時性,并且可使使用者在一定的空間內(nèi)自由活動,很好地解決了精確定位追蹤的問題,不會出現(xiàn)其他產(chǎn)品因?yàn)槎ㄎ簧系难舆t而有的眩暈感。
因此,本文使用Unity3D作為開發(fā)引擎,結(jié)合SteamVR和VRTK等開源庫和3ds Max建模,同時使用HTC Vive頭戴設(shè)備,建立下頜骨單線骨折虛擬手術(shù)訓(xùn)練系統(tǒng)。
本文的下頜骨單線骨折虛擬手術(shù)系統(tǒng)設(shè)計(jì)要求能模擬下頜骨單線骨折手術(shù)的場景及過程,同時還要考慮到該系統(tǒng)的受眾主要是醫(yī)學(xué)生、新醫(yī)生、醫(yī)護(hù)人員等,其理論基礎(chǔ)與實(shí)踐經(jīng)驗(yàn)不盡相同,并且在以后的研究中,該系統(tǒng)還要應(yīng)用于不同的手術(shù)模擬中,所以系統(tǒng)的設(shè)計(jì)旨在為使用者提供一個虛擬手術(shù)仿真平臺,通過對基礎(chǔ)手術(shù)場景的搭建,以及對一些常見手術(shù)器械的建模,需要實(shí)現(xiàn)對手術(shù)場景的模擬和對手術(shù)室常用交互的設(shè)計(jì)。同時為了針對不同的手術(shù)場景,只需要加入具體的手術(shù)器械模型和病人模型,即可實(shí)現(xiàn)對于多種手術(shù)場景的仿真。
通過對于常見手術(shù)室內(nèi)場景的了解,手術(shù)室必須包括的部分:手術(shù)室病床、常用手術(shù)器械、通風(fēng)系統(tǒng)以及燈光系統(tǒng)等。針對這些需求,系統(tǒng)的環(huán)境設(shè)計(jì)分為四個部分:手術(shù)室本身的設(shè)計(jì)、顱骨模型的設(shè)計(jì)、燈光系統(tǒng)的設(shè)計(jì)、常用手術(shù)器械的設(shè)計(jì)。而針對手術(shù)室場景下的交互主要是對物體的撿取釋放以及對手術(shù)對象的簡單操作,為了擴(kuò)展游戲空間,使得使用者在較小的游戲空間內(nèi)就可以對整個手術(shù)室內(nèi)的物品進(jìn)行操作,在系統(tǒng)中還加入了瞬間移動功能。此外,為了在虛擬仿真場景盡可能地真實(shí),場景中的必要物品都加入了重力系統(tǒng),為了達(dá)到撿拾物品的目的,場景中的必要物品也添加了碰撞系統(tǒng)。因此,虛擬手術(shù)仿真系統(tǒng)的結(jié)構(gòu)包括虛擬手術(shù)室環(huán)境與虛擬環(huán)境和現(xiàn)實(shí)的交互系統(tǒng)兩個部分,其結(jié)構(gòu)如圖1所示。
圖1 虛擬手術(shù)系統(tǒng)結(jié)構(gòu)框圖
2.2.1 場景模塊設(shè)計(jì)
虛擬手術(shù)場景設(shè)計(jì)分為建模階段和手術(shù)室設(shè)計(jì)。
建模階段使用3ds Max工具對手術(shù)室和手術(shù)器械進(jìn)行建模,建模完成后通過3ds Max導(dǎo)出文件,將導(dǎo)出的文件復(fù)制到工程目錄后,拖入場景中。
手術(shù)室場景設(shè)計(jì)要考慮到手術(shù)室自身需要的模型有墻壁、天花板、地板、門、玻璃、燈泡和通風(fēng)窗,手術(shù)室內(nèi)需要建模的有手術(shù)床、手術(shù)器械、無影燈和擺放手術(shù)器械的桌子等。
2.2.2 交互模塊設(shè)計(jì)
虛擬手術(shù)交互系統(tǒng)需要對手術(shù)室內(nèi)的部分器械進(jìn)行特殊處理,以便它們和手柄之間以及相互之間的交互。這些器械大致分為3類:
(1)不需要特殊處理,無交互需求的器件,這些器件包括天花板,無影燈,燈泡,門等。
(2)有簡單交互需求的器件,這些器件包括地板、墻壁、手術(shù)床、手術(shù)器材桌等,這些器件本身是不需要移動的,但是它們必須具有碰撞功能,所以需要給這些器件添加剛體和碰撞模型,使得它們在與手術(shù)器械等發(fā)生碰撞時,對手術(shù)器械產(chǎn)生力的作用。如手術(shù)器械掉至地面時停留在地面上,而不是穿過地面。
(3)有交互需求的器件,這些器件是各種手術(shù)器械,由于這些手術(shù)器械是需要能夠自由活動的,所以它們的運(yùn)動和碰撞要盡量真實(shí),識別到手柄的撿拾操作時,必須跟隨手柄運(yùn)動。所以這些器械要加入剛體和精細(xì)的碰撞模型,還要加入重力系統(tǒng)。
3D模型的開發(fā)是整個系統(tǒng)設(shè)計(jì)的基礎(chǔ),也是主要工作之一。由于三維場景中的大部分物體都是靜物模型,對于這些模型,建模時需使它們的網(wǎng)格盡量簡單,這樣能加快系統(tǒng)的加載和渲染。系統(tǒng)需要的虛擬手術(shù)模型分為三部分,第一部分是手術(shù)室模型,用于搭建虛擬手術(shù)室空間,包括分為墻、天花板、門和通風(fēng)窗;第二部分是手術(shù)室的器材模型,比如手術(shù)床、無影燈、手術(shù)器械桌、手術(shù)器械和燈等,第三部分是手術(shù)對應(yīng)的人體模型,本文是人體顱骨模型。其分類如圖2所示。
圖2 虛擬手術(shù)模型分類圖
3.1.1 手術(shù)室建模
整個手術(shù)室模型如果當(dāng)做一個整體模型來建模,建模過程會過于復(fù)雜,模型面片也會過多,影響載入速度和處理效率。所以本文采用各個部分分別建模的方式,通過對手術(shù)室內(nèi)部布局以及不同部分功能的分析,手術(shù)室模型分為墻、天花板、門和通風(fēng)窗。
(1)墻、天花板:長寬各為8 m的正方形構(gòu)成。
(2)通風(fēng)窗:通風(fēng)窗的模型是基于一個長方體模型內(nèi)部采用布爾操作去掉后,向內(nèi)部加入13個相同的長方形制作而成的。
(3)門:門的模型分為四部分建立,門框是由三個長方體組成,門由一塊長方體做布爾操作去掉中間部分后做成,門上的玻璃是一塊長方體,門把手是通過球體和圓柱體組合而成。
3.1.2 手術(shù)器材建模
手術(shù)室內(nèi)主要需要建模的是手術(shù)床、無影燈、手術(shù)器械桌、手術(shù)器械、燈。
手術(shù)床模型的建立比較復(fù)雜,采用分塊設(shè)計(jì)的方法分別設(shè)計(jì)支持結(jié)構(gòu),表面和其他小部件,最后將所有模型成組。由于手術(shù)床上有許多地方都是不規(guī)則的,所以對于手術(shù)床的建模采用最多的是FFD工具。本系統(tǒng)使用的手術(shù)床的三維模型如圖3所示。
圖3 手術(shù)床三維模型
無影燈模型、手術(shù)器械桌、燈的建模復(fù)雜程度不高,由于沒有特殊形狀圖像,按照上述方法對各部分建模最后成組即可。
手術(shù)器械的建模由于是針對特定的下頜骨單線骨折手術(shù),所以建立的手術(shù)器械模型都是下頜骨修復(fù)手術(shù)中需要的手術(shù)器械。為了使得手術(shù)仿真的效果更好,這些器件的模型都是根據(jù)實(shí)際物體精細(xì)制作的。下頜骨骨折手術(shù)模型包括:螺釘、鉆頭、螺絲刀、鈦合金板。本系統(tǒng)使用的手術(shù)器械的三維模型如圖4所示。
圖4 手術(shù)器械三維模型
3.1.3 顱骨三維模型重建
顱骨CT數(shù)據(jù)通過四川大學(xué)華西口腔醫(yī)院對下頜骨斷裂病人的頭部CT掃描獲得。原始的CT數(shù)據(jù)數(shù)據(jù)格式為DICOM格式,通過Mimics Medical軟件顯示顱骨CT的三視圖,并對CT數(shù)據(jù)進(jìn)行三維重建,導(dǎo)出的模型再經(jīng)過3ds Max的處理后以FBX格式的文件導(dǎo)出。顱骨CT圖像的三視圖以及三維重建后的顱骨模型如圖5所示。
圖5 顱骨CT的三視圖和重建之后三維模型
但是很多情況,三維重建的人體模型網(wǎng)格可能會過于復(fù)雜,這樣在模擬手術(shù)過程中可能會產(chǎn)生場景加載過慢,交互反饋延遲等現(xiàn)象,影響虛擬手術(shù)的真實(shí)感和沉浸感。所以在場景組件很多的情況下,需要對人體模型網(wǎng)格進(jìn)行優(yōu)化,以加強(qiáng)虛擬手術(shù)系統(tǒng)交互的實(shí)時性。網(wǎng)格優(yōu)化流程如圖6所示,將三角面網(wǎng)格轉(zhuǎn)換為四面體網(wǎng)格優(yōu)化。三角面網(wǎng)格優(yōu)化可以使用3Ds Max來進(jìn)行削減、平滑處理,減少模型的頂點(diǎn)數(shù)和面片數(shù)。但是當(dāng)模型需要用于剛體的切割、軟組織形變等情況的仿真時,對模型進(jìn)行網(wǎng)格劃分,形成有限元子單元,再進(jìn)行網(wǎng)格優(yōu)化就很必要了。
圖6 網(wǎng)格優(yōu)化流程圖
為了提高虛擬手術(shù)的真實(shí)感和使用者的沉浸感,虛擬場景中的光照設(shè)計(jì)是非常重要的環(huán)節(jié)。Unity3D的內(nèi)置的光源有3種:點(diǎn)光源、投射光、方向光。每種光源的屬性包括:方向、投射、顏色、衰減、范圍、類型等。
點(diǎn)光源:點(diǎn)光源是從一個點(diǎn)發(fā)出的光,是最普通的一種光照類型,常用來模擬燈泡發(fā)出的光,它所耗費(fèi)的圖形處理資源是最少的。
投射光:投射光只能在一個方向上投影,照亮區(qū)域是一個圓錐范圍。這種光源適合用作對手電筒,車燈等的模擬,這種光源耗費(fèi)的顯卡資源是最多的。
方向光:方向光是平行光源,相當(dāng)于放置在無限遠(yuǎn)處的光源。這種光源通常用來模擬陽光和月光等自然光。
針對手術(shù)室內(nèi)的燈光系統(tǒng),需要至少兩種光源,一種是點(diǎn)光源,一種是投射光。點(diǎn)光源用來模擬手術(shù)室內(nèi)的日光燈;投射光用來模擬無影燈,Unity3D的投射光源可以選擇是否顯示陰影,選擇無陰影可以模擬無影燈效果。
燈光系統(tǒng)的實(shí)現(xiàn):
(1)向場景中導(dǎo)入燈的模型,將燈的模型放置在合適的位置。
(2)給燈的模型添加Light glow材質(zhì),并調(diào)整材質(zhì),使其形似發(fā)光體。
(3)點(diǎn)擊Game Object菜單,點(diǎn)擊Light選擇Point Light,將場景中新生產(chǎn)的點(diǎn)光源放置到燈模型下面。
(4)選中點(diǎn)光源,在屬性面板中調(diào)節(jié)其屬性,Color調(diào)整為白色,Intensity和Bounce Intensity調(diào)整為0.4,Shadow Type調(diào)整為Soft Shadows。其他選項(xiàng)默認(rèn)。
(5)按上述步驟實(shí)現(xiàn)其他三個燈光。
(6)無影燈的實(shí)現(xiàn)前面的步驟與上述步驟相同,只是添加光源的時候添加的是Spot Light,Shadows Type為No Shadows。
交互系統(tǒng)是虛擬手術(shù)系統(tǒng)核心功能之一,交互系統(tǒng)為用戶提供了一個和虛擬世界互動的途徑。
3.3.1 碰撞檢測實(shí)現(xiàn)
基于HTC Vive高精度的定位功能,通過對手柄空間位置的獲取,可以做到對微小物體的操作。但是這些操作都需要基于碰撞檢測,檢測各個模型之間是否發(fā)生了碰撞。目前層次包圍盒法是應(yīng)用最為廣泛的碰撞檢測算法,它檢測精度一般,通用性比較強(qiáng),能適合于不太復(fù)雜物體的各種碰撞的場合,比較常用的包圍盒類型有包圍球、軸向包圍盒(AABB)、方向包圍盒(OBB)等。比如地板,手術(shù)床等就是使用基于軸向包圍盒(AABB)的碰撞檢測。但本文的顱骨和手術(shù)器械模型比較精細(xì),采用的是基于網(wǎng)格的碰撞檢測。
3.3.2 重力系統(tǒng)實(shí)現(xiàn)
加入重力系統(tǒng)為了使虛擬場景盡可能真實(shí),當(dāng)對虛擬手術(shù)場景的物體進(jìn)行觸碰、拾取、傳遞等操作時,重力作用是很有必要的。所以進(jìn)行交互的模型,它們的運(yùn)動要盡量真實(shí),給這些模型添加重力,使得物體可以按照其重力做自由落體運(yùn)動。
3.3.3 器械的拾取和釋放實(shí)現(xiàn)
對于物體的撿取和釋放操作時交互的基本功能,為了對虛擬世界中的物體進(jìn)行撿取,首先要把現(xiàn)實(shí)世界的操作還原到虛擬世界中去,在虛擬空間內(nèi)兩個物體之間做碰撞檢測,檢測到碰撞后再通過判斷是否拾取,如果處于拾取狀態(tài),則為目標(biāo)添加鉸鏈關(guān)節(jié),接著將關(guān)節(jié)連接到手柄碰撞體上,則實(shí)現(xiàn)了對于物體的拾取,當(dāng)判斷到釋放狀態(tài)時,結(jié)束坐標(biāo)跟隨變化即可。本文的下頜骨骨折虛擬手術(shù)系統(tǒng)中,拾取手術(shù)用螺絲刀的效果如圖7所示,使用者通過操作手柄能夠很好地進(jìn)行交互,拾取螺絲刀和其他物體。
圖7 拾取物體效果圖
3.3.4 顱骨模型交互系統(tǒng)實(shí)現(xiàn)
顱骨和手柄的交互有其特殊性,手術(shù)器械和手柄的交互主要是用手柄對手術(shù)器械進(jìn)行拿起、移動、旋轉(zhuǎn)、放下等,所以手術(shù)器械處于完全自由的狀態(tài),而且要受到重力的作用。而顱骨模型上半部分應(yīng)當(dāng)處于靜止?fàn)顟B(tài),不能移動也不受重力等的作用,而下頜骨部分處于斷裂狀態(tài),需要在場景中對下頜骨進(jìn)行對位,這樣整個顱骨模型應(yīng)當(dāng)分為三部分:下頜骨左半部分、下頜骨右半部分、顱骨其他部分??紤]到這個系統(tǒng)后續(xù)的設(shè)計(jì)主要面向手術(shù)流程的仿真,所以這里簡化設(shè)計(jì),將顱骨下頜的其中一塊設(shè)計(jì)為可變的,這里選擇右下頜骨,其他部分均設(shè)計(jì)為不可移動的。右下頜骨完全相同的兩部分存在于三維場景中,其中一塊處于斷裂狀態(tài),另一塊處于閉合狀態(tài),初始狀態(tài)將閉合的一塊設(shè)計(jì)為不渲染狀態(tài),只渲染斷裂的部分。當(dāng)手柄碰觸到斷裂的下頜骨時,將斷裂下頜骨設(shè)為不渲染,而渲染出閉合狀態(tài)的下頜骨,則實(shí)現(xiàn)了對斷裂下頜骨進(jìn)行對位的操作。
在實(shí)際使用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行手術(shù)訓(xùn)練時,往往會受場地限制,實(shí)際訓(xùn)練場地大小不一定會按照手術(shù)室大小設(shè)計(jì)。于是就需要手術(shù)室瞬間移動系統(tǒng)來克服訓(xùn)練場地大小問題。
瞬間移動系統(tǒng)的實(shí)質(zhì)是對頭盔和手柄空間位置的改變,由于虛擬手術(shù)場景中所有的移動需求都在一個平面上,所以只需要設(shè)置XZ平面的自由移動。瞬移系統(tǒng)的基本原理是通過手柄發(fā)出激光線,激光線與設(shè)置好的地面發(fā)生交叉時可以獲得一個交叉點(diǎn),在場景中更新這個坐標(biāo)給頭盔即可實(shí)現(xiàn)移動。
瞬間移動系統(tǒng)的實(shí)現(xiàn)借助VRTK工具包來實(shí)現(xiàn),實(shí)現(xiàn)過程如下:
(1)添加地面,地面的實(shí)質(zhì)是一個長方體,它的作用是求出地板和激光的交叉點(diǎn)坐標(biāo),所以地面和場景中的地板應(yīng)處于同一個水平面上。而且地面長方體需要添加碰撞盒子。
(2)給控制器添加VRTK_Controller Events腳本,這個腳本的作用是當(dāng)手柄的任意按鍵被按下時,腳本發(fā)出一個可以被全局監(jiān)聽的事件,其他的腳本通過監(jiān)聽相應(yīng)的事件就可以執(zhí)行相應(yīng)的操作。
(3)給控制器添加激光功能,這個功能的作用是發(fā)出激光。由于需要實(shí)現(xiàn)和地面長方體的碰撞,激光顯然必須是一個實(shí)體,所以激光的本質(zhì)是一個長方體,只是它的長度值很大,而高和寬非常小,視覺效果上形同激光線,為了它能夠和地面長方體交互,也需要給它添加碰撞盒子。
需要注意的是,用于碰撞檢測的地面長方體和原場景中的手術(shù)室地板上表面要重合,這樣才能準(zhǔn)確地移動到相應(yīng)的位置。
系統(tǒng)測試環(huán)境:
處理器:Inter?Core? i5-6500 CPU@3.20 GHz
顯卡:Nvidia GeForce GTX 1060 6 GB
硬盤:希捷 ST1000DM010-2EP102
顯示器:冠捷 AOC2779 2779
VR設(shè)備:HTC Vive
下頜骨骨折虛擬手術(shù)系統(tǒng)的整體測試效果如圖8所示,系統(tǒng)展現(xiàn)的虛擬手術(shù)場景基本還原了下頜骨骨折手術(shù)室的場景。
圖8 測試效果圖
對系統(tǒng)仿真度和易用性的測試找來5名醫(yī)學(xué)院學(xué)生和5名其他學(xué)院學(xué)生作為志愿者,其中男女各5人。志愿者分為兩組,醫(yī)學(xué)院學(xué)生編號D1~D5,其他學(xué)院學(xué)生編號O1~O5。
(1)仿真度測試
實(shí)驗(yàn)內(nèi)容:10位同學(xué)分別帶上HTC Vive眼鏡,眼鏡里顯示手術(shù)室場景。通過環(huán)顧場景,對場景的沉浸感和仿真程度做出打分,范圍0~10,0分為最低分,10分為滿分。
仿真度測試結(jié)果如圖9所示。通過10位同學(xué)對仿真程度的測試,對仿真度的平均打分為7.7分。分析發(fā)現(xiàn)醫(yī)學(xué)生的打分均值較低,主要反映是手術(shù)室場景較為簡單,沒有真實(shí)手術(shù)室場景復(fù)雜,而其他學(xué)生的打分均值為8.0分,主要的意見是顆粒感較強(qiáng),沉浸性不夠。
圖9 仿真度測試統(tǒng)計(jì)圖(D均值:7.4,O均值:8.0)
(2)易用性測試。上述10位同學(xué),順序隨機(jī)進(jìn)入測試環(huán)境,測試項(xiàng)目分為4項(xiàng):
①進(jìn)入場景成功拿起螺絲刀所需次數(shù);
②進(jìn)入場景成功拿起螺釘所需次數(shù);
③成功觸碰使下頜骨歸位所需次數(shù);
④在場景中瞬間移動操作成功所需次數(shù)。
每位同學(xué)進(jìn)入測試環(huán)境后,先向其講解一遍虛擬手術(shù)系統(tǒng)的使用方法,然后直接開始依次做上述操作。
撿取螺絲刀的測試結(jié)果如圖10所示。
撿取螺釘?shù)臏y試結(jié)果如圖11所示。
圖11 撿取螺釘次數(shù)統(tǒng)計(jì)圖
觸碰顱骨模型骨折部位,使下頜骨骨折部分歸位的測試結(jié)果如圖12所示。
圖12 觸碰歸位次數(shù)統(tǒng)計(jì)圖
在虛擬手術(shù)場景中進(jìn)行瞬間移動的測試結(jié)果如圖13所示。
圖13 瞬間移動次數(shù)統(tǒng)計(jì)圖
通過對圖10、圖11、圖12以及圖13中的10名同學(xué)易用性測試的統(tǒng)計(jì)可以看出,撿取螺絲刀操作、碰觸下頜骨歸位操作與瞬移操作比較簡單,成功率較高。而撿取螺釘操作,由于螺釘比螺絲刀小很多,且在觸碰到時不會有提示,所以操作難度較其他三種高,可能需要短時間的訓(xùn)練。但本虛擬手術(shù)系統(tǒng)整體上還是體現(xiàn)了易上手,便于操作的特點(diǎn)。
對于螺絲刀和螺釘?shù)膿烊∫约皩ο骂M骨的觸碰操作反映出物體的3D模型精細(xì)程度較高,它們的碰撞盒子和3D模型契合度也較高。所以如果原物體模型較小的話,拾取操作會較難完成。雖然全部采用基于網(wǎng)格的碰撞模型會很好地模擬器械之間的碰撞交互真實(shí)感,但是也會造成操作上的困難。因此可以考慮對一些尺寸較小的器械如螺釘添加較大的碰撞模型,便于使用者進(jìn)行拾取等操作。然后在進(jìn)入堅(jiān)固內(nèi)固定術(shù)流程時將較大的碰撞模型替換為精細(xì)模型,這樣也可以解決交互真實(shí)性的問題。
本文使用Unity3D引擎開發(fā)了一套基于HTC Vive平臺的下頜骨單線骨折虛擬手術(shù)系統(tǒng),為醫(yī)學(xué)生和新晉醫(yī)生提供一個真實(shí)的手術(shù)環(huán)境,并提供一些基礎(chǔ)的交互功能,從而達(dá)到手術(shù)訓(xùn)練的目的。在系統(tǒng)實(shí)現(xiàn)中,通過3ds Max軟件建立了手術(shù)室的模型和手術(shù)器械模型及其他的手術(shù)室常見模型,通過Mimics軟件對病人頭部CT數(shù)據(jù)進(jìn)行三維重建得到了顱骨的三維模型,通過Unity3D開發(fā)引擎對場景進(jìn)行了集成,并對相應(yīng)的器械添加了交互功能,最終的系統(tǒng)可以為使用者提供視覺的手術(shù)場景,提供對場景內(nèi)物體的操作功能,提供使用者在場景內(nèi)的瞬間移動功能。通過10位志愿者對系統(tǒng)的測試,手術(shù)室場景的仿真程度較高,簡單的培訓(xùn)后,使用者即可順利地完成對系統(tǒng)的使用,從而也論證了將HTC Vive設(shè)備運(yùn)用到手術(shù)仿真系統(tǒng)的可行性,為系統(tǒng)的繼續(xù)改進(jìn)提供了基礎(chǔ)。本系統(tǒng)利用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建手術(shù)場景,對醫(yī)生和學(xué)生的訓(xùn)練技術(shù)具有可避免潛在傷害、突破時間空間限制、節(jié)約資源等優(yōu)勢。