方之強 萬新軍 沈李正一 汪嘉欣

摘要：傳統(tǒng)的手術導航系統(tǒng)需要術者將視線在顯示屏和病灶區(qū)之間切換，為了解決這個問題，引入了增強現實手術導航技術。為解決介入類手術中術者無法直接觀察到患者病灶與手術器械的相對位置的問題，設計了一種面向介入類手術的增強現實導航系統(tǒng)。術前以 Unity 軟件為開發(fā)平臺設計虛擬手術路徑，并實時顯示術中病灶區(qū)與手術器械的相對距離。利用頭骨和梯臺實驗對導航系統(tǒng)進行了精度驗證，虛擬顯示的誤差約為3.3 mm。該研究證實了增強現實手術導航在介入類手術術前規(guī)劃和術中實時引導的可行性。

關鍵詞：增強現實；手術導航；術前規(guī)劃；實時引導

中圖分類號： TP 391；R 782 文獻標志碼： A

An augmented reality navigation system for?interventional surgery

FANG Zhiqiang，WAN Xinjun ，SHEN Lizhengyi，WANG Jiaxin

（School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

Abstract： Traditional surgical navigation systems require operators to switch their eyes between the display screen and the lesion area. In order to solve this problem， augmented reality surgical navigation has been applied. This paper designs an augmented reality navigation system for interventional surgery in order to solve the problem that the operator cannot directly observe the relative position of the patient's lesion and surgical instruments during interventional procedures.The Unity software is used as the development platform to design the virtual surgical path before surgery and to display the relative distance between the lesion area and the surgical instruments in realtime intraoperatively. The accuracy of the navigation system was verified using skull and ladder table experiments， and the virtual display showed an error of about 3.3 mm. This study confirms the feasibility of augmented reality surgical navigation for preoperative planning and real-time intraoperative guidance in interventional procedures.

Keywords： augmented reality ；surgical navigation；preoperative planning；real-time guide

引 言

隨著計算機輔助手術技術的發(fā)展以及臨床精準治療的需要，手術導航系統(tǒng)已被廣泛用于外科手術的微創(chuàng)介入診療中[1]。術前利用計算機斷層掃描（computed tomography ，CT）、核磁共振成像（magnatic resonance imaging ，MRI）等影像學技術提供的患者信息進行圖像處理和三維重建，外科醫(yī)生可以實時動態(tài)監(jiān)控整個介入過程[2]。但傳統(tǒng)手術導航系統(tǒng)存在一些不足，如患者與傳統(tǒng)手術導航系統(tǒng)的二維顯示器之間沒有建立直接的空間關系[3]，操作者的視線需要在患者的病灶區(qū)和導航顯示器之間來回切換[4]，這不僅讓操作者難以獲得深度相關的信息，還容易導致其視覺疲勞，需不斷協(xié)調手眼的配合等問題。

增強現實（augmented reality ，AR）技術是將計算機處理的虛擬物體或提示信息以特定的位置對應關系實時疊加到真實物體上，使它們同時呈現在用戶的視場中，形成虛實結合的視覺圖像，從而使用戶觀察到自身視覺以外的額外信息，增強用戶對現實的把握和理解[5]。如今，AR 在手術導航[6]、治療指導[7]等方向發(fā)展勢頭強勁。許多學者已將 AR 技術應用在輔助手術導航系統(tǒng)中。 Coste-Manière 等[8]首次將 AR 技術用于犬的冠狀動脈搭橋術中，為其在手術過程中提供術中信息。El-Hariri 等[9]通過光學超聲波技術，將術前與術中數據進行配準，使用 Hololens眼鏡進行顯示操作。該方法可以使術者沉浸化操作，簡化手眼協(xié)調，但其所用的儀器設備昂貴，且精度不太理想。Mischkowski 等[10]報道了將 AR 手術導航系統(tǒng)應用于顱頜面外科手術中的 LeFort Ⅲ截骨術、額眶前突、顱頂成型或修補術中。近年來，光學半透式頭戴三維顯示器（optical see-through head-mounted display ，OSHMD）在 AR中得到廣泛的應用，其中，微軟公司的 Hololens 眼鏡[11] 作為一款新興的顯示設備，在 AR 導航方面表現尤為出色。 Chen 等[12]對基于 OSHMD的 AR 手術導航系統(tǒng)進行了研究，采用基于表面注冊的迭代最近點（iterative closest point ，ICP）算法和參考點注冊的方法，對手術器械進行校準和注冊，注冊精度達到0.8 mm。

現有增強現實手術導航的研究一般都將虛擬顯示內容直接精準疊加在病灶區(qū)域。但是，在介入類手術中，病灶區(qū)域是被遮擋的，醫(yī)生更加關心被遮擋的手術器械在病灶區(qū)的實際位置和規(guī)劃路徑信息。在此類需求下，增強現實手術導航的疊加顯示模式反而存在干擾的可能。在基于映射準確性的基礎上，將具有透視效果的病灶區(qū)虛擬圖像獨立顯示，計算手術器械與規(guī)劃路徑之間的偏差并實時顯示反饋給醫(yī)生，更能滿足介入類手術的導航需求。

針對介入類手術對增強現實手術導航的透視效果虛擬顯示問題，本文提出并設計了一種基于增強現實的介入類手術導航系統(tǒng)。本系統(tǒng)可將病灶三維重構的虛擬模型和手術工具的帶透視效果虛擬模型實時顯示在病灶附近合適的位置，醫(yī)生可以基于病灶和手術工具的三維圖像信息獲知被遮擋病灶區(qū)域手術工具的實時位置和規(guī)劃路徑，從而實時調整手術工具的角度和位置，提高手術的安全性。

1 手術導航系統(tǒng)設計

1.1 系統(tǒng)結構

圖1所示為本文所設計的增強現實手術導航的系統(tǒng)組成。Hololens 第二代頭戴 AR 顯示器用于實時顯示虛擬操作界面和虛擬模型；光學跟蹤儀（Polaris Vicra ，NDI 公司）基于近紅外主動雙目視覺來測量帶有反光球的探針和參考支架的空間位置，測量精度可以達到0.25 mm；帶有3個反光球的探針，光學跟蹤儀可以通過定位反光球坐標計算出探針針尖點的三維坐標；帶有4個反光球的參考支架，將其固定在手術對象上，光學跟蹤儀通過測量它的坐標可以實時得到手術對象的位置信息；工作站用于處理跟蹤儀獲得的數據、生成虛擬圖像和設計場景；3D 打印頭骨模型用于模擬實驗手術對象；另外，定制加工了一個角點特征易于測量的梯臺模型用來驗證導航系統(tǒng)的虛擬顯示精度。

1.2 系統(tǒng)實現流程

系統(tǒng)工作流程示意圖見圖2。

具體工作流程為：

（1）手術前對病患采用薄層螺旋 CT 掃描，將得到的 CT 數據以 Dicom格式保存，導入 Proplan 軟件并選取合理的重建閾值，從而將 CT 數據重建為三維模型用于術前手術規(guī)劃[13]。

（2）將模型導入 Unity 軟件并設計，場景打包成 UWP 應用程序，通過 Visual Studio 開發(fā)環(huán)境將 UWP 應用程序導入到 Hololens2中。

（3）移動探針，當探針針尖與虛擬標志點重合時，記錄針尖在跟蹤儀坐標系下的位置。通過 Unity軟件可知虛擬標志點在虛擬模型坐標系下的位置，由此得到2組有序的三維點集，完成虛擬模型坐標系到光學跟蹤儀坐標系的轉換。獲取患者的頭骨和其對應的虛擬頭骨模型上的標志點坐標完成光學跟蹤儀坐標系到 AR 眼鏡坐標系的轉換。

（4）在工作站進行數據的采集和計算，建立工作站和 AR 眼鏡之間的雙向通信，將采集的數據以特定的形式無線傳輸到 AR 眼鏡中，進而變換虛擬模型的位置。

（5）將參考支架和頭骨剛性連接，光學跟蹤儀定位頭骨上的參考支架實時獲取4個標志球位置坐標，計算參考支架前后兩幀的坐標變換，得到頭骨前后兩幀的坐標變換，進而實時更新虛擬模型的位置。

2 手術導航系統(tǒng)實現原理

虛實配準和三維注冊是增強現實手術導航系統(tǒng)的關鍵技術[14]，通過它們可以將虛擬場景準確定位到真實環(huán)境中，虛實配準和三維注冊的方法將直接影響導航系統(tǒng)的精度。

2.1 虛實配準

本文中虛實配準方法用于將真實的頭骨模型和探針分別與虛擬的頭骨模型和探針進行疊加顯示。圖3是基于 Hololens 眼鏡虛實配準過程中的坐標系轉換，其中： Cref 是參考支架坐標系；Ctra 是光學跟蹤儀坐標系； Chol是 AR 眼鏡坐標系； Cvir 是虛擬模型坐標系；標系到 AR 眼鏡坐標系的轉換矩陣； Thol（tra）是 AR眼鏡坐標系到光學跟蹤儀坐標系的轉換矩陣；Tr（t） f（a）是參考支架坐標系到光學跟蹤儀坐標系的轉換矩陣。

矩陣 Thol（tra）是由 AR 眼鏡在光學跟蹤儀下進行標定獲得，矩陣 Tr（t） f（a）是由光學跟蹤儀定位安裝在目標區(qū)域的參考支架獲得，因此當虛擬模型與真實目標重疊時有

由式（1）計算得

由式（2）獲得轉換矩陣 T ir（o）l ，矩陣 T ir（o）l 中參數的實時更新可使真實目標在光學跟蹤儀工作范圍內移動也可以保持虛擬模型與真實目標重疊。

2.2 三維注冊

本文的三維注冊方案用于獲得轉換矩陣 Thol（tra），即得到光學跟蹤儀坐標系與 AR 眼鏡坐標系的轉換關系，如圖4所示。

基于探針上的3個反光球，光學跟蹤儀可以獲取探針針尖在真實世界的坐標信息，再設置4個在 AR 眼鏡虛擬坐標系下位置坐標已知的三維正交軸。佩戴 AR 眼鏡觀察探針針尖是否與已經設置好的虛擬三維坐標軸重合，重合時記錄下探針針尖在光學跟蹤儀坐標系下的位置，又因為虛擬三維坐標軸的位置可以事先通過虛擬場景設計軟件 Unity 設置，所以能夠得到2組有序對應的三維坐標點集 pn（三維正交軸在虛擬場景下的坐標位置）和 qn（通過光學跟蹤儀得到探針針尖的坐標位置）。

對于存在有序對應的2組三維坐標點集來說，采用四元數方法求解可以獲得較高的估計精度。令 表示的四元數為

式中， q1≥0，并且 q1（2）+ q2（2）+ q3（2）+ q4（2）=1。令 T為變換矩陣中的平移矩陣， R為變換矩陣中的旋轉矩陣，則 R可以表示為

若用 f 表示源點集pn在變換矩陣 R和 T作用下相對于目標點集 qn之間的誤差，則求解最優(yōu)的轉換矩陣即為求解當滿足誤差 f 最小時誤差函數的優(yōu)化問題，即

通過標定可得式（1）中 AR 眼鏡坐標系到光學跟蹤儀坐標系的轉換矩陣 Thol（tra），由此可以計算出矩陣 Thol（tra）中的四元數以及平移向量。數據實時更新和實時傳輸可能會導致延遲，因此所有的計算過程都在工作站完成，只將計算結果通過 AR 眼鏡和工作站之間的傳輸控制協(xié)議（ transmission control protocol ， TCP）發(fā)送到AR 眼鏡中，實現目標物移動其虛擬模型也會與之重疊的功能。

3 實驗驗證與分析

3.1 術中增強現實導航實驗

系統(tǒng)通過帶透視效果的虛擬模型來顯示探針在病灶區(qū)的空間位置，同時實時顯示探針和規(guī)劃手術路徑的距離和角度信息，如圖5所示。具體實現步驟如下：

（1）在 Unity 軟件中的虛擬頭骨模型上設置引導路徑的起點（start）組件和終點（end）組件，通過腳本將起點和終點連成一條直線。術前可以將線段起點設置在模型的病灶區(qū)，線段的長度、粗細、顏色可根據需要設定。

（2）計算虛擬探針針尖到病灶區(qū)的距離（distance，單位為 cm），虛擬探針與引導路徑之間角度偏差（angle，單位為°）。

（3）將 distance 和 angle 實時更新顯示在病灶區(qū)附近合適位置，給術者提供更多的信息。

3.2 精度驗證

為了驗證增強現實導航的虛擬模型顯示精度，本文在定制的梯臺模型上做了若干個標記點用于配準和精度驗證。如圖6所示，取梯臺模型上的6個標記點（標黑的點1至點6）進行精度驗證，用另外6個角點特征點（標白的點1至點6）進行配準。驗證實驗步驟如下：

（1）通過 Unity 軟件，將設計好的場景導入AR 眼鏡。

（2）佩戴 AR 眼鏡，建立 AR 導航系統(tǒng)與工作站的連接。在增強現實場景中手持探針，按一定順序移動到4個三維正交軸的中心，并記錄此刻探針針尖在光學跟蹤儀坐標系下的坐標，得到光學跟蹤儀坐標系與 AR 眼鏡坐標系的轉換矩陣hol 。

（3）用探針依次測量角點特征點1至6在光學跟蹤儀下的坐標，計算出光學跟蹤儀坐標系與參考支架坐標系之間的轉換矩陣 Tr（t） f（a）。

（4）根據步驟（2）和步驟（3）中得到的轉換矩陣，計算得到最終的轉換矩陣 T ir（o）l 。

（5）將轉換矩陣 T ir（o）l 中的參數以特定的格式發(fā)送到 AR 眼鏡，便可以實現真實梯臺與虛擬梯臺的配準。

（6）實時更新傳輸的數據，便可以得到實物模型與虛擬模型實時同步變換位置的效果。將虛擬梯臺放置于合適的位置，如圖7所示。其中，右側灰色的梯臺為虛擬梯臺，左側黑色的梯臺為真實梯臺。

（7）將真實探針針尖依次放置在真實梯臺上設置的6個標記點，記錄下虛擬探針針尖和對應標記點之間的距離，得到6個標記點的誤差數據。

重復上述步驟獲得6組誤差數據，將6組數據中每個點的虛擬模型誤差記錄在表1中。

為了更直觀的分析誤差數據，通過 Origin軟件繪制誤差數據點線圖，如圖8所示。整個導航系統(tǒng)的平均誤差約3.3 mm。

3.3 誤差分析

誤差主要是由于三維注冊轉換矩陣的校準誤差所導致。在注冊過程中，操作者應盡量保持頭部和身體穩(wěn)定，以避免 Hololens 眼鏡中的虛擬模型發(fā)生偏移，導致注冊誤差增大，影響注冊精度。盡量避免操作環(huán)境過于雜亂，這會對眼鏡的實時定位與重建帶來一定的影響，進而影響整個系統(tǒng)的精度。

4 結 論

本文設計了一套基于增強現實的介入類手術導航系統(tǒng)，可以實時顯示手術器械與被遮擋病灶區(qū)的空間位置關系以及術前規(guī)劃的手術路徑，術者可在術中實時調整手術器械入路，更加精確地完成手術操作。實驗結果表明，該系統(tǒng)的虛擬模型顯示的平均誤差約3.3 mm。

實驗中發(fā)現，在佩戴 AR 眼鏡大幅度轉動視角時，虛擬顯示模型會有輕微抖動，為了不增大誤差，在使用該導航系統(tǒng)時應盡量減少大幅度的轉動視角。隨著增強現實眼鏡空間定位技術的發(fā)展，該手術導航系統(tǒng)的穩(wěn)定性將進一步提高。本研究對于增強現實手術導航技術在術前規(guī)劃和術中實時引導方向的發(fā)展具有一定的借鑒意義。

參考文獻：

[1] JUD L， FOTOUHI J， ANDRONIC O， et al.Applicability of augmented reality in orthopedicsurgery –a systematic review[J]. BMC MusculoskeletalDisorders， 2020， 21（1）：103.

[2] LEE K H， LIM K Y， SUH Y J， et al. Diagnosticaccuracy of percutaneous transthoracic needle lungbiopsies： a multicenter study[J]. Korean Journal ofRadiology， 2019， 20（8）：1300–1310.

[3] LI Y， CHEN X L， WANG N， et al. A wearable mixed-reality holographic computer for guiding externalventricular drain insertion at the bedside[J]. Journal ofNeurosurgery， 2018， 131（5）：1599–1606.

[4] MA L F， ZHAO Z， CHEN F， et al. Augmented realitysurgical navigation with ultrasound-assisted registrationfor pedicle screw placement： a pilot study[J].International Journal of Computer Assisted Radiologyand Surgery， 2017， 12（12）：2205–2215.

[5]張楚茜.增強現實技術的研究進展及臨床應用概述[J].組織工程與重建外科雜志， 2018， 14（1）：17–20，23.

[6] KERSTEN-OERTEL M， JANNIN P， COLLINS D L.The state of the art of visualization in mixed realityimage guided surgery[J]. Computerized MedicalImaging and Graphics， 2013， 37（2）：98–112.

[7] COSENTINO F， JOHN N W， VAARKAMP J. Anoverview of augmented and virtual reality applicationsin radiotherapy and future developments enabled bymodern tablet devices[J]. Journal of Radiotherapy inPractice， 2014， 13（3）：350–364.

[8] COSTE-MANI?RE ?， ADHAMI L， MOURGUES F， et al. Optimal planning of robotically assisted heart surgery： first results on the transfer precision in the operating room[J]. The International Journal of Robotics Research， 2004， 23（4/5）：539–548.

[9] EL-HARIRI H， PANDEY P， HODGSON A J， et al. Augmented reality visualisation for orthopaedic surgical guidance with pre-and intra-operative multimodal image data fusion[J]. Healthcare Technology Letters， 2018， 5（5）：189–193.

[10] MISCHKOWSKI R A， ZINSER M J， KUBLER A C， et al. Application of an augmented reality tool for maxillary positioning in orthognathic surgery –a feasibility study[J]. Journal of Cranio-Maxillofacial Surgery， 2006， 34（8）：478–483.

[11] QIAN L， BARTHEL A， JOHNSON A， et al.Comparison of optical see-through head-mounteddisplays for surgical interventions with object-anchored2D-display[J]. International Journal of ComputerAssisted Radiology and Surgery， 2017， 12（6）：901–910.

[12] CHEN X J， XU L， WANG Y P， et al. Development of asurgical navigation system based on augmented realityusing an optical see-through head-mounted display[J].Journal of Biomedical Informatics， 2015， 55：124 –131.

[13]劉慶成， 李洪亮， 王敏嬌， 等.虛擬技術在牙頜面畸形治療中的應用[J].組織工程與重建外科雜志， 2018，14（1）：1–4.

[14]劉春霞.增強現實 AR技術在船舶運動預報中的應用[J].艦船科學技術， 2020， 42（8）：10–12.

（編輯：李曉莉）