湯 博,崔曉海,,關(guān) 正,,張曉剛,,吳榮謙,#,呂 毅,#西安交通大學(xué):先進(jìn)外科技術(shù)與工程研究所;第一附屬醫(yī)院肝膽外科;陜西省再生醫(yī)學(xué)與外科工程研究中心,西安 7006
?
外科手術(shù)語音圖文記錄報(bào)告系統(tǒng)的研發(fā)及臨床應(yīng)用研究
湯博1,2,崔曉海1,2,3,關(guān)正1,2,3,張曉剛1,2,3,吳榮謙1,2,3#,呂毅1,2,3#
西安交通大學(xué):1先進(jìn)外科技術(shù)與工程研究所;3第一附屬醫(yī)院肝膽外科;2陜西省再生醫(yī)學(xué)與外科工程研究中心,西安710061
【摘要】:外科手術(shù)語音圖文記錄報(bào)告系統(tǒng)主要由硬件系統(tǒng)及軟件系統(tǒng)組合而成。硬件主要包括:圖像采集單元,用于采集術(shù)中圖像信息;可活動(dòng)臂單元,用于安裝圖像采集單元調(diào)整采集角度;PC計(jì)算機(jī)單元,配有語音接收插口和USB插口,語音接收插口與語音收發(fā)單元相連接,USB插口與彩色打印機(jī)單元相連接;工作站單元,與圖像采集單元連接接收其采集的圖像信息;術(shù)中監(jiān)視器單元,與工作站單元連接對(duì)其接收的圖像信息進(jìn)行實(shí)時(shí)顯示;無線路由器單元,用于建立網(wǎng)絡(luò);彩色打印機(jī)單元,將PC計(jì)算機(jī)單元下發(fā)的打印內(nèi)容進(jìn)行打?。徽Z音收發(fā)單元,接收語音描述以及相關(guān)解釋并發(fā)送至PC計(jì)算機(jī)單元。軟件主要是自主開發(fā)具有自主知識(shí)產(chǎn)權(quán)的外科手術(shù)語音圖文軟件。通過初步使用,顯示該系統(tǒng)既可實(shí)現(xiàn)術(shù)中實(shí)時(shí)圖片采集,又可配有主刀操作步驟說明,通過軟硬件處理后生成手術(shù)圖文報(bào)告。
【關(guān)鍵詞】:外科手術(shù);圖文記錄;語音
【DOI】:10.13566/j.cnki.cmet.cn61-1317/g4.201602023
電話:13991200581;E-mail:luyi169@126.com
注:#同為通信作者
隨著計(jì)算機(jī)網(wǎng)絡(luò)信息技術(shù)的發(fā)展,信息技術(shù)、網(wǎng)絡(luò)技術(shù)以及云計(jì)算等技術(shù)在醫(yī)療健康領(lǐng)域也得到了廣泛應(yīng)用和長(zhǎng)足的發(fā)展,使得依托互聯(lián)網(wǎng)技術(shù)的云醫(yī)院已現(xiàn)端倪,其便捷高效的結(jié)果提供將顛覆當(dāng)前傳統(tǒng)的醫(yī)療模式。從最初使用計(jì)算機(jī)記錄病歷和開處方,到PACS(醫(yī)學(xué)影像管理系統(tǒng))、LIS(檢驗(yàn)系統(tǒng))、HIS(醫(yī)院信息管理系統(tǒng))等相繼進(jìn)入,管理效率得到了極大快速的提升。
醫(yī)療文檔作為醫(yī)師進(jìn)行臨床活動(dòng)的主要依據(jù),大多早已采用了圖文報(bào)告形式,如各類臨床病理學(xué)診斷、影像學(xué)檢查、胃鏡檢查等都附有詳細(xì)的圖文報(bào)告,這種圖文并茂的形式不僅有助于醫(yī)患的溝通與醫(yī)師診斷,而且有助于減少醫(yī)療資源的重復(fù)與浪費(fèi)。外科手術(shù)報(bào)告作為臨床最為重要的醫(yī)療文書之一,目前僅使用文字描述,缺少必要的紀(jì)實(shí)照片,成為醫(yī)療文書全面信息化、數(shù)字化“最后的死角”。傳統(tǒng)的手術(shù)圖文記錄是由下級(jí)醫(yī)師術(shù)后手繪完成的,其缺點(diǎn)是:第一,不精確,非主刀執(zhí)筆;第二,不明了,文字不直觀;第三,負(fù)擔(dān)重,導(dǎo)致病例文字大量的復(fù)制粘貼。據(jù)查閱文獻(xiàn)和相關(guān)報(bào)道,國(guó)內(nèi)、外專家對(duì)于外科手術(shù)圖文記錄產(chǎn)生過共鳴。世界著名肝膽外科泰斗二村雄次教授在其史詩級(jí)論著《膽道外科:要點(diǎn)與盲點(diǎn)》中指出:“手繪圖文手術(shù)記錄雖費(fèi)時(shí)費(fèi)力,但極有利于醫(yī)師的成長(zhǎng)與醫(yī)患交流,應(yīng)設(shè)法在臨床推廣”;2015年1月9日,我國(guó)著名肝膽外科專家呂毅教授在中華醫(yī)學(xué)會(huì)外科學(xué)手術(shù)學(xué)組會(huì)議上發(fā)起了“倡用圖文手術(shù)記錄專家共識(shí)”,得到與會(huì)專家的積極響應(yīng),并且在《中華肝臟外科手術(shù)學(xué)電子雜志》2015第5期發(fā)表[1]。總而言之,術(shù)中圖文資料對(duì)疾病診療技術(shù)革新、年輕醫(yī)師成長(zhǎng)具有重要意義,同時(shí)還可以幫助患者了解診療過程、緩解醫(yī)療糾紛的壓力。
為了克服傳統(tǒng)外科手術(shù)記錄的缺點(diǎn),該研究的目的在于提供一種應(yīng)用于外科手術(shù)過程的語音圖文記錄工作系統(tǒng),如圖1所示。既可實(shí)現(xiàn)術(shù)中實(shí)時(shí)圖片采集,又可配有主刀操作的步驟說明,通過軟、硬件處理后,最終生成外科手術(shù)圖文報(bào)告。
圖1 外科手術(shù)語音圖文報(bào)告系統(tǒng)示意圖
與現(xiàn)有技術(shù)相比,該系統(tǒng)旨在解決傳統(tǒng)文字手術(shù)記錄過程中所引發(fā)的信息不準(zhǔn)確、醫(yī)患交流不暢等難題。在使用過程中,一方面可以實(shí)時(shí)記錄術(shù)中圖片,另一方面可根據(jù)術(shù)中術(shù)者語音表達(dá)的實(shí)時(shí)描述及解釋,并且依托互聯(lián)網(wǎng)百度語音進(jìn)行在線翻譯文字,最終完成對(duì)手術(shù)過程采集的圖文信息一一配對(duì),整理后即可形成手術(shù)過程記錄的圖文報(bào)告。與傳統(tǒng)手術(shù)過程的手繪、文字描述相比,要可靠、真實(shí)、便捷的多。外科手術(shù)圖文報(bào)告,不僅有助于醫(yī)生教學(xué)、交流或者自身業(yè)務(wù)的提高,還可以用于患者的術(shù)后復(fù)查、轉(zhuǎn)診等其他方面,具有很好的留存作用和指導(dǎo)意義[2-3]。
為了實(shí)現(xiàn)上述目的,外科手術(shù)語音圖文工作系統(tǒng)采用的技術(shù)方案主要包括硬件、軟件兩個(gè)部分。
2.1硬件部分
硬件主要由醫(yī)用臺(tái)車單元、可活動(dòng)臂單元、電動(dòng)云臺(tái)單元、無線路由器單元、圖像采集單元、術(shù)中監(jiān)視器單元、PC計(jì)算機(jī)單元、工作站單元、彩色打印機(jī)單元、語音收發(fā)單元以及可編程控制器單元構(gòu)成:
醫(yī)用臺(tái)車單元:利用現(xiàn)有腹腔鏡放置支架延伸,安置可活動(dòng)臂單元,總體分為四層:第一層放置術(shù)中監(jiān)視器單元,第二層放置PC計(jì)算機(jī)單元,第三層放置工作站單元,第四層放置彩色打印機(jī)單元;
可活動(dòng)臂單元:采用四連桿的設(shè)計(jì),固定于醫(yī)用臺(tái)車之上,根據(jù)手術(shù)過程需要,提供更加方便的調(diào)整角度。術(shù)前使用無菌袖套包裹,達(dá)到無菌的效果,使得在手術(shù)過程使用當(dāng)中應(yīng)用自如;
電動(dòng)云臺(tái)單元:利用電機(jī)驅(qū)動(dòng)橫、豎齒輪機(jī)械交叉運(yùn)動(dòng),利用可編程控制器單元來控制操作方向、角度的調(diào)整,上端可固定圖像采集單元,下端與可活動(dòng)臂單元的頂端連接;
無線路由器單元:利用其建立一個(gè)虛擬的局域網(wǎng)絡(luò),將PC計(jì)算機(jī)單元與工作站單元相連,使其在同一的IP網(wǎng)段內(nèi)進(jìn)行簡(jiǎn)單操作;
圖像采集單元:采用多倍變焦的高清攝像機(jī)采集,傳感器類型Exmor R CMOS、視頻:高清MPEG-4 AVC/H.264(AVCHD)、靜態(tài)影像2410萬像素16:9(6 544× 3 680)[4];
術(shù)中監(jiān)視器單元:主要顯示術(shù)中實(shí)時(shí)畫面,術(shù)者、助手也可通過術(shù)中監(jiān)視器單元對(duì)術(shù)中操作進(jìn)行實(shí)時(shí)觀察,以確保術(shù)中畫面質(zhì)量獲取的優(yōu)劣;
PC計(jì)算機(jī)單元:硬件,推薦配置,主頻2.4GHz/內(nèi)存2GMB/硬盤500GB,操作系統(tǒng),Microsoft Windows XP/7/8/,并配有外界語音接收插口和USB插口。語音接收插口與語音接收單元相連接,USB插口與彩色打印機(jī)單元相連接;
工作站單元:對(duì)工作站單元網(wǎng)絡(luò)WebService做二次開發(fā),實(shí)現(xiàn)實(shí)時(shí)圖像及拍照。通過工作站單元固有的HD-SDI接口與圖像采集單元連接,實(shí)現(xiàn)實(shí)時(shí)圖像獲取。手術(shù)室外的權(quán)威專家醫(yī)生也可通過無線方式經(jīng)由無線路由器單元進(jìn)行訪問,通過移動(dòng)智能通訊設(shè)備醫(yī)生端的APP軟件[5](如圖2所示)進(jìn)行網(wǎng)絡(luò)遠(yuǎn)程術(shù)中管理訪問,實(shí)時(shí)監(jiān)測(cè)患者的手術(shù)進(jìn)展,遇到突發(fā)問題時(shí)也可給予術(shù)中實(shí)時(shí)指導(dǎo)[6]。
圖2 醫(yī)生端的移動(dòng)APP軟件功能圖
彩色打印機(jī)單元:將采集到的數(shù)據(jù),包括,圖像、語音轉(zhuǎn)化的文字,以及病人術(shù)前、術(shù)中具體的過程一一記錄下來,最終通過軟件的設(shè)定打印出來,是一個(gè)輸出的過程;
語音收發(fā)單元:為接收、發(fā)送手術(shù)記錄過程中,術(shù)者對(duì)手術(shù)過程中實(shí)時(shí)操作的語音描述以及相關(guān)解釋;
可編程控制器單元:分為左區(qū)和右區(qū)兩個(gè)部分,左區(qū)主要控制軟件的執(zhí)行,設(shè)置4個(gè)按鈕:1號(hào)鍵執(zhí)行手術(shù)開始,2號(hào)鍵執(zhí)行語音錄制,執(zhí)行操作時(shí),會(huì)發(fā)出提示音,表示整個(gè)語音錄制完成,3號(hào)鍵執(zhí)行手術(shù)拍照命令,4號(hào)鍵執(zhí)行手術(shù)結(jié)束命令。右區(qū)設(shè)置兩個(gè)按鈕,右上按鍵分別以T、W兩個(gè)按鍵調(diào)整圖像采集單元1的變焦,右下十字鍵為F、B、L、R,分別控制電動(dòng)云臺(tái)單元的上、下、左、右方向控制(如圖3所示)。
圖3 可編程控制器單元功能圖
2.2軟件部分
該系統(tǒng)軟件部分是基于Win7 +Visual Studio 2010開發(fā)平臺(tái),利用C#語言編程來實(shí)現(xiàn)良好的人機(jī)交互界面,再結(jié)合PC平臺(tái)收集到的數(shù)據(jù)信息,系統(tǒng)操作中都以按鍵的形式提供相應(yīng)的操作,非常簡(jiǎn)捷[7-8]。由于現(xiàn)階段語音轉(zhuǎn)文字技術(shù)有限,該系統(tǒng)的后臺(tái)添加了語音校正處理模塊,主要對(duì)輸入語音做修正,結(jié)合現(xiàn)有的語音庫完成對(duì)該語音的處理和翻譯,形成病理圖片說明。主要由操作功能單元、圖像實(shí)時(shí)采集窗口單元、語音及校正模塊單元以及素材庫單元構(gòu)成(如圖4所示)。
圖4 外科手術(shù)語音圖文報(bào)告工作系統(tǒng)軟件界面
操作功能區(qū)單元:作為控制軟件主要功能的組成部分,結(jié)合控制面板可以完成手術(shù)過程中的實(shí)時(shí)控制并生成文檔結(jié)果,即該功能包括了新建、開始、錄音、拍照、結(jié)束、生成Word、系統(tǒng)配置等功能;
圖像實(shí)時(shí)采集窗口單元:主要同步實(shí)時(shí)顯示術(shù)中畫面。通過工作站單元處理,使用截圖形式采集術(shù)中照片;
語音及校正模塊單元:通過語音收發(fā)單元進(jìn)行術(shù)中對(duì)術(shù)者描述的詳細(xì)信息進(jìn)行實(shí)時(shí)采集,并通過訪問百度語音庫,在互聯(lián)網(wǎng)的基礎(chǔ)上進(jìn)行在線翻譯,對(duì)翻譯不準(zhǔn)確的文字可以進(jìn)行二次修改,直至準(zhǔn)確;
素材庫單元:對(duì)包括圖像采集單元、語音收發(fā)裝置單元所采集的圖片、語音素材進(jìn)行留存,便于術(shù)后整理、修改和匹配。
先將所有相關(guān)設(shè)備安置固定于醫(yī)用臺(tái)車單元上,將所有設(shè)備接線相連接,將圖像采集器單元調(diào)整至開始處,啟動(dòng)軟件后(如圖4所示),圖像實(shí)時(shí)采集窗口單元將實(shí)時(shí)術(shù)中畫面顯示于PC計(jì)算機(jī)單元的顯示屏上,利用可編程控制器單元,對(duì)整套設(shè)備進(jìn)行實(shí)時(shí)控制。
通過調(diào)整可編程控制器單元,對(duì)整套設(shè)備進(jìn)行全方位控制,其主要功能有手術(shù)開始、語音截取、圖片捕獲、手術(shù)結(jié)束,以及圖像采集單元的拍照與電動(dòng)云臺(tái)單元角度的調(diào)整,采用臨床現(xiàn)有的無菌袋包裝即可上手術(shù)臺(tái),對(duì)手術(shù)過程完全按照主刀意愿進(jìn)行實(shí)時(shí)控制和保存。通過對(duì)“T、W”鍵的操作可對(duì)圖像采集單元進(jìn)行變焦調(diào)整,同時(shí)對(duì)“F、B、L、R”鍵分別操作,可對(duì)水平情況下的電動(dòng)云臺(tái)進(jìn)行上、下、左、右操作,進(jìn)而使搭載的圖像采集單元進(jìn)行術(shù)中角度調(diào)整,以獲取優(yōu)質(zhì)的術(shù)中資料;在手術(shù)操作過程中,根據(jù)手術(shù)操作過程需要:第一步,手術(shù)新建,按1號(hào)鍵執(zhí)行;第二步,語音錄入、停止,按2號(hào)鍵執(zhí)行;第三步,術(shù)中拍照,在線翻譯按3號(hào)鍵執(zhí)行;第四步,手術(shù)結(jié)束,按4號(hào)鍵執(zhí)行,在線修改語音報(bào)告,運(yùn)用預(yù)先設(shè)定的模板與軟件合成,將手術(shù)過程中捕獲珍貴的圖文資料最終以手術(shù)圖文報(bào)告打印出來。
目前,該設(shè)備已在西安交通大學(xué)第一附屬醫(yī)院肝膽外科投入臨床使用,開腹手術(shù)及腹腔鏡手術(shù)都有所涉及,分別用于臨床肝移植、復(fù)雜肝癌切除術(shù)、脾臟切除術(shù)、膽囊癌切除術(shù)等十余術(shù)式之中,共收集臨床手術(shù)圖文報(bào)告80余例。制定了相應(yīng)的醫(yī)患溝通手術(shù)圖冊(cè)(如圖5所示),不僅方便醫(yī)師用于術(shù)后醫(yī)患溝通、分級(jí)診療,也為復(fù)查、轉(zhuǎn)診提供了詳實(shí)的診斷資料,而且為醫(yī)師之間學(xué)術(shù)交流、病案討論提供了詳實(shí)、可靠的臨床資料。該設(shè)備使用至今,取得了較好的效果,并且在陜西省人民醫(yī)院、西安市中心醫(yī)院、寶雞市中心醫(yī)院、內(nèi)蒙古鄂爾多斯中心醫(yī)院以及湖北省十堰市太和醫(yī)院等相關(guān)單位進(jìn)行了相關(guān)的推廣和初步應(yīng)用。
圖5 臨床手術(shù)圖文記錄報(bào)告示例
該系統(tǒng)智能、高效,大大減輕了醫(yī)護(hù)人員的工作負(fù)擔(dān),而且有助于提高手術(shù)記錄質(zhì)量,并將助力互聯(lián)網(wǎng)+時(shí)代智能醫(yī)療體系的建立,將帶來外科手術(shù)記錄的一場(chǎng)革命[9]。另外,該系統(tǒng)擬建立手術(shù)圖文報(bào)告信息管理系統(tǒng),其中包括建立圖文手術(shù)病歷統(tǒng)計(jì)系統(tǒng),增加查找、備份、凍結(jié)病歷、病歷分類、刻盤等功能,方便對(duì)圖文病例的調(diào)取。該系統(tǒng)在使用過程中,通過編程控制器單元,可實(shí)現(xiàn)對(duì)軟件的各個(gè)功能進(jìn)行控制,例如:手術(shù)開始、語音收錄、手術(shù)拍照、手術(shù)結(jié)束等其他方面,還可控制電動(dòng)云臺(tái)單元的角度以及圖像采集單元變焦,從而優(yōu)化視場(chǎng),獲得醫(yī)師滿意的術(shù)中圖像。反復(fù)控制可編程控制器單元的語音收錄和手術(shù)拍照按鍵,對(duì)手術(shù)操作的重要過程進(jìn)行采集,對(duì)主刀的術(shù)中講解語音,通過互聯(lián)網(wǎng)訪問百度語音文庫進(jìn)行翻譯,并對(duì)翻譯錯(cuò)誤的解釋進(jìn)行二次修改,直至準(zhǔn)確。通過預(yù)先設(shè)定好的Word模板,將采集到的圖文資料對(duì)應(yīng)地插入模板,最終生成外科手術(shù)語音圖文報(bào)告。同時(shí)有效地解決了現(xiàn)有的手術(shù)記錄不精確導(dǎo)致的上下級(jí)醫(yī)師交流不暢、不客觀、不利于醫(yī)患溝通等難題。
參考文獻(xiàn)
[1]呂毅,徐向華,仵正,等.倡用圖文外科手術(shù)記錄專家共識(shí)(2015·西安)[J].中華肝臟外科手術(shù)學(xué)電子雜志,2015,4(5):265-267
[2]孫建華.圖文式術(shù)前訪視在老年普通外科手術(shù)病人中的應(yīng)用[J].齊齊哈爾醫(yī)學(xué)院學(xué)報(bào),2013,34(5):770-771
[3]龐雪芬,徐清玲,黃翠霞,等.《漫畫普通外科手術(shù)圖譜》在普通外科術(shù)前宣教中的應(yīng)用[J].江蘇醫(yī)藥,2010,36(14):1716-1717
[4]湯博,呂毅,劉學(xué)民,等.微型智能手術(shù)照明攝像機(jī)的研制[J].中國(guó)醫(yī)療設(shè)備雜志,2015,30(7):28-29,35
[5]朱超,緱文海,王福義,等.內(nèi)鏡圖文工作站及手術(shù)示教系統(tǒng)的綜合應(yīng)用[J].醫(yī)療衛(wèi)生裝備,2012,33(10):34-35
[6]居健,李濤,李偉.遠(yuǎn)程手術(shù)示教系統(tǒng)在我院的構(gòu)建與實(shí)現(xiàn)[J].醫(yī)療衛(wèi)生裝備,2011,32(9):29-30
[7]劉鋒,曾凡,黃昊.基于局域網(wǎng)的臨床手術(shù)示教系統(tǒng)的構(gòu)建[J].重慶醫(yī)學(xué),2009,38(21):2656,2658
[8]劉運(yùn)祥,徐偉星.“內(nèi)窺鏡動(dòng)態(tài)影像網(wǎng)絡(luò)信息系統(tǒng)”的研究與應(yīng)用[J].中國(guó)數(shù)字醫(yī)學(xué),2007,2(2):22-25
[9]徐向華,盧強(qiáng),劉學(xué)民,等.用圖文手術(shù)記錄能提高醫(yī)療服務(wù)品質(zhì)[J].醫(yī)院與醫(yī)學(xué),2015,3(2):19-22
Research and development of intraoperative medical images and texts recording report system and its clinical application
Tang Bo1,2,Cui Xiaohai1,2,3,Guan Zheng1,2,3,Zhang Xiaogang1,2,3,Wu Rongqian1,2,3#,Lü Yi1,2,3#1Research Institute of Advanced Surgical Technology and Engineering;3Department of
Hepatobiliary Surgery,the First Affiliated Hospital of Xi'an Jiaotong University;2Regenerative Medicine and Surgery Engineering Research Center of Shaanxi Province,Xi'an 710061,China
【Abstract】:The recording report system for intraoperative medical images and texts mainly consists of hardware and software systems.The hardware system includes the image-capturing unit,the jointed arm unit,the PC computer unit,the workstation unit,the intraoperative monitor unit,the wireless router unit,the color-printing unit,and the voice transmitting-receiving unit.The image-capturing unit is in charge of shooting images during each surgery.The jointed arm unit installs the image-capturing unit and adjusts the angles to take pictures.The PC computer unit has sockets for audio information receiving and USB.The audio information-receiving socket is connected with the audio information receiving and transmitting unit,and the USB socket is connected with a color printer.The workstation unit is linked with the image-shooting unit to receive images information.The monitor unit,joined with the workstation unit,shows real-time image information received from the workstation.The wireless router unit creates the network.The color-printing unit prints the files which the PC computer issues.The voice transmitting-receiving unit receives and transmits the voice descriptions and explanations to the PCbook=195,ebook=82computer unit.This software was developed independently with self-owned intellectual property rights.Preliminary application of this invention shows that the system not only realizes acquiring images during surgery,but also offers the procedure illustration for surgeons in charge.Finally,it will produce an operation report with medical images and texts automatically by hardware and software processing.
【Key words】:surgical operation;recording of images and texts;audio information
通信作者:吳榮謙(1971-),男,武漢人,教授,博士研究生導(dǎo)師,博士,主要研究方向:重癥醫(yī)學(xué)研究、外科技術(shù)創(chuàng)新及醫(yī)工結(jié)合方面的研究。電話:18629053941;E-mail:rwugmail@163.com呂毅(1963-),男,西安人,教授,博士研究生導(dǎo)師,博士,主要研究方向:肝移植臨床研究、外科技術(shù)創(chuàng)新及應(yīng)用。
作者簡(jiǎn)介:湯博(1989-),男,陜西寶雞人,碩士研究生在讀,主要研究方向:醫(yī)工結(jié)合外科輔助器械研發(fā)。
收稿日期:2016-03-01
基金項(xiàng)目:國(guó)家自然科學(xué)基金科學(xué)儀器項(xiàng)目(81127005/H0322);教育部“創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃”(IRT1279)
【中圖分類號(hào)】:G434;R-058
【文獻(xiàn)標(biāo)志碼】:A
【文章編號(hào)】:1004-5287(2016)02-0194-04
中國(guó)醫(yī)學(xué)教育技術(shù)2016年2期