【應用案例】宏虹AR醫療解決方案—從台灣奇美醫院看見無數可能

近幾年,新冠肺炎疫情席捲全球,迫使醫院、護理機構和其他醫療衛生從業者不得不開闢一種新途徑來應對物理接觸不便所帶來的種種困難。

遠程醫療,一種方興未艾的患者護理和治療方式,在疫情環境下得到了公眾愈加廣泛的認識與認可,許多醫療中心開始探索來自AR領域遠程協助的魅力,利用AR硬體設備(眼鏡)與軟體應用的配合來開展醫療衛生工作,在不影響治療、護理品質的情況下更加安全高效地為患者提供服務。

AR+醫療,創造醫學未來

1讓醫療也能“免持”
2讓專家無處不在
3讓優質醫療培訓遍地開花
4助力醫療行業突破性發展

1. 讓醫療也能“免持”

醫生最關心的是病人,AR智能眼鏡讓醫生可以完全解放雙手並專注於他們的工作。

這意味著醫生可以隨時在智能眼鏡上保存患者的統計數據並進行相關的註釋說明,並且不用停下與患者的溝通或檢查。這消除了對大量螢幕和監控設備的需求,也可以確保患者的敏感數據能夠保密。

可以通過語音命令控制的免持智能眼鏡使醫護人員能夠在需要的時候隨時瀏覽虛擬螢幕上的訊息,而無需用手去操作其他設備、翻閱紙張等。這種訊息獲取與記錄的自由對於無菌手術室以及其他對環境有著高要求的應用場域可以說是非常友好。

2. 讓專家無處不在

有了AR智能眼鏡,獲取醫療專業知識從未如此簡單。醫療現場的醫護人員可以與專家連線分享對患者病況的看法,提供第一手資料,並在專家指導下找到並執行治療的最佳方法。這種專業知識的“分散傳播”實際上就是一種分享知識和提高醫療品質的行之有效的方式。

緊急手術不會因為需要轉移到特定地點進行而被耽誤,找專家就像開啟一個線上會議一樣簡單。在任何地方都可以接受來自專家的服務,這樣大大減少了醫生與患者的移動成本,更大幅提升醫療護理的效率與品質。

图片

3. 讓醫療教育變得簡單高效

AR眼鏡的串流技術擁有通過內建的4K自動對焦攝影機即時查看對方所見的能力。智能眼鏡不僅消除了手術室內對額外技術人員或連接顯示器等笨重設備的需求,也減小了讓實習醫師進入手術室造成無菌條件被破壞的風險。

同時,先進的串流功能讓學習者能夠從外科醫生的角度及時、高畫質地體驗正在發生的事情。在某些情況下,觀看者甚至可以控制攝影機,這給未來的醫學教育提供了更廣泛的思路。

图片
图片

醫生通過AR眼鏡傳遞手術現場情況

4. 讓醫療更具突破

使用智能眼鏡進行虛擬協作除了有以上眾所周知的傳統好處外,還讓醫療衛生事業的發展有了更具突破性的可能。智能眼鏡可以配合一定軟體實現人體映射,因此外科醫生可以看透手術衣、皮膚和骨骼,更好的了解患者情況以及手術該如何進行,AR眼鏡可以顯示接下來的手術步驟,內建的傳感器也會在手術過程中提供即時幫助。

即時AR+醫療的未來,創造性與突破性共存。

1台灣奇美醫院的遠程醫療
2ReSurge採用AR技術提供手術援助
3Enhatch用XR串流技術提升手術水準
宏虹AR醫療案例
  1. 台灣奇美醫院的遠程醫療
图片

位於台南的奇美醫院引進了創新的機器人手術,並擁有最先進的血管造影和放射治療系統,同時奇美也在台灣急救服務中佔有一席之地。近年來,為了進一步提升自己的醫療效率與品質,奇美採用了另一個高科技工具:宏虹Vuzix AR 智能眼鏡。

 急診室應用

图片

急診室是最忙碌的醫療場所,以往每次患者到達後,開展急救的過程都是一樣的:評估現況,蒐集訊息,開始治療,共享訊息,在多數情況下會由專家來接管患者的最終治療與護理。

在整個急救過程中,兩個關鍵要素是訊息和時間。醫生需要訊息來迅速妥當地處理患者的緊急情況。幾分鐘時間的耽誤對於像是中風或心臟病來說就是致命的,關乎患者的生與死,每分鐘都必不可缺。

图片

奇美醫院急診室繁忙的醫生和護士

這就讓宏虹Vuzix AR智能眼鏡有了用武之地。 AR技術的應用使參與治療的醫護人員之間實現了以第一視角進行即時視訊溝通的可能。

在傳統的緊急情況下,患者在轉往醫院的過程中會得到醫護人員的簡單治療,而專家、急診醫生只能在醫院裡等待患者的到來。但是, 有了智能眼鏡,醫生可以在患者到達醫院之前開始對其進行治療。當醫護人員和急診醫生都佩戴智能眼鏡時,急診醫生可以以醫護人員的第一視角即時看到病人,了解患者的真實情況並與護送患者的醫護人員達成一些治療手段和方式並遠程主導治療開展,以便爭取寶貴的救命時間。

此外,奇美醫療中心也服務於農村地區,許多患者來自其位於嘉里和柳營的附屬醫院。戴智能眼鏡時, 各附屬醫院的急診醫生可以安排不同院區的多個部門同時進行會診,這樣無論專家身處何處都可以看到患者,不同院區的醫生可以詳細討論患者的病情,從而給患者提供最高效合適的治療方案。

图片

佩戴在防護設備上依舊合適的智能眼鏡

 手術室應用

图片

任何外科手術都是通過團隊合作完成的,包括外科醫生、護士,有時甚至需要技術人員的協作。通常,如果外科醫生想尋求專家的幫助,但是該專家可能不在現場,按照以往可能醫生會用手機視訊的方式來聯繫專家,但因為光線不均勻導致畫面不清晰,視訊角度受限,以及在聯繫時無法用雙手進行操作等原因,效果並不理想。

借助AR智能眼鏡,專家可以在千里之外即時參與手術,他可以準確地看到外科醫生所見,了解患者的病情,並與外科醫生交流下一步的手術方案。在手術完成後,外科醫生,專家和原來的主治醫生還可以從不同地方繼續觀察和交流患者的康復情況,將遠程醫療完整實現。

图片

 醫療教學應用

图片

醫生指導初級醫師執行臨床任務

知識共享對於醫學的發展至關重要,在奇美醫療中心,宏虹智能眼鏡除了上述用途以外,還用於培訓實習醫師。

訓練外科醫生時,最好的方法就是通過直播進行教學,但是錄製和直播手術的成本很高且耗時,通常影片品質還很差。但是,當每個人都戴著宏虹AR智能眼鏡時,實習生、初級醫師可以準確,即時地看到主治醫生的操作,還可以提出問題與主治醫生進行交流。當初級醫師自己操刀時,主治醫師可以使用智能眼鏡的第一視角和出色的音訊交流功能在手術室外的任何場所提供詳細的指導,比如症狀識別,傷口縫合,導管植入等。總之,AR眼鏡與技術讓醫療教學在任何時間任何地點都能進行,並且讓參與各方都可以解放雙手、全身心的參與每場訓練。

图片
图片

一名醫生指導初級醫師控制心室輔助設備

2. ReSurge採用AR技術提供手術援助

图片

ReSurge International是一個全球性的外科培訓非營利組織,其使命是在當今世界的發展中國家及地區開展高品質的外科和麻醉項目。他們也將通過AR智能眼鏡來實現自己的“Surgical Sight Program”(外科視角計劃),通過擴增實境(AR)技術讓世界上的外科界更加緊密地聯繫在一起。

AR眼鏡讓學員可以在戴上眼鏡的時候真實的感受來自數千里外的導師的指導,如下圖所示。通過這種方式,ReSurge的導師將確切地看到手術室中的外科醫生(學員)所看到的內容,讓他們有機會參與進整個手術過程並進行即時指導和教學。

图片

通過這個開創性的計劃,世界各地的外科導師和學員可以使用宏虹Vuzix AR智能眼鏡和AR軟體應用進行即時虛擬訓練和操作。這樣的培訓方式支持學員學習基本的救生技能並培養他們的自立能力。之後他們可以把學到的知識分享出去,並自行培訓外科醫生,從而產生變革的漣漪,拯救無數的生命。

图片

延伸閱讀: Do You See What I See? ReSurge Incorporates Augmented Reality Technology

3. Enhatch用XR串流技術提升手術水準

图片

增強現實(AR)在醫療領域迅速普及,除了AR智能眼鏡的應用外,沉浸式串流技術發揮的作用也不可小覷。它提供了在行動AR設備上視覺化複雜手術的3D數據所需的能力和速度——讓外科醫生能夠在保持對患者高度關注的同時隨時瀏覽患者的關鍵資訊。

美國醫療技術公司Enhatch的聯合創始人兼首席執行官Peter Verrillo說:“我們希望為患者提供更好的手術,同時也希望通過減少外科醫生對於設備或患者情況了解等的認知負擔來給醫生減輕壓力”。Enhatch創建了業內首個智能手術生態系統,將公司、技術和外科醫生聯繫起來以簡化臨床工作流程、提升病患照護品質。

图片

佩戴擴增實境(AR)耳機,外科醫生可以實現用語音對患者的資訊數據進行查看與記錄,無需離開手術區域,甚至無需將視線從患者身上移開。在手術期間,他們可以與非侵入式UI元素交互,以瀏覽患者的數據記錄、3D模型或其他術前記錄。Peter Verrillo曾表示做到以上這些的挑戰是將這些非常複雜的數據完整呈現到醫生的面前。

這就展示了遠端轉譯的強大功能。Enhatch的軟體平台自動將術前圖像(如X光圖,CT掃描和MRI)轉換為精確的3D模型。對於一次手術,這通常意味著需要處理數千兆字節的數據,遠超許多行動AR設備的性能容量。要使其正常工作,需要減少多邊形並過度簡化模型。而這意味著需要更多的處理工作,甚至最終可能產生不太準確的視覺化結果,這對一場手術來說是絕對不行的。

图片

Enhatch通過將宏虹XR串流媒體組件ISAR SDK內建到其解決方案中,讓醫生能夠輕鬆的瀏覽關於患者的價值訊息。宏虹ISAR SDK是一種開發人員工具,可實現整個AR和VR應用程式從雲端或本地基礎設施到HoloLens 2,Meta Quest 2,平板電腦或智慧型手機的遠端轉譯和串流。因此,XR串流媒體解決方案允許視覺化和操作3D內容,大大超出了許多行動設備的性能規格

Peter Verrillo表示:“AR的美妙之處在於將虛擬世界和現實世界融合在一起,以獲得更成功的臨床結果,即時XR串流媒體技術讓外科醫生能夠分析複雜的3D醫療數據,而不用將注意力從患者身上移開,最終,在手術室中使用擴增實境是醫療保健的未來。”

現代醫學的發展與科技的進步息息相關,我們可以預期AR技術在醫療健康領域的應用必將更上層樓,或會幫助醫療領域發展一次革命性的變革,讓我們拭目以待吧。