GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時

尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️

加入LINE好友

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第1張

大數據文摘出品

作者:劉俊寰

新冠疫情之下,不少國家和地區的醫生往往處於超負荷的工作狀態。

隨著近年來AI技術的發展,醫療AI在疫情中發揮了越來越重要的作用,不少AI病毒檢測系統研發者都表示,相幹產品實驗室準確率都已經達到了96%及以上

那麼,在醫院真實使用的時候,這些系統真的能讓醫生護士們「如虎添翼」嗎?

讓我們先把目光聚焦於對既有疾病的診斷和治療上。

比如去年,Google落地泰國的眼疾檢測人工智慧明星產品

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第2張

Google此前曾高調宣布,正式與泰國公共衛生部建立合作關係,在帕圖姆和清邁落地了一個用AI檢測糖尿病性視網膜病變的系統。

作為FDA批準的首款人工智慧診斷設備,Google和泰國雙方都表示了極高的期待

展開全文

但是,根據Google最近發表的相幹報告,該系統在泰國表現出強烈的「水土不服」:在部署系統的11家診所中,只有2家具有滿足條件的影像室,而由於醫院的光線環境經常不利於拍攝,超過五分之一的圖像都會被系統拒絕;同時,必須將照片上傳到雲端進行處理才能獲取結果,而泰國多數診所的網路連接不夠理想,有護士和患者因此等待了兩個多小時

醫療AI落地任重道遠,一起來看看GoogleAI這起泰國「翻車」故事。

當高精準AI遭遇「人擠人的小診所」:理想有多豐滿,現實就有多骨感

這款產品會首先落地泰國事實上意義重大。

根據2016年的一項調查顯示,泰國共有9.6%人民患有糖尿病性視網膜病變,34%的患者會因為此雙眼視力明顯低下甚至失明。而在世界範圍內,約5%的失明患者都是因為身患糖尿病性視網膜病變導致。

2013年,泰國公共衛生部宣布,泰國居民可在指定的檢查日到當地診所進行糖尿病性視網膜病變的檢測,最初公共衛生部預計的目標是覆蓋每個地區60%的患者。然而數據顯示,即使這樣,每年接受檢測的患者數也不到50%

在傳統的檢測過程中,護士會為患者拍攝一張「眼底照片」(fundus photo),這些照片隨後通過電子郵件或郵寄光盤髮送給眼科醫生,而更進一步的眼部檢查至少也要在4-5周後進行。

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第3張

Google的這款醫療AI在落地之前也做了完備的準備:通過一個12.8萬幅圖片的數據集訓練建立起來,每張圖片記錄了3-7名眼科醫師的評估結果,為了驗證算法的性能,他們還使用了2個獨立的臨床試驗數據集,包括1.2萬幅圖片,審核結果由專家來判決

在構想中,該AI系統能在幾秒鐘內給出可堪比眼科醫生的具有專業價值的結論,在內部測試中,系統也以90%的準確度獲得了高度認可。在這種情況下,護士就能在幾分鐘內給出初步建議,大大縮短了時間差

可以說,這個系統在泰國的落地具有劃時代的意義

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第4張

泰國衛生部門對於這一產品抱著極高的期待,但是,根據相幹反饋,該系統在泰國「擁擠的診所」表現完全不及格

Google發布相幹產品落地反饋報告鏈接:

https://dl.acm.org/doi/abs/10.1145/3313831.3376718

當然,這不完全是Google產品本身的問題。

泰國當地表示,這款AI測試產品也有正常工作的時候,的確大大提升了檢測效率;但是更多的時候,系統無法給出一個明確的結果。

這也是多方面因素導致的。首先,和大多數的圖像識別系統一樣,深度學習模型的訓練環境是基於高質量的掃描圖像,對於低於一定質量閾值的圖像,系統會自動拒絕

但在現實中,護士一小時要面對幾十名患者,醫院的光線環境經常不利於拍攝,超過五分之一的圖像都會被系統拒絕

而這些被系統「拒絕」的患者不得不再另選時間前往另一個診所讓人類專家診斷,不少人往往難以請到兩天連休,或者沒有更便利的交通工具,這些都將導致該系統進入當地醫療系統後被人們排斥。

對此,護士也時常感到沮喪,尤其是當她們拍攝的照片被系統拒絕,或者被認定為沒有疾病特征的時候。而為了達到系統要求的精度,她們有時會花費很多時間在一張照片上

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第5張

其次,就算護士們費盡力氣拍攝了滿足系統要求的眼球照片,她們還必須將必須將照片上傳到雲端進行處理,其中診所的網路連接就是另一個影響因子。

「患者往往習慣於馬上看到結果,但由於網速問題,患者不得不等待很長時間,他們就會抱怨,」一位護士說,「有人從早上6點開始就在這裡排隊了,但我們這2個小時隻檢測了10個病人」。

在評價該AI系統的不成熟和局部應用時,研究團隊表示:本次在引進新技術時,規劃者、政策制定者和技術設計者都沒有考慮到龐雜的醫療項目在落地過程中會出現的問題,但其實人們的動機、價值觀、職業身份以及他們工作的現行規范和常規等社會因素,都是至關重要的

Google健康團隊的研究人員Emma Beede更是一針見血地指出:「在廣泛部署AI工具之前,必須首先了解AI如安在特定環境中為人們服務,在醫療保健領域尤其如此。

針對種種問題,Google健康團隊正在與當地醫務人員合作,重新設計工作流程。例如,讓護士接受培訓,讓她們在極端情況(borderline cases)中相信自己的判斷,同時模型本身也將進行再次調整,以更好地處理不完美的圖像。

FDA批準的首款人工智慧診斷設備,實驗室準確率高達90%

Google這款人工智慧眼疾診斷產品算是全球醫療AI領域的明星產品

2018年4月,在美國食品和藥物管理局(FDA)首次批準了這種人工智慧診斷設備,並且罕見宣布,該設備不需要專家醫生來解釋結果

這也就意味著,這個名為IDx-DR的軟體程序可以通過觀察視網膜的照片來判斷患者是否有眼科疾病,某些情況下甚至不需要配備人類醫生的進一步診療

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第6張

它的工作原理是這樣的:護士或醫生上傳病人視網膜的照片,這些照片是用專門的視網膜照相機拍攝的。

IDx-DR軟體首先判斷照片的清晰度是否支持下一步的疾病判斷。

然後,對這些合格圖像進行分析,以確定病人是否患有糖尿病性視網膜病變。糖尿病性視網膜病變是糖尿病性微血管病變中最重要的表現,是一種具有特異性改變的眼底病變,是糖尿病的嚴重並發證之一。

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第7張

在一項使用超過900張圖像的臨床試驗中,IDx-DR正確檢測到糖尿病性視網膜病變的準確率為87%,正確識別無病患者的準確率為90%,準確度可以媲美專業醫師

據了解,這也是機器學習被首次應用於醫療AI系統的案例。當時可謂轟動一時的消息,文摘菌也曾就這一研究成果做過報導。

科技公司翻車不止Google一家,AI落地醫療行業前路曲折

醫療AI在落地過程中,除了Google本次暴露出來的問題,似乎還有更多的問題有待解決

比如去年8月,在蘋果秋季發布會前夕,蘋果健康團隊被曝出內部存在極大的管理問題,直接導致員工紮堆離職。在醫療健康這條路上,蘋果高層傾向於採取安全漸進的方法,這與醫療行業本身的龐雜程度有一定的關係。

但是蘋果健康團隊內部不少員工卻不這麼認為,他們急於解決醫療系統中最「棘手」的問題,比如醫療設備、遠程醫療和醫療支付等。有員工透露道,蘋果完全有能力開發更多更有前景的項目,在醫療健康這條路上走得更遠,但是,公司主打的仍是「手錶心電圖」這類面向廣大健康用戶的功能。

除此之外,兩名知情人士表示,對於該公司應在多大程度上向醫療行業透明化,內部也存在分歧。蘋果此前一直對自己的項目高度保密。然而,這種嚴格保密在使得蘋果在衛生保健領域發展更具挑戰性,因為該行業通常需要依靠已發表的研究、臨床研究,並與行業內組織保持公開對話。

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第8張

監管機構與科技公司的角逐也影響到了醫療AI的落地。去年4月,IEEE Spectrum發布特別報告《How IBM Watson Overpromised and Underdelivered on AI Health Care》,在文中細數了IBM的明星醫療部門Watson Health是如何走向衰落的。

文中稱,盡管IBM花費數十億美元收購AI企業,加強內部開發實力,但內部人士表示,被收購公司並沒有發揮什麼作用。這其中還存在監管機構的干預,監管機構隻批準少數基於AI的工具在醫院和醫生的辦公室使用,這些開創性產品主要聚集在圖像診斷領域,比如通過計算機視覺技術識別X射線和視網膜掃描圖像進行診斷,而IBM卻沒有醫學圖像識別的產品落地。

GoogleAI「翻車」泰國!眼疾檢測實驗室準確率達90%,小診所傳張照片要等兩小時 科技 第9張

除了管理問題,醫學領域本身也存在極大的挑戰,比如為醫生的專業知識編碼,這項浩大的工程即使是如今最優秀的AI也難稱可以實現。

正如在2014年離職IBM的Kohn所說,「擁有強大的技術是不夠的,你還要向我證明,這款產品的確是有價值的,可以讓我生活的更好,讓我的父母生活的更好」。這也清楚地指出了科技公司在醫療領域的曲折前路。

面對如此多的難關,科技公司將如何逐一攻破,我們期待著醫療AI能在實際環境下更有效地工作的一天。

About 尋夢園
尋夢園是台灣最大的聊天室及交友社群網站。 致力於發展能夠讓會員們彼此互動、盡情分享自我的平台。 擁有數百間不同的聊天室 ,讓您隨時隨地都能找到志同道合的好友!