Facebook腦機接口新突破,全天候AR眼鏡就在眼前

尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️

加入LINE好友

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第1張

hi188| 編輯

2017年4月份的F8大會上,Facebook首次公布了腦機接口(BCI)研發計劃,其旨在通過非侵入式可穿戴方案,來做到讀取腦電圖達到控制輸入的目的。

據青亭網了解,為了努力做到這個目標,Facebook除了自己設立團隊深入研究外,還與外部研究結構合作,共同探索這一領域。加州大學舊金山分校醫療中心的一組研究團隊就是合作夥伴之一,該團隊致力於研究大腦活動實時監測,以及語言分細,並幫助患有伸進損傷不能說話的患者進行溝通。

今天,加州大學舊金山分校醫療中心的研究員發布了一些目前的成果,本文中你將了解到Facebook開發BCI技術的目的,以及現階段的研發現狀。

不動手,不動口,就是BCI用武之地

根據Facebook描述,BCI就是為未來而準備的前沿技術。如今,大家都是在通過智慧型手機來獲取信息,玩遊戲,甚至進行輕量化的辦公。而未來,你可以隨時與最重要的人一起度過美好時光,並且不受任何硬件、地理限制,即便你身體殘疾也能做到與他人的交流和溝通。

雖然聽上去這是一個不可想像的遙遠世界,但是Facebook認為就是他們看到未來世界的樣子,這也是Facebook認為一款時尚的AR眼鏡的終極形態。

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第2張

Michael Abrash

Facebook首席科學家Michael Abrash和Facebook Reality Labs已經向外界講述了其中的一部分,Abrash此前曾表示:這是一個全新的形態,就像是滑鼠和GUI界面從穿孔卡、列印和電傳打字機中分離出來是一個道理。

而AR和VR技術的融合將徹底改變我們與周圍世界互動、我們日常工作、娛樂,甚至溝通的方式。

當然,這還有很長的路要走,但本次公開的研究就是做到這個遙遠未來的第一步,即:解決最複雜、最有趣的輸入問題,換句話說,當我們戴上一副AR眼鏡後,我們又該將如何進行操控和使用呢?

兩個關鍵人物的加盟

如何從大腦中進行輸入操作呢?現任Facebook Reality Labs(簡稱:FRL)的BCI團隊的工程師的Emily Mugler,在2017年F8大會時就進行了一番講解。當時提出的目標是:通過想像,無需動手,無需說法即可打出字來。

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第3張

Emily Mugler

當時她在大學就讀生物學博士學位的論文研究就是:通過清醒狀態下腦部手術解析語音。據悉在醫學中,當一種語言和大腦信號被患者已熟練應用,那麼大腦中對應的區域仍然保持清醒,這個方法通常用於幫助繪制可安全移除而不損害認知功能的組織。

許多年以前,Mugler還曾經幫助過那些肌萎縮側索硬化(ALS)的病人,她當時通過腦電圖(EEG)來測量大腦活動,並嘗試和病人交流。不過,當時的研究發現,這項技術實際應用並不理想,因為病人可能需要花費70分鐘才能「打出一句完整的話」。

即便如此,正是因為這項工作也激勵了Mugler,促使她通過更好更有效的方法來改善這一現狀。

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第4張

Mark Chevillet

Facebook Reality Labs的腦機接口(BCI)研究項目主任Mark Chevillet談到:我在William Gibson和Neal Stephenson(現任Magic Leap首席未來官)的小說中讀到了BCI技術,甚至在我成年之後也在思索BCI是否是一件真實可靠的技術。

用我們的思想去控制機器不再是科幻小說,我們可以通過BCI來養活自己,甚至還能駕駛噴氣式飛機模擬器,不過目前只有通過在人腦植入晶片的方式來做到。「我們團隊的長遠目標是,通過非入侵式方案做到這一點,」Chevillet表示。

在加入FRL部門之前,Chevillet在約翰普林斯頓大學物理實驗室(APL)工作,之所以去那里工作,是因為APL實驗室有最頂尖的機器人能通過手術將電極晶片植入到受傷戰士的義肢中。

進入FRL部門後,Chevillet提出一個大膽的想法:不再將BCI技術用於受傷的患者,而是將其用於正常人類和數位設備交互溝通的一種方式,無疑這是非常前衛的。

雖然目前的智能語音助手有很多,包括在智慧型手機、智能音箱等產品中,但是Chevillet認為:大多數人都護在手機上使用語音助手,但是不會當著其他人的面去使用。

與其他研究機構建立合作

為此Chevillet著手組建了一支跨學科的科研團隊,該團隊的目標只有一個:研發非侵入型、無創傷(與馬斯克Neuralink侵入式不同)的BCI穿戴解決方案。

Chevillet講到:我們需要真正了解語言產生及背後的神經科學的專業人士。實際上,隨著團隊研究範圍的增加,跨學科的研究性質也導致必須尋找各個領域的頂尖研究員,包括生物醫學、機器學習、量子計算等等。

但問題是,在FRL團隊確切的提出想要構建一種什麼類型的可穿戴設備之前,他們需要確定這種無聲操控方式是否有可能做到,如果可以,又將通過哪些神經信號去下手研究。然而,現階端而言,該問題只能通過植入晶片來解決。

為此,Chevillet也不得不向他長期以來的一位同事Edward Chang尋求幫助。Edward Chang是加州大學舊金山分校醫療中心的一位世界聞名的神經外科醫生,他還負責著一家專門從事大腦測繪和語言神經學的科研團隊,該團隊也在致力於為神經系統受損的病人提供新的治療方法。

Chevillet前去拜訪了Chang的辦公室,並提出的他的想法:如何將BCI技術用於可穿戴設備中,如何支持Chang的團隊在侵入式方面的研究,並且以此來推動自己的非侵入式研究方案。

沒想到的是,Chang一直在計劃為哪些嚴重腦損傷後無法說話的患者(腦幹中風、脊髓損傷等)開發一款通訊設備。但考慮到該計劃需要大量的資源投入,而且短期內可能沒有研究成果,為此一直擱置。

在雙方深入交流後,決定達成合作,來共同探索真實的大腦活動語言是否能夠被解析出來。

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第5張

右:Edward Chang,左:該實驗室博士後學員David Moses

最近USCF官方博客公布了Edward Chang和他實驗室的博士後學生David Moses在這一研究上成果,證明:人們在說話時記錄的大腦活動可以用來完成近乎實時的解碼,並且將文字呈現在電腦螢幕上。

本次USCF團隊的突破性進展就在於,能夠完成一小部分口語單詞和短語的實時解碼,這也是BCI研究領域的首次突破。研究人員表示:即便如此,該算法只能識別一小組單詞或短語,目前正著手於提升長語句的編碼,並降低錯誤率。

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第6張

Eddie Chang實驗室BCI設備

據了解,在研究是加州大學舊金山分校的一項研究項目的一部分,同時該項目也得到FRL部分支持,雙方將其稱作Project Steno項目。該項目的部分參與者,已經進行了腦外科治療。

據悉,最終研究人員希望做到的目標是:每分鐘100字實時解析,詞匯量為1000字,單詞錯誤率降低至17%。顯然,通過植入晶片的方式幫助這些患者解碼語言是一項可行的方案,因此UCSF的研究成果也為FRL非侵入式可穿戴BCI實時解碼算法和技術規範提供了很大幫助。

實際上,這一目標還有很長的路要走,FRL也將繼續和其它合作夥伴共同探索非進入是BCI項目,包括華盛達大學醫學院Mallinckrodt放射學研究所、約翰霍普金斯大學的APL。

FRL研發的原型機

我們知道,神經元在活躍狀態下會消耗氧氣,因此如果能夠檢測大腦內氧水平的變化,也就可以間接測量大腦活動。受到脈搏血氧儀的啟發,其通過借鑒紅外光來探測手指血氧飽和度的方式來開發了一款原型機。

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第7張

FRL BCI原型機

該方案雖然使用了消費級零部件,但是看上去有些笨重。FRL實驗室表示:目前該方案識別速度較慢,且不穩定,但是該方案潛力巨大,因此期待一下該技術的後續演進吧。

據悉,目前該原型機能夠識別出「家」、「選擇」、「刪除」等簡單詞語,如果識別效率加以提升,在與VR和AR融合,那麼絕對是一種全新的交互體驗。

同時,FRL也在探索非基於血氧的方案,例如直接測量神經元自身的運動等。FRL認為可以創建一個小巧、便些的BCI設備,雖然這個距離有些遠,可能十年,甚至更久,但是差距在不斷被縮小。

生物學倫理問題

安全性方面我們也不容忽視,雖然BCI技術在AR/VR中的技術應用還很長遠,但在BCI商業化之前,我們該如何確保設備安全可靠呢?BCI是否有適合所有人呢?屆時又該如何保護人們的隱私數據呢?

Chevillet表示:我們已經有所準備,在項目早期我們會向合作方尋求一些癲癇患者的電極記錄,以此來驗證工作方法,這個現象很常見。但是作為額外保護,這些數據已經被鎖定,不會再被分享。

Mugler談到:我比任何人都了解這項技術,我們雖然不是倫理學/生物學家,但我們有責任對科學金不有正確和符合價值觀的認識。

這也是FRL鼓勵合作夥伴可以在同行業的期刊上發表這些研究成果的原因,今天我們談論的話題就是這其中的一部分。

Chevillet談到:我們無法預測或解決有關該技術的倫理問題,但我們能做的就是正確認識到技術超越人類認知的可能性。神經倫理設計是我們計劃的關鍵部分之一,我們也希望提供一個具備透明度的工作環境,以便讓大家反饋給我們他們對於BCI技術的擔心。

毫無疑問,AR在未來能夠無縫銜接物理世界,全天候的可穿戴AR眼鏡輸入方案仍待解決,BCI技術就是一個典型的具備極大潛力的方案之一。

參考:

Imagining a new interface: Hands-free communication without saying a word

https://www.ucsf.edu/news/2019/07/415046/team-ids-spoken-words-and-phrases-real-time-brains-speech-signals

https://www.nature.com/articles/s41467-019-10994-4

(END)

推薦閱讀

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第8張

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第9張

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第10張

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第11張

每天五分鐘,輕鬆了解前沿科技。 ——青亭網

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第12張

Facebook腦機接口新突破,全天候AR眼鏡就在眼前 科技 第13張