尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
近年來，Facebook、Valve、Neurallink都入局了腦機接口，這項技術原本是為腦癱等失去語言能力的患者打造的，而未來似乎也將用於AR/VR等下一代計算平臺。為了探索腦機接口在AR/VR應用的前景，過去四年來，Facebook一直在探索BCI技術在AR/VR的應用，並取得較大成果。
據青亭網了解，Facebook的BCI項目主要包括兩個部分：1）內部團隊研究的穿戴式光學BCI；2）與加州大學舊金山分校（UCSF）合作研發的植入式BCI。其中，Facebook更關註非侵入式腦機接口的研究方向，而植入式腦機接口的技術和算法未來可能會應用於EMG腕帶等非侵入式接口，未來應用場景包括全天候AR眼鏡。
近期，Facebook和UCSF在《新英格蘭醫學雜誌》上公開了最新的腦機接口研究方案：Project Steno。據悉，該方案可以分析癱瘓患者大腦皮層負責語言的部分，並解碼為完整的文字，特點是嚴重失語的人第一次使用也有很好的表現。
目前，市面上已經有各種不同形式的侵入式和非侵入式腦機接口技術，其中大多數的功能是控制機械臂、操作菜單界面、識別生物資訊等等，很少可以將腦信號直接轉寫成文字。而且，體積小巧、輕便的腦機接口設計也不多見。
將腦中的想法變成文字，似乎是科幻電影中描繪的理想效果，不過這一功能已經在Project Steno上實現。該方案可快速解讀大腦運動皮層向聲道發送的信號，識別打招呼、描述狀態等簡單對話。共可區別50個單詞，並組合生成1000句話，文字識別準確率可達93%，速度達每分鐘18個單詞。
實際上，Facebook Reality Labs從2017年就開始探索BCI項目，其長期目標是開發一種無聲的非侵入式語音接口，可以將使用者腦中的想法轉成文字，幫助失語者恢復自然交流能力。
而Project Steno從2019年開始研發，這項腦機接口技術標誌著神經科學的一個重要里程碑，與此同時，也標誌著Facebook與UCSF合作項目的落幕。本次合作項目結束後，Facebook會將腦機接口軟體開源，並與科研人員和同行共享頭戴式腦機接口原型，希望能夠推進腦機接口生態和技術的繼續發展，將其應用於幫助語言障礙患者交流等醫療輔助場景。
Facebook表示：這項腦機接口技術可用於臨床實驗場景，也可能用於光學BCI、EMG腕帶等非侵入式消費級產品，甚至作為AR眼鏡的輸入方式。
不過，短期內Facebook似乎對於植入式技術並無興趣。接下來，Facebook會將重心從腦機接口向EMG腕帶轉移，加速腕帶式神經接口與AR/VR的結合。也就是說，未來Facebook會將BCI團隊基礎研究成果用來優化腕帶輸入方式，同時將放棄無聲的非侵入式語音接口。
關於Project Steno
Facebook表示：目前，該腦機接口對於患者來講，Project Steno比16年來他使用過的所有BCI方案都更輕便，同時這項技術對於神經科學領域也是一個關鍵里程碑。
兩年前，該方案可實時識別大量詞語，誤差極低。後來在去年，科研人員利用機器學習技術實現了對完整句子的識別。
UCSF神經外科系主任Edward Chang表示：我們在UCSF的科研團隊已經從事「語音神經義肢」的研究十年多時間。在過去5年來，隨著機器學習技術發展，語音神經義肢技術得到長足發展。因此利用Facebook的機器學習專業技術，以及資金支持，我們加速了腦機接口的研發，更好的分析大腦處理語言任務的方式。
不過此前的研究是在大聲講話的人身長進行的，為了驗證Project Steno方案在失語症患者身上的效果，科研人員為一名參與者進行了選擇性外科手術，在他的腦皮層下植入了電極模塊。據悉，這位患者曾經歷多次中風，無法正常說話交流。
在實驗過程中，該患者為科研人員提供了數十個小時的文字轉寫數據，後來這些數據被用於訓練機器學習模型，用來識別語音意圖，以及分類詞語。
Facebook的腦機接口布局
在這個合作項目中，Facebook為UCSF的科研人員提供了機器學習相幹的建議和反饋，以及科研資金，與此同時整個項目的實驗由UCSF設計和監督。
Facebook表示：我們並不參與任何形式的數據收集，而且對於開發植入式BCI也並無興趣。自助UCSF主要是為了幫助科研人員擴大服務器容量，加速模型測試，以及獲得更多準確的實驗結果。
除了Project Steno外，Facebook此前也曾研究基於近紅外原理的大腦血氧合檢測方案，以及識別組織性運動的非侵入式腦機接口方案。據悉，Facebook的穿戴式光學BCI基於近紅外光技術（未來或採用LiDAR或手機照相頭），外觀和體積看起來像大號的耳機。相比之下，植入式BCI方案體積更小，不過需要手術。
Facebook表示：植入式BCI方案的目標是，驗證無聲腦機接口能否達到100詞/分鐘的計算速度，並探索需要識別的神經信號類型。
Project Steno首次展示了結合講話意圖和語言模型的BCI，以及BCI技術結合語言統計特征的潛力。通過預判和推斷延續組合的單詞來構成句子（類似於手機輸入法的自動校正和自動關聯功能），將可以大幅提升BCI的準確率。
AR/VR交互重點將轉向EMG肌電控制
在完成Project Steno項目研發後，Facebook Reality Labs開始重新評估其BCI項目的整體目標。盡管FRL的長遠目標依然是頭戴式光學BCI技術，但FRL已決定將AR/VR交互的研發重點放在EMG腕帶上，因為這種形式的神經接口進入市場的路徑更快更短。
FRL科研總監Sean Keller表示：我們正在開發一種應用於全天候AR眼鏡的，更加自然、直觀的交互方式，這種交互方式將不影響使用者在日常生活中的行為。盡管目前對於EMG腕帶的研究依然在初期階段，但FRL相信它將成為AR眼鏡的核心輸入方式，未來我們還將應用在BCI上的研究經驗，來加速EMG腕帶技術發展。
Mugler表示：我們意識到，光學BCI研究中所採用的生物反饋和實時解碼算法也可用於提升EMG腕帶技術，讓你可以在穿上腕帶幾分鐘內就能實現意圖讀取。此外，為了提升EMG腕帶的準確性，實時解碼算法可通過語言的統計特征來推斷使用者的輸入意圖。
看起來，BCI技術或許可以提升EMG腕帶的文字輸入能力，實現用手勢快速打字的效果。
總之，Facebook在過去四年一直在尋找AR眼鏡的自然輸入方式，不過他們發現，短期內BCI難以成為AR的輸入方式。後來在EMG腕帶技術更加成熟後，看到了腕帶方案的前景，並計劃利用EMG來取代更龐雜、成本更高的BCI。
接下來，Facebook還將公開關於穿戴式體感設備的最新研究，這項技術將優化用戶在AR/VR中的存在感，並帶來更多形式的交互場景。參考：fb