尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
為了讓你自然操控AR眼鏡，Facebook從多種方向探索AR的交互方式，比如：用照相頭、體感手套來追蹤手勢，或是用EMG肌電技術追蹤五指的運動神經信號等等。
實際上，除了自然的交互外，手指的觸覺反饋也能幫助增加AR的沉浸感。那麼，如何將觸覺和手勢交互自然結合呢？為了探索這個問題，Facebook科研人員研發了一種改變視覺、聲覺和觸覺的體感增強系統：Tactile Echoes。
Tactile Echoes的聯合設計者Anzu Kawazoe（加州大學博士候選人）表示：Tactile Echoes可能是首款將AR投影、手勢識別等多重模擬反饋結合的體感方案。它具有10種可調試的參數，支持模擬多樣化的多感官反饋。
據悉，Tactile Echoes又被科研人員稱為「基於手勢的多重感官增強系統」，其特點是採用可穿戴式設計，與基於投影的AR界面結合，Echoes基於AR投影，手勢追蹤通過照相頭，而體感反饋則通過手指上方的壓電傳感器和制動器來實現。
採用AR投影界面的好處是，體驗者的手可直接觸碰桌面並得到反饋，無需控制按鈕或觸屏來進行輸入，因此體驗感更自然，而且可以融合視覺、體感、聽覺多重感官反饋。應用場景方面，可用於遊戲、娛樂、科研等等。
細節方面，整套系統包含：壓電傳感器、制動器、聲卡、PC、揚聲器和音頻放大器。壓電傳感器在識別到手指震動信號後，會傳輸到PC中進行處理，並輸出至制動器中，對手指產生震動反饋，與此同時揚聲器也將發出音頻反饋。而AR投影則提供視覺UI。
實際上，在日常生活中你用手指敲打桌面時，通常能聽到噠噠聲，而Tactile Echoes方案想了解的是，能否用空洞的回音，或是哄哄的雷聲來代替噠噠聲。
也就是說，照相頭識別到手指與平面接觸時產生的震動強度，會影響你與AR界面的交互體驗。Tactile Echoes產生的體感和音頻反饋與手指接觸表面的力度相幹，用力越大反饋越強烈，當你輕觸某樣物體時，可能會聽到輕輕的回聲，當你用力捅某樣東西時，可能會聽到砰的回聲。而當你的手指觸碰不同的界面時，得到的反饋也有所不同。
打個比方，當你短暫用手敲擊AR界面時，會得到不延續的回聲，如果你用手指在AR界面上滑動，則會產生持續的回聲。除此之外，還會根據觸屏的表面或位置渲染不同的體感反饋。
Kawazoe表示：我們的靈感是，通過Tactile Echoes來增強木桌等普通平面的觸感，加入動態的體感反饋和音效，對觸碰做出響應。
Facebook表示：Tactile Echoes是一個穿戴式觸覺反饋系統，其特點是可捕捉手指觸碰桌子等平面產生的震動，並實時處理震動數據，轉化為「回聲反饋」，就像是將觸覺震動轉化為聲音震動，從而產生回聲的一種持續的反饋過程。
在實驗中，科研人員創造了一個2D的AR音樂合成界面，看起來互動性足夠優秀，盡管只是虛擬的AR界面，也能同時提供觸覺、震動、音頻的自然反饋。
科研人員採用了VR/AR頭顯、交互式AR投影來展示視覺效果。實驗共分為兩種，一種是調查體驗者對於不同音效、體感反饋的認知，而第二個實驗中，體驗者需要完成結合Tactile Echoes方案的交互式AR遊戲。體驗者表示：音頻和體感反饋有效提升了遊戲交互的響應能力，而且沉浸感和臨場感也加強了。
在第一場實驗中，體驗者共經歷35次測試，每次需要用動詞或形容詞來描述自己的感受。科研人員調查了體驗者對於回聲反饋與觸覺結合的看法，通過一些觸覺遊戲，讓體驗者對比Tactile Echoes的體驗感與傳統體感遊戲的區別。
科研人員還發現了一些與感知相幹的有趣現象，比如：體感反饋延遲，出現了知覺掩蔽現象，也就是說某種刺激會影響人們對另一種刺激的強度感知。未來，科研人員將在相幹的方向繼續進行實驗，並將結果用於優化整個Tactile Echoes系統。
此外，Facebook計劃與企業合作，將Tactile Echoes商業化，應用於桌面遊戲、音樂演奏、教育等場景。參考：IEEE