讓抽象的語言被「看」見,讓無聲的手語被「聽」見丨南理工學子讓冰冷的……

尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️

加入LINE好友

如果,

如果失去了聲音與聽覺,

該如何與重要的人交換心意?

如果失去了行動的能力,

該如何用雙腳丈量這美麗的世界?

「希聲」

讓語言被「看」見,讓手語被「聽」見

對於沒有學習過手語的人來說,

該如何與聽力語言障礙者進行交流?

南理工計算機學院2016級本科生賴水長同學第一次去到南京秦淮區特殊教育學校開展社會實踐時,這個問題在他腦海中蹦了出來。帶著「想做一個東西讓大家更方便地與聾啞人溝通」的想法,賴水長和同年級的小夥伴一起開始了「希聲」項目的開發

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

「希聲」的功能就像翻譯詞典做到不同語言間的互譯一樣,該系統由手機端app外置雙紅外錄影頭組成,當聾啞人運用手語,如表示「吃飯」時,「希聲」系統通過雙紅外錄影頭采集手勢圖像信息並將其翻譯成日常交流的有聲語言;當正常人說話時,麥克風采集到語音,利用語音識別技術、數據庫匹配,將自然語言翻譯成手語圖像,也就是讓抽象的語言被「看」見,讓無聲的手語被「聽」見。

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

《道德經》中有‘大音希聲大象無形’,我們將系統命名為‘希聲’,就是想表達真正的大音是能讓聽不見聲音的人在寂靜中感受到溫暖,讓不懂手語的人也能感受到來自聾啞人心中的綻放的旋律。」賴水長如是說。

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

項目開展的前期困難重重,為了采集手語動作信息,「希聲」團隊嘗試過手套、臂環等方案,但成本高昂、動作采集精度低以及穿戴不方便等缺陷使他們不得不另辟蹊徑。經過幾個月的嘗試,他們決定使用成本低廉但精度更高的雙紅外錄影設備作為「希聲」的動作采集裝置這一突破使「希聲」能比較好地得到手指關節的特徵信息。加之深度學習模式的建立和數據分析處理能力的提升,「希聲」已經可以做到對部分生活場景,如指路、飯店點單等場景中的對話復現。

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

第十二屆iCAN國際創新創業大賽中國總決賽中,「希聲」從來自全國19個分賽區的450支大學生項目中脫穎而出斬獲一等獎,並獲得德國國際總決賽入選資格。

「智能陪護輪椅系統」

解放雙手,呵護情感

輪椅對行動不便的人群來說是必不可少的代步工具,近年來電動輪椅憑借其便捷性越來越普及。但如果遇到打點滴或者拿東西,雙手不便操作輪椅的情況,用戶便不得不依靠陪護的幫助才能自由行動。

(adsbygoogle = window.adsbygoogle || []).push({});

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

南理工學生團隊——斑馬魚智能科技團隊敏銳察覺到這一需求痛點,以「智能陪護輪椅系統」解放輪椅用戶的雙手,只需動動頭,便能操控輪椅行動,甚至讀懂用戶的「心思」。該項目在第十二屆iCAN國際創新創業大賽中國總決賽中摘得三等獎

這款名為Storm的智能輔助系統,是一套專注於老年人以及殘障人士感情陪護的智能化裝備。該裝備由兩部分組成——APP軟件智能設備接口,將接口與電動輪椅相連接後,對電動輪椅進行簡單地改裝,增加一個單片機,由於連接轉接線連接著電動輪椅的控制單元,即與電動輪椅的搖桿控制連接在一起,手機APP識別頭部姿勢後,單片機模擬搖桿信號,便可驅動輪椅自由移動,由此即便是雙手不便操控輪椅,身邊沒有陪護人員的幫助,甚至是高位截癱的用戶也可以僅通過改變頭部姿勢來移動輪椅

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

除了對「代步」這一基礎功能的優化,該系統還有一個神奇的技能――「讀心」。通過采集用戶的臉部圖像,系統可以提取並識別用戶的臉部特徵,對比普通人喜怒哀樂的表達數據庫,檢測用戶情感。檢測內容以情緒直方圖和情緒波動曲線的形式反饋在對應的APP中。通過直觀的可視化數據,即使不在身邊,陪護人員和子女也能夠隨時了解用戶心理,及時給予用戶關懷與呵護。

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

斑馬魚智能科技團隊成員均是來自計算機學院的2016級本科生,從大一開始「白手起家」,單研究APP採用的算法就花了近一年的時間,團隊成員們利用周末或者半夜的課餘時間在開源網站找代碼和數據庫,一個個搭環境做到,相當於在成百上千種源碼中「大浪淘沙」。

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

談到項目的未來發展,成員任夢鴿同學表示,「覺得我們的作品還不夠成熟,適用場景不夠全面,很多情況也未完全考慮到。但比賽中遇到了很多優秀的隊伍,和一些值得仔細思考的idea,覺得我們也可以從中獲得些靈感,不斷完善自己的作品。

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

(中國科學院程和平院士與我校團隊交流)

讓抽象的語言被“看”見,讓無聲的手語被“聽”見丨南理工學子讓冰冷的……

(兩隊合影)

科技的迅猛發展不斷改變著我們的人生,它不僅存在於遙遠的螢幕或是神秘的研究所,更存在於我們的日常學習生活。一個疑問,一個創意,處處彰顯南理工學子們對待科研事業的嚴謹態度與決心。

機械與代碼從不是冰冷的,

因為背後是我們對於美好世界的無限熱愛與追求。

圖片丨來源於受訪者

文字丨大學生記者團 王浩澤 楊子玉

編輯丨潘霽萌

About 尋夢園
尋夢園是台灣最大的聊天室及交友社群網站。 致力於發展能夠讓會員們彼此互動、盡情分享自我的平台。 擁有數百間不同的聊天室 ,讓您隨時隨地都能找到志同道合的好友!