IVE畢業生研手語翻譯APP 助聽障人士溝通

2021-05-17
 
AAA

01.jpg

現時全港有超過15萬名聽障人士,但社會上能夠理解手語的人卻不多。有IVE畢業生開發操作簡單的應用程式,能夠翻譯手語,使聽障人士更易與他人溝通,促進社會共融。

應用程式「SignChat」主要運用人工智能科技,提供實時手語翻譯,分析手勢轉化成有用數據,並透過深度學習訓練及AI技術訓練系統辨認不同手語的意思。配合立體影像追蹤技術,「SignChat」可辨識雙手的動作,範圍包括手指、手掌和手腕等合共約二十個檢測點,配合表情和口形分析,能有效分辨和理解不同手語,包括日常生活常用到的對話,如「早晨,你好嗎」、「我想食漢堡包」等。

04.jpg

「SignChat」透過運用自然語言處理技術,可依據手語的文法,分析不同單字組合的真實意思,例如「早餐」的手語由「早」和「食」的手勢組成,系統會自動演算及翻譯為「早餐」。而利用數據庫管理科技,「SignChat」則可累積所學,建立手語資料庫。

三名IVE軟件工程高級文憑畢業生組成團隊,以近一年時間研發「SignChat」。作品於香港科技園有份舉辦的「第6屆香港大學生創新及創業大賽」中,獲得創新項目資訊技術組別的三等獎。有份研發程式的温子軒表示,要訓練「SignChat」進行手語翻譯,先要將手語反覆輸入系統,每一個手勢需輸入至少30至50次,儲存足夠數據運用人工智能科技進行深度學習,令應用程式辦別每一個手勢的意思,確保翻譯準確。

團隊又指,有別於現時常見利用感應器來分析手勢的翻譯工具,「SignChat」操作簡單,用家只需一部備有攝錄功能的智能電話即可輕易操作。「SignChat」的影像辨別,更可識別聽障人士的手勢擺動位置、表情和口形,有助提升翻譯準確度。

 
延伸閱讀