第三卷 第二期 - 2008年一月十八日 PDF
手語影片合成中影片間內插部份之產生
莊則敬、吳宗憲*、陳偉升

國立成功大學 資訊工程系
Email: chwu@csie.ncku.edu.tw

IEEE Trans. Circuit and Systems for Video Technology, Vol. 16, No. 11, November 2006, pp1313~1323.

標準大小   字體放大
於聽語障人士,一般而言均有溝通技巧上學習之困難,由於他們在口語溝通上之缺陷,大多數溝通輔助系統都是著眼在其他替代性溝通技能上的強化與提升,如手語、唇語、或其他整合溝通技巧。然而手語仍是他們彼此間主要之溝通方法。雖然目前聽語障人士可透過書本、照片及影帶方式學習手語,但仍未有一有效及方便查詢手語之方法。因此,近年來電腦輔助學習系統便成為手語學習之有利工具。本論文提出一利用真人施打之手語影帶,以產生手語片段間之內插移動部份。圖一即為所提出之手語片段間內插部份產生之方塊圖。本方法之基本原理為在串接手語影片中尋找最佳之串接點,並產生內插之影片,以獲得最平滑之手語影片串接輸出。
圖一 手語片段間內插部份產生之方塊圖

在移動部份之影片產生過程中,首先須決定前一手語影片之結束點及下一影片之起始點,此稱為”切割點”。
圖二 手部影片選取之方式
此切割點之選擇乃根據影片串接之代價來決定。串接代價之計算乃由距離多寡、平滑程度及影像失真程度之線性組合來決定。距離多寡乃為兩個切割點處手部位置之距離,而非均勻有理B樣曲線則用於產生移動部份手部移動之軌跡。在影片失真程度之計算方面,非均勻有理B樣曲線是用來產生手部影像改變之路徑。對於手語影片資庫,所有手部影像參數均已預先標記及萃取,而後便可利用非均勻B樣曲線作手部影片之選取。圖二呈現手部影片選取之方式。

為了驗證本方法之可行性,我們錄製一組手語資料庫。針對此一資料庫,我們首先作影片校準,內容標記及主成份分析。最後為建立一手語合成及評量系統,我們採用影片重疊分析法,將各影片元件組合成平滑之內差影片。

利用所提之方法,我們建立一台灣手語影片合成系統。此系統之介面如圖三所示。利用此一系統,使用者可輸入自然語言之文句,此文句將被剖析並轉譯成手語系列而後再利用手語合成系統產生平滑之手語影片輸出。在測試過程中,我們邀請十位正常人及五位聽語障者,針對合成之影片中之平順程度、可理解程度及相似度,分別評分。評量結果顯示出所產生之移動內插影片不僅平順、自然,且相當類似真人施打之手語。此結果顯示出利用結合之串接代價不管在主觀或客觀評量上均比其他只利用單一代價來得有效。
圖三 台灣手語影片合成系統
< 上一篇下一篇 >
Copyright National Cheng Kung University