第十一卷 第四期 - 2009年十一月六日 PDF
Counter
影像不等比例縮放之扭曲最佳化研究
王昱舜1、戴秋蘭2、Olga Sorkine3李同益1,*

1國立成功大學電機資訊學院資訊工程學系
2香港科技大學計算機科學及工程學系
3Department of Computer Science, New York University
tonylee@mail.ncku.edu.tw

Yu-Shuen Wang, Chiew-Lan Tai, Olga Sorkine, and Tong-Yee Lee,"Optimized Scale-and-Stretch for Image Resizing," ACM Transactions on Graphics (SIGGRAPH Asia 2008 issue), Vol. 27, No. 5, Dec. 2008, Article 118.

 
字體放大
Project Web Site: http://graphics.csie.ncku.edu.tw/Image_Resizing/

年由於顯示設備的蓬勃發展,像是電視、筆記型電腦、PDA、手機等等,各種顯示器螢幕比例皆不盡相同,所以能保持圖片主要內容比例之影像縮放技術更顯得非常重要。最簡單的縮放方法是採用均勻比例的方式進行縮放,但是此方法並沒有考慮到圖片的內容,因此一旦經由不同比例縮放後,往往會造成圖片扭曲及變形或影像物體(image objects)因擠壓或拉長造成比例失真等現象發生。為了解決這些問題發生,例如:傳統的裁切方法(cropping)基於臉部偵測技術和特徵點偵測,將圖片的重要區域固定保留後,再利用等比例縮放圖片大小。然而利用裁切方法仍存在著許多無法克服的問題,如:當重要的資料分別位於圖片中間的兩旁時,則此裁切方法便無法發揮功效,必定移除某一邊重要的資料。

近年來影像縮放方法的研究趨勢為:進行圖片縮放時,會保留重要物體特徵或者是移除較不重要的區域。舉例來說,影像細縫裁減(Seam carving) 方法 [1,2]在縮放圖片大小時會先找出一條垂直或水平的影像細縫(seam),而所謂的垂直(水平) 影像細縫,係指一從影像上(左)端到影像下(右)端的連接路徑,亦即路徑上的任兩像素(pixel)必互為對方在平面上的八個鄰居之一,而且路徑與影像中的每一列(行)恰相交於一個像素。由此可知,藉由刪除此垂直或水平的影像細縫,即可達到縮小輸入影像寬度或高度的目的。影像細縫裁減(Seam carving)這方法可產生還不錯的結果,但是此方法天生俱有離散(discrete)的性質,對於有結構性(structure)的影像物體很容易會造成很明顯的扭曲失真現象。因此往往如果當改變比例的資訊超出我們能移除縫(seam)的空間時,則移除該此方向的縫(seam)改變圖像長寬比會造成不可避免地失真扭曲。

本論文,我們提出一個最佳縮放與拉扯(scale-and-stretch)影像縮放方法[4](如圖一),利用此技術,我們可以隨意地改變想要縮放的方向,並且能保留視覺上重要特徵區域。此方法在執行時會反覆地計算局部最佳比例係數並且更新變形的圖片,直到該局部變形區域接近我們所計算出的最佳比例係數為止。我們提出影像重要圖(significance map,如圖二所示)來評估圖片內容重要性。影像重要圖(significance map)結合了影像梯度圖(gradient map)和影像視覺特徵圖(saliency map),由此可描繪出人眼視覺上關注的重要特徵。經由影像重要圖(significance map)所偵測出的重要區域,我們最佳縮放與拉扯(scale-and-stretch)影像縮放方法在進行圖片縮放過程中能維持各區域重要內容保有特定均勻縮放比例,不會造成視覺感知上有很嚴重地落差。跟以往的方法比較起來,我們的方法將扭曲變形分散於所有空間方位而非單向(unidirection),來降低扭曲失真的現象。針對不同類型圖片實驗結果可以看出,我們提出的方法較過去方法佳(如圖三)。讀者可在本計畫網址取得更多實驗結果與簡介影片 http://graphics.csie.ncku.edu.tw/Image_Resizing/
圖一:我們將原始圖片(左)分割成網格(grid mesh)(中之下圖),利用我們提出的方法配合影像重要圖(significance map,中之上圖)將此圖片縮放到新的大小(右)。

圖二:影像重要圖(significance map)是由影像梯度圖(gradient map)和影像視覺特徵圖(saliency map)的乘積獲得。與單由影像梯度圖(gradient map)處理結果比較起來,影像重要圖(significance map)處理結果會減少了樹木和葉子等不必要資訊,可以將感知專注於老人及小女孩。我們比較利用影像梯度圖(gradient map)和影像重要圖(significance map)處理後進行圖片的縮放,很明顯看出採用影像重要圖(significance map)能較佳的保有老人及小女孩的外形。

圖三:我們與2008 Rubinstein et al. 的影像細縫裁減(seam carving) [2]、 2007 Wolf et al. [3]的變形扭區(warping)方法的實驗結果比較。從結果可以看出我們與[3]比[2]更能平滑保有形狀。相對於[3],我們能保留較佳的特徵比例。


參考文獻:
[1] AVIDAN, S., AND SHAMIR, A. 2007. Seam carving for content aware image resizing. ACM Trans. Graph. 26, 3, 10.
[2] RUBINSTEIN, M., SHAMIR, A., AND AVIDAN, S. 2008. Improved seam carving for video retargeting. ACM Trans. Graph. 27, 3.
[3] WOLF, L., GUTTMANN, M., AND COHEN-OR, D. 2007. Non-homogeneous content-driven video-retargeting. In Proceedings of IEEE ICCV, 1–6.
[4] Yu-Shuen Wang, Chiew-Lan Tai, Olga Sorkine, and Tong-Yee Lee,"Optimized Scale-and-Stretch for Image Resizing,"  ACM Transactions on Graphics (SIGGRAPH Asia 2008 issue), Vol. 27, No. 5, Dec. 2008, Article 118.
< 上一篇
下一篇 >
Copyright National Cheng Kung University