第二十一卷 第七期 - 2012年三月二日 PDF
Counter
基於內容為主之影片縮放最佳化研究
王昱舜1、傅紅波2、Olga Sorkine3李同益1,*、Hans-Peter Seidel4
1 國立成功大學電機資訊學院資訊工程學系
2 香港城市大學創意媒體學院
3 Department of Computer Science, New York University
4 Max Planck Institute Informatik
 
字體放大
於不同螢幕的解析度和長寬比例上的差異,如傳統電視、數位電視和手持電話,近年來圖片與影片縮放的研究變得愈來愈熱門。傳統的做法是內插圖片中的內容來改變解析度。然而這種將全部內容做單一縮放的方法,很容易改變圖片中的人或是一些具有結構性物體的比例,產生縮放上的失真。於是,有一些學者利用裁切的方法,移除圖片週圍一些比較不重要的區域來改變圖片的大小。他們利用一些自動的方法偵測每一個區域的重要性,然後尋找一個可以包含最多資訊的裁切視窗,將內容的損失降至最低[1,2,3]。然而這種裁切的方法是有其限制的,如果重要的物體都緊鄰著圖片的週圍,那不論怎麼裁切都會將這些重要的物體移除。本研究中[3][4],我們提出一個基於內容為主的影片縮放技術(如圖一)。這些方法利用擠壓圖片中比較不重要的內容,來隱藏不等比例縮放所產生的瑕疵。例如壓扁天空中的雲就不會產生視覺上的不適。基於這項論點,我們的目的是將圖片中的每個區域作不等比例的變形,達到減少瑕疵的目的。與前人的方法相比,我們對每一個區域的大小與長寬比例作最佳化,使得縮放後的圖片更加自然。此外,此技術應用到影片上時[4],除了維持住重要物體的比例外,我們還必需維持相同的物體在不同的時間點的縮放是一致的。否則物體會忽大忽小,產生另一種時間上的瑕疵。為了達成這個目的,我們偵測物的運動軌跡,找出每個物體在不同時間點的關連性,然後限制這些套用在相關物體的變形是一致的。最後,我們利用最佳化技術,在時間和空間上尋找一個平衡點,將視覺上的失真降至最低(如圖二)。讀者可在本計畫網址取得更多實驗結果與簡介影片http://graphics.csie.ncku.edu.tw/VideoResizing/
圖一:此為本研究[4]基於內容為主自動影片縮放技術的流程圖,我們評估攝影機的運動軌跡,將影片段落裡每個幀(frame)進行空間上的對位(align),使其有相同物體有著相同位置座標。並且以網格架構(grid-based)進行最佳化計算,使相同物體於空間和時間性上能有一致的大小,最後重構已縮放後的影片,使其回到初始的座標系統,達到我們所要之效果。
圖二:每列從左到右:原始影像、線性縮放、[1]、[2]、[3]、本論文所提出之方法。很明顯地,只有我們的方法可以突顯影片裡重要的物體,並且維持其在空間與時間上的一致性。最主要的原因在於之前方法皆沒有考慮如何保持移動中的物體於時間上的一致性。

Reference:
  1. RUBINSTEIN, M., SHAMIR, A., AND AVIDAN, S. 2008. Improved seam carving for video retargeting. ACM Trans. Graph. 27, 3.
  2. WOLF, L., GUTTMANN, M., AND COHEN-OR, D. 2007. Non-homogeneous content-driven video-retargeting. In Proceedings of IEEE ICCV, 1–6.
  3. Yu-Shuen Wang, Chiew-Lan Tai, Olga Sorkine, and Tong-Yee Lee," Optimized Scale-and-Stretch for Image Resizing,"  ACM Transactions on Graphics (SIGGRAPH Asia 2008 issue), Vol. 27, No. 5, Dec. 2008, Article 118.
  4. Yu-Shuen Wang, Hongbo Fu, Olga Sorkine, Tong-Yee Lee and Hans-Peter Seidel, "Motion-Aware Temporal Coherence for Video Resizing," ACM Transaction on Graphics (Proceedings of SIGGRAPH Asia 2009), Vol. 28, No. 5, Dec. 2009, Article 118.
< 上一篇
下一篇 >
Copyright National Cheng Kung University