第三十二卷 第一期 - 2020年一月三日 PDF
Counter
An Explicit and Scene-Adapted Definition of Convex Self-Similarity Prior with Application to Unsupervised Sentinel-2 Super-Resolution
林家祥1*, J. M. Bioucas-Dias2
1 Department of Electrical Engineering, and Institute of Computer and Communication Engineering, National Cheng Kung University
2 Instituto Superior Técnico, University of Lisbon
 
字體放大
像超解析乃衛星遙測、電腦視覺之根本問題,歐洲太空總署新發射的衛星(哨兵二號)扮演多個重要的地球觀測任務。因衛星離拍攝目標物甚遠,哨兵二號影像之每個像素約對應地表空間數百至數千平方公尺的面積,為提高分類精度、目標物辨識效能等,需提升其解析度,不像 RGB 影像只有三個頻帶(對應到三原色波段),最具挑戰性的部分之一乃哨兵二號衛星共有 13 個頻帶(含可見光、不可見光波段)、且各頻帶之解析度不同,導致傳統的超解析技術無法被使用,另一個挑戰性是哨兵二號乃新型衛星,因此缺乏足以訓練出高效能類神經網路的大數據,近年來熱門的深度學習技術因此也不適用。

左圖為低解析哨兵二號衛星影像(演算法輸入),右圖為其超解析影像(演算法輸出)。
本團隊(高光譜智慧運算實驗室)提出了一個全新的非監督演算法,其性能與速度皆明顯超越此前最優越的 ATPRK 演算法,此突破完全不仰賴訓練模型、不需要大數據,我們只需要一張哨兵二號衛星影像,便能計算出遺失的空間細節。如何辦到的?

解鈴還須繫鈴人,既然遺失的是空間細節,那麼我們就從空間找答案。

理論的關鍵是採用自然影像具備的高度空間結構性,亦即自相似性,利用此先驗訊息彌補遺失的空間訊息,自相似性從未被具體定義,因此先前的機器學習技術皆需採用 plug-and-play (PnP) 處理對應之最佳化問題,其無法在一般情況保證演算法的收斂性。

本團隊首次把自相似的概念具體的用數學式定義出來,因此設計演算法時無需仰賴 PnP、可直接破解最佳化問題之 closed-form solutions,因此得到一個高速演算法。此外,我們不但把自相似性定義出來、還把它定義成凸函數,具體來說,我們把自相似性描述成一個 weighted graph(其可從影像本身的紋理直接計算出來,因此可根據不同場景做自適應性調整)、然後把此 graph 嵌入一個 quadratic term,此凸性允許我們採用凸優化理論設計快速演算法(並證明出演算法的收斂性),其中牽涉到兩種形式的大型反矩陣運算亦被利用其 BCCB 結構、與稀疏結構做出高速計算。我們新定義的超解析數學框架之一般形式,亦允許我們計算出哨兵二號這種(各個頻帶之解析度不同的)影像之基底,因此我們可在低維度的特徵空間裡做(比原色彩空間)更穩定的空間細節計算。最後以一首七言絕句總結:

蒐集大數據無需、
訓練模型也不需。
若要得出其細節,
予一組數據足歟!
< 上一篇
下一篇 >
Copyright National Cheng Kung University