最近有件大事，11 月 15 日，經典電影《海上鋼琴師》4K 修復版即將登陸全國院線。歲月侵蝕的影片經典場景，在老膠片的保存下只剩模糊的影像。而此次經 4K 技術修復的版本，據說采用了先進的圖像超分辨率技術，分辨率和效果大幅度提升，磨損的視頻圖像恢復到當時拍電影時的真實效果，細節(jié)展現(xiàn)得淋漓盡致，光影清晰、細膩、賞心悅目。

這個圖像超分辨率技術黑科技到底是怎么回事，加持人工智能的視頻超分又是如何實現(xiàn)的呢？

什么是圖像超分辨率技術？

超分辨率 (Super-Resolution) 是一種通過硬件或軟件的方法提高原有圖像的分辨率的技術，其中，通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬 (獲取同一場景的多幀圖像序列) 換取空間分辨率, 實現(xiàn)時間分辨率向空間分辨率的轉換。

用通俗的話來講，超分辨率就是將圖像從下圖中左邊的樣子變成右邊的樣子。即提供更多的像素點，讓圖像的細節(jié)更加豐滿。如果從信號的角度看，那就是在原信號中補充出更多的高頻成分。

除了可以對傳統(tǒng)影視節(jié)目的視頻圖像進行修復重建外，這項技術在醫(yī)療圖像分析、生物特征識別、視頻監(jiān)控與安全等實際場景中也有著廣泛的應用。例如，警察可以通過超分辨率技術識別監(jiān)控視頻中的罪犯，醫(yī)生可以通過超分辨率技術得到更清晰的病灶圖像等等。

上圖是利用超分辨率技術處理視頻前后。處理前，視頻比較模糊、灰暗，視頻中的偽影較多；處理后，視頻在清晰度、明亮度上都有較大提升。

超分辨率技術的研究現(xiàn)狀

圖像的超分辨率復原技術主要分為兩大類，一是基于重建的方法，二是基于學習的方法。近年來，隨著深度學習的興起，圖像超分辨率技術出現(xiàn)了新的研究方向。基于深度學習的 SR（Super-Resolution），主要是基于單張低分辨率的重建方法，即 SISR(Single image Super-Resolution)。

SISR 是一個逆問題，對于一個低分辨率圖像，采用不同的方法得到的高分辨率圖像會略有不同。也就是說，可能存在許多不同的高分辨率圖像與之對應。因此，通常需要在求解高分辨率圖像時會加一個先驗信息進行規(guī)范化約束。在傳統(tǒng)的方法中，這個先驗信息可以通過若干成對出現(xiàn)的低-高分辨率圖像的實例中學到。而基于深度學習的 SR 通過神經網絡直接學習分辨率圖像到高分辨率圖像的端到端的映射函數。

目前，基于深度學習的 SR 方法有很多，從 2014 年的 SRCNN 開始，到 VDSR 和 NTIRE2018 的冠軍 WDSR，基于深度學習的超分辨技術不斷創(chuàng)新網絡架構、損失函數、學習策略，在特征提取、非線性映射和重建的架構上取得不斷突破。

為了獲得高質量的高分辨率圖像，滿足人們在實際生產生活中的各種需求，超分辨率圖像復原的研究發(fā)展方向主要集中在以下三個方面：

完善現(xiàn)有算法，不斷發(fā)展新的算法。這樣做目的在于提高超分辨率圖像復原的能力，減小計算量，加快運算的收斂速度，適用不同的圖像要求；

發(fā)展和尋求新的退化成像模型，使成像模型更加精確和全面，實現(xiàn)對點擴散函數和噪聲的精確估計；

在利用序列和多幅圖像的復原中，發(fā)展和尋求新的運動模型，能夠對運動進行精確估計。