關鍵詞:視頻服務器 圖像質量 主觀評價
前言
在新一代數字播出系統中,視頻服務器已經成為最主要的信號源,并占有重要地位。已采用視頻服務器進行播出的系統中,由視頻服務器提供播出信號的時間通常占總播出時間的60%-80%,以全硬盤播出方式的甚至達到90%。視頻服務器的性能對全系統性能起著重要影響,其技術指標也對全系統指標起到決定作用。
視頻服務器技術指標包含三個方面:最基本的是視頻服務器的信號指標;作為播出系統中唯一對圖像進行壓縮處理的設備,視頻服務器還原圖像質量是決定播出圖像最終質量的主要因素;作為多通道輸入輸出的計算機設備,視頻服務器的整體綜合性能也是重要的技術指標。
其中,視頻服務器還原圖像質量的評定是以其主觀評價為依據的。由于在測試儀器、方法等各方面還存在不少限制,視頻服務器還原圖像質量的主觀評價未能普遍在電視臺播出系統中實現客觀和綜合的比較。
為了盡可能了解視頻服務器還原圖像質量的普遍特點和規律,我們對某品牌視頻服務器在不同條件下的還原圖像質量進行了一次粗略測試,嘗試對視頻服務器還原圖像進行主觀評價。
視頻服務器還原圖像質量的主觀評價
在全數字播出系統中,一般的視頻設備都是基于非壓縮的SDI信號進行處理,不對信號數字碼(0、1碼)進行任何轉換;視頻服務器對視音頻信號的處理則是對基于信號的圖像內容進行MPEG-2壓縮。MPEG-2編碼是圖像信息的提取,其過程存在信息丟失,因此該過程是有損壓縮。對視頻服務器輸出后的圖像進行的主觀評價屬于損傷評價(Impairment Assessment )。
全數字播出系統的基帶信號是以ITU601標準進行傳輸的,只要保證信號信息從前一級設備正確地傳到后一級設備(眼開度能正確分辨0和1),那在整個播出系統中對視頻信號產生損失的就只有視頻服務器。因此,視頻服務器的還原圖像主觀評價的等級,就決定了整個播出系統從最前級到最后級對圖像信息的保持程度。視頻服務器帶來的信號信息損失幾乎是整個系統對信號圖像信息的損失。
在這里需要說明以下前提:1、這里不存在量化誤差(數字SDI輸入);2、在單一編解碼一體設備內,不存在傳輸過程的數據誤碼或丟失;3、在單一編解碼一體設備內,一般不出現由于解碼性能導致的還原圖像質量的損失。
影響視頻服務器還原圖像質量的因素主要有兩方面:一方面是硬件因素,就是視頻服務器設置的編碼參數;另一方面是圖像內容,它是由圖像的亮度和色度以及空間和時間的各種復雜性組合體現的。
視頻服務器還原圖像主觀評價的模擬測試實驗
根據以上的兩個影響因素,我們制定了視頻服務器還原圖像主觀評價的模擬測試。
真正的圖像主觀評價需要一整套嚴格細致的測試流程和多個專業的評測人員,這樣的測試在一般情況下顯然不實際。因此,只能借助于儀器完成這一過程,而且是需要快捷和有效地進行大量測試。基于此原因,本次測試借助于泰克公司的PQA300測試儀,對視頻服務器還原圖像質量進行模擬主觀評價。之所以稱為“模擬”,是因為其過程并不是按照主觀評價標準執行的,是借助于設備來得到相對接近的評價結果。具體安排如下:
1、被測設備:視頻服務器編碼解碼通道
2、測試儀器:Tektronix測試儀PQA300
3、輸入信號格式:數字視頻SDI(ITU601)
4、測試對象:輸出信號圖像質量(與PQA300提供的原輸入信號圖像比較)
5、改變硬件參數,提供不同壓縮方式
● 編碼格式:
■ MP@ML
■ 422P@ML
● 碼流
■ 6-15Mbps (MP@ML)
■ 10-50Mbps(422P@ML)
■ 幀結構
■ IBP幀(不同長度GOP)
■ I幀
6、輸入不同內容圖像--使圖像出現亮度和色度、空間和時間的不同特性的組合
● 亮度細節(CCIR 26 Kiel Harbor 4)
● 色度細節(CCIR 15 Flower Garden)
● 橫向/縱向運動(CCIR 30 Mobile and Calendar)
● 圓周運動:縱向+橫向的運動組合(CCIR 23 BBC disc)
● 隨機運動(CCIR 29 Table tennis)
● 人物(臉部、頭發等)畫面:對人特寫畫面的還原(CCIR 43 Diva)
● 含字幕的運動畫面:運動背景下對靜止精細內容的還原(CCIR 43 Diva)
● 鏡頭運動:整體畫面的運動(CCIR 15 Flower Garden)
根據現有播出系統使用的習慣、以及大多數圖像的性質,我們按照上面提及的兩方面因素,設定不同的參數及有代表性的序列進行測試,記得如下數據(由于測試時間所限,部分數據未能測試完整)
序號 | 幀結構 | 編碼 格式 | 碼流 Mbps | 圖像序列名稱 |
CCIR 26 Kiel Harbor 4 | CCIR 29 Table tennis | CCIR 23 BBC disc | CCIR 15 Flower Garden | CCIR 30 Mobile and Calendar | CCIR 43 Diva | RAI Soccer |
| Characteristic (圖像特征) | Luminance detail. Landscape | Multiple random motion, sport | Random movement | Color details, Landscape | Random motion of objects | Titles on busy scene | Sports action |
| Motion (圖像運動方式) | Zoom | Pan | Circular | Slow Pan | Slow | Slow | Fast |
| | 還原圖像平均PQR值(Luma & Chroma) |
1 | IBBP | 4:2:0 | 8 | 5.93 | 4.03 | 2.95 | 3.52 | 5.14 | 2.93 | 4.73 |
2 | 10 | 4.54 | | | | | | |
3 | 12 | 4.05 | 3.47 | 2.31 | 2.82 | 4.28 | | 3.65 |
5 | 4:2:2 | 10 | 4.86 | | | | | | |
6 | 12 | 4.21 | 3.28 | 2.22 | | 3.63 | | 3.56 |
7 | 15 | 3.37 | | | | | | |
9 | I | 4:2:2 | 25 | 1.78 | | | | | | 1.32 |
10 | 50 | 4 | | | | | | |
說明:Tektronix PQA300測試儀采用的是一種人類視覺系統模型JNDmetrix ,該模型以Sarnoff 公司近幾年的研究成果為基礎。PQA300 對復雜的活動測試序列進行必要的三維測評:即空間分析、時域分析和全彩色分析。PQA300 的圖像質量分析,具有測量的重復一致性和客觀性,它可直接取代主觀的人眼視覺評估。在對壓縮視頻系統進行測試時,PQA300既可作為提供參考測試素材的發生器,又可作為參考測試素材的分析儀。PQA300 存儲被測系統的輸出,并用DSP(數字信號處理器)加速硬件對經壓縮后回放的序列進行分析,圖像質量的測量結果用一單個數值來表示,該數值即稱為圖像質量率(PQR)。PQR值越小還原圖像質量越高。其中,2<PQR<5時,圖像質量有輕微損傷,專業觀眾可察覺;PQR>5時,圖像信息損失達到了普通觀眾肉眼可察覺程度。
編碼參數對還原圖像質量的影響
視頻服務器的MPEG-2編碼參數是影響還原圖像質量的硬件因素,是內因。因此,我們著重分析同一個圖像采用不同的編碼參數,導致不同的還原圖像質量結果。以下以CCIR 26 Kiel Harbor圖像序列為例進行分析。
編碼格式
視頻服務器對圖像的編碼格式決定視頻信號在視頻服務器中存儲的文件格式,這也是視頻服務器壓縮運算的最重要的參數。編碼格式主要表現在圖像的采樣方式,
通常以兩種方式為主:MP@ML和422P@ML。
從上圖的采樣示例可以看出,這兩種方式最重要的區別就是對色度采樣的比例不同,MP@ML色度采樣與總數據比例是(4+4)/(16+4+4)=1/3,422P@ML色度采樣比例是(8+8)/(16+8+8)=1/2。也就是在相同碼流下,MP@ML在單位數據中比422P@ML多1/6亮度信息(忽略其他輔助數據)。從圖像主觀評價方法分析,人眼對亮度的分辨率較色度敏感。因此在相同的數據量條件下,亮度信息相對增加會有利于圖像質量的提升。
在本次實驗中,在10Mbps下對Kiel Harbor圖像在MP@ML和422P@ML條件下所得到的PQR分別是4.54和4.86;12Mbps下則是4.05和4.21。這個數字表明在以亮度信息作為還原圖像主觀評價的主要依據條件下,一定碼流和幀結構的MP@ML的PQR值更低。當然,這在碼流達到12Mbps后會因為亮度信息趨近飽和以及色度信息有效性增強而使422P@ML的PQR值比MP@ML低。
碼流
如果說編碼格式是影響視頻服務器還原圖像質量的重要因素,那服務器的MPEG-2編碼碼流設置則是決定性因素。從實驗結果看出,在同一編碼格式前提下,碼流越高,還原圖像質量越高。仍以CCIR 26 Kiel Harbor為例作說明:
對于MP@ML編碼方式:8Mbps碼流還原圖像質量較差,達到了肉眼較容易察覺的程度,PQR接近6;10Mbps圖像質量進入較好層次;到了12Mbps,還原圖像PQR接近4。從這個圖像來看,到了10Mbps以上,圖像質量的提升就不快了。
對于422P@ML編碼方式: 10Mbps碼流還原圖像質量PQR已少于5;12Mbps圖像質量進入較好;到了15Mbps,還原圖像PQR低于4。從這個圖像來看,422P@ML編碼方式在12Mbps以上時,圖像質量的提升就不快了。
對于相同碼流,MP@ML編碼方式下10Mbps的還原圖像質量比422P@ML高;在12Mbps時相近;而在15Mbps時PQR值明顯改善。再參考其他圖像PQR值,它們在12Mbps時接近甚至好于MP@ML編碼的圖像質量。因此,推測422P@ML編碼方式在12Mbps以上時,圖像質量開始比同碼流的MP@ML編碼方式的好。
記錄表下面記錄的純I幀方式作為對比參數。可以看出,422P@ML 下50Mbps的圖像質量非常好(PQR<2);而25Mbps的圖像質量(PQR=4)反而不如422P@ML下的15Mbps,與MP@ML下12Mbps的PQR值相當。
根據以上分析,還原圖像質量有可能不是隨著碼流的增加呈直線上升趨勢,而會是一個上升曲線最后趨于平緩的結果。由于本次實驗時間較緊,只能以此少量數據供分析參考。
MPEG-2 幀結構
MPEG-2壓縮的幀結構有兩個參數,一個是GOP(Group Of Picture)圖像組的長度,一般可按編碼方式從1-15;另一個是I幀和P幀之間B幀的數量,一般是1-2個。前者在理論上記錄為N,即多少幀里面出現一次I幀;后者描述為多少幀里出現一次P幀,記錄為M。圖示的GOP是N=12,M=3。
我們通常認為MPEG-2的GOP長度越長,圖像壓縮效率越高,也即在同碼流同編碼格式前提下還原圖像質量越高。實驗中我們特別對視頻服務器設置了兩組不同GOP長度進行測試,結果卻與原觀念不同。同樣還是Kiel Harbor序列,在MP@ML 編碼和8Mbps條件下,GOP=15的還原圖像質量PQR=5.59;而GOP=9的圖像PQR=5.49,比GOP=15好。
當然,我們并不認為GOP越短圖像質量越高。這里面可能也是一個先上升后下降的曲線關系,在一定條件下GOP會有一個最佳值。另外,IBP幀結構也會對還原圖像質量產生影響。這兩者之間互相作用,存在一定關聯。由于本次實驗未盡充分,因此暫時無法對兩者的相互關系進行分析。
圖像內容對還原圖像質量的影響
對還原圖像質量的影響另一大類因素就是圖像內容。在PQR測試數據表中我們發現,相同的編碼條件下,不同圖像內容所測得的還原圖像質量也不相同。綜合分析,各個序列還原圖像PQR的相對大小并不隨著編碼參數的變化而變化。也就是如果一個圖像序列在某一編碼參數設置下測得的PQR值比另一圖像要低,那么在其他編碼參數設置下該圖像序列的PQR值同樣會比另一圖像低。在此前提下,我們以MP@ML編碼和8Mbps條件下的數據進行探討:
1、 CCIR 26 Kiel Harbor 4圖像質量損失最大,PQR接近6,說明在MPEG-2壓縮中,亮度細節越多圖像信息丟失得越多,當然這里的損失還包括快速推拉鏡頭引起的。
2、 CCIR 30 Mobile and Calendar的PQR也超過了5,可推斷含有隨機運動和運動鏡頭的圖像損失較多。
3、 序列RAI Soccer和CCIR 29 Table tennis都屬于運動圖像和運動鏡頭,圖像質量有一定的損失。
4、 CCIR 30 Mobile and Calendar圖像體現的更多是色度細節,其次是前后景運動速度的差異,圖像質量損失不多,印證了MPEG-2編碼格式中亮度和色度對圖像質量影響分析的區別。
5、 CCIR 43 Diva的圖像主要是字幕加復雜背景,其還原圖像質量較好。
6、 序列CCIR 23 BBC disc屬于緩慢的隨機運動和圓周運動,圖像質量最好。
僅以上述分析推斷,對于圖像內容的影響因素,圖像特征方面的第一大損傷因素是亮度細節,第二大損傷因素是隨機運動和位移,第三則是色度細節、復雜背景加字幕;鏡頭特征方面第一大損傷因素是快速搖鏡頭和推拉鏡頭,第二大損傷因素是常速搖鏡頭,第三則是鏡頭的圓周運動。
從本次實驗的記錄來看,圖像內容對還原圖像質量影響應該是非常大的。正如序列Kiel Harbor 4在422P@ML編碼和15M bps設置下的還原圖像質量還不如MP@ML和8M bps設置下的BBC disc。然而,圖像內容在節目里是隨機的,在實際播出中是無法控制還原圖像的最終質量。
平均圖像質量與單幀圖像質量
在過去認識MPEG-2圖像壓縮時,通常會認為MPEG-2里的B幀和P幀可以通過運算還原其對應位置圖像的所有信息。這樣的理解從圖像質量角度來看就等同于還原圖像的B幀和P幀的PQR值與I幀基本相同。
然而,從這次實驗最終輸出的圖像質量記錄表發現,B幀和P幀還原后并不能達到I幀的PQR值,而是比它低不少。P幀比I幀低,B幀更比P幀低。如圖:
這是CCIR 26 Kiel Harbor 4還原圖像按照場序號排列的PQR值折線圖。顯而易見,波谷兩場PQR最小,圖像質量越高,組成了I幀;波峰四場PQR最小,圖像質量最低,是兩個B幀;中間的波谷,就是P幀。這顯然就是一個完整MPEG-2圖像組(參見前面的GOP示意圖),N=12,M=3。隨后我們做了一次純I幀編碼的測試,果然其PQR值很平緩,驗證了我們以上的判斷。
如此看來,MPEG-2圖像解碼輸出并不能保持一個基本相同的圖像質量,而是會根據幀編碼的不同而呈現質量的高低差異。但從圖像主觀評價的原理理解,人眼的判斷是對動態圖像的平均主觀評價,而無法判定其中某一單幀的質量。而且,不管哪一單幀質量也無法代表整個圖像組的還原質量。因此,從視頻服務器而言,解壓后的MPEG-2還原圖像質量是其所有幀圖像質量的平均值。
當然,有些情況單幀圖像質量也是很重要的。如果是用于編輯,那B幀質量顯然不如I幀。也就是無論將長GOP的MPEG-2文件轉碼成純I幀圖像,還是直接解碼輸出SDI進行錄制,所得到的圖像質量都是不平均的。因此采用長GOP素材進行編輯的圖像質量會參差不齊,甚至會互相影響導致質量再次降低。
總結
本次測試由于時間匆忙,所測數據未盡完善,也無法完整得出結論。但作為嘗試,我們認為這些測試數據可做為對視頻服務器還原圖像主觀評價的探討依據。總結如下以供參考:
一、視頻服務器硬件因素對還原圖像質量的影響
1. 相同碼率下
相同幀結構時,在12Mbps碼流以下,MP@ML編碼的還原圖像質量比422P@ML好;
相同幀結構時,422P@ML編碼的還原圖像色度質量比MP@ML 好;
2. 視頻服務器的還原圖像質量是可調的,也就是要到指定的圖像質量指標,可通過調整服務器參數達到;
3. 不同視頻服務器的編碼效率有所不同,達到相同的還原圖像質量有不同的參數設置。
二、圖像內容因素對還原圖像質量的影響
1. 同等編碼條件下,靜止畫面的還原圖像質量遠比動態畫面高,但在一定程度下不會再有明顯改善;
2. 相對靜止和緩慢運動圖像占電視畫面的大部分,因此衡量還原圖像質量應以這部分畫面為基準;
3. 不同類型的節目,要達到相同的還原圖像質量,需要設置不同的硬件編碼參數,如:
體育節目運動圖像眾多,信號編碼的碼流就需要設置高一些;
綜藝節目色度細節較多,以422P@ML編碼比較合適。
需要說明的是,本次還原圖像主觀評價由泰克公司的PQA300測試儀模擬實現,以上的評測結果及分析僅依據本次實驗記錄,不作為視頻服務器評判的標準。
視頻服務器的技術指標不僅是(數字)信號指標,更重要是還原圖像質量,它代表該設備對圖像信息的還原程度。正是因為視頻服務器的MPEG-2編碼是有損壓縮,它是播出系統中帶來圖像質量下降最主要的設備,所以我們需要更清楚的了解這方面的情況,也就有了本次的實驗和這篇探討。
此文僅作為引玉之磚,希望各位同行提出批評指正。