業(yè)界似乎在檢測和修正音像同步誤差方面正在取得某些進展,這在去年的AES大會、IEEE BTS研討會、SMPTE技術(shù)研討會和ATSC響度研討會上有所體現(xiàn)。
在各種動態(tài)節(jié)目素材播出時進行精確的、不中斷服務(wù)的測量是復(fù)雜的。新興的音頻/視頻指紋識別技術(shù)也許掌握大量解決方案的關(guān)鍵。
分析數(shù)據(jù)
用一句話概括此應(yīng)用,指紋識別或相關(guān)技術(shù)包括兩個信號的比較,其中一個是已知無音像同步誤差的參考信號,而第二個信號則位于信號鏈內(nèi)的某處。
此第二信號實際上可在信號鏈內(nèi)許多不同的位置獲得:從主控系統(tǒng)的最后輸出信號,一直到使用一臺專業(yè)綜合接收解碼器(IRD)或消費機頂盒接收的無線廣播信號、有線電視信號、衛(wèi)星廣播信號或光纖傳輸?shù)男盘枴?
采用這種方式,每個子系統(tǒng)都可對音像同步誤差進行檢查,因此在信號從一個子系統(tǒng)傳輸?shù)较乱粋€時可以極其有效地防止誤差累積。
從已知的好信號源開始,指紋識別算法分析和提取其特征、指紋、相關(guān)數(shù)據(jù)或來自音頻和視頻的A/V簽名(視哪個公司而定)。
指紋數(shù)據(jù)對每幀視頻和某時間段音頻都是唯一的,取決于進行指紋識別測量的系統(tǒng),可一個通道接著一個通道,作為如立體聲或5.1的一個整體,或幾個選擇的通道分析音頻。
此信號鏈的下端,一個目的地信號接受此分析。
如果此目的地信號被送進與信號源一樣的分析儀,那么在內(nèi)部比較此相關(guān)數(shù)據(jù)。此比較可以產(chǎn)生某些結(jié)果,如核實這兩個信號確實有相同的內(nèi)容,從信號源到目的地的延遲,以及音頻和視頻之間的相對延遲(音像同步誤差)。
如果信號源和目的地信號物理上相隔很遠,它們在每個位置各需要一個指紋分析儀。相關(guān)數(shù)據(jù)(通常為低碼率數(shù)據(jù)流)則必須以同一方式從信號源傳輸?shù)侥康牡兀缇钟蚓W(wǎng)或廣域網(wǎng)或衛(wèi)星數(shù)據(jù)鏈路上的一個IP通路。在現(xiàn)在可用的系統(tǒng)或正在研究的系統(tǒng)中,相關(guān)數(shù)據(jù)通路的定時并不是關(guān)鍵性的。
如果在源和目的地之間檢測音像同步誤差,檢測誤差的系統(tǒng)可以做兩件事的其中一件:通過某些方式向操作員發(fā)出存在一個誤差的警報,因此該操作員能選擇如何糾正它;或系統(tǒng)能控制某些設(shè)備,自動進行音頻或視頻內(nèi)的延遲糾正,無論哪個需要延遲糾正。
使用指紋識別技術(shù),源或目的地信號本身沒有變化,這與計時碼被插入視頻源的某些水印技術(shù)不同。
指紋識別的另一優(yōu)點是相關(guān)數(shù)據(jù)源自內(nèi)容本身,而非一個信號的格式。這允許離開主控系統(tǒng)的一個HD 5.1環(huán)繞聲信號到一個來自消費機頂盒的NTSC立體聲信號之間的比較。
指紋識別的一個潛在缺點是每家廠商都有專有算法,各有專利權(quán)或?qū)@暾堉小_@意味著來自一個廠商的產(chǎn)品的相關(guān)數(shù)據(jù)流與另一個廠商的指紋識別分析引擎不兼容。當前這種互操作性的缺失可能阻礙普遍的實施。不過,SMPTE已經(jīng)注意到了此領(lǐng)域中標準的要求,SMPTE 22TV Lip Sync特別小組在承擔此任務(wù)。
指紋識別現(xiàn)已可用
指紋識別技術(shù)沒有停留在技術(shù)上,它已經(jīng)得到實際使用。
Miranda公司在其Densite模塊化產(chǎn)品系列中有一塊卡HLP-1801,它執(zhí)行兩個信號(一直信號源和未知目的地信號)上的音像同步誤差測量。
“此卡有兩個獨立的指紋識別發(fā)生器引擎,同時完成對兩個信號的分析,”Miranda高級副總裁Marco Lopez說,“指紋識別是一場一場進行的,產(chǎn)生一個什么視頻和音頻內(nèi)容針對該場的獨特指紋。”
此分析儀首先檢查內(nèi)容在源和目的地是否相同。如果一致,則進而檢查音像同步誤差。(如果內(nèi)容不同,繼續(xù)進行進一步分析毫無意義。)
HLP-1801可配套Miranda基于SNMP的iControl多頻道播出監(jiān)測系統(tǒng)使用,后者能捕獲誤差指示且執(zhí)行如警告操作員的某些動作,或?qū)iranda另一處理卡作一延遲調(diào)整。HLP-801分析最多16個音頻通道。
Lopez說:“每一個通道有其特有的指紋。這樣我們可以測量相位間任何相位偏移。音頻測量的準確度為(+/-)1ms。”
此卡還可用于音頻或視頻存在檢測等其它作用。
Miranda預(yù)計不久就推出一種支持多點、多地音像同步監(jiān)測的iControl版本,使如電視網(wǎng)等監(jiān)測來自附屬臺的返送信號。
Evertz IntelliTrak節(jié)目視頻和音頻音像同步分析儀時間分片音頻和視頻信號,并且做IntelliTrak數(shù)學運算及產(chǎn)生相關(guān)數(shù)據(jù),Evertz產(chǎn)品經(jīng)理Tony Zare表示,“它尋找關(guān)于音頻和視頻內(nèi)容的特性,并且及時產(chǎn)生大量代表視頻幀和音頻幀的一個數(shù)字。從這些信息,IntelliTrack算法然后決定貫穿信號鏈的延遲。這種做法無需任何視頻和音頻水印,因而被稱為一種完全非介入式系統(tǒng)。”
IntelliTrak能以不同的可選擇方式處理音頻。它能作為一個實體分析5.1環(huán)繞聲,或在例如它比較左和右、右和右聲道時考察分離聲道,并產(chǎn)生各自的音像同步誤差。
此系統(tǒng)還能將一個Dolby E信號與另一個Dolby E相比較,以及將AC-3與另一個AC-3相比較。根據(jù)Zare的說法,IntelliTrak具有少于1ms的測量精確度。
此技術(shù)的一個應(yīng)用是使用臺內(nèi)矩陣切換臺把兩個信號選入一個IntelliTrack設(shè)備,以測量兩點間的音像同步誤差。另一應(yīng)用是在轉(zhuǎn)播車地點使用IntelliTrak,產(chǎn)生恰好在源地點的相關(guān)數(shù)據(jù),然后把此數(shù)據(jù)經(jīng)由IP鏈路傳輸?shù)脚_內(nèi)。
IntelliTrak由該公司的研發(fā)組研發(fā),作為一種可用于Evertz一系列產(chǎn)品(如幀同步器、分配放大器矩陣切換臺和多畫面顯示系統(tǒng)等)內(nèi)的軟件核心。
每塊IntelliTrac模塊都有一個SNMP陷阱,因此能嵌入一個如Evertz VistaLINK網(wǎng)管系統(tǒng)等的監(jiān)測系統(tǒng),用于音像同步誤差的通知或校正。
如果檢測到一個誤差,如何去做?
Zare說:“如果你想用此系統(tǒng)進行快速修復(fù)(自動校正),該系統(tǒng)是可以做的,但這并非真正的解決方案。真正的能力是用它精確地找到出差問題的所在。”Zare表示他在一些電視臺做演示時,感覺不到音像同步誤差,但IntelliTrak發(fā)現(xiàn)了它們。
杜比在過去4年一直在研究指紋識別技術(shù)。雖然尚無產(chǎn)品,但杜比實驗室的Kent Terry和Regunathan Radhakrishnan在SMPTE技術(shù)會議上提交了“用音頻和視頻指紋檢測和校正音像同步誤差”的報告和一些實驗結(jié)果。
在該論文內(nèi)闡述的技術(shù)旨在與如MPEG壓縮、幅形比轉(zhuǎn)換和取樣率轉(zhuǎn)換等的典型信號處理協(xié)同工作,這些類型的信號處理被用于正常的播出鏈,但不適用于在制作中完成的更昂貴的處理。它還可適用于基于文件的系統(tǒng)。 [Page]
作為適用于此應(yīng)用的指紋識別系統(tǒng)的典型,該技術(shù)比較兩個信號。
杜比實驗室高級工程師Kent Terry說,第一步是從一個你有正確同步的點測量和產(chǎn)生一個音視頻同步簽名。從那時起,在下游點測量并計量或校正任何音像同步誤差。此系統(tǒng)的音像同步精確度為+/- 10ms。
A/V同步簽名是從音頻和視頻內(nèi)容提取出來的一個特征表現(xiàn),并且必須以某種方式從參考信號分析儀傳輸?shù)较掠蔚男盘柗治鰞x(如圖所示)。IP鏈路能完成此工作。但此簽名數(shù)據(jù)并不一定直接附屬于音頻或視頻內(nèi)容,這是其優(yōu)點之一。
杜比提出的此技術(shù)還包含一種預(yù)測產(chǎn)生的同步誤差數(shù)字可靠程度的方式。
隨著指紋識別技術(shù)的發(fā)展和實施,以及隨著互操作性標準的制定和遵循,解決這些惱人的音像同步問題的未來看起來比較光明。然而,這種技術(shù)應(yīng)該替代不了良好的系統(tǒng)設(shè)計、保持正確的MPEG時間標記、重視詳情和嚴密監(jiān)測信號。

音頻延遲和視頻延遲間的差異即A/V同步誤差