【摘要】 本文敘述了在廣播電視臺融媒體技術(shù)體系中轉(zhuǎn)碼云平臺的定位、構(gòu)成和實(shí)現(xiàn)方式，闡明了基于混合云概念的轉(zhuǎn)碼平臺的設(shè)計(jì)原理和采用的關(guān)鍵技術(shù)。
【關(guān)鍵詞】轉(zhuǎn)碼云 混合云 服務(wù)抽象化 SDI/IP 統(tǒng)一調(diào)度 N+M備份
引言
在廣播電視臺的融合媒體構(gòu)架中，轉(zhuǎn)碼平臺是起到核心作用的基礎(chǔ)平臺。無論是傳統(tǒng)媒體信源轉(zhuǎn)換成新媒體資源，還是新媒體各應(yīng)用系統(tǒng)之間的素材交換都離不開一個穩(wěn)健、強(qiáng)大的轉(zhuǎn)碼系統(tǒng)?？梢哉f轉(zhuǎn)碼系統(tǒng)是媒體資源融合生產(chǎn)和發(fā)布的前提條件，如何高效實(shí)現(xiàn)轉(zhuǎn)碼系統(tǒng)也是融媒體系統(tǒng)能否高效運(yùn)行的前提條件。
在黑龍江廣播電視臺融媒體技術(shù)架構(gòu)中，我們將轉(zhuǎn)碼平臺定位為基礎(chǔ)技術(shù)支撐平臺的核心業(yè)務(wù)平臺。在融媒體架構(gòu)下，業(yè)務(wù)種類非常豐富，既有網(wǎng)臺、手機(jī)電視等新媒體應(yīng)用，又有IPTV等準(zhǔn)新媒體應(yīng)用，更包含非編網(wǎng)、媒資系統(tǒng)等傳統(tǒng)媒體業(yè)務(wù)平臺，在這種場景下，要求轉(zhuǎn)碼平臺具備很強(qiáng)的性能彈性和良好的擴(kuò)展性能才能與融合生產(chǎn)機(jī)制適配。為此，我們采用了云系統(tǒng)體系結(jié)構(gòu)來實(shí)現(xiàn)轉(zhuǎn)碼平臺，我們對整個轉(zhuǎn)碼平臺進(jìn)行了硬件的透明化和服務(wù)抽象化的設(shè)計(jì)和實(shí)現(xiàn)，保證了底層熱擴(kuò)展和隨意伸縮及性能調(diào)配的自由度，同時通過服務(wù)抽象化大大簡化了各業(yè)務(wù)系統(tǒng)使用轉(zhuǎn)碼平臺的復(fù)雜度。另外，為了保證新媒體直播和轉(zhuǎn)播的效率，我們對外場直播需求的實(shí)時編碼采用了公有云方案，保證了外場轉(zhuǎn)播最快速地發(fā)往同樣位于公有云的直播服務(wù)器，減少傳輸環(huán)節(jié)，最大限度保證了直播的低延遲和流暢性。通過這種私有云和公有云結(jié)合的混合云架構(gòu)轉(zhuǎn)碼系統(tǒng)，我們最大限度實(shí)現(xiàn)了融媒體平臺高效流暢的基礎(chǔ)編碼支撐服務(wù)。
一．轉(zhuǎn)碼平臺的云體系架構(gòu)設(shè)計(jì)
1．混合云架構(gòu)設(shè)計(jì)
黑龍江廣播電視臺的轉(zhuǎn)碼平臺采用混合云架構(gòu)實(shí)現(xiàn)。一般來說，采用混合云架構(gòu)一般都是企業(yè)出于安全性考慮，將私有數(shù)據(jù)放置于私有云中，同時可以充分利用公有云的強(qiáng)大計(jì)算資源而采取的折中方案?；旌显频募軜?gòu)如圖1所示：
圖1 混合云架構(gòu)示意圖
在黑龍江廣播電視臺的轉(zhuǎn)碼體系中，采用混合云架構(gòu)首要考慮的因素是效率。為了保證訪問的流暢和對大規(guī)模用戶的支持，我臺的新媒體直播服務(wù)器大都部署在公有云上，如果編碼采用私有云，則直播時需要將信號傳輸回臺內(nèi)，轉(zhuǎn)碼后再通過臺內(nèi)平臺發(fā)布到公有云平臺，這種方式會造成轉(zhuǎn)播信號延遲增大，傳輸故障增加，卡頓現(xiàn)象增多。所以針對外場新媒體直播信號，我們均采用公有云編碼方案，直接將信號編碼后推送給公有云上的直播平臺。
另一方面，對于臺內(nèi)的各種直播信號以及臺外電視轉(zhuǎn)播信號，我們在臺內(nèi)構(gòu)建來強(qiáng)大的私有云轉(zhuǎn)碼平臺，能夠?yàn)榕_內(nèi)的各種直播信號、視音頻制作文件等提供強(qiáng)大的轉(zhuǎn)碼服務(wù)，并智能推送到各個發(fā)布平臺，完成融媒體系統(tǒng)內(nèi)的文件交換過程。
2．公有云轉(zhuǎn)碼服務(wù)系統(tǒng)
公有云轉(zhuǎn)碼系統(tǒng)主要用于新媒體網(wǎng)絡(luò)直播場景，如圖2所示：
圖2 公有云轉(zhuǎn)碼系統(tǒng)示意圖
公有云轉(zhuǎn)碼平臺提供基于單個直播流業(yè)務(wù)粒度的線路質(zhì)量智能監(jiān)控及實(shí)時動態(tài)的數(shù)據(jù)統(tǒng)計(jì)，提供自動容錯及全方位的數(shù)據(jù)分析，定位并優(yōu)化直播卡頓率，并實(shí)現(xiàn)了超低的延時。采用全新網(wǎng)格編碼算法，實(shí)時計(jì)算全鏈路狀態(tài)，按需智能配置最佳節(jié)點(diǎn)，實(shí)現(xiàn)了首頁秒開、千萬級并發(fā)等直播保障功能。
公有云轉(zhuǎn)碼平臺提供了多種類采集SDK和播放SDK，并開放云端API實(shí)現(xiàn)透明播控管理，助力平臺快速構(gòu)建直播平臺的核心業(yè)務(wù)，提高開發(fā)效率。轉(zhuǎn)碼系統(tǒng)還具備了實(shí)時錄制、實(shí)時水印、實(shí)時截圖、美顏濾鏡等眾多與網(wǎng)絡(luò)直播緊密結(jié)合的服務(wù)模塊。
公有云轉(zhuǎn)碼平臺具備多重安全措施，如推流、播放認(rèn)證、防盜鏈及鑒黃服務(wù)等，有效保障直播的安全。公有云提供的安全保障能力也是我們采用公有云編碼服務(wù)的重要原因。
3．私有云架構(gòu)設(shè)計(jì)
與公有云轉(zhuǎn)碼系統(tǒng)定位于新媒體直播的補(bǔ)充平臺不同，私有云轉(zhuǎn)碼平臺是融媒體轉(zhuǎn)碼平臺的核心部分。我們的私有轉(zhuǎn)碼云平臺實(shí)現(xiàn)了三層架構(gòu)的云平臺系統(tǒng)，如圖3所示：
圖3私有云轉(zhuǎn)碼系統(tǒng)架構(gòu)圖
私有云轉(zhuǎn)碼系統(tǒng)邏輯上由硬件層、邏輯抽象層和應(yīng)用層三個層面構(gòu)成。硬件層主要由編碼器硬件集群構(gòu)成，通過離線編碼集群和在線編碼集群及調(diào)度服務(wù)器等構(gòu)成了云編碼系統(tǒng)的IaaS層。所不同的是，我們的云編碼系統(tǒng)不對外提供IaaS層服務(wù)，這個硬件層純粹是為了上層服務(wù)提供支持。
邏輯抽象層把底層的編碼集群抽象成單一的編碼服務(wù)，本系統(tǒng)中，我們并沒有采用硬件虛擬技術(shù)，但依然實(shí)現(xiàn)了硬件的抽象化，我們可以按性能需求將物理編碼集群分割成若干邏輯編碼器，用戶可見的是系統(tǒng)可分配的邏輯編碼器的數(shù)量，而無需關(guān)心物理硬件構(gòu)成。在這個層面，用戶可見的是流編碼接口和文件編碼接口兩類開發(fā)工具，通過該P(yáng)aaS層工具，我們可以向系統(tǒng)申請一個流編碼資源或文件編碼資源，而無需了解底層的硬件構(gòu)成和編碼能力。
應(yīng)用層（SaaS層）把編碼服務(wù)封裝成了應(yīng)用，用戶通過任務(wù)管理應(yīng)用可以創(chuàng)建、修改、撤銷一個流編碼任務(wù)或文件編碼任務(wù)，通過填寫工單的形式就可以創(chuàng)建一個所需的編碼任務(wù)，然后通過文件調(diào)度或者碼流調(diào)度應(yīng)用模塊，將編碼任務(wù)的輸出調(diào)度到自己所需的目的地。
從圖3還可以看出，將編碼系統(tǒng)分成三個層次加以實(shí)現(xiàn)，底層的任何變化，不會影響上層原有功能，底層熱擴(kuò)展帶來的性能擴(kuò)充可以透明傳導(dǎo)到上層，上層自動獲得了能力的提升，此外，上層還可以根據(jù)需要不斷擴(kuò)充功能模塊而無需對底層直接操控。
二．轉(zhuǎn)碼云平臺的構(gòu)成與實(shí)現(xiàn)
在黑龍江廣播電視臺的融媒體平臺中，編碼源有IP流、SDI流和文件三種，對應(yīng)的編碼后需求有IP流、文件兩種。轉(zhuǎn)碼云平臺的系統(tǒng)圖如圖4所示：
圖4轉(zhuǎn)碼云系統(tǒng)圖
轉(zhuǎn)碼云系統(tǒng)包含離線編碼器集群、在線編碼器集群、編碼器集群備份、集群管理服務(wù)器、SDI矩陣、管理工作站及主備信源交換機(jī)和主備輸出交換機(jī)構(gòu)成。
SDI信源通過跳線盤連入矩陣，每臺物理編碼器提供4路SDI輸入，矩陣輸出4*N路接入編碼器集群，矩陣信號由管理服務(wù)器和工作站與IP信號實(shí)現(xiàn)了統(tǒng)一調(diào)度，矩陣僅在應(yīng)急時手動操作，其余一律由調(diào)度服務(wù)器自動調(diào)度信號。
IP流信號經(jīng)萬兆鏈路分主備分別接入主備信源交換機(jī)，編碼集群能夠自動偵測主備信源狀態(tài)并實(shí)現(xiàn)自動切換，轉(zhuǎn)碼后的IP流經(jīng)主備輸出交換機(jī)分別傳輸?shù)侥康牡卮a流服務(wù)器。轉(zhuǎn)碼后如果生成文件也自動根據(jù)配置信息推送至目標(biāo)存儲位置，并自動生成元數(shù)據(jù)信息。視頻源文件會被編碼集群按工單參數(shù)自動讀取，完成轉(zhuǎn)碼過程。以上闡述的是編碼云底層的物理構(gòu)成和基礎(chǔ)工作方式，需要強(qiáng)調(diào)的是，在用戶端不允許直接訪問硬件層，所以編碼云的底層工作方式對用戶透明，用戶只需調(diào)用PaaS或SaaS層工具即可完成轉(zhuǎn)碼任務(wù)并監(jiān)控工作流程和進(jìn)度。
三．轉(zhuǎn)碼云平臺的保障機(jī)制
切換機(jī)制、主備信源輸出機(jī)制、N+M備份機(jī)制
與一般系統(tǒng)平臺不同，云系統(tǒng)在帶給用戶便捷的同時，也更加難以維護(hù)，為了確保云系統(tǒng)無故障運(yùn)行和系統(tǒng)的健壯性，我們在云轉(zhuǎn)碼系統(tǒng)中設(shè)計(jì)了多重安全保障措施，確保云系統(tǒng)7*24小時流暢運(yùn)行。
物理單設(shè)備級安全保障
單機(jī)設(shè)備安全是系統(tǒng)安全的基礎(chǔ)，我們?yōu)槊颗_物理設(shè)備配備了雙電源冗余，并支持熱插拔；提供多個千兆以太網(wǎng)口，輸入、輸出、通訊獨(dú)立網(wǎng)口均采用雙路聚合配置，每對網(wǎng)口采用冗余綁定，并能夠?qū)崿F(xiàn)故障網(wǎng)口自動漂移；物理設(shè)備均采用Linux操作系統(tǒng)，防止病毒入侵；設(shè)備本身提供聲光報(bào)警和聯(lián)網(wǎng)管控軟件；
信號級安全保障
該云平臺的一大特色是支持主備異構(gòu)信號源同時接入系統(tǒng)，主/備路信號的音視頻編碼格式甚至可以不一致，例如雙路衛(wèi)星信號就可以同時接入AVS+和H.264的主備信號；系統(tǒng)會根據(jù)信號質(zhì)量自動選擇信號源。同時支持主備異構(gòu)信號流協(xié)議，方便從不同來源獲取信號；當(dāng)主、備信源均失效時，系統(tǒng)能夠自動加載墊片輸出；支持手動啟用主/備/墊片信源編碼輸出；支持不同網(wǎng)口雙路鏡像輸出。通過一系列的信號保障措施，我們的云編碼系統(tǒng)實(shí)現(xiàn)了廣播級的信號轉(zhuǎn)換和調(diào)度。集群對信號的切換設(shè)置如圖5所示：
圖5信源自動切換配置示意圖
可以看出當(dāng)信源中斷，超過N秒、信源目標(biāo)不可達(dá)、網(wǎng)卡處于link狀態(tài)，但是信源目標(biāo)不可達(dá)、信源目標(biāo)可達(dá)，無數(shù)據(jù)或數(shù)據(jù)包數(shù)量為0、Program ID變化、視頻流丟失、音頻流丟失、信源丟包，連續(xù)計(jì)數(shù)器錯誤等等情況下，都可以觸發(fā)系統(tǒng)的信源切換操作。SDI信號主備的切換通過服務(wù)器對主備信號的監(jiān)測，對矩陣直接操控完成。
系統(tǒng)級安全保障
云轉(zhuǎn)碼系統(tǒng)采用集群網(wǎng)管控制器，對多個在線編轉(zhuǎn)碼設(shè)備實(shí)時集群管理；支持N+M安全備份策略，備份策略可在線熱調(diào)整；集群控制器采用1+1主備，雙機(jī)心跳監(jiān)測與接管倒換；即使集群控制器失效宕機(jī)，在維護(hù)時間范圍內(nèi)也不影響編轉(zhuǎn)碼設(shè)備工作；在N+M模式下，針對每臺設(shè)備上的4路SDI信號，當(dāng)該設(shè)備故障需將任務(wù)漂移到其他機(jī)器時，4路SDI輸出會自動按漂移策略，由控制服務(wù)器操作矩陣將SDI輸出調(diào)整到新設(shè)備上。通過系統(tǒng)級的保障手段，打造了一個安全健壯，完全適配融媒體應(yīng)用的轉(zhuǎn)碼云系統(tǒng)。
四．結(jié)束語
黑龍江廣播電視臺轉(zhuǎn)碼云平臺作為我臺融媒體技術(shù)平臺的重要組成部分和基礎(chǔ)支撐平臺，已經(jīng)正式上線投入使用，該平臺支持專業(yè)高清格式如MPEG2 I幀、MXF等，同時支持H.264、H.265以及AVS+等編碼方式，支持UDP、RTP、HTTP、HLS等協(xié)議，使得這套轉(zhuǎn)碼云平臺在IPTV業(yè)務(wù)、手機(jī)電視業(yè)務(wù)、網(wǎng)臺業(yè)務(wù)以及傳統(tǒng)高清制播業(yè)務(wù)都得到了廣泛的應(yīng)用，隨著融合媒體的建設(shè)推進(jìn)，轉(zhuǎn)碼云平臺也必將發(fā)揮出越來越大的作用。