【摘要】本文通過揚州電視臺云媒資系統總體架構,闡述了該媒資系統的結構組成和詳細的流程設計。最后作者從揚州臺云媒資系統實際出發,總結了實際調試和應用操作中的關鍵點和一些使用經驗,僅供參考。
【關鍵詞】媒體資產管理 云計算 ESB EMB 雙歸檔
一.引言
近年來,隨著廣電事業和文化產業的進一步繁榮與發展,各級電視臺節目收錄、編輯、存儲、播出系統的數字網絡化日臻完善。揚州電視臺先后建設了高清數字非編制作網系統、數字化播出系統、主干平臺系統和集中收錄系統等一大批在技術行業內有影響的項目。2013年開始,我臺著手建設全臺云媒資系統,本系統主要在現有主干平臺的基礎上利用云計算技術實現我臺的媒體資產存儲、管理、分發等應用,從而全面提升業務管理水平、提高信息使用效率、降低整體運行成本,為前期節目的制作提供了便捷而高效的保障和技術支撐。
二.系統的架構設計和分析
媒資系統是一個以管理為核心的計算機網絡化應用系統,通過對節目資料的數字化處理形成不同格式的數據化文件,再對其進行保存、分類、索引。設計該系統的目的是為用戶提供媒體資料數據的收集、編輯、存儲、管理、查詢檢索和再利用,從而高效地保存和利用媒體資產。下圖是揚州電視臺媒資系統的架構圖,可以看出該系統在揚州電視臺全臺網絡中的定位。全臺媒資系統做為全臺網建設的一個重要環節,通過統一的采集、編目、編輯、備播,實現全臺視音頻節目資源有效共享,為新媒體業務和臺外云服務的發展提供豐富的內容資源和有效的技術保障。通過對臺內各部門內容資源的整合,實現新聞、制作、收錄、媒資管理、播出等業務系統的互聯互通和統一管理,促進資源的合理分配。
揚州臺的全臺制作網絡系統包括了數字化混合播出(HBS)網絡系統、臺內集中收錄系統、廣播制播網絡、新的文稿系統、臺內辦公網以及臺外的公有云服務平臺以及現在的媒體資產管理系統。全臺制播網絡系統內各板塊之間通過全臺互聯主干平臺實現數據交互。

圖1 媒資系統在全臺網中的定位
1.整體架構
揚州臺的媒資系統包括了入庫子系統、下載子系統、編目檢索門戶子系統、存儲子系統、運行管理子系統、公共服務子系統、整備子系統和公有云服務子系統。其中,入庫子系統通過網絡接收新聞及各制作系統提交媒資系統的節目、素材,并對節目素材進行篩選和整理,同時對攜帶進入媒資系統的元數據進行整理。對于視音頻媒體的整理主要通過篩選剪輯后重新打包生成新的對象,對于攜帶進入元數據可以進行修訂編輯,進行預編目。通過上載工作站對歷史資料進行數字化生產;下載子系統是媒資系統的一個數據輸出。根據用戶的不同需求,下載系統通過下載工作站和下載輸出軟件模塊將媒體數據進行多種存儲介質(例如模擬磁帶或者數字磁帶)復制或者轉錄。

圖2 媒體管理板塊工藝架構圖
對于編目檢索門戶是面向全臺域內最終用戶提供媒體資產的檢索查詢和使用。通過媒資服務門戶,用戶可以檢索、查詢、調用媒資管理板塊所存儲的節目資料,以及使用媒資管理板塊提供的文件資料柜存儲資源。媒資服務門戶子系統主要能實現檢索查詢、篩選剪輯、下載申請、統計查詢、資料服務進度查詢、文件資料柜等功能。編目生產線完成入庫的節目和素材進行編目工作,主要面向媒資管理業務部門的相關業務人員使用。編目子系統可以提供對節目和素材進行自動或人工分類的功能同時可以對節目和素材進行自動或人工關聯捆綁功能,自動與相關元數據進行對應;還可以根據節目代碼自動繼承相關元數據,提供支持編目人員對節目素材進行整理、著錄和補充元數據的功能;最后可以通過該門戶系統對已完成編目節目進行審核。
此次媒資的存儲子系統系統設計為在線、近線、離線三種存儲架構。媒資系統內經常使用的節目素材可根據策略將其存放在在線存儲體中(磁盤陣列),無需經常使用的節目素材可通過遷移服務器歸檔入近線存儲內(數據流磁帶庫),當需調用近線存儲體上的素材時,可通過遷移服務器將近線的節目回遷到在線存儲里再進行使用。需要長期保存同時無需經常使用的節目可以選擇離線存儲的方式,直接將其入磁帶架即可(庫房磁帶架群)。
運行管理子系統可以實現數據的統計分析、任務調度、狀態監控、版權管理、用戶反饋、系統運行管理等功能。該子系統主要為媒資運行管理服務,面向系統管理員。公共服務子系統主要是媒資系統內大量基礎服務器機群。該子系統主要為各個子系統提供運行支撐服務。而整備子系統是向播出系統提供自辦節目重播及電視劇、廣告節目的備播功能,最終將完成準備的節目文件輸出給播出。公有云服務子系統是用于對公網提供相應的公有云檢索、轉碼和分發服務。
2.云計算
云計算(CloudComputing)是一種商業計算模型,旨在通過網絡把多個成本相對較低的計算實體整合成一個具有強大計算能力的完美系統,構成計算資源池,并把這強大的計算能力分布到終端用戶手中,使各種應用系統能夠根據需要獲取計算力、存儲空間和信息服務。它并不是一種簡單的產品,也不是一個單純的技術,而是一種產生和獲取計算能力的新方式的總稱。云計算既是指一種可以根據需要動態地提供、配置、以及取消供應的計算和存儲平臺,又指一種可以通過互聯網進行訪問的應用服務類型。
本次揚州臺媒資系統采用“云”+“端”的模式,除上下載工作站等廣電專用設備和歸檔回遷等對資源要求過高的設備外,大部分服務器和工作站,如傳輸服務器、轉碼服務器、技審服務器、流媒體服務器、Web應用服務器、策略服務器、編目工作站、檢索工作站、審核工作站等,都構建在“云”端。

圖3 云計算在媒資系統中的應用
系統建設時根據事先定義好的編目、轉碼等虛擬機模板快速部署業務系統所需的工作站,通過應用虛擬化技術也可加快辦公軟件等日常應用的部署。根據業務需要動態擴展每個業務系統的計算資源,快速增加或縮減站點,由于都是采用虛擬化的操作,擴展起來非常方便。再次是易于使用,云媒資系統平臺上部署了媒資系統的絕大多數業務,而這些業務都可以通過瘦終端、PC等云的終端設備進行訪問,可適應不同的工作場景。然后是易于管理,通過統一的云媒資系統管理平臺,可以實時監看系統的運行狀態,控制工作站點的啟動和停止,還可以實現物理服務器的動態負載均衡。最后是高安全性的優勢,云媒資系統通過服務器故障轉移群集、虛擬機在線熱遷移、關鍵應用熱備份、關鍵設備冗余等多種技術手段確保了系統的安全運行,可持續對外提供服務。
三.系統的軟硬件及安全設計
1.系統軟硬件設計
揚州臺云媒資系統的服務器包含虛擬服務器和實體服務器兩種。基于云計算的虛擬服務器包括了10個刀片服務器用于部署虛擬化服務(目前投入實際使用4臺虛擬服務器)和10臺虛擬工作站。項目中還部署一臺物理容量為48T的虛擬帶庫,用于備份存儲媒資入庫歸檔的重要數據。虛擬磁帶庫通過存儲虛擬化技術把一個磁盤存儲系統完全模擬成了一個磁帶庫,包括磁帶庫機械臂、磁帶驅動器、各種類型的磁帶以及容量。虛擬磁帶庫的主要含義是,直接利用現有備份軟件的所有強大管理功能。
實體服務器中,網絡核心存儲設備由在線存儲系統E MC Isilon X200和數據庫存儲共享陣列Dell PowerVault MD3600f構成;近線存儲系統采用數據流磁帶庫Quantum Scalar i6000;以太網交換機分別采用H3C 5800-60c和H3C S5120-52C-EI。兩臺數據庫服務器由DELL PowerEdge R720構成,采用Linux操作平臺和服務器雙機并行方式工作,數據采用獨立雙控盤陣RAID1方式存儲,采用專用備份軟件自動進行數據備份。分級存儲遷移服務器采用兩臺DELL PowerEdge R720,實現對歸檔系統以及近線帶庫進行管理。采用四臺DELL PowerEdge R720作為轉碼遷移服務器,以實現媒體資源數據的交換和共享、視音頻格式轉換、文件傳輸、文件校驗、自動技審等功能。兩臺打包服務器采用HP 380G7,用于高清制作網絡系統故事板的合成轉碼。上下載、審核以及縮編工作站采用大洋D 3 -HD5 PRO,編目審核工作站采用HP Z220。
在本次系統實體服務器上操作系統軟件采用了:Windows Server 2008 R2 Enterprise、Red Hat Enterprise Linux Server5.8 X64;數據庫軟件采用ORACLE 10G RAC 。媒資系統采用大洋大洋ESB互聯平臺以及EMB(Enterprise Media Bus)轉碼中心,這些平臺軟件都是業界廣泛使用的軟件,具有良好穩定性。
2.系統的安全設計
(1)數據庫的安全設計
為了保證網絡安全,數據庫服務器采用了先進的雙機容錯技術(即服務器集群技術),它保證了數據、應用程序和信息系統的高可用性,本網絡采用了ORACLE 10G RAC技術。
Oracle RAC的全稱為Oracle Real Application Clusters。在此前稱之為OPS,是一個計算環境。通過它,用戶可以充分利用多個使用集群技術互聯的計算機的處理能力。Oracle RealApplication Clusters通過簡單輕松地使用單一系統映像的方式,可以沒有任何限制地利用集群環境的硬件資源來為任何打包應用和客戶應用進行計算資源的擴展和提供高可靠性。Oracle RealApplication Clusters允許在一個集群配置的環境中使用多個節點來訪問一個單一的數據庫,從而防止應用和數據庫用戶由于硬件或是軟件導致的操作失敗,并且能方便利用硬件的擴展來提高系統性能,保證高可用性和高安全性,這種應用的主要優點是:
兩臺服務器通過軟件建立一個虛擬服務器名,數據庫資源掛在虛擬的服務器下,客戶機訪問數據庫時直接訪問虛擬機,兩臺服務器一主一備,一旦主機癱瘓,備份機可以在一分鐘之內接管數據庫服務,接管過程對客戶機是透明的,這種技術作為成熟技術已經得到廣泛的應用并取得較好得效果。
(2)交換系統的安全設計
以太網核心為兩臺H3C5800萬兆交換機,可配置48口千兆模塊,兩臺交換機形成級聯,每臺服務器用雙網線做成TEAM,同時連接到兩臺交換機,任意一根網線斷開或接觸不良都不會引發服務器連接故障。
Isilon X200存儲系統內配置有主備Infiniband交換機,每個X200節點有兩根Infiniband線纜分別連接到主備交換機,任意一個節點的一根Infiniband連接線傳輸中斷都不會影響數據傳輸。
(3)服務器硬件安全
本系統中關鍵服務器采用雙機熱備工作模式,即核心FC交換機、服務器FC交換機和主要樓層交換機支持可熱插拔的SFP接口、冗余電源、冗余風扇等,這樣無論單個電源模塊、風扇、端口鏈路損壞都不會影響服務器和存儲系統提供的訪問服務,保證系統高可靠性。
四.系統的流程設計
1.系統總體流程設計
圖4 系統總體流程設計圖

圖5 節目素材入庫流程圖
上圖是媒資系統的總體流程設計圖,其中有媒資資料入庫、資料管理、節目下載輸出等數據交互流程設計。數據的互聯互通是一個系統化的工程,本系統的流程設考慮ESB、EMB之間會有很多數據的傳遞,所以在流程服務之間的注冊及調用應該都采用了WebService、消息隊列等成熟的、標準的接口協議。在后臺數據交換中心包含了ESB、EMB、轉碼中心、媒體遷移中心等,這些在整個互聯互通平臺中起著至關重要的作用。
2.節目入庫流程
媒資的庫流程首先由欄目制作人員進行一次編目,由資源管理器提交媒資系統。或由媒資系統上載、導入歷史資料及補充素材。入庫完成后,由媒資分級存儲軟件進行按照歸檔策略對文件歸檔;歸檔結束后由媒資編目人員,對歷史資料節目素材進行元數據編目。其次編目審核人員對編目元數據進行審核,符合的編目元數據就能通過從而完成元數據入庫,如果不通過則打回重新編目。

圖6 節目檢索流程圖
3.節目檢索流程
節目制作人員通過WEB檢索瀏覽低碼率,確認所需媒體文件發出檢索指令,通過HTTP/TCP協議傳遞給WEB服務器;后臺的WEB服務器對于非靜態頁面的代碼(JSP代碼等)傳遞給應用服務器解析;應用服務器通過查詢數據庫檢索出用戶需要的檢索結果;應用服務器把查詢結果轉化為HTML(Hypertext MarkupLanguage超文本標記語言)傳遞回WEB服務器;WEB服務器再將結果通過HTTP/TCP協議傳遞給用戶;用戶如果想瀏覽查詢結果中對應的流媒體數據,再通過HTTP/TCP協議發出查看指令傳遞給WEB服務器;WEB服務器將URL(Uniform Resource Locator統一資源定位符)文件定位傳遞給流媒體服務器;流媒體服務器從媒資在線盤塔中找到相應的流媒體文件;流媒體服務器通過RTP/UDP協議將流媒體文件數據傳遞給用戶端,用戶就可以邊下載邊瀏覽流媒體數據了。

圖7 節目歸檔流程圖
4.節目、素材歸檔流程
媒資系統進行資料上載后,根據需要產生高低雙碼流資料(可根據實際應用設定高低碼流的格式),為了避免高碼流資料在線時間過長對在線存儲系統造成壓力,上載節目在進行高碼流質量審核之后進入歸檔流程,根據遷移策略條件完成高碼流素材歸檔,即首先將高碼流文件存儲在在線硬盤上;再依據系統制定的數據遷移策略,滿足遷移策略的數據被遷移到近線存儲區如磁帶庫中,并根據策略決定在線硬盤上的數據對象是否刪除。其他應用系統傳送過來的素材或成片其高碼流素材經質量審核后同樣進入歸檔流程;自產素材的低碼流文件、其他業務系統上傳并通過轉碼產生的低碼流文件,經編目、編目終審之后進入歸檔流程,其中關鍵幀以及低碼流文件分別進入關鍵幀歸檔區和低碼流歸檔區,并同時根據遷移策略決定是否刪除原有的關鍵幀、低碼流文件,至此關鍵幀、低碼流文件歸檔完成。遷移策略主要用于描述系統存儲的各種媒體類數據對象分別采用何種方式進行分級存儲管理,其主要屬性應包括:遷移觸發條件(水位線),遷移目標,數據對象類型等。當近線存儲區達到一定的存儲容量后,同樣根據策略將滿足離線條件的數據流磁帶直接進行離線處理,并生成離線介質,進入庫房管理。

圖8 節目素材調用流程圖
5.節目素材查詢調用流程
根據全網檢索瀏覽共享平臺的審核調度中心發出的數據調用指令請求后,存儲遷移系統判斷數據對象存儲狀態,并按照優先級從速度最快的存儲區調用的原則,將數據對象自動回遷到在線存儲區中。如果所需素材存在于在線存儲中,則由遷移調度服務器,進行相應的遷移操作。如果在近線存儲中,則首先從近線存儲中遷移到在線存儲中,然后遷移到用戶指定的位置。如素材處于離線狀態,則向管理員發出提示,所需素材在離線架上的哪盤磁帶上。
管理員收到提示后,手工取帶,將其上載到媒資的近線設備的磁帶機,并由遷移調度服務器上載到在線存儲設備,最后遷移到用戶指定的位置。高碼流節目完成離線、近線至在線的回遷后,系統下載管理工作站判斷該檢索結果的輸出方式,以將高碼流節目下載到錄像帶上交給檢索請求用戶,或者將高碼流節目通過業務系統之間的數據交換鏈路傳送給發送調用請求的業務系統二級庫存儲。
五.結語
揚州臺云媒資系統通過規劃和設計建成后,經過技術部門的反復詳細的測試和維護,已經能正常投入使用。該系統建成后,大大滿足了節目的日常制作需求,大量自制節目的文件化歸檔以及歷史資料的搶救性恢復入庫需求。當然,我臺的媒資系統的后期發掘尚在起步階段,相關的系統端口交互以及后期的基于云計算虛擬化存儲還在進一步調試中,通過下一段的技術調試,相信全臺媒資系統的功能會更加完善和成熟。