SMG媒資系統由“重”變“輕”設計思路
2016-09-07 上海文化廣播影視集團有限公司 卜靜燕 依馬獅廣電網
【摘要】 本文作者在SMG有十多年的媒資系統運維、設計和項目建設經驗,參與了SMG第二代、第三代媒資架構的規劃設計和實施。根據SMG現有媒資系統架構現狀和業務發展方向,就SMG第四代媒資系統架構設計提出了由“重”變“輕”的設計思路。
【關鍵字】 媒資系統 “重”媒資系統 “輕”媒資系統架構
1.引言
廣電行業的媒資系統經過十幾年的建設發展,已經是非常成熟的系統。以SMG為例,第一代媒資系統最初設計目的是搶救和保存傳統模擬磁帶介質上的節目資源。當時的廣電行業整體環境還是以對編為主要節目制作生產模式。通過數字化,使模擬信號模式保存的節目資源轉換成數字信號模式,延長節目資源的保存周期和提高保存質量。SMG在2002年建成了廣播音像資料媒資系統就屬于此類。隨著非編網絡制作生產節目方式的成熟,媒資系統的設計進入了第二代,其設計目標是為了能夠把數字信號保存的節目資源快速為非編生產環節中節目制作提供素材支撐服務。這一代的媒資系統強調的是在生產過程中及時保存節目資源,并且經過編目等加工,可以調用到非編網絡進行編輯加工。此階段的媒資系統設計有了兩個分支方向:業務生產的支持和后臺檔案保存管理。2005-2007年,SMG分別建成了新聞生產媒資系統和中心媒資系統。當時的二級媒資架構設計有效地解決了面對生產和面對保存的兩種差異性較大的應用需求。第三代媒資設計的變更是由高清化引起的。原有媒資系統的服務能力、技術架構設計無法滿足高清化后的需求;并且隨著SMG五年媒資系統運營經驗的累積,第三代高清媒資系統的設計目標更強調媒資與生產系統的緊密結合,以及資源統一管理和增值服務。從2010-2013開始,SMG建設了媒資網系統、東視高清媒資系統、廣電高清媒資系統以及高清新聞媒資系統的改造。這一代的媒資系統在設計上更突出了生產再利用的效率,通過門戶的建立(媒資網)實現不同媒資系統資源在信息層面的化零為整。并且在整合的基礎上,通過主題、媒資百科的增值服務模式,向用戶展現了一個更多元化的媒體資源服務內容。
從2012年開始,互聯網視頻網站進入到一個發展高峰期,其對傳統廣電行業帶來了強烈的沖擊。廣電行業開始紛紛建立網絡電視臺,來應對互聯網行業的挑戰。因此有一批和網站結合得非常緊密的網站資源內容管理系統開始設計和建設;從本質而言,此類系統實現的也是節目資源匯聚保存和生產再利用服務支持。
面對互聯網行業的強烈沖擊,SMG第四代媒資系統該如何來設計和應對呢?
2.SMG媒資系統分析
2.1.系統架構分析
目前SMG已建成的媒資系統架構(圖1)是根據業務板塊分布、樓宇現狀、媒資功能定位進行分步實施的。
2012-2014年重點對支撐業務的生產型媒資進行了改造和新建。
圖1 SMG現有媒資系統架構
圖1中,1SMG節目統一門戶(媒資網);6資源篩選系統是建設在辦公網環境下的系統;而2中心媒資系統、3新聞媒資系統、4娛樂媒資系統、5體財媒資系統是為了貼近生產和相應的制作系統一起建設在業務網中。
辦公網上的門戶及系統主要服務于臺集團全局范圍用戶和對外互聯網等應用;業務網上的媒資系統主要服務于各業務板塊的用戶。
2.2.系統運營數據分析
SMG現媒資系統的設計還是以生產服務和檔案服務兩個不同服務方向進行設計和實施的。截止到2014年底,新聞媒資累積了9年數據,中心媒資累積了7年數據,娛樂媒資累積了2年數據,體財媒資累積了1.5年數據。
資源數據是媒資系統的核心,分析媒資系統的運營數據目的是為了得出媒資數據資源的冷熱程度,來為媒資系統的設計提供依據。
對于設計目標是為生產服務的媒資系統來說,以新聞媒資系統作為分析對象,可以發現(見圖2):資料入庫一年周期內的資源調用率是最高的,為第一梯隊,占45.8%;并且一年范圍內的各月調用比例相對均衡;資料入庫二至三年周期內的資料調用率為第二梯隊;資料入庫四至七年周期內的資料調用率為第三梯隊;資料入庫八年以上調用比例急劇下降。
圖2 新聞媒資系統歷年調用情況
對于設計目標是為檔案服務的媒資系統來說,以中心媒資系統作為分析對象,可以發現(見圖3):資料入庫一年周期內調用率相對比較低;但是不同年份的資料調用率是比較平均的。對中心媒資系統的資料被調用次數可以發現(見圖4):回調的資源中,74.22%的資源被調用一次;15.68%的資源被調用過二次;5.17%的資源被調用過三次;因此同一條資源被重復三次以上被調用的可能性很低。
圖3 中心媒資系統歷年調用情況
圖4 中心媒資系統調用次數分析曲線
通過整合生產服務及檔案服務兩種不同的設計目的的系統運行數據分析,可以得出SMG冷熱數據的情況:
熱數據:入庫周期為一年內的資料,占SMG數據總量的8.01%;
高溫數據,入庫周期為兩到三年內的資料,占SMG數據總量的30.47%;
低溫數據,入庫周期為四到七年內的資料,占SMG數據總量的45.25%;
冷數據,入庫周期為八年以上的資料,占SMG數據總量的16.27%。
2.3.系統問題分析
除了對媒資系統運營數據進行分析,結合目前廣電行業節目生產和新要求,可以發現廣電行業內的生產方式和技術正在進行變革:
廣電行業目前從單一的以傳統電視節目制作生產方式轉變為傳統加新媒體相結合的多渠道節目制作生產方式;
云技術及應用場景的成熟,不管是基礎資源的共享還是應用層面的整合都已經率先在互聯網等行業內得到檢驗;
廣電行業的制播分離從簡單的體制管理上的要求逐步向技術實現方面進行延伸;不少廣電廠商開始嘗試把制作業務從相對封閉的業務網向開放性較強的互聯網轉移,實現pc端、移動端的協作生產;
了解清楚廣電行業的變革,可以看到SMG現有媒資系統架構存在的問題:
1、不管是生產型媒資還是檔案型媒資系統,都是“重”媒資系統。此“重”主要指系統設計時強調流程化,節目資源入口和出口相對封閉,主要都是面向制作系統,無法靈活調用;并且系統都在業務網中,對新媒體業務支持受到安全交互問題的嚴重限制。
2、現有的媒資系統都是相對獨立,雖以門戶進行了信息層匯聚后的共享展現,但是底層基礎資源的共享無法實現,造成大量的基礎資源浪費。這里的基礎資源主要指遷移/轉碼/存儲等計算類資源。并且用戶一旦有新新需求,在原有系統上無法靈活快速實現,需進行影響較大的改造,造成實現周期很長。
3、現有媒資資源再利用方式單一,主要是指對高碼流資源在非編生產環節再利用,無法有效滿足現有微信微博等新媒體或融合媒體生產制作的快速再利用需求。
3.SMG“輕”媒資系統設計思路
3.1.“輕”媒資系統架構
在多年媒資系統運行經驗的基礎上,結合SMG實際業務發展需要,對SMG第四代媒資系統的設計提出了一個新概念:“輕”媒資系統架構。
“輕”媒資系統架構的基礎理念是把媒資的功能流程進行拆解,結合云技術,實現媒資功能的工具化;把不同方式不同渠道的再利用服務需求放在首位,提高用戶使用的便利性;通過輔助的管理手段實現資源有效管控。對于系統而言,每一個工具都能獨立運行管理及維護;不同工具的組合可以快速適應新的業務需求。
SMG對“輕”媒資系統架構進行了一個規劃設計(見圖5)。其中分為幾個部分:
第一部分:基礎資源池。基礎資源池涉及硬件、數據兩個層面。硬件分為計算資源池和存儲資源池。計算資源池主要通過搭建服務器的虛擬平臺,整合一些獨立服務器來解決計算類資源的服務(包括原數據庫、轉碼、遷移、web、檢索等各類應用服務器);存儲資源池主要是整合現有及新建設的媒資類系統的存儲設備,實現存儲資源的統一服務。數據方面設計規劃和實施SMG節目資源數據中心,該中心匯聚整合所有媒資類系統、節目信息類系統(包括:制作文稿、傳統片庫、編單系統等)所有和節目資源相關聯的信息,然后進行整理分類。
第二部分:應用工具。應用工具主要指由軟件實現最基礎的功能,從媒資系統角度分析,可以提取的應用工具主要有:
1、視音頻處理工具:主要包含轉碼、非編處理、快編處理、視頻切片、圖像識別、語音識別、技審識別、md5校驗等;
2、圖片處理工具:主要包含圖片剪裁、圖片縮放、圖片美化等;
3、文本處理工具:主要包含文本修改、文本格式轉換等;
4、遷移處理工具:主要包含文件協議遷移、接口協議轉換、文件分享等;
5、編目處理工具:主要包含編目模板定制、編目、網絡信息爬取、標簽管理等;
6、版權控制工具:主要包含DRM、數字水印、版權授權、版權預警等;
7、分發處理工具:主要包含微信微博分發、電子郵件分發、網站分發等;
8、檢索處理工具:主要包含搜索引擎優化、詞庫維護等
9、基礎工具:主要包含html5適配、ntp服務、基礎配置等
第三部分:應用管理。應用管理是用戶實現業務操作的功能模塊,這些模塊由應用工具組合后提供功能服務。其特點是可以按需利用應用工具組合設計實現。根據現有媒資系統功能和用戶需求,預規劃的應用管理可以有以下內容:
1、入庫管理:主要實現系統級的對接的資源入庫,一般指非編系統篩選的節目資源入庫。
2、上下載及導入導出管理:主要實現非系統級的資源入庫,一般可以模擬或數字的磁帶介質、移動硬盤介質和公共網盤介質、網絡硬盤上資源的入庫和出庫。
3、生命周期管理:主要是指資源入庫后,在在線硬盤上保存周期及刪除操作的管理。
4、近離線存儲管理:主要指資源入庫后保存到近離線設備上的操作管理(根據SMG現有情況,包含新資源近線、生產媒資資源近線、lto3資源轉換等類型)。
5、檢索調用管理:主要指可根據用戶所需要檢索的數據類型、業務要求進行檢索界面功能定制化,或者提供全局性檢索服務;并可根據資源屬性進行審批流程設置、調用路徑及類型(高低碼流/元數據/圖片等)設置。
6、加工管理:主要指可根據用戶需求提供視頻內容加工(專業級編輯、輕量級編輯等)和信息加工(主題制作、百科制作等)。
7、遷移調度管理:主要指根據入庫管理/上下載及導入導出管理/檢索調用管理等模塊發起的任務,實現資源(高低碼流/元數據/圖片等)的遷移、轉碼和發布等操作。
8、后臺維護管理:主要有兩個層面,一個是系統運維層面,包含日志、策略配置、用戶維護等;另一個是內容維護層面,包含受控詞維護、元數據修改、標簽庫維護、檢索詞庫維護等。
9、用戶行為管理:主要是指對用戶、資源、用戶操作等多個維度的數據記錄后進行的用戶行為分析。該分析可用來指導新業務管理模式的建立和系統設計思路。
第四部分:用戶入口。用戶入口是指用戶可以對系統進行實際操作的硬軟件入口。硬件指實體桌面(專職工作站)或虛擬桌面;軟件是指結合SMG統一門戶、統一認證等系統實現軟件入口的統一。
另外,對于SMG現有媒資系統架構中部分媒資系統和“輕”媒資系統架構進行整合。其中,中心媒資系統將按新架構功能改造,實現完整的“輕”媒資系統。現有節目統一門戶(媒資網)也進行改造歸并到第四部分:用戶入口中。保留原娛樂媒資系統、新聞媒資系統、體財媒資系統,通過業務網與辦公網安全區(整合接口)實現系統互聯、資源交互和業務整合。
說明:以上的應用工具和應用管理是階段性的總結,在今后SMG實際系統建設和設計過程中會逐步完善和豐富。
圖5 SMG“輕”媒資系統架構規劃
3.2.關鍵點的詳細設計說明
對于SMG來說,要把現有媒資系統架構轉換為“輕”媒資系統架構師一個復雜而逐步轉換的過程。在此選擇兩個關鍵點進行一下設計思路拓展和說明。
3.2.1.存儲資源池的改造
存儲資源池包含在線硬盤、近離線存儲,而在本章節中重點介紹在線硬盤范圍的資源池整合及改造。
SMG現有媒資系統除中心媒資系統外,都設計了能保存6-9個月生命周期的在線存儲,都是相同nas架構的存儲。雖然分別在不同大樓,但是全部聯入SMG統一業務網系統。
第一步,把以嚴重無法滿足需求及檔案服務的中心媒資系統進行改造,建設一個新的檔案媒資系統(高標清/廣播大廈),按照“輕”媒資系統架構方式設計,實現所有功能,其各個應用管理模塊的規模可以根據實際情況建設。該檔案媒資系統走出業務網,落戶在辦公網上。根據2.2節的數據分析結論,在線存儲按臺集團年資源產量來配置滿足一年生命周期的存儲容量。這個作為存儲資源池的基礎。
第二步,實現各業務網媒資系統在線存儲的統一訪問。把“輕”媒資系統架構中的遷移調度管理模塊架構在業務網和辦公網之間的安全區,實現同時可訪問業務網各媒資系統的在線存儲和辦公網在線存儲。根據臺集團雙網安全要求進行策略配置,實現資源的雙網交互調度遷移,間接實現存儲資源池的整合。
第三步,隨著非編制作平臺逐漸向辦公網平易,原有的生產媒資系統也逐漸萎縮和消亡,通過對檔案媒資系統在線存儲的擴容實現真正存儲資源池的統一。此處的擴容不單指硬件層面的擴容,更主要的指隨著存儲資源管理軟件的發展和進步,存儲資源池可以支持不同物理位置、不同存儲品牌的統一使用管理。
3.2.2.融合媒體業務服務模塊設計
“輕”媒資系統架構的目的不僅僅是在對傳統電視節目生產服務支持的優化和提高,重點是為了解決融合媒體生產需求環境下對新媒體節目生產的服務支持。
目前SMG很多欄目都開通了微博微信賬號,進行欄目的推廣和用戶互動,提高欄目用戶黏力。但是在現有SMG媒資系統架構下,用戶很難方便和快速地進行此類節目資源的生產和發布。遇到的問題是:截圖和相應圖片處理(打臺標/加字幕等)不方便;沒法快速利用媒資保存的低碼流進行短視頻截取處理,無法方便地加上水印進行基本版權保護等。用戶需要在制作系統或媒資系統多次進行下載、編輯處理、內外網傳輸、圖文加工、稿件及內容撰寫等過程,然后發布。
在“輕”媒資系統架構上,可以為此類用戶定制一個微信微博節目生產管理模塊。該模塊可以整合檢索處理工具、遷移處理工具、視音頻處理工具、圖片處理工具、文本處理工具、版權控制工具、分發處理工具;給用戶提供一個統一操作界面。對于用戶而言,用戶進入該模塊后,可以選擇微信內容的模版,進行文本編輯;可以查詢到所要資源,進行瀏覽打點簡單編輯,提交后臺水印處理后,快速拖拽到模版中;可以在低碼流資源上打點截圖,選擇貼圖模版,實現圖片處理后,快速拖拽到模版中;完成內容后,可分享等方式快速讓審核人員在移動端進行審核確認后,一鍵發布到相應微信帳號。
小結
SMG媒資系統隨著多年的建設換代,一直存在著一個比較大的矛盾:系統建設的投入大,而相應產出效益很低。媒資系統不管是針對何種應用目的來進行設計的,但最終歸途是為了給廣播電視臺媒體資源進行增值的。通過多年的運行,媒資系統的資源入庫功能及2需求基本已經固化穩定;如今進行新媒資系統設計時要最大化地挖掘系統產出效益。
參考文檔或說明
文中所有數據來源出自于上海文化廣播影視集團有限公司(SMG)各媒資系統實際運行數據;
本文主要通過SMG現有媒資系統的運營數據來分析和推導媒資系統設計的一些設計要求,為了保護SMG媒資數據,本文所公開的數據截止到2014年底;
感謝SMG技術運營中心網絡工程部媒資系統運維的工程師陳舉名/陳翀/李雪/李勤協助收集的各類數據。
發表評論