在網絡電視節目的生產過程中,存在著采集、編輯、轉碼、加密、分發等多個環節,電視節目內容在這些環節當中經歷了從素材到成品的嬗變,同時也不可避免的形成了大量中間文件,如何對這些中間文件進行淘汰,是網絡電視節目生產需要關注的問題之一。
我們知道,視音頻文件普遍容量較大,需要占用巨大的存儲空間,這不僅帶來了存儲成本的上升,也加大了節目管理的難度。如果適時的對這些內容進行清空、刪減、移除等處理,將會降低節目存儲的空間,減輕節目管理的壓力,從而使得網絡電視節目的生產更為高效和順暢。這就是我們在網絡電視節目生產當中引入淘汰機制的初衷。
為了更好的闡述在網絡電視節目的生產過程中如何進行節目淘汰,首先要說明哪些生產環節涉及到節目存儲,然后根據對應的存儲特點以及應用要求,有針對性的選擇內容淘汰的方式和策略,實現網絡電視節目生產過程中存儲空間的優化和系統性能的提升。
網絡電視節目的存儲特點
如上圖所示,我們可以清晰的看到素材采集、素材管理、節目制作、轉碼加密、節目分發是與視音頻節目存儲緊密相關的五個生產環節。電視節目從最初的播出信號、錄像帶介質等經過壓縮編碼處理成為素材文件,進入到素材節目存儲系統當中;素材被節目制作環節調用,經過編輯處理形成內容完整的半成品節目,進入到半成品節目存儲系統。根據運營需求,半成品節目還要經過后期轉碼處理,形成不同格式、不同碼率的節目文件,以適應于電腦、電視、手機等不同的終端和傳送渠道;轉碼后的節目經過打包加密處理,具備數字版權保護能力之后,形成成品節目,進入到成品節目存儲系統;最終的成品節目依照設定的分發策略往電信運營商的存儲網絡分發。
從中我們也可以看到,視音頻節目的存儲主要分為兩類:臨時文件存儲和節目文件存儲。臨時文件存儲出現在素材采集和節目轉碼加密兩個環節。在素材采集環節,壓縮編碼的任務由采集工作站擔負,需要對存儲設備執行持續的寫入操作。為了保證這一過程的高效和穩定,存儲設備直接選用本機硬盤,作為臨時存儲系統,等待一個或一批素材采集完畢之后,再上載到素材存儲系統之中。在節目轉碼加密環節,轉碼系統需要對編輯完畢的節目進行多種格式和碼率的轉換,該任務由轉碼工作站完成,同樣是持續寫入操作,所以仍舊選擇本機硬盤作為臨時文件存儲設備,等待后續打包加密系統的調用處理。如果后期轉碼工作站以集群的形式出現,則使用統一的存儲設備作為臨時存儲空間。
節目文件的存儲分為素材節目存儲、半成品節目存儲和成品節目存儲,分別對應著素材管理、節目制作和節目分發三個生產環節。素材管理接收采集形成的節目,為節目制作提供素材支持。為了保證后續制作、轉碼工作的需要,素材要求保存較多的內容和使用較高的碼率,要求存儲系統提供較大的空間支持。在節目制作環節,編輯人員調用素材內容,經過剪切、合并等操作處理后,將編輯完成的節目上載到半成品節目存儲系統中,該系統存儲的同樣是高碼率節目。相對素材存儲來說,半成品節目存儲的內容數量要少,保留的期限也要短。節目分發環節對應的成品節目存儲,它保存的是轉碼加密后的成品節目。由于存在著多種應用終端和傳輸渠道,同一內容的節目就形成了不同格式、不同碼率的多個版本,造成節目數量的成倍增加,不過節目的碼率相對較低。當成品節目成功傳送到電信運營商的存儲系統后,成品節目存儲系統就無需繼續保存該節目了。
需要說明的是,不同于臨時文件存儲的小容量,素材節目、半成品節目、成品節目的存儲往往規模龐大。所以通常的做法是采用統一的存儲設備來降低采購成本,通過劃分邏輯空間來獨立使用,方便為不同的應用設置相應的存儲和淘汰策略。
淘汰方式的選擇
在網絡電視節目的生產過程中,對于中間文件可以采用多種淘汰方式來處理,比如清空、刪減和移除。淘汰不同與平時所說的刪除。刪除針對的是不合格、無效的節目,對其執行刪除操作后,會由后續的工作流程控制完成重新采集、重新制作等彌補工作,日志記錄和統計分析也將對其進行特定處理。淘汰則是為了將臨時的、過期的節目清空、刪減、移除,騰出存儲空間供后續的節目生產繼續使用,被淘汰的節目不存在任何問題,相應的日志記錄和統計分析也與刪除不同。
清空主要是針對臨時文件存儲來說的,中間臨時文件在完成其使命后,通常是上載到新的存儲空間或者轉換為其它的格式,這些中間文件已經沒有繼續保留的價值,采用清空的淘汰方式,就是將其徹底的刪除,通常節目不可恢復。
刪減主要是針對節目文件存儲來說的,就是按照預先設定的淘汰策略,自動或手動的將一部分節目(比如素材節目、半成品節目、成品節目)從存儲設備中剔除。對于素材節目,刪減后是不可恢復的;對于半成品節目,刪減后可以根據素材文件以及節目編輯時記錄的打點信息進行恢復;對于成品節目,刪減后還可以根據半成品節目重新轉碼、加密生成。
移除也是針對節目文件來說的,主要針對還有使用價值但是卻不經常使用的節目(特別是素材節目),移除就是將它們從在線存儲設備移動到廉價的離線存儲設備中,如果今后還要用到,則可以從離線存儲設備中再遷移回來。
淘汰策略的選擇
在網絡電視節目的生產過程中,可以從空間和時間兩個角度考慮節目的淘汰策略。從空間角度來說,主要是定義存儲的水位線,當節目存儲容量超出水位線時,將按照設定把一些節目進行淘汰。從時間角度來說,每個節目或者節目分類可以設定保存期限,系統定時檢查節目是否到期,到期的節目將被淘汰。
由于空間淘汰策略的誤刪除風險較高,管理起來也比較困難,網絡電視節目生產過程中更傾向于采用時間淘汰策略。在淘汰策略的執行上分為自動執行和人工手動執行兩種,一般根據實際應用情況來靈活選擇。
網絡電視節目的淘汰運用
在明確了網絡電視節目生產過程中的存儲特點,以及可供選擇的淘汰方式和策略,下面以央視網絡電視的應用情況為例,來說明方正在網絡節目生產過程中是如何設計運用淘汰策略的。
如上圖所示,我們可以清楚的看到央視在網絡電視節目生產中所采用存儲和淘汰策略,下面進行逐一分析說明。
在素材采集階段,每臺采集工作站負責一路電視節目信號的采集,每天采集大約10個小時的2Mb/s碼率素材節目。采集工作站配置40G的硬盤,能夠存儲大約40小時的節目。考慮到節目制作的時效性,采集完畢的素材會立即上載到素材存儲系統,上載成功后本地的素材節目將自動淘汰。這種即時清空的淘汰策略保證了采集工作站可以長期的自動執行,無需人工干預維護。在上載過程出現網絡、設備等異常的情況下,素材將一直保存在本地,等系統恢復正常時再自動上載到素材節目存儲系統中。
央視每天采集的素材節目大約100個小時,90G左右的數據量,采集后上載到素材節目存儲系統。為了后期節目的編輯使用,這些素材通常需要保存1~12個月的時間,央視分配了15T的空間來進行素材節目存儲。淘汰策略是根據素材節目內容的不同來分別設置的,比如新聞類等時效性較高的節目,通常只保留1個月,而電視劇等時效性不高的節目,通常保留6~12個月。要淘汰的素材節目根據其再利用價值,采用刪減或者移除的策略進行處理。相對來講,大部分要淘汰的素材都以手工方式轉移到離線存儲設備中,素材節目存儲系統僅保留最新和最頻繁使用的內容。
央視根據采集的素材每天要生產大約60個小時的2Mb/s碼率半成品節目,50G左右的數據量。這些半成品節目的保存期限通常為3個月,需要5T左右的存儲空間。半成品節目在刪減時,可以選擇是刪除整條記錄還是僅刪除視音頻文件。如果是刪除整條記錄,那么該節目將不能再恢復;如果僅刪除視音頻文件,那么該節目還可以根據素材和記錄中的編輯打點信息重新生成。正是由于這種可以快速重新生成的特性,半成品節目在淘汰策略的選用上,往往是直接刪減,而不必移動到離線存儲設備中保存。
在后期轉碼階段,央視使用多臺轉碼工作站并行工作,采用1T容量的存儲設備進行統一臨時文件存儲。轉碼后的臨時文件進入加密處理隊列,在成功加密后,該臨時文件被自動刪除,按照即時清空的策略進行淘汰。