
非常容幸再次參加ITTC主題論壇,我代表公司把一年來新的產品和實踐上的經驗進行匯報。匯報內容分四部分,第一是新一代易盤卡的介紹;第二是基于新易盤卡配合使用3D編輯錄像機的介紹;第三是多次論壇上涉及到的概念,如何在近線和離線存儲環節把易盤卡引入,并且發揮好的話題;第四是隨著設備使用量的增加,大家越來越關注易盤卡和保存在易盤卡內的素材編碼格式兼容性的問題。我從硬件、軟件和系統層面進行詳細的匯報。
簡單回顧一下公司發展的策略,無論是最早推出的標清DateCam系列還是高清DateCam E2系列,我們一直有一個想法,把易盤卡介質優異的性能不僅在攝像機和錄像機的環境里使用,還在存儲、播出和交換環節里充分發揮它的作用。易盤卡的規格,有兩個環節應該關注,它的接口屬于ISO29717的應用規范,并不是我們公司一家壟斷的標準,兩年前NAB和BIRTV上已經有很多廠家生產和展示IVDR接口硬盤。我們使用易盤卡的內部有兩種方式,一種是基于硬盤的,一種是基于半導體的,隨著半導體和硬盤技術的發展,我們可以根據實際使用的場景選擇不同的內部介質。
新一代易盤卡
不同容量的易盤卡,存儲不同編碼和碼率素材的時候記錄時長,這個介質的容量非常大,可以勝任長時間節目錄制的需求。南非世界杯轉播使用的介質就是500G易盤卡,從上半場到下半場包括加時賽和場間畫面始終都收錄在一張易盤卡內。前些年我們推出了系列產品,包括攝像機、編輯錄像機和新推出的3D編輯錄像機,還有存儲環節的產品。我們做應用時考慮如何更好解決存儲問題會有很多思路,比如用固態SSD的技術解決存儲,它是閃存的技術,這種技術對應的成本很高。如果用基于硬盤的技術解決存儲,經常會通過提高轉速來提高性能,現在有些主板廠商在做支持,主板上集成閃存提高對硬盤讀寫性能的支持?,F在列舉的三種方式是我們經常會想到的,回看一下易盤卡兩種存儲方式,首先是基于硬盤的存儲技術,它同時也支持基于半導體閃存的存儲技術,外部接口始終保持AVDR接口方式。
SSD的技術核心叫做NAND閃存技術,是SSD的核心控制技術,它針對不同的消費級和企業級有MLC多層單元的方式,還有單層單元的方式。反之,看一下HHD存儲技術,有沒有一種技術或者方法可以把兩種技術融合在一起,從而提高單盤存儲容量和性能。FAST Factor把SSD和HDD結合,它可以以SSD一小部分的硬件成本實現接近于SSD性能的存儲,它在硬件上和固件上都進行了變更,采用原來硬盤基礎的同時又引進了閃存的存儲管理,提高單盤存儲性能。FAST Factor是智能算法技術,對前端是透明的提供數據調度,動態把使用的數據分配在半導體還是硬盤上,本身的邏輯控制是基于邏輯塊尋址進行的。最新一代的易盤卡就是基于這個技術實現的,內部引進了4個G的閃存應用,使易盤卡基于部分SSD的成本實現接近于SSD的性能,同時也在轉速上進行了提升,提升到7200。新的易盤卡也在3D編輯錄像機上部署和使用。
大家可能會有一個疑問,單純從接口速度和傳輸速度判斷的話,原來5400轉的易盤卡接口和傳輸速度已經很高了,為什么還要針對3D等應用推出新的易盤卡?我們單獨看存儲介質的時候,讀寫音視頻數據它會有尋址的壓力,如果記錄一個3D素材,它會持續記錄兩路碼率很高的視頻素材,同時記錄碼率很低的音頻素材,導致磁頭寫的時候會有快速的跳轉,從而降低整個收錄和編輯時的性能,從易盤卡來看,通過很好的解決音頻素材小的數據記錄性能,提高了整體易盤卡讀寫的性能,非常適合3D節目編輯收錄環節的應用。
我們的編輯錄像機有很多代產品,從溫哥華冬奧會、新加坡青奧會、南非世界杯、深圳大學生運動會和廣東亞運會等賽事中都已經成功應用。最新3D編輯錄像機,這款產品是在去年BIRTV上首次推出并且演示的,延續了編輯錄像機一致的外觀,內部性能進行了很大的提升,同樣配備了滾輪和面板,方便編導使用,3D錄像機可以同時收錄左右眼兩路視頻,同時可以收錄八路的音頻采集。我們解決3D收錄的時候采用了單介質完成數據記錄,左眼和右眼數據都記錄在一張盤上,這就是為什么我們在3D編輯和收錄環節采用新的易盤卡。在內部采取了新的GPU硬件平臺技術,實現兩路高清畫面DNxHD編碼,硬件上實現兩路左右眼信號同步,IO的量會增加,而且增加非常有特點,兩路視頻數據量帶寬會比較高,音頻帶寬有八路比較小,基于新的易盤卡引進了4G閃存調度管理機制,降低了音頻頻繁IO的請求,從而有效保證視頻IO。
980-3D編輯錄像機
980-3D編輯錄像機采用了DNxHD編碼,記錄碼率達到120兆,文件封裝上提供了兩種,一種是MXF,一種是MOV,MXF主要是規范性的交換,MOV可以去蘋果軟件上使用,從實際使用情況來看可以直接兼容,它的定義和980前期產品保持了一致,用980-3D收錄的3D信號如果只做2D節目不需要有太多改變,只要拿出一路信號處理就可以了。這臺機器同時支持2D和3D工作模式,通過菜單既可以設置成3D錄像機也可以設置成2D錄像機。隨著980-3D的發布,我們也發布了跟Avid MC工作站軟件配合使用的AMA插件,MC5.0時我們就已經發布了支持2D制作的AMA插件,隨著980-3D的推出,MC6對3D制作有了很大支持,隨著MC6發布和980-3D的發布同時發布了AMA支持MC6.0的插件,插件可以在我們公司的網站上下載。
即將舉行的倫敦奧運會上我們公司會有四款產品赴英,一個是最新的攝錄一體機,自深圳大學生運動會以后經受了考驗,這次隨中國代表團一起前往倫敦;還有980-3D編輯錄像機,還有980前兩代產品,四款產品都會在倫敦奧運會的賽場上同中國健兒一起為國爭光。[page]
易盤卡用于近線和離線存儲
易盤卡如何在存儲環節應用?我們一直有這個想法,因為易盤卡有一個特點,如果插到存儲器里就屬于在線狀態,如果拿出來就屬于離線狀態,這個概念類似于LTO數據流磁帶,可以很方便的讓數據在在線和離線之間快速切換,我們希望易盤卡可以解決歸檔存儲環節的應用需求。說到海量存儲有幾個要素是關注的,比如數據的安全性,數據的訪問效率,整個系統的維護綜合成本是不是夠低,這是考慮歸檔和海量存儲時候考慮的要素。傳統架構解決歸檔存儲的時候在線、近線和離線三個層次的存儲之中,近線和離線存儲通常會依賴于數據流磁帶解決,已經有很多臺和歸檔的資料單位都用數據流磁帶解決近線和離線的存儲概念。
數據流磁帶是有優勢的,它能解決離線存儲的問題,對于海量存儲來說單純購買磁帶也可以解決海量的問題,不需要增加帶庫和帶機的投入成本就可以解決存儲,相對來說成本比較低,畢竟是線性的存儲介質。另外它對溫度、濕度和灰塵的要求非常高,擴展和升級都比較苛刻。比如我在規劃機房時最開始只買了帶庫,考慮到三五年以后擴展,這種情況下必須要把機房位置留出來,機械手水平移動會涉及到一系列機械問題,所以數據流磁帶使用的擴展性和維護性有所欠缺。數據流磁帶升級以后的兼容性,往前可以兼容幾代,帶庫不同代的數據流磁帶如何存放都有很多要素需要仔細的考慮。
說到性能,數據流磁帶畢竟是線性的介質,不管是單軸還是雙軸必須倒帶才能讀取數據,機械手要移動抓到磁帶,放到帶機里才能讀取數據。還有一個要素,不管帶庫里存了多少盤磁帶,真正能并發支持取決于配備了多少帶機,隨著不同數據流磁帶的升級,一個帶庫里可能會有二代、三代、四代的帶機都要配備,整個系統就會變得復雜。說到安全性,多版本管理,記錄文件的時候如果磁帶損壞,這個文件再利用的技術恢復復雜度非常高,實際操作的時候是怎么做的,根據素材的重要性可能會在不同池里備份多個版本,也就是說單盤磁帶成本可能不高,但導致了綜合存儲成本會增加。
我們的概念是用易盤卡替代數據流磁帶,解決海量數據存儲近線和離線存儲管理,這是我們新推出的基于易盤卡擴展的盤箱,舉個例子,如果把四個盤箱和一個主機連在一起使用,它具有64個倉位,通過級聯可以做到256個倉位,如果存儲系統里使用的是250G的易盤卡,接近單主機可以做到64T存儲,500G就可以做到128T存儲。內部是SAS的接口,可以級聯到16個易盤卡的盤箱,對外現在具備以太網的接口,并且可以擴展HBA實現光纖接口,這樣的設備很容易納入臺里現有的基于IP SAN或者FC SAN架構,并不是全盤改造方案,可以跟現有制作島和歸檔系統進行融合。使用也不會像數據流磁帶那樣不管哪代都要嚴格的管理,不同容量可以混用,一盤或者一卡可以混用,只要符合AVDR接口都可以使用。成本每年都會有很大的降低,比如現在用一千塊錢買到500G的易盤卡,明年花一千塊錢就可以買到1T的易盤卡,對于使用者來說可以自動進行整體存儲性能容量提升,只需要更換存儲的介質,不存在不同容量易盤卡涉及到的倉位或者驅動不同。它可以支持并行的訪問,數據流磁帶跟帶機數量決定支持并行的數量,易盤卡的存儲設備可以支持更多并行訪問,所有的驅動器都可以同時工作。
部署上比較靈活,比如收錄完一個月的素材可以放在4個擴展柜組成的近線存儲環節,收錄一年以上的節目可以放在8個或者16個擴展柜組成的存儲單元存放,部署比較靈活,它對機房沒有嚴格的要求,可以在A機房部署一個月的,在B機房部署一年以上的素材,隨著臺里業務變更可以隨時調整。導致的流程會有很快的提升,盤里存儲了全部音視頻的數據,如果從制作域或者收錄環節拿到了一張易盤卡,可以直接進入到歸檔存儲環節,不需要占任何網絡,可以直接把盤拿到設備里進行歸檔管理。使用的時候也非常靈活,比如說現在的網斷了或者電出問題了,我只要把盤拿出來就可以把它直接送到播出域或者制作域,完成單機的節目制作或者播出。我們體會網絡化制作和傳輸共享便捷性的時候也在承擔更大的風險,如果基于易盤卡來做這件事情,實際并沒有放棄網絡和共享的優勢,但我還可以享受網絡和共享癱瘓時候的節目制作。
數據流磁帶在備份數據的時候重要素材會在不同池里備份多個版本,反之備份量會成倍增加,存儲成本也會成倍增加,易盤卡的成本肯定比數據流磁帶高,解決存儲環節有一個專利技術,現在還在申請審核之中,周期比較長。基本的概念是在單個盤里保存應用層的完整數據,也就是說應用層需要訪問一個盤,它只要拿到這個盤數據就是完整的、可以訪問。把其他冗余備份數據可以備份到其他盤里,多個硬盤組成一個組,每個硬盤都可以單獨拿出來使用,對數據層進行支持,這個盤損壞的時候數據在其他盤里做好了備份。如果拿五張盤做,做到20%的成本提升,做到了類似于RIAD 5數據備份的安全性。
這是數據流磁帶和易盤卡存儲環節的對比,離線環節易盤卡和數據流磁帶一樣,可以通過離線實現海量存儲,成本上單看成本易盤卡沒有數據流磁帶有優勢,系統之中的綜合成本它們的差距不會那么大。對環境要求相當寬泛,升級非常容易,不存在機械手擴展水平等要求,比如現在假設一個歸檔系統基于易盤卡操作,不用考慮兩三年后多大的數據量提升,導致現有系統全盤顛覆,只是進行介質和簡單擴展就可以滿足需求。
易盤卡存儲的概念以前在存儲分中心DDX-X90一直在做,當時我們針對很小型的歸檔存儲管理系統,這是在單機上配備了多個盤倉,通過離線實現大量的數據存儲,軟件上我們已經配備了媒資系統管理編目層和檢索層所有的軟件。隨著易盤卡盤箱產品推出,我們可以架構出更大更復雜的滿足更高需求的媒資管理系統,配合規范的節目管理。對節目進行節目片斷場景編目管理,提供檢索,可以快速定位我們所需要的素材,同時提供基于易盤卡的近線和離線存儲管理調度。
易盤卡和易盤卡里存儲節目素材的兼容性,隨著易盤卡在各大賽事中使用,這個情況也就變得非常關心,很多朋友了解我們產品的時候兼容性問題被提到很高的地位,首先通過內置易盤卡驅動器讀取,也可以通過外置驅動器。新一代易盤卡外置驅動器,提供了USB 3.0的接口,同時也提供了ESATA接口,新一代易盤卡驅動器mr800配合新的易盤卡,讀取效率和本地內置驅動器的讀取小區幾乎一致。針對MXF和MOV兩種文件封裝,MXF封裝定義已經公開,為了便于國內廠家兼容,我們還推出了SDK開發包,可以很快解析MXF五文件的定義。MOV文件包裝可以直接在蘋果的編輯上使用。針對AVID的MC 5.0和6.0版本我們都發布了AMA支持以前的設備和新的3D設備格式兼容性。
我們在跟AVID公司進行更深入的溝通,AVID編碼格式主要以DNxHD為主,錄編設備也以DNxHD為主,有沒有一種方式,在編碼一致的情況下提供更高的節目制作效率,并且實現系統級的交互,格式上的一致性和介質上的互通性,還有系統之間的友好性方面有很多可以融合在一起的地方。