中朋榮（北京）影音設備商貿有限公司
一. 概述
廣播電視的行業的視頻歸檔系統與其他行業的信息歸檔系統相比有長期性存儲，安全性要求高，數據密集，以及對成本敏感等鮮明的特點，音視頻歸檔系統自本世紀初的前十年的發展，已經形成了比較成熟的多級存儲層層遷移的系統體系結構，比較成功的解決了海量音視頻數據的歸檔存儲問題。但是，隨著廣播電視和影視行業的數字化進程的不斷發展，高清音視頻采集設備以及高清視頻后期制作系統的廣泛應用，對于長期視頻歸檔系統的研究與設計提出的更嚴峻的挑戰。
二. 相關技術發展現狀
隨著近年來磁盤技術的飛速發展，磁盤存儲性能越來越高，價格越來越低，侵蝕了大量原屬于磁帶的市場領地，在視頻歸檔領域中，也有越來越多的系統使用磁盤作為數據的核心存儲。但是，隨著廣播電視領域的高清技術的普及，高清電視節目制作和播出，對視頻歸檔系統的能力提出了更高的要求。使用高清HDTV(1920×1080)格式(MPEG-4 120-185Mb/s)單位時間內所需要存儲容量是標清(MPEG-2 25Mb/s-50Mb/s)制式的3到6倍。雖然磁盤系統能夠比磁帶技術提供更高效的隨機數據的訪問能力，但是視頻歸檔系統的設計特性決定了90%以上存入磁盤的數據都不會被訪問，與此同時，根據權威機構統計，磁盤存儲數據所消耗的能耗是磁帶的29倍，即使是在應用20:1重復數據刪除后的情況下，磁盤存儲的成本仍然是磁帶的5倍。如果將90%的視頻數據使用存儲到耗能不那么高，維護成本低，存儲有效期長的磁帶介質上，則無疑可以大幅度降低視頻歸檔系統的成本。
目前數據磁帶技術主要有三種磁帶標準，分別為AIT，DLT和LTO系列，其中LTO標準是有HP公司，IBM公司和希捷公司聯合提出的公開標準，已經占據了絕大多數的市場份額。目前基于LTO標準的Ultrium磁帶格式能夠提供單盤磁帶TB級別的數據存儲能力。目前LTO磁帶技術已經發布到第五代，提供1.5TB的未壓縮容量，而整個LTO技術的路線圖在2010年4月10日發布到第八代，提供12.8TB的未壓縮容量。而LTO磁帶技術從2000年起，基本嚴格按照以兩年更新一代的速度發布，按此速度，在2016年單盤磁帶將會有10TB以上的存儲容量，而每TB的存儲成本將會在30元以下。另一方面，磁帶技術也有比較明朗的前景，在IBM的實驗室中，IBM和Fujifilm的科學家已經在一原型磁帶上實現了每平方英寸295億比特的存儲記錄，也就是說不遠的將來采用鋇鐵氧體顆粒的雙面磁質磁帶將可以使磁帶盒的容量增加到35TB的未壓縮數據。相比與高容量硬盤，磁帶有壽命長，離線存儲，運輸不易損壞等優點，但是也有順序讀寫限制，訪問效率低等缺點。
三. 視頻歸檔系統存儲長期性特點
構建真正有效的歸檔是能夠按照當前最合適的分類方式分類和索引數據，并且提供合適的工具檢索和取出歸檔的內容。歸檔的意義在于系統化的收集和保存對“未來”有價值的內容。歸檔的最基本的一樣在于長期性保存，無論是模擬視頻還是數字化的視頻都需要存儲在介質上，而目前可用的存取介質主要是磁性介質(硬盤，磁帶)和光學介質(光盤)，其物理特性和技術發展規律決定了，不可能存在永遠有效的存儲技術。目前數據的長期性保護主要是通過數據遷移和仿真實現的。數據遷移是指當介質和存儲方式在失效之前，將其從舊介質中遷出，重新歸檔入新的存儲方式之中；而仿真則是通過軟硬件的方式，模擬已經失效的設備，使其內容能夠繼續被使用。但是由于仿真本身有許多硬件和應用場景的限制，因此絕大多數長期視頻歸檔系統，都是使用的數據遷移的方式，達到數據的長期性保護的目的。
目前在視頻歸檔系統中使用的LTO3或者LTO4磁帶，實際上開始并不是面向視頻歸檔設計的，而是面向計算機行業中的數據備份應用的，因此磁帶本身沒有元數據信息，其存儲內容的數據描述實際上都存儲在第三方開發的數據庫當中，對于磁帶中的內容，必須結合相對應的數據庫甚至應用軟件和運行環境才能讀出。LTO5之前的數據磁帶，借助如Unix/Linux中的tar資料打包指令，可以建立具有自我描述性的磁帶備份復本，但tar命令做不到視頻歸檔系統所必須的立即可用的要求，仍然必須將磁帶中的資料解回到硬盤上、回復成原始文件以后，才能操作這些文件。某些廠商曾經推出一些可讓磁帶擁有類似硬盤檔案即時操作功能的軟體，如XenData公司專供數位影像應用的XenData Archive產品，Qumtum公司的SNSM系統，國內中科大洋公司和索貝數碼公司的視頻資料庫產品。這些產品的基本思路是將磁帶資料分割成小區塊、并預先讀入硬盤緩沖區的方式，讓使用者無須完整恢復磁帶資料，就能以類似操作硬盤文件的方式，利用多媒體播放軟體直接播放磁帶中儲存的視頻資料。然而問題在于，這類技術雖然一定程度解決了磁帶資料非立即可用的問題，可允許使用者以類似硬盤的方式直接存取磁帶資料，但必須在這些廠商采用專屬格式與存取技術的應用軟件下才能生效，所以是非共通性的。而LTO-5和 LTFS線性磁帶文件系統的技術，正是回應這個需求而出現的。
四. LTO5和LTFS技術的分析與研究
2010年1月，IBM與其他廠商聯合宣布推出最新一代的線性磁帶開放協議(LTO)磁帶技術—Ultrium 5磁帶驅動器，簡稱LTO5技術，除了性能和存儲容量指標的提高外，LTO系列磁帶第一次引入了分區功能，并且利用分區功能IBM推出了IBM Long Term File System(IBM長期文件系統,簡稱LTFS)技術使得我們可以用類似磁盤或其他移動媒介的方式來瀏覽和訪問磁帶文件。系統可以把磁帶當作硬盤驅動器一樣載入。LTO5和LTFS技術的出現對視頻歸檔、醫療圖像存儲、電子發現等行業都有重要的意義，值得深入的研究。
1.LTO5技術
LTO5技術是基于Ultrium磁帶格式的第五代線性開放磁帶規格，單卷容量提高到1.5TB，傳輸速率可達140MB/s。與上代LTO4技術相比，除了容量增加了700G，傳輸速率增長了20MB/s以外，最重要的技術革新是LTO5技術的磁帶分區（Partitioning）功能，LTO-5磁帶機可為磁帶提供2個磁帶分割區。
LTO-5磁帶上下兩端邊緣是用于磁頭定位的servo band占用，在servo band中間共含用于記錄資料的1280條資料磁道(track)。這些磁道是以磁道組(track group)為單位來記錄資料，每個磁軌組中的16條磁軌將被同時記錄資料。以相同方向記錄資料的磁軌組被稱為線帶(Wrap)，LTO-5磁帶共含有80條Wrap，其中40條是由前往后正向記錄資料，40條是由后往前反向記錄資料，每條Warp可以存儲18.75GB的數據。
LTO-5磁帶出廠預設的格式是只有1個80條Wrap的分區，但可在驅動器Firmware的控制下格式化為2個分區，每個分區最小為2個Wrap，最大為76個Wrap，2個分區之間以Guard Wrap作為分隔，這個Guard Wrap大約會占用2.5%的總容量。以下圖為例，在紅色Guard Wrap上方的是分區0，下方的則是分區1。
若應用程序支持分區功能，將可同時使用2個分區；若不支持分區功能，則應用程序只能識別分區0，只有分區0會被寫入資料，所以此時是以只作一個分區0較為有利，可更充分地利用磁帶容量，因此在LTFS文件系統的應用程序將1分區作為元數據存儲的分區。
2.LTFS原理
根據IBM研究人員David Peace、Arnon Amir在論文中介紹，一個LTO5磁帶在邏輯上作為一個卷的形式提供數據存儲應用。一個LTFS卷由兩個LTFS分區組成，LTFS將兩個分區分別用作數據分區和索引分區。根據上文所述LTO5的物理特點，索引分區可以認為是位于磁帶的“最末端”，而不像磁盤一樣位于磁盤的頭部。
而每個分區在存儲實際內容區域之前都有一個標簽結構存儲區(Label Construct)。如上圖所示：
標簽結構存儲區由ANSI VOL1標簽區和LTFS標簽區組成。如左圖：
ANSI VOL1標簽區實際上是一個80個字節的長度的有固定格式記錄。而LTFS標簽區則是一段類似下文的XML格式的數據。
<?xml version="1.0" encoding="UTF-8"?>
<ltfslabel version="1.0">
<creator>IBM LTFS 0.20 - Linux - mkltfs</creator>
<formattime>2010-02-01T18:35:47.866846222Z</formattime>
<volumeuuid>30a91a08-daae-48d1-ae75-69804e61d2ea</volumeuuid>
<location>
<partition>b</partition>
</location>
<partitions>
<index>a</index>
<data>b</data>
</partitions>
<blocksize>1048576</blocksize>
<compression>true</compression>
</ltfslabel>
標簽結構存儲區后面是實際內容區域(Content Area)，在索引分區和數據分區的內容區域(Content Area)存儲方式存在一些差別。索引分區里面存儲的是索引結構(Index Construct),其索引結構也是一段XML格式的數據，描述文件的目錄結構和存儲區塊信息。當刪除或者更新文件時，由于磁帶的線性特性，數據沒有實際上被刪除或者更新，而是重新生成了一個變化了的索引結構(Index Construct)插入在之前的索引結構(Index Construct)后面，如下圖所示。
同時，在數據分區中也插入了一個同樣的索引結構，放在當前數據內容的最后面，數據分區的情況如下圖所示意。
另外，值得注意的是LTFS的索引結構(Index Construct)的XML，提供了擴展屬性字段(extendedattributes)，通過利用XML的可擴展特性為LTFS內存儲的文件添加更加復雜的描述信息，能夠存儲UTF格式的字符串和base64編碼的二進制數據，在基于LTO5的視頻歸檔系統的設計中，可以利用此可擴展字段存儲視頻的部分或者全部的元數據描述。
3.LTO5結合 LTFS實驗與測試
為了驗證LTFS效率的可用性和實際使用效率，參考《The Linear Tape File System》一文中實驗設計，進行了LTFS主要特性的實驗和測試工作。
·實驗環境
采用一臺IBM 3573 2U磁帶庫,使用ULT3580-HH5半高LTO5驅動器，內置256MB緩沖區，測試用主機是HP DL380 G5服務器，雙路四核的處理器(2*4核 Intel E5320運行在1.86GHz),8G內存，4G光纖HBA卡。軟件環境是Centos Linux 5.5版本, lin_tape磁帶庫驅動1.41.1版本，LTFS文件系統1.0.1版本(于2010年8月13日發布)。
·實驗工具
為了避免本地硬盤性能成為IO瓶頸，使用C++和QT編寫讀取和寫入測試工具，讀取的目的地和寫入的源都是主機內存，通過4G光纖讀寫EMC CX960盤陣測試，能夠達到220MB/s的讀取速度，和210MB/s左右的寫入速度，遠大于LTO5的讀寫帶寬。
·實驗記錄
（1）基礎讀寫效率測試：在格式化好的空白LTO5驅動器上面寫入1GB大小的文件。然后將其完整讀取。測試6次后，取結果如表3：
因為磁帶讀取文件需要進行倒帶操作，在磁帶上進行定位(Seeking)，才開始讀取或者寫入數據，而Seeking操作耗費了絕大多數時間。
（2）隨機數據讀寫測試：在LTO5磁帶中，寫入100個1GB左右的不同內容的視頻文件，然后隨機選取一個視頻文件進行讀取，在寫入一個1GB左右的視頻文件。測試6次后，取結果如表4：
在隨機讀寫的時候，最大帶寬影響不大，但是在磁帶上進行定位(Seeking)的時間有了明顯的增加。
（3）實際文件讀寫性能測試
通過測試工具控制，在寫入第一個文件塊時不進行計時，直到第一個文件塊寫入成功后再進行計時，進行所謂“熱身”操作，測試實際的1GB大小的文件讀取和寫入效率，整理結果如表5：
在測試是發現，在使用LTFS寫入時，數據不是連續寫入，而是在先以130MB/s的左右速度讀寫1秒，然后等待1秒左右，進行下一次讀寫。因此測試的結果是標稱的LTO5帶寬140MB/s的一半左右。可能與ULT3580-HH5驅動器只有256M帶寬有關或者與LTFS軟件本身緩沖區設置有關。
（4）磁帶上進行定位(Seeking)的時間測試
通過以上的文件讀寫測試可以發現，實際上耗費時間的不是LTO5本身的讀寫帶寬，而是磁帶定位(Seeking)本身占用了絕大多數時間。因此需要對LTO5驅動器和磁帶本身的定位(Seeking)效率進行測試。
通過Seeking測試可以看出，從文件系統中選擇一個文件，而不管文件有多小，將耗費1到2分鐘左右的時間。而實際上如果找到了文件，則讀寫速度還是非常快的，因此在視頻歸檔系統應用LTFS和線性的磁帶必須慎重考慮磁帶定位時間這個重要因素。此外，在對IBM 3573 2U磁帶庫進行測試時，由帶庫機械臂將磁帶從插槽抓取到驅動器，平均耗時大約在25秒至30秒的時間，因此可以看出，如果在磁帶庫中讀取一個不在驅動器中的磁帶中的1G左右的文件大約耗費時間的組成為：
按照平均情況，可以推算獲得一個存在帶庫中的1GB左右的視頻文件所耗費的總時間t大約為2分鐘，而且讀取的文件越大，LTO5和LTFS的相對的效率就越高：
t=tmove+tmount+tseeking+treading
=25+10+80+15
=130秒
五．LTO5技術在視頻歸檔系統中應用
使用LTO5和LTFS技術的歸檔系統，能在存儲介質失效前或者新的更大容量的存儲技術出現后，能夠靈活而高效率的實現數據遷移，而沒有明顯的業務中斷。同時，通過直接通過物流傳遞LTO5磁帶的方式，可以在網絡條件較差的情況下實現高清視頻數據的線下傳輸。存儲了標準元數據信息的磁帶技術，能夠提供較低成本的海量視頻歸檔數據解決方案。同時在設計基于LTO5或者其他使用磁帶介質的歸檔系統時，應當結合磁帶本身特性才能設計出高效率的視頻歸檔系統。
利用LTO5磁帶技術，針對原有分級存儲的視頻歸檔系統存在的問題進行改進，使其能滿足長期視頻歸檔的要求。如在LTO5磁帶庫中，通過可以策略保證做到每盤磁帶都有自己的一個副本，這樣就能保證同一個視頻內容在歸檔磁帶庫中有兩份數據，一方面冗余數據保證了數據安全性，另一方面在磁帶介質即將失效或者需要進行大量數據遷移時，可以直接取出副本磁帶，通過LTFS文件系統實現磁帶對磁帶的復制，從而實現了數據遷移，而在整個遷移過程中原有歸檔系統的保持正常服務。B&P