啊用力?嗯?轻一点原神宵宫,尿口扩张videos,国产精品久久久久精品爆乳接种 ,荡公乱妇HD电影中文字幕


微博

QQ

視頻服務器存儲技術的新發展(上)

2008-07-07 盧江暉 Harris廣播通訊部 依馬獅廣電資訊網


    一、前言
    視頻服務器在廣播電視領域的應用已經有相當長的時間,經歷了從簡單Motion-JPG方式的廣告插播時代,到MPEG-2編碼的盤帶結合播出時代,以及到今天的全硬盤播出時代。應用的發展來自于技術的發展,不斷進步的視頻服務器存儲技術起了舉足輕重的作用。視頻服務器的存儲性能除了硬盤容量的快速提升,數據冗余保護和數據重建的性能提升也是其中重要的推動力量。
    以下就對相關的視頻服務器存儲技術的新發展進行介紹,藉此展望未來視頻服務器應用領域的發展趨勢。

    二、冗余的必要性
    在視頻服務器的數據存儲應用中,除了要求容量外,更重要的就是保證數據的完整性和可靠性。只有數據不丟失,才能去談性能。因此,視頻服務器數據必須具有冗余性,防止數據的崩潰。
    數據的錯誤通常是由硬盤故障引起的,而最恐怖的硬盤崩潰將導致數據的丟失。由于至少10000RPM高轉速磁盤的機械特點,它的崩潰通常是永久性,因此數據的保護變得十分必要。
    由磁盤失效導致的數據錯誤,通常用平均無故障時間(MTBF)表示;另一種是用讀出數據總量中出現比特錯誤的數目表示,稱為誤碼率(BER)。還有一些由磁盤尋道、讀出和寫入等失效導致的錯誤是可以通過重復操作而成功解決。由于現在許多磁盤的MTBF都超過了百萬小時,BER指標的數量級也到達10-15,再加上5年質保,令檢測壞盤比檢測一個偶然出現問題的硬盤更符合經濟效益。為了減少更換保修成本,通過配置多種內部數據恢復機制可以防止額外的磁盤失效,包括數據校正、重構和磁盤壞軌映射機制。只有當單個磁盤超出它的重讀數并再沒有冗馀的扇區進行磁盤壞軌映射時,數據才會真正丟失。
    但是,由于視頻服務器要求數據吞吐性能穩定,其設計通常不能采用復雜的磁盤內部數據校正機制以消除錯誤,而“重復操作”這一技術在系統中會被限制。
    對視頻服務器設計而言,隨著系統的性能、規模和復雜性的提高,磁盤失效和錯誤處理成為一項重要而又緊迫的任務。假定1個磁盤的BER指標為10-15(每比特讀錯誤),當數據率增加時,錯誤出現的頻率約為幾小時出現1個。

視頻服務器存儲技術的新發展(上)

    在重要的數據位置,即使1個不可校正的比特錯誤,也可能導致不可接受的視音頻異常。因此采用一些數據保護方式是十分必要的,最主要的手段就是對硬盤故障的保護。而對數據丟失或數據中斷的保護只是暫時的,更安全穩定的是要對丟失的數據進行修復,這就是硬盤數據的重建。下面內容主要圍繞這兩方面技術的新發展。

    三、硬盤故障保護
    硬盤故障,就可能導致數據的丟失。硬盤故障保護,也就是在出現硬盤故障時,存儲單元的數據在一定冗余保護措施下不至于丟失。這樣的保護有如下幾種方式。
    1.單硬盤故障保護
    單硬盤故障保護是為了避免存儲陣列中單個硬盤故障導致的數據丟失,通常是通過增加一個校驗盤對所在硬盤陣列進行冗余保護。對視頻服務器數據存儲的單硬盤故障保護主要以RAID3為主,這方面技術和應用已經相當成熟了,在此不做冗述。這里介紹的,是以RAID3技術為基礎的更為實用的連續數據重構RAID3校驗方式。
    與傳統RAID3不一樣,連續數據重構方式的RAID3在數據“讀出”期間一并讀出校驗信息并將其解碼,并用它去檢驗數據的完整性。由于單個校驗值是基于每個數據部分分布的XOR計算的結果,既可以用它作錯誤檢驗處理,也可以用它作錯誤校正處理。依據實際情形,應用程序使用這些校驗信息服務于如下三個目的:
    (1)一個數據塊不能還原或報告錯誤的情況。損壞的部分仍然可以用好的數據塊和校驗信息通過XOR計算而得以重構。這種情況就是通常的單一錯誤校正(SEC)。
    (2)磁盤上所有讀取的數據和校驗信息能夠還原和無錯誤報告的情況。如果所有的數據塊和校驗信息事實上是正確的,依上述方程式就可方便地重建了緩存。如果經過檢驗運算,發現某一數據塊出錯(包括校驗),這樣受損壞的緩存會被摒棄,對應的視頻和音頻信息的數據塊就用“黑塊”和“靜音”數據替代。這種情況稱為單一錯誤檢測(SED)。
    (3)數據帶區集有多處損壞,在這種情形下,損壞的數據無法被校正。對應的視頻和音頻信息數據塊就用“黑塊”或“靜音”替代。這種情況稱為多錯誤檢測(MED)。
    在RAID磁盤存儲子系統中,失效的數據部分通常反映出一個特定磁盤的損壞(前提是分析可知該部分數據出錯了),多限于上述提到的第一和第三情形。絕大部分RAID系統只依靠磁盤自己報告錯誤,也沒有在讀取數據時進行XOR校驗。所以都忽略了第二種情形,讓系統處于易損或“不報告”錯誤數據狀態。在視頻服務器應用場合,這種方法是至少要檢測這些錯誤信息,并用“黑塊”替換這些錯誤數據來保證連續的視頻流,以免因錯誤數據被讀取導致MPEG-2解碼運算混亂從而引起馬賽克等現象的發生。同樣的方法也應用于音頻,以防止出現“口破”和“咔嗒”類型的數字雜音。
    另一個優勢,就是一直保持校驗信息計算,從而有效地改進了單一錯誤校正情形下的總體性能。如果一個磁盤損壞,就不需返回前面重讀先前的數據,只需跳過失效的部分,利用校驗數據重構原始數據分布。另外,當系統操作在降級模式時(出現壞盤等待重建),完全不會因重新讀取校驗盤而降低系統的性能。
    2.雙硬盤故障保護
    單硬盤故障保護可以防止一個硬盤失效,但大量數據盤同時使用時,就存在超過一個數據盤失效所造成的不可校正錯誤的機會。當增加更多數據存儲硬盤時,兩個數據(硬盤)同時出錯導致的不可校正可能性大大增加了。下面,我們對存儲單元雙數據錯誤發生的可能性進行分析。
    (1)雙數據錯誤的幾率分析
    如果單一數據瞬間失效的可能性是df,在n個數據帶區的單一數據錯誤的可能性是:

視頻服務器存儲技術的新發展(上)

    可校正的單一數據錯誤=df×n
    從上述方程式中可知,單一數據錯誤與磁盤的數目成正比。因此,推導出雙重數據失效的可能性是:
    不可校正雙重數據失效=(df×n)(df×(n-1))=(df×n)(df×(n-1))=df2×(n2-n)
    從上述方程式中可知,雙數據錯誤與磁盤數目的平方成正比。
    擁有單一校驗盤的RAID系統的最大缺點,就是當它的帶區集增大時,出現不可校正的雙重錯誤的機會也大大增加了。事實上,當df=0.008時,一個典型的48塊磁盤的帶區出現雙數據錯誤的可能性與在16塊硬盤帶區集中出現單一數據錯誤的可能性相當。
    針對上述可能風險出現的預防,采用多個校驗盤的技術改進方法就可以克服每一數據帶區只有單一校驗盤的不足。這種方法的關鍵是定義一個或一組方程式表示已知數據帶區的校驗信息,而這個或這組方程式的運算必須簡單,才能減少冗余校驗對存儲性能的影響。漢明編碼技術恰恰符合這樣的要求。
    (2)漢明編碼
    通過采用碼距為3的漢明編碼定義一組校驗方程式,可以取得如下的數據保護特性:
    校驗方程式的數目(校驗磁盤):r
    數據塊的數目(數據磁盤):n=2r-1-r
    以針對SEC帶區集采用漢明編碼(15,11,3)方程式的典型應用為例,碼距為3的標準校驗矩陣定義如下(有4塊校驗盤):
視頻服務器存儲技術的新發展(上)

    位置:p1   p2   d3   p4   d5   d6   d7   p

視聽科技視頻號 廣告
發表評論