啊用力?嗯?轻一点原神宵宫,尿口扩张videos,国产精品久久久久精品爆乳接种 ,荡公乱妇HD电影中文字幕


微博

QQ

視頻服務(wù)器存儲技術(shù)的新發(fā)展(上)

2008-07-07 盧江暉 Harris廣播通訊部 依馬獅廣電資訊網(wǎng)


    一、前言
    視頻服務(wù)器在廣播電視領(lǐng)域的應(yīng)用已經(jīng)有相當(dāng)長的時間,經(jīng)歷了從簡單Motion-JPG方式的廣告插播時代,到MPEG-2編碼的盤帶結(jié)合播出時代,以及到今天的全硬盤播出時代。應(yīng)用的發(fā)展來自于技術(shù)的發(fā)展,不斷進(jìn)步的視頻服務(wù)器存儲技術(shù)起了舉足輕重的作用。視頻服務(wù)器的存儲性能除了硬盤容量的快速提升,數(shù)據(jù)冗余保護(hù)和數(shù)據(jù)重建的性能提升也是其中重要的推動力量。
    以下就對相關(guān)的視頻服務(wù)器存儲技術(shù)的新發(fā)展進(jìn)行介紹,藉此展望未來視頻服務(wù)器應(yīng)用領(lǐng)域的發(fā)展趨勢。

    二、冗余的必要性
    在視頻服務(wù)器的數(shù)據(jù)存儲應(yīng)用中,除了要求容量外,更重要的就是保證數(shù)據(jù)的完整性和可靠性。只有數(shù)據(jù)不丟失,才能去談性能。因此,視頻服務(wù)器數(shù)據(jù)必須具有冗余性,防止數(shù)據(jù)的崩潰。
    數(shù)據(jù)的錯誤通常是由硬盤故障引起的,而最恐怖的硬盤崩潰將導(dǎo)致數(shù)據(jù)的丟失。由于至少10000RPM高轉(zhuǎn)速磁盤的機(jī)械特點(diǎn),它的崩潰通常是永久性,因此數(shù)據(jù)的保護(hù)變得十分必要。
    由磁盤失效導(dǎo)致的數(shù)據(jù)錯誤,通常用平均無故障時間(MTBF)表示;另一種是用讀出數(shù)據(jù)總量中出現(xiàn)比特錯誤的數(shù)目表示,稱為誤碼率(BER)。還有一些由磁盤尋道、讀出和寫入等失效導(dǎo)致的錯誤是可以通過重復(fù)操作而成功解決。由于現(xiàn)在許多磁盤的MTBF都超過了百萬小時,BER指標(biāo)的數(shù)量級也到達(dá)10-15,再加上5年質(zhì)保,令檢測壞盤比檢測一個偶然出現(xiàn)問題的硬盤更符合經(jīng)濟(jì)效益。為了減少更換保修成本,通過配置多種內(nèi)部數(shù)據(jù)恢復(fù)機(jī)制可以防止額外的磁盤失效,包括數(shù)據(jù)校正、重構(gòu)和磁盤壞軌映射機(jī)制。只有當(dāng)單個磁盤超出它的重讀數(shù)并再沒有冗馀的扇區(qū)進(jìn)行磁盤壞軌映射時,數(shù)據(jù)才會真正丟失。
    但是,由于視頻服務(wù)器要求數(shù)據(jù)吞吐性能穩(wěn)定,其設(shè)計通常不能采用復(fù)雜的磁盤內(nèi)部數(shù)據(jù)校正機(jī)制以消除錯誤,而“重復(fù)操作”這一技術(shù)在系統(tǒng)中會被限制。
    對視頻服務(wù)器設(shè)計而言,隨著系統(tǒng)的性能、規(guī)模和復(fù)雜性的提高,磁盤失效和錯誤處理成為一項重要而又緊迫的任務(wù)。假定1個磁盤的BER指標(biāo)為10-15(每比特讀錯誤),當(dāng)數(shù)據(jù)率增加時,錯誤出現(xiàn)的頻率約為幾小時出現(xiàn)1個。

視頻服務(wù)器存儲技術(shù)的新發(fā)展(上)

    在重要的數(shù)據(jù)位置,即使1個不可校正的比特錯誤,也可能導(dǎo)致不可接受的視音頻異常。因此采用一些數(shù)據(jù)保護(hù)方式是十分必要的,最主要的手段就是對硬盤故障的保護(hù)。而對數(shù)據(jù)丟失或數(shù)據(jù)中斷的保護(hù)只是暫時的,更安全穩(wěn)定的是要對丟失的數(shù)據(jù)進(jìn)行修復(fù),這就是硬盤數(shù)據(jù)的重建。下面內(nèi)容主要圍繞這兩方面技術(shù)的新發(fā)展。

    三、硬盤故障保護(hù)
    硬盤故障,就可能導(dǎo)致數(shù)據(jù)的丟失。硬盤故障保護(hù),也就是在出現(xiàn)硬盤故障時,存儲單元的數(shù)據(jù)在一定冗余保護(hù)措施下不至于丟失。這樣的保護(hù)有如下幾種方式。
    1.單硬盤故障保護(hù)
    單硬盤故障保護(hù)是為了避免存儲陣列中單個硬盤故障導(dǎo)致的數(shù)據(jù)丟失,通常是通過增加一個校驗盤對所在硬盤陣列進(jìn)行冗余保護(hù)。對視頻服務(wù)器數(shù)據(jù)存儲的單硬盤故障保護(hù)主要以RAID3為主,這方面技術(shù)和應(yīng)用已經(jīng)相當(dāng)成熟了,在此不做冗述。這里介紹的,是以RAID3技術(shù)為基礎(chǔ)的更為實用的連續(xù)數(shù)據(jù)重構(gòu)RAID3校驗方式。
    與傳統(tǒng)RAID3不一樣,連續(xù)數(shù)據(jù)重構(gòu)方式的RAID3在數(shù)據(jù)“讀出”期間一并讀出校驗信息并將其解碼,并用它去檢驗數(shù)據(jù)的完整性。由于單個校驗值是基于每個數(shù)據(jù)部分分布的XOR計算的結(jié)果,既可以用它作錯誤檢驗處理,也可以用它作錯誤校正處理。依據(jù)實際情形,應(yīng)用程序使用這些校驗信息服務(wù)于如下三個目的:
    (1)一個數(shù)據(jù)塊不能還原或報告錯誤的情況。損壞的部分仍然可以用好的數(shù)據(jù)塊和校驗信息通過XOR計算而得以重構(gòu)。這種情況就是通常的單一錯誤校正(SEC)。
    (2)磁盤上所有讀取的數(shù)據(jù)和校驗信息能夠還原和無錯誤報告的情況。如果所有的數(shù)據(jù)塊和校驗信息事實上是正確的,依上述方程式就可方便地重建了緩存。如果經(jīng)過檢驗運(yùn)算,發(fā)現(xiàn)某一數(shù)據(jù)塊出錯(包括校驗),這樣受損壞的緩存會被摒棄,對應(yīng)的視頻和音頻信息的數(shù)據(jù)塊就用“黑塊”和“靜音”數(shù)據(jù)替代。這種情況稱為單一錯誤檢測(SED)。
    (3)數(shù)據(jù)帶區(qū)集有多處損壞,在這種情形下,損壞的數(shù)據(jù)無法被校正。對應(yīng)的視頻和音頻信息數(shù)據(jù)塊就用“黑塊”或“靜音”替代。這種情況稱為多錯誤檢測(MED)。
    在RAID磁盤存儲子系統(tǒng)中,失效的數(shù)據(jù)部分通常反映出一個特定磁盤的損壞(前提是分析可知該部分?jǐn)?shù)據(jù)出錯了),多限于上述提到的第一和第三情形。絕大部分RAID系統(tǒng)只依靠磁盤自己報告錯誤,也沒有在讀取數(shù)據(jù)時進(jìn)行XOR校驗。所以都忽略了第二種情形,讓系統(tǒng)處于易損或“不報告”錯誤數(shù)據(jù)狀態(tài)。在視頻服務(wù)器應(yīng)用場合,這種方法是至少要檢測這些錯誤信息,并用“黑塊”替換這些錯誤數(shù)據(jù)來保證連續(xù)的視頻流,以免因錯誤數(shù)據(jù)被讀取導(dǎo)致MPEG-2解碼運(yùn)算混亂從而引起馬賽克等現(xiàn)象的發(fā)生。同樣的方法也應(yīng)用于音頻,以防止出現(xiàn)“口破”和“咔嗒”類型的數(shù)字雜音。
    另一個優(yōu)勢,就是一直保持校驗信息計算,從而有效地改進(jìn)了單一錯誤校正情形下的總體性能。如果一個磁盤損壞,就不需返回前面重讀先前的數(shù)據(jù),只需跳過失效的部分,利用校驗數(shù)據(jù)重構(gòu)原始數(shù)據(jù)分布。另外,當(dāng)系統(tǒng)操作在降級模式時(出現(xiàn)壞盤等待重建),完全不會因重新讀取校驗盤而降低系統(tǒng)的性能。
    2.雙硬盤故障保護(hù)
    單硬盤故障保護(hù)可以防止一個硬盤失效,但大量數(shù)據(jù)盤同時使用時,就存在超過一個數(shù)據(jù)盤失效所造成的不可校正錯誤的機(jī)會。當(dāng)增加更多數(shù)據(jù)存儲硬盤時,兩個數(shù)據(jù)(硬盤)同時出錯導(dǎo)致的不可校正可能性大大增加了。下面,我們對存儲單元雙數(shù)據(jù)錯誤發(fā)生的可能性進(jìn)行分析。
    (1)雙數(shù)據(jù)錯誤的幾率分析
    如果單一數(shù)據(jù)瞬間失效的可能性是df,在n個數(shù)據(jù)帶區(qū)的單一數(shù)據(jù)錯誤的可能性是:

視頻服務(wù)器存儲技術(shù)的新發(fā)展(上)

    可校正的單一數(shù)據(jù)錯誤=df×n
    從上述方程式中可知,單一數(shù)據(jù)錯誤與磁盤的數(shù)目成正比。因此,推導(dǎo)出雙重數(shù)據(jù)失效的可能性是:
    不可校正雙重數(shù)據(jù)失效=(df×n)(df×(n-1))=(df×n)(df×(n-1))=df2×(n2-n)
    從上述方程式中可知,雙數(shù)據(jù)錯誤與磁盤數(shù)目的平方成正比。
    擁有單一校驗盤的RAID系統(tǒng)的最大缺點(diǎn),就是當(dāng)它的帶區(qū)集增大時,出現(xiàn)不可校正的雙重錯誤的機(jī)會也大大增加了。事實上,當(dāng)df=0.008時,一個典型的48塊磁盤的帶區(qū)出現(xiàn)雙數(shù)據(jù)錯誤的可能性與在16塊硬盤帶區(qū)集中出現(xiàn)單一數(shù)據(jù)錯誤的可能性相當(dāng)。
    針對上述可能風(fēng)險出現(xiàn)的預(yù)防,采用多個校驗盤的技術(shù)改進(jìn)方法就可以克服每一數(shù)據(jù)帶區(qū)只有單一校驗盤的不足。這種方法的關(guān)鍵是定義一個或一組方程式表示已知數(shù)據(jù)帶區(qū)的校驗信息,而這個或這組方程式的運(yùn)算必須簡單,才能減少冗余校驗對存儲性能的影響。漢明編碼技術(shù)恰恰符合這樣的要求。
    (2)漢明編碼
    通過采用碼距為3的漢明編碼定義一組校驗方程式,可以取得如下的數(shù)據(jù)保護(hù)特性:
    校驗方程式的數(shù)目(校驗磁盤):r
    數(shù)據(jù)塊的數(shù)目(數(shù)據(jù)磁盤):n=2r-1-r
    以針對SEC帶區(qū)集采用漢明編碼(15,11,3)方程式的典型應(yīng)用為例,碼距為3的標(biāo)準(zhǔn)校驗矩陣定義如下(有4塊校驗盤):
視頻服務(wù)器存儲技術(shù)的新發(fā)展(上)

    位置:p1   p2   d3   p4   d5   d6   d7   p

視聽科技視頻號 廣告
發(fā)表評論