高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用

2011-07-19 王喆傳播與制作

【摘要】介紹了山東電視臺(tái)非線性編輯制作網(wǎng)存儲(chǔ)設(shè)備，對(duì)存儲(chǔ)設(shè)備的參數(shù)設(shè)置作簡單說明；介紹了使用的文件系統(tǒng)，以及文件系統(tǒng)的部分參數(shù)設(shè)定。

【關(guān)鍵詞】非編制作?網(wǎng)RAID緩存
粒度?策略

　　山東電視臺(tái)2010年新搭建了非線性編輯制作網(wǎng)。下面就整個(gè)制作網(wǎng)的核心部分—存儲(chǔ)系統(tǒng)作一個(gè)簡單介紹。

　　存儲(chǔ)系統(tǒng)在整個(gè)系統(tǒng)中的作用，我們可以形容為“倉庫”，其重要性是不言而喻的。非線性編輯制作網(wǎng)存儲(chǔ)系統(tǒng)采用了EMC存儲(chǔ)家族中的CX4—960，作為承擔(dān)核心存儲(chǔ)任務(wù)的CX4-960，擁有非常好的性能，就存儲(chǔ)硬件本身而言，提供了8個(gè)BUS，最多可支持到960塊磁盤，雙控制器提供了16個(gè)4GB的光纖通道（fibre channel），控制器的緩存（cache）也達(dá)到了16GB。

　　在系統(tǒng)的規(guī)劃中，我們首先考慮存儲(chǔ)設(shè)備與交換機(jī)的連接方式。對(duì)于存儲(chǔ)的控制器光纖通道與交換機(jī)的連接，充分考慮了其高安全性，防止由單鏈路故障引起的系統(tǒng)問題，因此采用了交叉連接方式，即每個(gè)控制器的4個(gè)光纖通道分別均勻的連接到兩個(gè)交換機(jī)上。使控制器不只依賴于某一交換機(jī)和某一光纖鏈路。

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用
圖1 EMC存儲(chǔ)與交換機(jī)連接示意圖

　　系統(tǒng)規(guī)劃中，我們還需要結(jié)合實(shí)際的業(yè)務(wù)量和對(duì)帶寬的需求，對(duì)磁盤進(jìn)行規(guī)劃，包括RAID的級(jí)別，熱備盤的數(shù)量及RAID中包含的磁盤數(shù)等等。RAID劃分我們最先考慮的是容量的要求。根據(jù)實(shí)際情況，存儲(chǔ)配置了97塊，其中，Encl0的前5塊盤是EMC的系統(tǒng)盤，做的是RAID5，其系統(tǒng)為windows xp，該RAID5可以說是整個(gè)存儲(chǔ)的“大腦”，其余的92塊盤，每9塊盤(8+1)做一個(gè)RAID5，剩余兩塊盤作為熱備(HOT SPARE),之所以采用RAID5(8+1)的方式做RAID，第一點(diǎn)，是考慮容量的要求，另外一點(diǎn)就是要跟后面講的文件系統(tǒng)的粒度相匹配，具體的RAID劃分如圖2所示：

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用
圖2 RAID劃分示意圖

　　RAID采用了8+1的方式做，而作為RAID磁盤的分配，我們采用了取每一個(gè)磁盤擴(kuò)展柜（DAE）的前9塊來做RAID，之所以沒采用每個(gè)DAE各取一塊盤來做，是因?yàn)椋珻X4-960本身提供了8個(gè)Bus，而我們系統(tǒng)配置了7個(gè)DAE，所以每個(gè)DAE獨(dú)享一個(gè)Bus，帶寬不是瓶頸（如果存儲(chǔ)的Bus少或著DAE間串接起來后連接Bus的話，建議采用每個(gè)DAE各取一塊盤的做法，那樣會(huì)提高性能）。存儲(chǔ)的RAID規(guī)劃做完后，我們要根據(jù)實(shí)際的應(yīng)用情況及系統(tǒng)對(duì)讀寫的要求，對(duì)EMC存儲(chǔ)的cache進(jìn)行調(diào)整，調(diào)整前，我們先了解一下存儲(chǔ)的幾個(gè)屬性：

1.頁面大小：
　　在緩存頁面中頁面大小以KB為單位，控制器（SP）以頁面而不是扇區(qū)管理讀寫緩存，頁面越大在單頁面中儲(chǔ)存的連續(xù)扇區(qū)就越多，默認(rèn)頁面大小為2K字節(jié)。

　　◆對(duì)于一般的文件服務(wù)器應(yīng)用：8Kbytes
　　◆對(duì)于數(shù)據(jù)庫應(yīng)用：2或4Kbytes

2.低水位，高水位，水位的處理
　　SP使用高低水位來決定什么時(shí)候沖洗他們的寫緩存。關(guān)于水位處理器參考如下選擇。

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用
圖示3 水位處理器

下面是關(guān)于高低水位的細(xì)節(jié)

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用
圖示4 高低水位

3.寫緩存：
　　鏡像的寫緩存為兩個(gè)SP設(shè)置寫緩存類型鏡像或非鏡像。如果設(shè)置非鏡像的SP寫緩存失敗，沒有保存到硬盤的寫緩存的數(shù)據(jù)將丟失，為了提高更好的安全性，大多數(shù)存儲(chǔ)系統(tǒng)都設(shè)置了鏡像緩存。我們此次采用了鏡像寫緩存方式，目的就是保證數(shù)據(jù)的安全性。一個(gè)SP的寫緩存會(huì)鏡像到另外一個(gè)SP的寫緩存中，因此，兩個(gè)SP中的寫緩存大小總是一樣，都是打開或停止。啟動(dòng)時(shí)，如果寫緩存大小為非零，存儲(chǔ)系統(tǒng)將自動(dòng)打開寫緩存功能。其他類似讀緩存。

4.讀緩存：
　　SP A和SP B的讀緩存可以做如下的選擇。

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用
圖示5 讀緩存

　　一個(gè)SP上的讀緩存不影響另外一個(gè)SP中的讀緩存，啟動(dòng)時(shí)，如果SP的讀緩存大小不為零，存儲(chǔ)系統(tǒng)將自動(dòng)地啟動(dòng)讀緩存功能。打開或禁止存儲(chǔ)系統(tǒng)的讀緩存并不影響SP的LUN的信息，有些操作，比如設(shè)置最多的LUN緩存屬性，需要禁止掉SP A 或SP B的讀緩存功能，當(dāng)執(zhí)行其他操作時(shí)，如果緩存打開，系統(tǒng)將自動(dòng)停止掉，直到操作完成。

　　對(duì)存儲(chǔ)的屬性有了一定了解后，結(jié)合實(shí)際的需求，我們對(duì)存儲(chǔ)的實(shí)際設(shè)置調(diào)整為：

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用

　　上面講到存儲(chǔ)設(shè)備EMC CX4-960，而作為存儲(chǔ)系統(tǒng)的組成部分，不得不提的是文件系統(tǒng)，此次采用的文件系統(tǒng)是ASFS文件系統(tǒng)，它可以將多臺(tái)FC陣列轉(zhuǎn)換成支持多服務(wù)器并行處理的存儲(chǔ)集群，提供高性能、可擴(kuò)展的文件共享服務(wù)，并支持多機(jī)工作流或集群環(huán)境下的各種應(yīng)用。

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用
圖示7 文件系統(tǒng)結(jié)構(gòu)

　　在實(shí)際應(yīng)用中，我們必然要考慮到文件系統(tǒng)的高可用性（防止單點(diǎn)故障）、異構(gòu)性和可擴(kuò)展能力。

　　從開始部署，到實(shí)際中的應(yīng)用，使我對(duì)ASFS有了更深刻的認(rèn)識(shí)。總結(jié)ASFS的特性，可以簡單概括如下：

　　1)異構(gòu)平臺(tái)文件級(jí)數(shù)據(jù)共享--采用全局命名空間的特性，支持Windows/Linux操作系統(tǒng)平臺(tái)間的文件級(jí)數(shù)據(jù)共享。
　　2)卓越的性能優(yōu)勢--采用直接數(shù)據(jù)存取模式和帶外（out-of-band）數(shù)據(jù)傳輸架構(gòu)，最大限度發(fā)揮SAN環(huán)境的帶寬和性能優(yōu)勢，這一優(yōu)勢在配合高端存儲(chǔ)系統(tǒng)和大規(guī)模存儲(chǔ)環(huán)境下表現(xiàn)得更加淋漓盡致。
　　3)強(qiáng)大的可擴(kuò)展能力—支持高達(dá)EB級(jí)的系統(tǒng)存儲(chǔ)容量和32TB的巨型文件，支持上億規(guī)模的目錄和文件數(shù)量。通過增加存儲(chǔ)設(shè)備，系統(tǒng)可以在線擴(kuò)展存儲(chǔ)容量、IO帶寬和負(fù)載能力
　　4)系統(tǒng)高可用能力--采用冗余架構(gòu)設(shè)計(jì)的MDC，配合全冗余的SAN架構(gòu)，支持FC環(huán)境下的multipath配置，從而實(shí)現(xiàn)存儲(chǔ)系統(tǒng)無單點(diǎn)故障，確保存儲(chǔ)系統(tǒng)整體連續(xù)運(yùn)行。

　　文件系統(tǒng)的特性及自身特點(diǎn)可以滿足需求后，我們來了解幾個(gè)文件系統(tǒng)的參數(shù)及個(gè)參數(shù)的作用，最后介紹一下最終參數(shù)調(diào)整。

　　1)卷組分配粒度

　　當(dāng)某文件在該卷組上申請(qǐng)資源時(shí)，卷組分配資源的最小單位，結(jié)合文件大小，節(jié)省磁盤空間，提高性能。

　　在實(shí)際的應(yīng)用中，我們采用的粒度是2MB，該粒度大小是經(jīng)過與RAID組磁盤數(shù)量及存儲(chǔ)的塊大小（blocksize）計(jì)算出來的。也就是我們剛開始講的做RAID時(shí)，磁盤數(shù)量多少要與粒度相匹配。文件系統(tǒng)的粒度大小，我們講EMC存儲(chǔ)時(shí)，提到了block size的概念。文件系統(tǒng)的粒度要與存儲(chǔ)的block size大小相匹配即整數(shù)倍，才能達(dá)到文件系統(tǒng)的最佳性能。如存儲(chǔ)EMC CX4-960 的block size大小為64K，存儲(chǔ)提供了92塊數(shù)據(jù)盤，綜合考慮下，我們采用了raid5是8+1模式，而文件系統(tǒng)的粒度設(shè)置是2MB，所以64（block size）×8（RAID有效磁盤數(shù)）=512，而粒度（2M）正好是512的整數(shù)倍，這樣，文件系統(tǒng)去存儲(chǔ)取數(shù)據(jù)時(shí)，能夠達(dá)到最佳性能。

　　2）數(shù)據(jù)塊大小
　　指的是數(shù)據(jù)卷上的塊大小，代表文件系統(tǒng)分配資源的最小粒度，創(chuàng)建文件系統(tǒng)時(shí)要選定的，可以很好的配合大小文件的管理，提高I/O請(qǐng)求速度。
數(shù)據(jù)塊的大小盡量與存儲(chǔ)系統(tǒng)的blocksize大小成整數(shù)倍，這樣可以提高存儲(chǔ)的性能及執(zhí)行效率，我們采用的數(shù)據(jù)塊大小為512K

　　3）卷組策略
　　卷組策略是我們必須要考慮的問題之一，可分為錯(cuò)誤隔離方式和條帶化方式。錯(cuò)誤隔離方式，在寫數(shù)據(jù)時(shí)，是RAID順序?qū)懭搿６鴹l帶化方式使數(shù)據(jù)盡可能平均的分布到所有設(shè)備上，發(fā)揮盤陣的最大性能和背板帶寬，使在一次訪問中訪問該卷組中所有的卷，并發(fā)操作，平均利用資源。關(guān)于卷組策略，我們采用的是條帶化策略，該策略在實(shí)際使用中，數(shù)據(jù)均勻的寫在存儲(chǔ)的每一個(gè)RAID組中，減少了磁盤的I/O響應(yīng)時(shí)間。

　　該文件系統(tǒng)還有個(gè)比較方便的地方是其IE界面可以進(jìn)行文件系統(tǒng)的狀態(tài)實(shí)時(shí)監(jiān)控，還可以對(duì)文件系統(tǒng)的健康狀態(tài)進(jìn)行診斷，應(yīng)用起來非常方便。系統(tǒng)診斷界面，檢測文件系統(tǒng)相關(guān)資源狀況，實(shí)時(shí)反映文件系統(tǒng)狀態(tài)，易于操作，遇到問題可以快速定位解決。

　　最后，我們?cè)僬f一下文件系統(tǒng)的高可用性。作為文件系統(tǒng)，除了提供強(qiáng)大的功能外，其自身的安全性是必須要重視的內(nèi)容之一，ASFS的HA高可用管理（High Availability Cluster）：主機(jī)工作，備機(jī)處于監(jiān)控準(zhǔn)備狀況；當(dāng)主機(jī)宕機(jī)時(shí)，備機(jī)接管主機(jī)的一切工作，待主機(jī)恢復(fù)正常后，按使用者的設(shè)定以自動(dòng)或手動(dòng)方式將服務(wù)切換到主機(jī)上運(yùn)行，數(shù)據(jù)的一致性通過共享存儲(chǔ)系統(tǒng)解決，經(jīng)過我們反復(fù)驗(yàn)證，ASFS做到了高可用性，真正實(shí)現(xiàn)了主備服務(wù)器的無縫切換，從而對(duì)外提供7*24小時(shí)不間斷的服務(wù)，如高可用的文件服務(wù)器、數(shù)據(jù)庫服務(wù)等關(guān)鍵應(yīng)用，MDS與EMC存儲(chǔ)具體連接方法如下圖：

高性能存儲(chǔ)在非編制作網(wǎng)中的應(yīng)用
圖示8 MDS與EMC連接示意圖