主流高性能計算文件管理系統(tǒng)優(yōu)劣點評
當(dāng)下市場中有很多高性能文件系統(tǒng):Sun QFS、IBM GPFS、Quantum StorNext、Red Hat GFS和Panasas等等,那么哪一個是最好的呢?這要取決于你自身的需求。
Panasas首席營銷管Len Rosenthal表示:“我們的競爭對手包括NetApp OnTap或者OnTap GX、EMC、IBM GPFS、HP Polyserve或者Sun的開源研究項目Lustre。雖然我們已經(jīng)取代了運行Sun QFS的系統(tǒng),但是在銷售方面卻從來沒有真正地與他們競爭。”
Rosenthal表示,Quantum StorNext和HP Polyserve只能處理最高16個集群NFS服務(wù)器,所以他們不會與擴展NAS產(chǎn)品競爭。同樣地,IBM GPFS和Sun Lustre與Panasas PanFS一樣都是并行文件系統(tǒng),主要被高等院校和政府研究機構(gòu)用于擴展存儲容量的用途,但是他們不提供足夠高的I/O率或者快照等數(shù)據(jù)管理工具。
那么Panasas的競爭對手是如何對此回應(yīng)的?
IBM公司GPFS產(chǎn)品經(jīng)理Todd Neville表示,GPFS安裝基礎(chǔ)非常廣泛,其中包括高性能計算、零售、媒體和娛樂、金融服務(wù)、生命科學(xué)、醫(yī)療、Web 2.0、電信以及制造業(yè)。Neville也不認同Panasas關(guān)于I/O率的說法。
昆騰公司軟件業(yè)務(wù)產(chǎn)品線總監(jiān)Greg Nuss也強調(diào)說,Panasas關(guān)于StorNext功能的說法是完全錯誤的。
他說:“StorNext集群中的每個節(jié)點都可以作為一個NFS服務(wù)器,并且在終端代表通用文件系統(tǒng)命名空間?,F(xiàn)在,我們支持1000個節(jié)點,支持與集群連接的附加SAN節(jié)點或者附加LAN節(jié)點。現(xiàn)在我們每天實際安裝的節(jié)點大約在300到400個之間。一般來說我們并不與Panasas形成市場競爭關(guān)系,因為StorNext一般不配置在擴展NAS架構(gòu)中,而是用于高性能工作流以及歸檔架構(gòu)中。”
與此同時,惠普也反駁了Panasas的說法?;萜毡硎?,HP Scalable NAS在用戶集群中能夠使用的NAS File Services服務(wù)器節(jié)點方面并不存在架構(gòu)性的限制。
HP StorageWorks部門NAS產(chǎn)品營銷總監(jiān)Ian Duncan表示:“我們所說的16個服務(wù)器節(jié)點限制僅僅是指測試限制?,F(xiàn)在我們有許多NAS File Service用戶正在使用超過16個服務(wù)器節(jié)點的集群。”
Duncan表示,Panasas、Sun QFS、IBM GPFS以及Quantum StorNext并不是真正的對稱文件系統(tǒng),而是基于主服務(wù)器的集群文件系統(tǒng)——不管是否針對元數(shù)據(jù)操作和鎖定操作,或者兩者兼?zhèn)?mdash;—這非常容易被作為傳統(tǒng)的、單節(jié)點系統(tǒng)。然而,Duncan認為這些廠商可能面臨主服務(wù)器單一角色導(dǎo)致的性能和可用性方面的瓶頸。
Duncan表示:“當(dāng)添加服務(wù)器的時候,在主服務(wù)器上的負載增加,這可能會造成性能的削弱,并且在主服務(wù)器發(fā)生故障的情況下導(dǎo)致更多節(jié)點功能性的丟失。相比之下,4400 Scalable NAS File Services采用了HP Clustered File System (CFS),開發(fā)出多臺獨立服務(wù)器來提供更高的可擴展性和可用性,將集群與任何獨立節(jié)點故障或者性能局限隔離開來。”
拋開以上這些,下面讓我們來仔細看一看其中一些文件系統(tǒng)。
Panasas PanFS
Panasas PanFS并行文件系統(tǒng)是一個基于目標(biāo)的文件系統(tǒng),面向那些在I/O和帶寬方面要求高性能水平的擴展應(yīng)用。與Panasas同樣提供支持的NFS或者CIFS不同的是,PanFS采用并行的DirectFLOW協(xié)議,該協(xié)議是即將推出的pNFS(是NFS 4.1的重要升級)的基礎(chǔ)。據(jù)稱,Panasas并行存儲的主要優(yōu)點是超高應(yīng)用性能。
NFS服務(wù)器要求所有I/O請求必須通過一個NAS文件管理器頭(Filer head),而PanFS能夠?qū)崿F(xiàn)數(shù)據(jù)從客戶或者服務(wù)器節(jié)點向存儲系統(tǒng)的并行傳輸。Panasas系統(tǒng)將NAS機頭從數(shù)據(jù)路徑中消除掉,使它不再是I/O瓶頸。例如:Panasas并行存儲配合安裝全球性能最高的計算機系統(tǒng)——應(yīng)用在美國新墨西哥洛斯阿拉莫斯國家實驗室的Roadrunner超級計算機。它向一個共享文件系統(tǒng)的傳輸率可以達到每秒100GB。 #p#page_title#e#
Rosenthal表示:“有了這種架構(gòu),Panasas并行存儲系統(tǒng)可以擴展被上千名用戶或者服務(wù)器使用,存儲容量擴展至數(shù)十PB,可以提供超過100GB/s的帶寬。這種基于軟件的RAID架構(gòu)包括的其他主要功能能夠?qū)崿F(xiàn)并行RAID重建,使它的速度提高到大多數(shù)存儲系統(tǒng)的5倍到10倍左右。”
PanFS還應(yīng)用了Panasas Tiered Parity技術(shù),這項技術(shù)可以自動監(jiān)測和修正無法恢復(fù)的組件錯誤,這一點在重建過程中是非常重要的。最后,這種我呢間系統(tǒng)針對許多仿真和建模應(yīng)用進行了優(yōu)化。
但是,Panasas系統(tǒng)是針對文件存儲設(shè)計的,不是塊存儲。因此,它一般不應(yīng)用于以交易為主導(dǎo)的應(yīng)用,例如ERP、訂單輸入以及CRM。相反,它常用于那些許多用戶或者服務(wù)器節(jié)點需要向大型文件存儲池的共享路徑的應(yīng)用。
HP File Services
HP File Services主要針對那些需要無縫提高應(yīng)用吞吐量、不用中斷服務(wù)就可以輕松在線增加存儲容量的中小企業(yè)用戶。HP StorageWorks 4400 Scalable NAS File Services包括一個雙陣列控制器和4.8TB容量的HP StorageWorks 4400 Enterprise Virtual Array、三個文件服務(wù)節(jié)點、管理和復(fù)制軟件、以及對Windows或者Linux的支持。有了三個文件服務(wù)節(jié)點和雙陣列控制器,4400 Scalable NAS File Services就不會發(fā)生單點故障。
缺點是什么呢?Duncan表示:“4400 Scalable NAS File Services不太適合于那些要求超過每秒6GB吞吐量的高性能計算應(yīng)用。”
Quantum StorNext
StorNext是那些Apple用戶的最合適平臺選擇。而且,在Apple、Windows和其他系統(tǒng)必須與之互動的富媒體環(huán)境中,StorNext已經(jīng)控制住了這個市場。例如,StorNext通常被用于嚴格的視頻生產(chǎn)和回放應(yīng)用中,因為他能夠處理大容量和高清內(nèi)容的幀頻。除了這些StorNext還能做什么?
Nuss表示:“StorNext與其他共享文件系統(tǒng)的主要區(qū)別就是與歸檔層(StorNext/StorageManager)嚴格的集成度、強大的磁帶支持以及對更多操作系統(tǒng)平臺的支持。其他文件系統(tǒng)不能在一個集群系統(tǒng)內(nèi)支持Linux、Unix、Apple和Windows的多種版本。”
StorNext文件系統(tǒng)是一個異構(gòu)的共享文件系統(tǒng),具有集成的歸檔功能。它能夠讓系統(tǒng)共享圖像、媒體、內(nèi)容、分析數(shù)據(jù)以及其他文件的高速存儲池,這樣他們就可以被快速地處理和分配——不管是否與SAN或者LAN相連接。
IBM GPFS
IBM的General Parallel File System (GPFS)已經(jīng)推出好幾年時間了。
Iluminata分析師John Webster表示:“GPFS是一個針對AIX和Linux系統(tǒng)的高性能、共享磁盤、集群文件系統(tǒng)。”
GPFS最初是針對高性能計算設(shè)計的,現(xiàn)在它已經(jīng)擴展到需求高性能、容錯和高容量環(huán)境中,例如關(guān)系數(shù)據(jù)庫、CRM、Web 2.0、媒體應(yīng)用、工程設(shè)計、金融應(yīng)用和數(shù)據(jù)歸檔。
Neville表示:“GPFS是基于一個SAN模型的,所有服務(wù)器能夠訪問所有存儲。GPFS允許從任何不與SAN連接的系統(tǒng)進行數(shù)據(jù)訪問,提供了一個SAN仿真軟件,允許使用以太網(wǎng)等通用網(wǎng)絡(luò)來訪問數(shù)據(jù)。”
在每個文件系統(tǒng)的所有磁盤中數(shù)據(jù)被條帶化,這讓每個磁盤的帶寬被用于單文件服務(wù)或者用于產(chǎn)生多文件的聚合性能。這種性能水平被分配給所有節(jié)點,然后組成了集群。用戶還可以架構(gòu)GPFS,這樣就不會發(fā)生單點故障。在核心文件服務(wù)功能的上層,GPFS提供了能夠在集群之間共享數(shù)據(jù)的功能,以及基于策略的信息生命周期管理工具,使用這款工具可以將數(shù)據(jù)在包括磁帶在內(nèi)的不同存儲層之間進行遷移。
除此之外,GPFS能夠被作為文件服務(wù)NAS集群的核心,在這個集群中可以通過集群的所有節(jié)點以NFS、CIFS或者HTTP的形式提供數(shù)據(jù)。用戶還可以根據(jù)需求的變更來添加或者移除節(jié)點或者存儲設(shè)備?;贕PFS的IBM Scale Out File Services (SoFS)包括許多附加功能性。
Neville表示:“隨著文件集中型數(shù)據(jù)和存儲容量的迅速增長,未來NAS將可能延續(xù)高性能計算、Web服務(wù)或者其他類似的行業(yè)趨勢,發(fā)展成為一種基于標(biāo)準(zhǔn)低成本組件的擴展模式,這也是GPFS的一個核心競爭優(yōu)勢。” #p#page_title#e#
上述的大多數(shù)廠商都宣稱在多個領(lǐng)域擁有領(lǐng)先優(yōu)勢,同時他們也承認自己的一些劣勢領(lǐng)域。底線就是,現(xiàn)場測試和免費試用期的自由使用能夠看到這些不同文件系統(tǒng)在你環(huán)境中的表現(xiàn)。