集群系統(tǒng)的現(xiàn)狀與挑戰(zhàn)
時間：2009-02-22 23:04:00
來源：UltraLAB圖形工作站方案網(wǎng)站
人氣：4287
作者：admin
一。集群系統(tǒng)成為構(gòu)建高性能計算系統(tǒng)的主流方式
由于具有低成本、高性能和良好的可擴展性，集群系統(tǒng)已經(jīng)日益成為構(gòu)建高性能計算系統(tǒng)的主要方式。從2003年11月發(fā)布的TOP 500的情況來看，以系統(tǒng)個數(shù)計算，集群系統(tǒng)占41.6%；從Linpack性能來看，集群系統(tǒng)占TOP 500的49.8%。在前10名的系統(tǒng)中，集群系統(tǒng)更是占到了7個。由此可見，在構(gòu)建超大規(guī)模計算系統(tǒng)時，集群系統(tǒng)已經(jīng)成為主流。
集群系統(tǒng)的一個重要特點是盡量使用商用部件以降低成本。用來構(gòu)建集群系統(tǒng)的各個部件，包括計算結(jié)點和通信網(wǎng)絡，都可以在市場上很方便地得到而無需專門定制。而使用開放源代碼的Linux操作系統(tǒng)和其他軟件工具的集群系統(tǒng)更可以進一步降低系統(tǒng)的軟件成本。
成本的降低和軟硬件系統(tǒng)的易獲得性使集群系統(tǒng)的構(gòu)建工作不再是專業(yè)公司和研究部門的專利，很多使用單位都開始在市場上購買零件并使用現(xiàn)成的軟件工具，自己構(gòu)建中小規(guī)模的集群系統(tǒng)。
二、64位CPU正在高性能計算系統(tǒng)中日益普及
盡管Alpha芯片在10年前就提供了64位的計算能力，但64位運算的真正普及還剛剛開始。隨著Intel IA64、AMD Opteron和IBM G5芯片的出現(xiàn)，具有64位處理能力服務器和桌面系統(tǒng)的價格已經(jīng)大大下降。
另一方面，內(nèi)存容量的提升和單位內(nèi)存價格的持續(xù)下降也使得大內(nèi)存系統(tǒng)的價格達到了用戶所能夠承受的范圍。在1994年，4MB內(nèi)存的價格約2000元人民幣，而現(xiàn)在2000元就可以買到1GB的內(nèi)存。
上述兩個因素的疊加，使得用戶可以以相對低廉的價格獲得具有大容量內(nèi)存的64位計算系統(tǒng)，從而為從事空氣動力學模擬、生物計算、氣候模擬等研究重大挑戰(zhàn)問題的科學計算應用提供了良好的計算平臺。另一方面，數(shù)據(jù)挖掘、決策支持和視頻點播服務等應用也對內(nèi)存空間有著巨大的需求。64位的系統(tǒng)也為這些商業(yè)計算應用提供了強有力的幫助。
三、高性能存儲系統(tǒng)
如今，高性能計算的研究領域已經(jīng)不限于科學計算本身。大規(guī)模網(wǎng)絡服務等商業(yè)計算也是新興的高性能計算研究和應用方向。Web服務、視頻點播服務、數(shù)據(jù)庫服務等目前流行的網(wǎng)絡應用對數(shù)據(jù)存儲容量、訪問能力和管理方式提出越來越高的要求，這些都是傳統(tǒng)的SCSI硬盤、RAID存儲系統(tǒng)無法勝任的。高容量、高性能、可靠和易管理的存儲技術(shù)研究成為當前熱點。
存儲區(qū)域網(wǎng)絡(SAN)是一種新興的網(wǎng)絡存儲技術(shù)，它將存儲子系統(tǒng)與服務器分離，利用高速網(wǎng)絡進行塊數(shù)據(jù)的傳輸，實現(xiàn)存儲系統(tǒng)的可擴展性和高性能。
SAN使用高速網(wǎng)絡傳輸代替SCSI總線，通過私有網(wǎng)絡傳輸SCSI命令，每個設備有各自的數(shù)據(jù)訪問路徑，設備訪問的網(wǎng)絡擁塞處理由高速交換機完成。目前，光纖網(wǎng)絡可提供2Gb/s的帶寬，Ifiniband的實測網(wǎng)絡帶寬已達600Mb/s，而千兆Ethernet網(wǎng)可提供1Gb/s的帶寬，不久將出現(xiàn)10Gb/s的高速傳輸網(wǎng)絡。高速網(wǎng)絡技術(shù)，尤其是光纖通道技術(shù)的應用為數(shù)據(jù)存取提供了更好的可擴展性，使網(wǎng)絡的傳輸帶寬可以成倍地增長，從而確保了SAN系統(tǒng)數(shù)據(jù)訪問的高性能。
四、互連網(wǎng)絡
連接集群系統(tǒng)底層的互連網(wǎng)絡，對集群系統(tǒng)的整體性能有決定性的作用，因此一直是學術(shù)界和工業(yè)界所關注的熱點。目前，千兆以太網(wǎng)卡已經(jīng)成為標準配置集成在服務器主板上，千兆以太網(wǎng)交換機的價格也已經(jīng)非常平民化，因此千兆以太網(wǎng)成為了小規(guī)模、低成本集群的主要網(wǎng)絡互連方式。
Myrinet、Quadrics、SCI和最近出現(xiàn)的InfiniBand 等商業(yè)化高性能集群通信網(wǎng)絡，以更高的帶寬和更小的傳輸延時，為高性能集群系統(tǒng)提供了多樣化的選擇
由于具有低成本、高性能和良好的可擴展性，集群系統(tǒng)已經(jīng)日益成為構(gòu)建高性能計算系統(tǒng)的主要方式。從2003年11月發(fā)布的TOP 500的情況來看，以系統(tǒng)個數(shù)計算，集群系統(tǒng)占41.6%；從Linpack性能來看，集群系統(tǒng)占TOP 500的49.8%。在前10名的系統(tǒng)中，集群系統(tǒng)更是占到了7個。由此可見，在構(gòu)建超大規(guī)模計算系統(tǒng)時，集群系統(tǒng)已經(jīng)成為主流。
集群系統(tǒng)的一個重要特點是盡量使用商用部件以降低成本。用來構(gòu)建集群系統(tǒng)的各個部件，包括計算結(jié)點和通信網(wǎng)絡，都可以在市場上很方便地得到而無需專門定制。而使用開放源代碼的Linux操作系統(tǒng)和其他軟件工具的集群系統(tǒng)更可以進一步降低系統(tǒng)的軟件成本。
成本的降低和軟硬件系統(tǒng)的易獲得性使集群系統(tǒng)的構(gòu)建工作不再是專業(yè)公司和研究部門的專利，很多使用單位都開始在市場上購買零件并使用現(xiàn)成的軟件工具，自己構(gòu)建中小規(guī)模的集群系統(tǒng)。
二、64位CPU正在高性能計算系統(tǒng)中日益普及
盡管Alpha芯片在10年前就提供了64位的計算能力，但64位運算的真正普及還剛剛開始。隨著Intel IA64、AMD Opteron和IBM G5芯片的出現(xiàn)，具有64位處理能力服務器和桌面系統(tǒng)的價格已經(jīng)大大下降。
另一方面，內(nèi)存容量的提升和單位內(nèi)存價格的持續(xù)下降也使得大內(nèi)存系統(tǒng)的價格達到了用戶所能夠承受的范圍。在1994年，4MB內(nèi)存的價格約2000元人民幣，而現(xiàn)在2000元就可以買到1GB的內(nèi)存。
上述兩個因素的疊加，使得用戶可以以相對低廉的價格獲得具有大容量內(nèi)存的64位計算系統(tǒng)，從而為從事空氣動力學模擬、生物計算、氣候模擬等研究重大挑戰(zhàn)問題的科學計算應用提供了良好的計算平臺。另一方面，數(shù)據(jù)挖掘、決策支持和視頻點播服務等應用也對內(nèi)存空間有著巨大的需求。64位的系統(tǒng)也為這些商業(yè)計算應用提供了強有力的幫助。
三、高性能存儲系統(tǒng)
如今，高性能計算的研究領域已經(jīng)不限于科學計算本身。大規(guī)模網(wǎng)絡服務等商業(yè)計算也是新興的高性能計算研究和應用方向。Web服務、視頻點播服務、數(shù)據(jù)庫服務等目前流行的網(wǎng)絡應用對數(shù)據(jù)存儲容量、訪問能力和管理方式提出越來越高的要求，這些都是傳統(tǒng)的SCSI硬盤、RAID存儲系統(tǒng)無法勝任的。高容量、高性能、可靠和易管理的存儲技術(shù)研究成為當前熱點。
存儲區(qū)域網(wǎng)絡(SAN)是一種新興的網(wǎng)絡存儲技術(shù)，它將存儲子系統(tǒng)與服務器分離，利用高速網(wǎng)絡進行塊數(shù)據(jù)的傳輸，實現(xiàn)存儲系統(tǒng)的可擴展性和高性能。
SAN使用高速網(wǎng)絡傳輸代替SCSI總線，通過私有網(wǎng)絡傳輸SCSI命令，每個設備有各自的數(shù)據(jù)訪問路徑，設備訪問的網(wǎng)絡擁塞處理由高速交換機完成。目前，光纖網(wǎng)絡可提供2Gb/s的帶寬，Ifiniband的實測網(wǎng)絡帶寬已達600Mb/s，而千兆Ethernet網(wǎng)可提供1Gb/s的帶寬，不久將出現(xiàn)10Gb/s的高速傳輸網(wǎng)絡。高速網(wǎng)絡技術(shù)，尤其是光纖通道技術(shù)的應用為數(shù)據(jù)存取提供了更好的可擴展性，使網(wǎng)絡的傳輸帶寬可以成倍地增長，從而確保了SAN系統(tǒng)數(shù)據(jù)訪問的高性能。
四、互連網(wǎng)絡
連接集群系統(tǒng)底層的互連網(wǎng)絡，對集群系統(tǒng)的整體性能有決定性的作用，因此一直是學術(shù)界和工業(yè)界所關注的熱點。目前，千兆以太網(wǎng)卡已經(jīng)成為標準配置集成在服務器主板上，千兆以太網(wǎng)交換機的價格也已經(jīng)非常平民化，因此千兆以太網(wǎng)成為了小規(guī)模、低成本集群的主要網(wǎng)絡互連方式。
Myrinet、Quadrics、SCI和最近出現(xiàn)的InfiniBand 等商業(yè)化高性能集群通信網(wǎng)絡，以更高的帶寬和更小的傳輸延時，為高性能集群系統(tǒng)提供了多樣化的選擇
