高性能計算系統(tǒng)存儲解決方案

一、序言
油氣田勘探開發(fā)是一個集石油天然氣地質勘探、油氣田開發(fā)、地質開發(fā)試驗和計算機應用等為一體的綜合性應用科學，具有數(shù)據報表類型多，數(shù)據量非常龐大等特點，每一個勘探單點都會有幾個GB甚至幾十個GB的數(shù)量數(shù)。隨著技術的發(fā)展和進步，原油公司對地球勘探開發(fā)的要求越來越高，需要處理的數(shù)據量呈“指數(shù)級”難以想象的速度增長，需要借助高性能機群的數(shù)據處理能力，在最短的時間里對采集數(shù)據進行精細處理，通過綜合解釋研究，為下一步的鉆井、開采提供真實反映地下構造的基礎數(shù)據。
我們先來分析目前地球勘探開發(fā)單位常常會采用如下圖所示的高性能計算系統(tǒng)的網絡結構：

圖1

上圖所示結構以FC網絡和千兆以太網絡為基礎，服務器節(jié)點分為計算節(jié)點和IO節(jié)點兩種類型，其中計算節(jié)點專門負責數(shù)據處理和分析，IO節(jié)點負責傳輸數(shù)據。計算節(jié)點通過IO節(jié)點對核心存儲設備進行讀寫操作

采用這種結構主要是基于成本控制方面的考慮。如果系統(tǒng)采用FC-SAN存儲網絡架構，那么每一臺計算節(jié)點上就必須安裝1塊或2塊HBA卡。大量HBA卡需要的建設成本就會非常高。與大量HBA卡相對應的，網絡層需要增加大量的價格昂貴的光纖通道交換機。高性能計算系統(tǒng)的節(jié)點越多，建設成本就越高。

將計算節(jié)點和IO節(jié)點分開可以大大降低建設成本，但隨之也會帶來幾個問題，
1、多臺計算節(jié)點需要通過IO節(jié)點才可能訪問到存儲設備中的數(shù)據，數(shù)據讀寫的效率與IO節(jié)點的運行狀相關，因此IO節(jié)點不可必免地會成為計算節(jié)點的性能瓶頸。
2、IO節(jié)點通過以太網絡與計算節(jié)點連接，提供數(shù)據傳輸服務。由于以太網絡的數(shù)據傳輸效率相對較低，單臺IO節(jié)點根本無法同時為所有的計算節(jié)點提供數(shù)據傳輸服務，因此大型的高性能計算系統(tǒng)一般都會有幾臺甚至幾十臺IO節(jié)點。具有大量的IO節(jié)點的高性能計算系統(tǒng)，其成本仍然會很高。
3、每一個IO節(jié)點都需要安裝集群軟件和負載均衡軟件，以防止計算節(jié)點的數(shù)據傳輸壓力集中到一個IO節(jié)點上。而高性能計算系統(tǒng)中所采用的集群軟件和負載均衡軟件一般都也非常貴，且不能保證多個IO節(jié)點上的壓力完全相同，往往會出現(xiàn)個別IO節(jié)點壓力過載時，大多數(shù)IO節(jié)點仍然欠載。過載節(jié)點的出現(xiàn)會大大降低整個系統(tǒng)中的工作效率。二、解決方案
為了解決圖1所示網絡結構中存在的問題，UIT建議高性能計算系統(tǒng)的存儲網絡采用IP-SAN架構，解決方案如下圖所示：

圖2

系統(tǒng)采用純千兆以及網架構，核心存儲設備采用高性能 的ISCSI設備，計算節(jié)點和ISCS存儲設備之間通過千兆以太網交換機連接。

核心存儲采用1臺或多臺高性能ISCSI存儲設備UIT BS3000，其獨有的存儲虛擬化管理功能，可自動實現(xiàn)多個端口之間、多個BS3000設備之間的負載均衡。增加BS3000的數(shù)量不僅可以大幅度增加容量，還可以大幅度增加存儲的性能，從而提高整個存儲系統(tǒng)的可用帶寬和IOPS。

方案優(yōu)勢：
1、節(jié)省了圖1系統(tǒng)必須的光纖交換機和FC-HBA卡，因而可大幅度地降低系統(tǒng)的建設成本。
2、在存儲共享管理軟件的管理下，核心存儲設備的容量可同時共享給所有的計算節(jié)點，任何一個計算節(jié)點都可以通過以太網絡直接對核心存儲設備進行讀寫訪問，從而真正地發(fā)揮出存儲設備和節(jié)點的性能，提高系統(tǒng)的工作效率。
3、系統(tǒng)中任何一個節(jié)點既是IO節(jié)點，又是計算節(jié)點，節(jié)省了圖1系統(tǒng)所必需的大量只能用于數(shù)據傳輸?shù)腎O節(jié)點，節(jié)省下來的費用可用來購買更多的計算節(jié)點或更大的存儲容量。
4、少了IO節(jié)點，網絡中也就不會出現(xiàn)性能和帶寬瓶頸。
5、不再需要價格昂貴的集群和負載均衡軟件，消除了因集群軟件和負載均衡軟件帶來的性能降低，在節(jié)省成本的同時，還可以進行提高網絡系統(tǒng)的性能。