高性能仿真計算集群（結(jié)構(gòu)、流體、多物理場耦合）配置推薦2024v1
更新日期：2024年1月5日
更新原因：升級換代，調(diào)整如下：
（1）計算節(jié)點(diǎn)采用xeon第4代可擴(kuò)展處理器，
（2）并行存儲采用全閃存陣列，
整個集群從計算節(jié)點(diǎn)架構(gòu)，網(wǎng)絡(luò)低延遲，存儲高性能并發(fā)IO，作業(yè)調(diào)度高頻調(diào)用，無死角、無瓶頸
集群面臨問題
經(jīng)常聽到客戶反饋，某某分布式多機(jī)集群、某某云計算平臺，在集群上做計算還不如普通電腦快，高性能計算集群做工程仿真計算效率很低，花了一大筆經(jīng)費(fèi)，經(jīng)過一年多的方案論證、審批通過、采購、交貨、使用，但集群性能表現(xiàn)很差
看似高性能集群的計算服務(wù)器、存儲服務(wù)器、管理服務(wù)器、infiniband交換機(jī)等硬件設(shè)備放到機(jī)柜上，通過網(wǎng)絡(luò)交換機(jī)全部連接好，系統(tǒng)、軟件、開發(fā)工具也都安裝調(diào)試正常了，HPC集群就OK了，真這么簡單嗎？ 實(shí)際情況：
可能1 計算服務(wù)器硬件配置選型不合理，
可能2 并行存儲服務(wù)器硬件配置有問題
可能3 作業(yè)調(diào)度方法存在問題
可能4 計算方式選擇有問題，通過GPU計算更快，但確用CPU計算方式
可能5 網(wǎng)絡(luò)io有問題，永遠(yuǎn)是滿負(fù)荷
。。。
出現(xiàn)這些問題的原因，集群的配置方案往往是使用者想要一個“最先進(jìn)、成熟的”集群計算架構(gòu)，自己認(rèn)為的一個方案，或者過度相信“豐富有經(jīng)驗(yàn)的系統(tǒng)集成商”（大品牌，不用質(zhì)疑），根據(jù)客戶的預(yù)算，給出的高性能計算集群方案
使用者大部分是對軟件熟悉，對工作計算任務(wù)熟悉，但因工作知識的局限性，可能對硬件配置，最新計算架構(gòu)不是很精通，
集成商，大部分都是賣設(shè)備的，關(guān)心的是設(shè)備能否賣出去，對客戶應(yīng)用了解很少或不是很深入，因此這樣兩類人，在一起交流討論仿真計算集群硬件配置方案，未來必然存在隱患。
那么一個合理、完美、高效的高性能計算集群方案的關(guān)鍵點(diǎn)都有什么？
首先 要根據(jù)客戶的應(yīng)用要求，跑什么軟件，對這些軟件特點(diǎn)進(jìn)行分析
其次，根據(jù)掌握了應(yīng)用情況，結(jié)合最新的硬件規(guī)格，分別給出計算服務(wù)器、GPU服務(wù)器、并行存儲服務(wù)器、管理服務(wù)器、網(wǎng)絡(luò)低延遲的交換機(jī)的對應(yīng)方案，另外還要配備好一個高效的作業(yè)調(diào)度系統(tǒng)，這樣這個集群方案更貼近仿真軟件的計算要求，
關(guān)鍵點(diǎn)1 計算服務(wù)器用什么規(guī)格CPU、GPU、內(nèi)存、硬盤，性能最大化？
關(guān)鍵點(diǎn)2 存儲服務(wù)器，作為數(shù)據(jù)交換最密集的地方，最大的瓶頸，是什么?
不能忽略的情況：
如果不知道仿真數(shù)值模擬軟件的不同求解器的特點(diǎn)，很可能計算服務(wù)器配置正常，軟件運(yùn)行正常，速度很慢，怎么回事？
如果不熟悉計算硬件架構(gòu)，計算服務(wù)器的CPU頻率高低無所謂，內(nèi)存帶寬無所謂，硬盤io無所謂，便宜就行，可能結(jié)果性能表現(xiàn)很差
如果不清楚很多軟件已經(jīng)支持GPU加速，求解過程得到10幾倍的提升（用CPU就可以，或用最貴的GPU，也不快，什么情況？）
如果不清楚作業(yè)調(diào)度正確方式，按核調(diào)用，計算規(guī)模越大，分配更多核，速度就快？
因此，集群配置缺陷，將來必然面臨并行計算效率低，性能表現(xiàn)差的問題，再加上作業(yè)調(diào)度軟件問題或使用問題，集群運(yùn)算效率自然好不到哪里。
（二）CX660高性能仿真計算集群
西安坤隆計算機(jī)公司，經(jīng)過多年實(shí)際集群系統(tǒng)的應(yīng)用軟件運(yùn)行和監(jiān)測分析，我們可以給出從集群硬件配置和集群架構(gòu)、作業(yè)調(diào)度全方位的滿足不同仿真計算特點(diǎn)，通過采用最新CPU和GPU，以及合理硬件配置和高效作業(yè)調(diào)用，保證了集群的計算效率發(fā)揮到最大。
UltraLAB高性能仿真計算集群充分考慮應(yīng)用軟件的算法特點(diǎn)，保證整個集群每個環(huán)節(jié)，計算服務(wù)器或GPU超算服務(wù)器，并行存儲服務(wù)器等集群配置架構(gòu)，無死角、無卡頓、均衡，都能最大限度發(fā)揮各自的性能，
應(yīng)用軟件并行計算特點(diǎn)
應(yīng)用種類
主要軟件類
計算特點(diǎn)
計算設(shè)備
1
結(jié)構(gòu)靜力/動態(tài)仿真
Ansys
Abaqus
Ly-Dyna
有限元法，純CPU計算
兩個環(huán)節(jié)：
1 網(wǎng)格自動剖分—單核計算，高頻才能加速
2 求解器求解—有限多核計算，調(diào)用合理的計算資源，加速
上述過程，反復(fù)迭代，直到收斂為止，
高頻服務(wù)器
計算服務(wù)器
2
流體仿真
Fluent
有限體積法，CPU和GPU結(jié)合
計算服務(wù)器
GPU計算服務(wù)器
3
多物理場耦合
Comsol Multiphysics..
有限元法，純CPU計算
高頻+有限多核+大內(nèi)存帶寬
高頻服務(wù)器
計算服務(wù)器
4
電磁仿真
HFSS、CST 、Feko..
頻域類，有限元法，純CPU計算
時域類，時域有限差分，GPU加速
高頻服務(wù)器
計算服務(wù)器
GPU計算服務(wù)器
5
科學(xué)計算類
MatLAB
解釋型高級語言工具，主模塊單核計算為主，需要多核并行，要借助【并行計算工具箱】
計算服務(wù)器
6
CX660仿真集群系統(tǒng)介紹
CX660是采用intel xeon第四代可擴(kuò)展處理器組成的集群，代表著目前最新的計算架構(gòu)，求解更快、更高效。CX650集群系統(tǒng)是由【高頻服務(wù)器】、【計算服務(wù)器】、【GPU超算服務(wù)器】、【管理與存儲服務(wù)器】、【高性能低延遲交換機(jī)】、作業(yè)調(diào)度系統(tǒng)組成。
No
關(guān)鍵設(shè)備
配置規(guī)格
主要任務(wù)或功能
1
高頻服務(wù)器
Xeon高頻處理器/大容量內(nèi)存/大容量高速固態(tài)盤/100G 高性能網(wǎng)卡
針對有限元仿真計算網(wǎng)格剖分單核cpu計算特點(diǎn)，面對多個計算服務(wù)器計算過程的并發(fā)網(wǎng)格剖分，通過配置超高頻CPU，大大縮短同時多個網(wǎng)格剖分計算時間，從而加速整個求解計算
2
計算服務(wù)器
2顆xeon+16根內(nèi)存+25G/56G 高性能網(wǎng)卡
針對基于CPU計算的仿真模擬計算的重要計算過程---求解器求解，配備最新2顆intel Xeon4代處理器，48核@高頻+16通道內(nèi)存帶寬+低延遲網(wǎng)卡，打造理想高速計算架構(gòu)，每個計算節(jié)點(diǎn)高頻+多核并行計算+內(nèi)存IO帶寬最大化，在核數(shù)與頻率、低延遲響應(yīng)達(dá)到完美均衡。
3
GPU超算服務(wù)器
配備最新2顆intel Xeon4代處理器（32核@高頻+16通道內(nèi)存帶寬）25G/56G 高性能網(wǎng)卡，
針對基于CPU和GPU異構(gòu)超算，支持CPU仿真模擬計算，也支持GPU加速計算，
最新GPU（RTX A6000 48GB）單精度浮點(diǎn)算力40Tflops，可用于支持GPU求解計算，性能提升顯著，例如Fluent求解，一塊A6000卡算力（FP32 40Tflops）相當(dāng)于44顆Xeon 銀牌4316（累計880核）性能，
4
管理與存儲服務(wù)器
雙xeon（核數(shù)充足）/高速緩存盤（全閃存陣列）/并行存儲/100G高性能網(wǎng)卡
承擔(dān)高速并行計算的海量數(shù)據(jù)密集讀寫，提供最強(qiáng)大的并行讀寫存儲架構(gòu)
承擔(dān)集群管理
5
PSS作業(yè)調(diào)度軟件
基于linux環(huán)節(jié)
支持全面任務(wù)調(diào)度，支持多種計算架構(gòu)，支持混合計算架構(gòu)
一款成熟、高可靠、易管理的作業(yè)調(diào)度軟件，保證多任務(wù)計算作業(yè)調(diào)度、監(jiān)控
（三）CX660高性能仿真計算集群配置推薦
方案1 5個計算節(jié)點(diǎn)集群配置方案推薦
總核數(shù)：240核@2.8GHz ,
CPU算力 10TFlops
總內(nèi)存容量 2.56TB
NO
貨物名稱
型號
數(shù)量
單價
小計
1
計算服務(wù)器
2顆Xeon金牌5418Y(48核2.8Ghz) /512GB DDR5 /1.92TB SSD/2U機(jī)架式/56G IB網(wǎng)口
5
62000
310000
2
管理與存儲服務(wù)器
2*Xeon 銀4316(40核@2.3GHz）/256GB DDR4/集成顯卡/960GB SSD /23TB緩存盤(全閃存盤陣，讀帶寬20GB/s、寫帶寬11GB/s)/126TB并行存儲/4U機(jī)架式/100G IB網(wǎng)口/27"4K圖顯
1
129900
129900
3
計算交換機(jī)
Infiniband 12口 56G/100G
1
38000
38000
4
管理交換機(jī)
16口千兆以太
1
1600
1600
5
服務(wù)器機(jī)柜
42U，含PDU機(jī)柜插座、托盤
1
6500
6500
6
KVM切換器
16口 VGA
1
1500
1500
7
管理軟件
UltraLAB作業(yè)調(diào)度軟件(5節(jié)點(diǎn))
1
50000
50000
累計（人民幣）：
￥538,500元
總核數(shù)：480核@2.8GHz ,
CPU算力 21.5TFlops
總內(nèi)存容量 5.12TB
NO
貨物名稱
型號
數(shù)量
單價
小計
1
高頻服務(wù)器
Xeon W7-2475X超頻處理器（20核4.8GHz）/512GB
DDR5 /7.68TB PCIeSSD/2U機(jī)架式/100G IB網(wǎng)口
1
77000
77000
2
計算服務(wù)器
2顆Xeon金牌5418Y(48核2.8Ghz) /512GB DDR5 /1.92TB SSD/2U機(jī)架式/56G IB網(wǎng)口
10
62000
620000
3
管理與存儲服務(wù)器
2*Xeon 銀4316(40核@2.3GHz）/256GB DDR4/集成顯卡/960GB SSD /23TB緩存盤(全閃存盤陣，讀帶寬20GB/s、寫帶寬11GB/s)/126TB并行存儲/4U機(jī)架式/100G IB網(wǎng)口/27"4K圖顯
1
129900
129900
4
計算交換機(jī)
Infiniband 36口 56G/100G
1
85000
85000
5
管理交換機(jī)
24口千兆以太
1
2100
2100
6
服務(wù)器機(jī)柜
42U，含PDU機(jī)柜插座、托盤
1
6500
6500
7
KVM切換器
16口 VGA
1
1500
1500
管理軟件
UltraLAB作業(yè)調(diào)度軟件(11節(jié)點(diǎn))
1
110000
110000
累計（人民幣）：
￥1,032,500元
方案3 15個計算節(jié)點(diǎn)集群配置方案推薦
總核數(shù)：720核@2.8GHz ,
CPU算力 32.2TFlops
總內(nèi)存容量 8.19TB
|
NO |
貨物名稱 |
型號 |
數(shù)量 |
單價 |
小計 |
|
1 |
高頻服務(wù)器 |
Xeon W7-2475X超頻處理器（20核4.8GHz）/512GB DDR5 /7.68TB PCIeSSD/2U機(jī)架式/100G IB網(wǎng)口 |
1 |
77000 |
77000 |
|
2 |
計算服務(wù)器 |
2顆Xeon金牌5418Y(48核2.8Ghz) /512GB DDR5 /1.92TB SSD/2U機(jī)架式/56G IB網(wǎng)口 |
15 |
62000 |
930000 |
|
3 |
管理與存儲服務(wù)器 |
2*Xeon 銀4316(40核@2.3GHz）/256GB DDR4/集成顯卡/960GB SSD /23TB緩存盤(全閃存盤陣，讀帶寬20GB/s、寫帶寬11GB/s)/126TB并行存儲/4U機(jī)架式/100G IB網(wǎng)口/27"4K圖顯 |
1 |
129900 |
129900 |
|
4 |
計算交換機(jī) |
Infiniband 36口 56G/100G |
1 |
85000 |
85000 |
|
5 |
管理交換機(jī) |
24口千兆以太 |
1 |
2100 |
2100 |
|
6 |
服務(wù)器機(jī)柜 |
42U，含PDU機(jī)柜插座、托盤 |
2 |
6500 |
13000 |
|
7 |
KVM切換器 |
16口 VGA |
2 |
1500 |
3000 |
|
|
管理軟件 |
UltraLAB作業(yè)調(diào)度軟件(16節(jié)點(diǎn)) |
1 |
160000 |
160000 |
|
|
|
|
|
|
|
|
累計（人民幣）： |
|
|
￥1,400,500元 |
||
上述所有配置，代表最新硬件架構(gòu)，同時保證是最完美，最快，如有不符，可直接退貨
欲咨詢機(jī)器處理速度如何、技術(shù)咨詢、索取詳細(xì)技術(shù)方案，提供遠(yuǎn)程測試，請聯(lián)系
UltraLAB圖形工作站供貨商：
西安坤隆計算機(jī)科技有限公司
國內(nèi)知名高端定制圖形工作站廠家
業(yè)務(wù)電話：400-705-6800
咨詢微信號：
