服務(wù)器工作站Benchmark標(biāo)準(zhǔn)點(diǎn)評(píng)

人們?yōu)榱斯降乇容^不同的計(jì)算機(jī)系統(tǒng)的性能，開發(fā)出許多性能評(píng)價(jià)的Benchmark標(biāo)準(zhǔn)，我們常常聽到SPECint, SPECweb, TPC等。沒有一個(gè)標(biāo)準(zhǔn)能反映計(jì)算機(jī)系統(tǒng)的全部性能，它們代表的只是性能的一個(gè)側(cè)面。這里簡(jiǎn)單介紹一些常用的計(jì)算機(jī)系統(tǒng)性能評(píng)價(jià)的Benchmark標(biāo)準(zhǔn)，以及它們所代表的性能上的具體含義。

● 定點(diǎn)性能

SPECint95：采用8個(gè)真實(shí)的應(yīng)用，包括仿真技術(shù)、人工智能、圖像處理、壓縮算法、編譯器、解釋器和數(shù)據(jù)庫(kù)，用這8個(gè)應(yīng)用運(yùn)行的標(biāo)準(zhǔn)時(shí)間，除以實(shí)際運(yùn)行時(shí)間得到一個(gè)比值，SPEC_int95即是這8個(gè)比值乘積的開8次方得到的值，反映了評(píng)測(cè)系統(tǒng)的單處理器的定點(diǎn)運(yùn)算性能。SPEC（Standard Performance Evaluation Corporation）是標(biāo)準(zhǔn)性能評(píng)價(jià)組織的縮寫。

SPECint_base95：計(jì)算方法與SPEC_int95相同，不同的是SPEC_int95編譯應(yīng)用時(shí)采用最強(qiáng)的優(yōu)化策略，SPECint_base95采用最保守的優(yōu)化策略。

SPECint_rate95：允許每個(gè)應(yīng)用同時(shí)運(yùn)行多個(gè)實(shí)例，比值的計(jì)算方法是：運(yùn)行次數(shù)*（應(yīng)用標(biāo)準(zhǔn)運(yùn)行時(shí)間*1天中的秒數(shù)/8個(gè)應(yīng)用中最長(zhǎng)的標(biāo)準(zhǔn)運(yùn)行時(shí)間）/多次運(yùn)行的總時(shí)間，SPECint_rate95即是這8個(gè)比值的乘積開8次方。因?yàn)樵试S運(yùn)行多個(gè)應(yīng)用實(shí)例，在有多個(gè)處理器的系統(tǒng)中，如SMP，它們可以同時(shí)運(yùn)行，所以該值可以反映具有多個(gè)處理器系統(tǒng)的性能的可擴(kuò)展性。

SPECint_base_rate95：含義與SPECint_rate95相同，采用最保守的編譯優(yōu)化策略。

SPECint2000：在SPECint95的基礎(chǔ)上開發(fā)，變成了12個(gè)應(yīng)用，包括壓縮算法、編譯器、優(yōu)化組合、棋類游戲、字處理、可視化、PERL語(yǔ)言、群論解釋器、面向?qū)ο髷?shù)據(jù)庫(kù)和仿真技術(shù)，計(jì)算方法和SPECint95類似。

Dhrystone：發(fā)布于1984年，主要包含兩類語(yǔ)句，字符串賦值和字符串比較。評(píng)測(cè)結(jié)果為每秒Dhrystone操作數(shù)，每個(gè)操作為該Benchmark定義的操作序列。它的規(guī)模過(guò)小，不能評(píng)測(cè)內(nèi)存的性能，過(guò)分強(qiáng)調(diào)字符串操作，不能完全反映系統(tǒng)定點(diǎn)運(yùn)算的性能。一般，由于RISC系統(tǒng)具有大量的寄存器而獲得比CISC系統(tǒng)較好的指標(biāo)。

● 浮點(diǎn)性能

SPECfp95：采用10個(gè)真實(shí)的應(yīng)用來(lái)評(píng)測(cè)系統(tǒng)的單處理器的浮點(diǎn)運(yùn)算性能，應(yīng)用包括流體力學(xué)、天氣預(yù)報(bào)、量子物理、天文、電子等領(lǐng)域，計(jì)算方法和SPECint95類似。

SPECfp_base95：含義與SPECfp95相同，采用最保守的編譯優(yōu)化策略。

SPECfp_rate95：計(jì)算方法和SPECint_rate95相同，可以反映具有多個(gè)處理器系統(tǒng)的浮點(diǎn)性能的可擴(kuò)展性。

SPECfp_base_rate95：含義與SPECfp_rate95相同，采用最保守的編譯優(yōu)化策略。
SPECfp2000：將SPECfp95的10個(gè)應(yīng)用修改為14個(gè)應(yīng)用，包含物理領(lǐng)域的量子色動(dòng)、淺水模型、三維電勢(shì)場(chǎng)、拋物線/橢圓偏微分方程、三維圖像庫(kù)、計(jì)算流體力學(xué)、圖像識(shí)別/神經(jīng)網(wǎng)絡(luò)、地震波傳播仿真、圖像處理/人臉識(shí)別、計(jì)算化學(xué)、數(shù)論、有限元碰撞仿真、高性能物理加速器設(shè)計(jì)、和污染分布計(jì)算等領(lǐng)域，計(jì)算方法和SPECfp95類似。

Flops：通過(guò)指令的不同組合來(lái)得到浮點(diǎn)加、減、乘、除(FADD、FSUB、FMUL、FDIV)的計(jì)算能力，該Benchmark盡量使用寄存器，少與內(nèi)存交互，得到我們通常所說(shuō)的處理器峰值指標(biāo)（MFLOPS）。Flops包含8個(gè)獨(dú)立模塊，除模塊二外，都是對(duì)數(shù)學(xué)函數(shù)的綜合應(yīng)用。它反映系統(tǒng)單處理器的峰值浮點(diǎn)運(yùn)算能力。

● Web服務(wù)性能

SPECweb96：SPEC組織開發(fā)的用來(lái)評(píng)測(cè)Web服務(wù)器性能的Benchmark，由客戶端向服務(wù)器發(fā)送HTTP GET請(qǐng)求，SPECweb96值即是服務(wù)器每秒能夠支持的連接數(shù)量。它評(píng)價(jià)了系統(tǒng)用作Web服務(wù)器時(shí)響應(yīng)用戶點(diǎn)擊的性能。

SPECweb99：在SPECweb96的基礎(chǔ)上開發(fā)的Web服務(wù)評(píng)測(cè)程序，假設(shè)每個(gè)客戶端運(yùn)行于400Kb/s的線路上，基于該假設(shè)得到的服務(wù)器最多支持的320Kb/s以上的客戶端連接數(shù)，即為SPECweb99值。它不僅支持HTTP GET操作，還支持POST和Cookie操作，評(píng)價(jià)了Web服務(wù)器用作類似VOD服務(wù)時(shí)的性能。

Webstone：SGI在1995年開發(fā)的性能評(píng)價(jià)程序，評(píng)測(cè)服務(wù)器進(jìn)行HTTP服務(wù)的性能。它基于客戶機(jī)/服務(wù)器模式，模擬的多個(gè)客戶端向服務(wù)器上的指定頁(yè)面發(fā)送HTTP GET請(qǐng)求，Webstone的負(fù)載分布原則是盡可能多地向服務(wù)器請(qǐng)求頁(yè)面和文件，反映Web服務(wù)的真實(shí)情況。負(fù)載由客戶端數(shù)量和文件集確定，每個(gè)文件集由一定數(shù)量的文件組成，幾個(gè)文件組成一個(gè)頁(yè)面，代表頁(yè)面內(nèi)容由圖像、動(dòng)畫、聲音、文本多個(gè)文件構(gòu)成，每個(gè)頁(yè)面有與之相關(guān)的權(quán)重，其權(quán)重越高，則被訪問(wèn)的機(jī)會(huì)越大?？蛻舳丝梢允钦鎸?shí)的系統(tǒng)，也可以是模擬的進(jìn)程。Webstone結(jié)果是系統(tǒng)的吞吐量（MB/s）、延遲（完成一個(gè)頁(yè)面請(qǐng)求的時(shí)間）、每分鐘傳送的頁(yè)面數(shù)目、平均連接率、失效率。用戶通過(guò)配置，可以評(píng)測(cè)出系統(tǒng)在不同環(huán)境、不同負(fù)載模式下的Web服務(wù)性能。 #p#page_title#e#

● 數(shù)據(jù)處理性能

Debit Credit：1984年Tandem公司的Jim Gray提出的測(cè)試程序，是計(jì)算機(jī)系統(tǒng)的數(shù)據(jù)處理性能評(píng)價(jià)的最早版本。它模擬一個(gè)具有多家分支機(jī)構(gòu)銀行的出納操作，采用California銀行1970年的數(shù)據(jù)。簡(jiǎn)單起見，它只包含一種類型的事務(wù)，即銀行存款帳戶的行為。存款行為記錄在四個(gè)隨機(jī)存儲(chǔ)的、可索引的文件中，分別是帳戶文件、分支機(jī)構(gòu)文件、出納文件和操作順序的歷史數(shù)據(jù)文件。帳戶的規(guī)模、分支機(jī)構(gòu)數(shù)據(jù)是系統(tǒng)吞吐量函數(shù)，如每個(gè)TPS應(yīng)配置10個(gè)分支機(jī)構(gòu)，100個(gè)出納員，100000個(gè)帳戶信息。為了保證系統(tǒng)的可擴(kuò)展性，每次出納操作的時(shí)間被固定為100秒，測(cè)試系統(tǒng)規(guī)定合法的結(jié)果應(yīng)有95%的事務(wù)在1秒內(nèi)完成。

TPC-A：TPC（Transaction Processing Performance Council）成立于1988年，是事務(wù)處理性能評(píng)價(jià)標(biāo)準(zhǔn)組織。TPC系列Benchmark使用不同的輸入和查詢數(shù)據(jù)評(píng)測(cè)計(jì)算機(jī)系統(tǒng)進(jìn)行事務(wù)處理和數(shù)據(jù)庫(kù)操作的性能。TPC-A由一個(gè)簡(jiǎn)單的修改密集型事務(wù)處理組成，用來(lái)評(píng)價(jià)聯(lián)機(jī)事務(wù)處理（OLTP）的性能，它1995年后已不再使用了。

TPC-B：集中式數(shù)據(jù)庫(kù)處理的測(cè)試程序，不需要終端和網(wǎng)絡(luò)，要求數(shù)據(jù)庫(kù)操作有大量的磁盤I/O，中等的系統(tǒng)和應(yīng)用執(zhí)行時(shí)間，有很多處理之間的集成操作。它也不再使用了。

TPC-C：1992年開發(fā)的取代TPC-A的測(cè)試程序，需要遠(yuǎn)程終端模擬器能模擬出大量的終端用戶。它模擬存在大量地理上分散的部門的企業(yè)的行為，數(shù)據(jù)庫(kù)結(jié)構(gòu)復(fù)雜得多，具有多種事務(wù)處理模型、執(zhí)行模式、熱點(diǎn)現(xiàn)象、全屏終端I/O格式化數(shù)據(jù)、透明的數(shù)據(jù)分區(qū)和事務(wù)處理的回滾等。TPC-C值代表了計(jì)算機(jī)系統(tǒng)運(yùn)行具有大量用戶和大量事務(wù)處理的應(yīng)用的性能，一般表示為tpmC值和$/tpmC值。TpmC(Transactions Per Minute Computer)的含義是，在TPC-C的付款(payment)、訂單狀態(tài)查詢(order-status)、發(fā)貨(delivery)、庫(kù)存級(jí)別(stock-level)和新訂單(new-order)五種事務(wù)中，每種事務(wù)都有響應(yīng)時(shí)間的要求，如new-order設(shè)置為5秒，tpmC就是系統(tǒng)在滿足其它4類事務(wù)響應(yīng)時(shí)間要求的前題下，在1分鐘內(nèi)處理new-order事務(wù)的數(shù)量。

TPC-D：決策支持應(yīng)用的Benchmark，每個(gè)復(fù)雜的查詢都要存取數(shù)據(jù)庫(kù)的大部分?jǐn)?shù)據(jù)，進(jìn)行多次join, sort, group, scan等操作，用于測(cè)試系統(tǒng)支持耗時(shí)的、只讀的數(shù)據(jù)庫(kù)操作的性能。TPC-D測(cè)試結(jié)果極大程度地依賴于查詢的優(yōu)化、數(shù)據(jù)庫(kù)表格的劃分方法、SQL的效率、和高級(jí)索引技術(shù)。TPC-D包含17個(gè)復(fù)雜查詢和2個(gè)修改操作。

● 系統(tǒng)軟件性能

Lmbench：SGI開發(fā)的測(cè)試操作系統(tǒng)性能的Benchmark，可以測(cè)出各項(xiàng)操作系統(tǒng)指標(biāo)，如空系統(tǒng)調(diào)用時(shí)間、進(jìn)程切換時(shí)間，pipe、UDP、TCP、RPC的延遲和帶寬，內(nèi)存、Cache、TLB的讀寫性能，存儲(chǔ)映射的性能等，既能反映計(jì)算機(jī)系統(tǒng)的一些基本性能指標(biāo)，也能反映操作系統(tǒng)實(shí)現(xiàn)的優(yōu)劣。

Netperf：計(jì)算機(jī)系統(tǒng)的網(wǎng)絡(luò)性能評(píng)測(cè)程序，主要評(píng)測(cè)系統(tǒng)使用TCP、UDP、Socket傳送數(shù)據(jù)時(shí)的性能，包括帶寬和請(qǐng)求應(yīng)答數(shù)，也可用來(lái)評(píng)測(cè)DLPI（Data Link Provider Interface），Unix Domain Socket, ATM API的性能。它按照客戶機(jī)/服務(wù)器模式設(shè)計(jì)，結(jié)果數(shù)據(jù)是在用戶設(shè)定的時(shí)間段內(nèi)，兩者之間傳遞的最大數(shù)據(jù)量。

SPECsfs97：評(píng)測(cè)系統(tǒng)的NFS性能，采用客戶機(jī)/服務(wù)器模式，客戶機(jī)向服務(wù)器發(fā)送特定的NFS請(qǐng)求，得到NFS文件服務(wù)器的吞吐量和響應(yīng)時(shí)間。它既依賴于計(jì)算機(jī)系統(tǒng)的性能，也依賴于網(wǎng)絡(luò)的性能。

SPECjvm98：使用8個(gè)應(yīng)用來(lái)評(píng)測(cè)JAVA虛擬機(jī)的性能。

● 科學(xué)與工程計(jì)算性能

Linpack：最早的評(píng)測(cè)系統(tǒng)計(jì)算能力的Benchmark之一，linpack(LINear algebra PACKages)主要功能是解線性方程組和線性最小二乘問(wèn)題，最早的矩陣大小為100x100，300x300，后來(lái)以1000x1000為標(biāo)準(zhǔn)；隨著MPP、CC-NUMA、Cluster等大型并行計(jì)算機(jī)的出現(xiàn)，不再限定矩陣的規(guī)模。Linpack問(wèn)題在大多數(shù)系統(tǒng)上很容易向量化，廠商進(jìn)行精心優(yōu)化，提高cache命中率，得到的計(jì)算飽和峰值常常是實(shí)際應(yīng)用不可能達(dá)到的。 #p#page_title#e#

NAS：由美國(guó)NASA的NAS(Numerical Aerodynamic Simulation)研究組開發(fā)的科學(xué)計(jì)算性能評(píng)價(jià)標(biāo)準(zhǔn)，包含8個(gè)空氣動(dòng)力學(xué)計(jì)算類應(yīng)用，其中含5個(gè)核心程序和3個(gè)偽應(yīng)用，核心應(yīng)用分別是EP、多重網(wǎng)格求解、共軛梯度方程求解、三維FFT、和整數(shù)排序。

    開始NAS只是紙上標(biāo)準(zhǔn)，由廠商自行按最優(yōu)方法編制程序，早期的巨型機(jī)和向量機(jī)都采用NAS Benchmark。隨著并行機(jī)的出現(xiàn)，又有了并行版本NPB，廠商需要針對(duì)自己系統(tǒng)的體系結(jié)構(gòu)，在并行粒度、數(shù)據(jù)結(jié)構(gòu)、通信機(jī)制、處理器映射、內(nèi)存分配、底層優(yōu)化上下功夫。最近又有了NPB2標(biāo)準(zhǔn)，統(tǒng)一提供MPI語(yǔ)言編制的并行程序。
Perfect：即PERFormance Evatuation for Cost-effective Transformations評(píng)測(cè)程序，是由HPCG組織開發(fā)的用于評(píng)測(cè)傳統(tǒng)的向量巨型機(jī)的標(biāo)準(zhǔn)。

SPLASH：Stanford大學(xué)開發(fā)的用于評(píng)測(cè)共享存儲(chǔ)系統(tǒng)性能的測(cè)試程序?，F(xiàn)在已發(fā)展到SPLASH-2，包含7個(gè)完整的應(yīng)用和5個(gè)計(jì)算核心程序，它們都是科學(xué)與工程計(jì)算和計(jì)算機(jī)圖形學(xué)方面的并行程序，主要用于評(píng)價(jià)SMP、CC-NUMA、DSM等共享存儲(chǔ)類體系結(jié)構(gòu)的計(jì)算機(jī)系統(tǒng)的性能。

ParkBench：用于評(píng)價(jià)大型可擴(kuò)展系統(tǒng)的科學(xué)計(jì)算性能，有Fortran加消息傳遞、HPP多個(gè)版本，包括micro-benchmark, Kernel, Compact Application，Compiler四類Benchmark。底層的micro-benchmark用于測(cè)量單節(jié)點(diǎn)性能，目的是獲取單處理器的有關(guān)體系結(jié)構(gòu)和編譯器的基本性能參數(shù)，以便更好地理解上層測(cè)試的結(jié)果。測(cè)試內(nèi)容包括時(shí)鐘調(diào)用、算術(shù)運(yùn)算、內(nèi)存帶寬和延遲、通信延遲和帶寬、全局同步操作性能等。核心測(cè)試包括矩陣運(yùn)算、FFT、偏微分方程、NAS核心，和一個(gè)I/O Benchmark。簡(jiǎn)化應(yīng)用測(cè)試包括氣候模型、計(jì)算流體動(dòng)力學(xué)、財(cái)務(wù)模型、分子動(dòng)力學(xué)、等離子物理、量子化學(xué)、水庫(kù)模型等。編譯器測(cè)試主要是評(píng)價(jià)HPF編譯器優(yōu)化的效果。ParkBench很龐大，用于評(píng)價(jià)計(jì)算機(jī)系統(tǒng)支持各種具有不同需求的科學(xué)計(jì)算應(yīng)用的性能