|
標(biāo)簽：
TPC-C基準(zhǔn)程序用來(lái)衡量整個(gè)IT系統(tǒng)的性能，而不是評(píng)價(jià)服務(wù)器或某種硬件系統(tǒng)的標(biāo)準(zhǔn)，其中性能由tpmC衡量。TPC-H所報(bào)告的性能計(jì)量單位被稱為“TPC-H復(fù)合式每小時(shí)查詢性能單位（QphH）”，反映出了系統(tǒng)處理查詢的多方面能力。
TPC體系是影響最大的評(píng)測(cè)基準(zhǔn)之一。
TPC(TransactionProcessing Performance Council，事務(wù)處理性能委員會(huì))是由數(shù)十家會(huì)員公司創(chuàng)建的非贏利組織，總部設(shè)在美國(guó)。
TPC不給出基準(zhǔn)程序的代碼，而只給出基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范。任何廠家或其他測(cè)試者都可以根據(jù)規(guī)范，最優(yōu)地構(gòu)造出自己的測(cè)試系統(tǒng)(測(cè)
試平臺(tái)和測(cè)試程序)。為保證測(cè)試結(jié)果的完整性，被測(cè)試者(通常是廠家)必須提交給TPC一套完整的報(bào)告，包括被測(cè)系統(tǒng)的詳細(xì)配置、分類(lèi)價(jià)格和包含5年維護(hù) 費(fèi)用在內(nèi)的總價(jià)格。該報(bào)告必須由TPC授權(quán)的審核員核實(shí)(TPC本身并不做審計(jì))。TPC在全球只有不到10名審核員，而且全部在美國(guó)。
TPC推出過(guò)11套基準(zhǔn)程序，分別是正在使用的TPC-App、TPC- H、TPC-C、TPC-W，過(guò)時(shí)的TPC-A、TPC-B、TPC-D和TPC-R，以及因?yàn)椴槐粯I(yè)界接受而放棄的TPC-S（Server專門(mén)測(cè)試基 準(zhǔn)程序）、TPC-E（大型企業(yè)信息服務(wù)測(cè)試基準(zhǔn)程序）和TPC-Client/Server。目前最為“流行”的TPC-C是聯(lián)機(jī)事務(wù)處理(OLTP) 的基準(zhǔn)程序，于1992年7月完成，后被業(yè)界逐漸接受。
TPCC 標(biāo)準(zhǔn)
作為一家非盈利性機(jī)構(gòu)，事務(wù)處理性能委員會(huì)（TPC）負(fù)責(zé)定義諸如TPC-C、TPC-H和TPC-W 基準(zhǔn)測(cè)試之類(lèi)的事務(wù)處理與數(shù)據(jù)庫(kù)性能基準(zhǔn)測(cè)試，并依據(jù)這些基準(zhǔn)測(cè)試項(xiàng)目發(fā)布客觀性能數(shù)據(jù)。TPC基準(zhǔn)測(cè)試采用極為嚴(yán)格的運(yùn)行環(huán)境，并且必須在獨(dú)立審計(jì)機(jī)構(gòu) 監(jiān)督下進(jìn)行。委員會(huì)成員包括大多數(shù)主要數(shù)據(jù)庫(kù)產(chǎn)品廠商以及服務(wù)器硬件系統(tǒng)供應(yīng)商。
相關(guān)企業(yè)參與TPC基準(zhǔn)測(cè)試以期在規(guī)定運(yùn)行環(huán)境中獲得客觀性能驗(yàn)證，并通過(guò)應(yīng)用測(cè)試過(guò)程中所使用的技術(shù)開(kāi)發(fā)出更加強(qiáng)健且更具伸縮性的軟件產(chǎn)品及硬件設(shè)備。
TPC-C是一種旨在衡量聯(lián)機(jī)事務(wù)處理（OLTP）系統(tǒng)性能與可伸縮性的行業(yè)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試項(xiàng)目。這種基準(zhǔn)測(cè)試項(xiàng)目將對(duì)包括查詢、更新及隊(duì)列式小批量事務(wù)在內(nèi)的廣泛數(shù)據(jù)庫(kù)功能進(jìn)行測(cè)試。許多IT專業(yè)人員將TPC-C視為衡量“真實(shí)”OLTP系統(tǒng)性能的有效指示器。
TPC- C基準(zhǔn)測(cè)試針對(duì)一種模擬訂單錄入與銷(xiāo)售環(huán)境測(cè)量每分鐘商業(yè)事務(wù)（tpmC）吞吐量。特別值得一提的是，它將專門(mén)測(cè)量系統(tǒng)在同時(shí)執(zhí)行其它四種事務(wù)類(lèi)型（如支
付、訂單狀態(tài)更新、交付及證券級(jí)變更）時(shí)每分鐘所生成的新增訂單事務(wù)數(shù)量。獨(dú)立審計(jì)機(jī)構(gòu)將負(fù)責(zé)對(duì)基準(zhǔn)測(cè)試結(jié)果進(jìn)行公證，同時(shí)，TPC將出據(jù)一份全面徹底的 測(cè)試報(bào)告。這份測(cè)試報(bào)告可以從TPC
Web站點(diǎn)上獲得。
TPC-E——OLTP聯(lián)機(jī)事務(wù)處理測(cè)試新模型
20年前，美國(guó)的TPC(事務(wù)處理性能委員會(huì)，Transaction Processing Performance Council)成立之時(shí)，或許并沒(méi)有想到其TPC系列測(cè)試標(biāo)準(zhǔn)會(huì)如此受業(yè)界關(guān)注。作為國(guó)際上權(quán)威的服務(wù)器性能測(cè)試組織。目前在國(guó)際上幾乎所有IT界的知 名廠商(如IBM、HP、SUN、英特爾等)都是TPC的會(huì)員。
OLTP測(cè)試模型一直是TPC組織的重點(diǎn)測(cè)試標(biāo)準(zhǔn)，TPC-C的前身TPC-A就是TPC組織發(fā)布的第一個(gè)測(cè)試標(biāo)準(zhǔn)。由于TPC-C逼真地 模擬了OLTP應(yīng)用，在發(fā)布后逐漸得到廣大用戶的認(rèn)可，使用tpmC作為其計(jì)算機(jī)系統(tǒng)性能評(píng)價(jià)體系基礎(chǔ)的用戶數(shù)量逐年上升。不過(guò)，隨著信息產(chǎn)業(yè)的不斷發(fā) 展，TPC-C的一些問(wèn)題也慢慢暴露出來(lái)。首先，隨著B(niǎo)2B、B2C等新型應(yīng)用逐漸興起，TPC-C現(xiàn)有的倉(cāng)庫(kù)管理系統(tǒng)測(cè)試模型已經(jīng)距離目前的OLTP用 戶應(yīng)用模式越來(lái)越遠(yuǎn)，5種作業(yè)需求也不足以覆蓋用戶現(xiàn)有的典型操作;其次，眾多的測(cè)試設(shè)備投入使得TPC-C測(cè)試給廠商帶來(lái)了較大的壓力，這并不是TPC 組織愿意看到的，因此TPC組織于2007年3月推出了全新的OLTP測(cè)試標(biāo)準(zhǔn)——TPC-E，意在用這個(gè)測(cè)試標(biāo)準(zhǔn)取代TPC-C測(cè)試，從而對(duì)上述問(wèn)題起 到解決作用。
TPC-E在測(cè)試模型上進(jìn)行了巨大的革新與改進(jìn)。TPC-E是以美國(guó)紐約證券交易所為模型，該測(cè)試模擬了一系列后端處理數(shù)據(jù)以及證券公司前端客戶在股票交易市場(chǎng)的典型行為——賬戶查詢、在線交易和市場(chǎng)調(diào)研。
與TPC-C測(cè)試模型相比，TPC-E更加強(qiáng)調(diào)模型的高仿真性，其模型微縮模擬了全球最大電子股票交易市場(chǎng)——美國(guó)納斯達(dá)克股市的日常業(yè)務(wù) 流程，模型架構(gòu)完成了從C/S架構(gòu)到B/S架構(gòu)的過(guò)渡，是典型的互聯(lián)網(wǎng)時(shí)代OLTP性能測(cè)試基準(zhǔn)。同時(shí)，數(shù)據(jù)類(lèi)型更加豐富，由3類(lèi)擴(kuò)展為10類(lèi)，模擬的交 易條件更復(fù)雜。
TPC-H關(guān)注查詢能力
TPC-H是一種決策支持基準(zhǔn)。它包含一整套面向商業(yè)的特殊查詢和并發(fā)數(shù)據(jù)修改內(nèi)容。該基準(zhǔn)中選擇的查詢和數(shù)據(jù)庫(kù)中的數(shù)據(jù)都具有廣泛的全行業(yè)關(guān)聯(lián)性。這種測(cè)試基準(zhǔn)所描述的決策支持系統(tǒng)可檢查大量的數(shù)據(jù)，所執(zhí)行的查詢也具有很高的復(fù)雜度。
TPC-H所報(bào)告的性能計(jì)量單位被稱為“TPC-H復(fù)合式每小時(shí)查詢性能單 位”（TPC-H Composite Query-per-Hour Performance Metric -
QphH@Size），反映的是系統(tǒng)處理查詢的多方面能力，包括查詢執(zhí)行時(shí)選定的數(shù)據(jù)庫(kù)大小、單個(gè)流提交查詢時(shí)的查詢處理能力，以及多個(gè)并發(fā)用戶提交查詢 時(shí)的查詢吞吐量。TPC-H的價(jià)格/性能比計(jì)量單位的表達(dá)方式為$/QphH@Size。
應(yīng)用性能參考SPEC
SPEC是標(biāo)準(zhǔn)性能評(píng)估公司（Standard Performance Evaluation Corporation）的簡(jiǎn)稱。SPEC是由計(jì)算機(jī)廠商、系統(tǒng)集成商、大學(xué)、研究機(jī)構(gòu)、咨詢等多家公司組成的非營(yíng)利性組織，這個(gè)組織的目標(biāo)是建立、維護(hù) 一套用于評(píng)估計(jì)算機(jī)系統(tǒng)的標(biāo)準(zhǔn)。
與TPC體系注重在線處理能力和數(shù)據(jù)庫(kù)查詢能力不同，SPEC體系中最廣為人知的兩個(gè)子項(xiàng)，是衡量CPU、內(nèi)存性能的CPU2000和Web服務(wù)器性能的web2005。另外還有一個(gè)衡量Java服務(wù)器性能的jbb2005，近年來(lái)也逐漸受到關(guān)注。
除了TPC家族，SPEC家族也是廣為人知的一大體系。SPEC指標(biāo)體系由 Standard Performance Evaluation Corp.制定，目前主要包括針對(duì)CPU性能的SPEC CPU2000（已有CPU2006，但尚無(wú)數(shù)據(jù)）、針對(duì)Web服務(wù)器的SPECweb2005、針對(duì)高性能計(jì)算的SPEC HPC2002與SPEC MPI2006、針對(duì)Java應(yīng)用的jAppServer2004與JBB2005，以及對(duì)圖形系統(tǒng)、網(wǎng)絡(luò)和郵件服務(wù)器的測(cè)試指標(biāo)。
SPEC CPU 2006
SPEC CPU 2006是SPEC組織推出的CPU子系統(tǒng)評(píng)估軟件最新版，在早些年，業(yè)界使用的是其上一個(gè)版本SPEC CPU 2000。和SPEC CPU 2000一樣，SPEC CPU 2006包括了CINT2006和C FP2006兩個(gè)子項(xiàng)目，前者用于測(cè)量和對(duì)比整數(shù)性能，而后者則用于測(cè)量和對(duì)比浮點(diǎn)性能，SPEC CPU 2006中對(duì)SPEC CPU 2000中的一些測(cè)試進(jìn)行了升級(jí)，并拋棄/加入了一些測(cè)試，因此兩個(gè)版本測(cè)試得分并沒(méi)有可比較性。
SPEC CPU測(cè)試中，測(cè)試系統(tǒng)的處理器、內(nèi)存子系統(tǒng)和使用到的編譯器（SPEC CPU提供的是源代碼，并且允許測(cè)試用戶進(jìn)行一定的編譯優(yōu)化）都會(huì)影響最終的測(cè)試性能，而I/O（磁盤(pán)）、網(wǎng)絡(luò)、操作系統(tǒng)和圖形子系統(tǒng)對(duì)于SPEC CPU2006的影響非常的小。
An ounce of honest data is worth a pound of
marketing hype（一盎司誠(chéng)實(shí)的數(shù)據(jù)值得一磅的市場(chǎng)宣傳）是SPEC組織成立的座右銘，為了保持?jǐn)?shù)據(jù)的公平、可信度以及有效，SPEC CPU測(cè)試使用了現(xiàn)實(shí)世界的應(yīng)用程序，而不是用循環(huán)的算術(shù)操作來(lái)進(jìn)行基準(zhǔn)測(cè)試。SPEC CPU 2006包括了12項(xiàng)整數(shù)運(yùn)算和17項(xiàng)浮點(diǎn)運(yùn)算，除此之外，還有兩個(gè)隨機(jī)數(shù)產(chǎn)生測(cè)試程序998.sperand（整數(shù)）和999.specrand（浮
點(diǎn)），它們雖然也包含在套件中并得到運(yùn)行，但是它們并不進(jìn)行計(jì)時(shí)以獲得得分。這兩個(gè)測(cè)試主要是用來(lái)驗(yàn)證一些其他組件中會(huì)用到的PRNG隨機(jī)數(shù)生成功能的正 確性。各個(gè)測(cè)試組件基本上由C和Fortran語(yǔ)言編寫(xiě)，有7個(gè)測(cè)試項(xiàng)目使用了C++語(yǔ)言，而Fortran語(yǔ)言均用來(lái)編寫(xiě)浮點(diǎn)部分。
CINT2006包括C編譯程序、量子計(jì)算機(jī)仿真、下象棋程序等，CFP2006包括有限元模 型結(jié)構(gòu)化網(wǎng)格法、分子動(dòng)力學(xué)質(zhì)點(diǎn)法、流體動(dòng)力學(xué)稀疏線性代數(shù)法等。為了簡(jiǎn)化測(cè)試結(jié)果，SPEC決定使用單一的數(shù)字來(lái)歸納所有12種整數(shù)基準(zhǔn)程序。具體方法 是將被測(cè)計(jì)算機(jī)的執(zhí)行時(shí)間標(biāo)準(zhǔn)化，即將被測(cè)計(jì)算機(jī)的執(zhí)行時(shí)間除以一個(gè)參考處理器的執(zhí)行時(shí)間，結(jié)果稱為SPECratio。SPECratio值越大，表示 性能越快（因?yàn)镾PECratio是執(zhí)行時(shí)間的倒數(shù)）。CINT2006或CFP2006的綜合測(cè)試結(jié)果是取SPECratio的幾何平均值。
JAVA應(yīng)用性能測(cè)試——SPEC jbb2005
SPECjbb2005是由Standard Performance Evaluation Corp(標(biāo)準(zhǔn)性能評(píng)估組織)提供的、專供檢測(cè)服務(wù)器 JAVA應(yīng)用性能的測(cè)試軟件，SPEC是由著名計(jì)算機(jī)廠商、系統(tǒng)集成商、大學(xué)、研究所、出版商等組成的非贏利性組織。目前，SPEC得到了包括IBM、 HP、Intel、Compaq等主要服務(wù)器廠商的認(rèn)可。
SPECjbb2005(Java服務(wù)器基準(zhǔn))是評(píng)估服務(wù)器端JAVA性能的SPEC測(cè)試工具。和以前的SPECjbb2000一
樣，SPECjbb2005通過(guò)模擬三層C/S系統(tǒng)(主要是中間層)來(lái)評(píng)估服務(wù)器端JAVA的性能。該測(cè)試軟件運(yùn)行JVM(Java虛擬機(jī))、JIT (Just-In-Time)編譯器、碎片收集、線程以及操作系統(tǒng)的其他任務(wù)。它也測(cè)量CPU、Cache、內(nèi)存和 SMP的性能。SPECjbb2005通過(guò)提供面向?qū)ο蠓绞竭\(yùn)行的、新的增強(qiáng)的工作負(fù)載，來(lái)反映真實(shí)應(yīng)用系統(tǒng)的情況。另外，SPECjbb2005也引入 了一些新的特性，如XML處理和BigDecimal計(jì)算，以保證測(cè)試結(jié)果能更確切地反映當(dāng)前的實(shí)際應(yīng)用。
SPECjbb2005是一種被廣泛使用的工業(yè)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試。概括來(lái)講，每個(gè)"warehouse"會(huì)產(chǎn)生一個(gè)獨(dú)立的線程，從而決定測(cè)試線程的并發(fā)數(shù)。
SPEC Web2005
Web服務(wù)參考Web2005
作為SPECweb99和SPECweb99_SSL的繼承者，SPECweb2005延續(xù)了SPEC的傳統(tǒng)，為Web用戶提供客觀的Web服務(wù)器系統(tǒng)性能測(cè)試基準(zhǔn)。
SPEC
Web2005測(cè)試的原理，是通過(guò)多臺(tái)客戶機(jī)向服務(wù)器發(fā)出Http Get請(qǐng)求，請(qǐng)求調(diào)用Web服務(wù)器上的網(wǎng)頁(yè)文件，這些文件從數(shù)千字節(jié)到數(shù)兆字節(jié)不等。在相同的時(shí)間里，服務(wù)器回答的請(qǐng)求越多，就表明服務(wù)器對(duì)客戶端的處理能力越強(qiáng)，系統(tǒng)的Web性能就越好。
基于快速發(fā)展的Web技術(shù)，與上一代測(cè)試基準(zhǔn)相比，SPECweb2005基準(zhǔn)包括許多新增強(qiáng)特性，其中包括：
● 測(cè)量并發(fā)用戶會(huì)話。
● 相關(guān)動(dòng)態(tài)內(nèi)容：包括PHP和JSP實(shí)施。
● 使用兩個(gè)并行HTTP連接請(qǐng)求頁(yè)面鏡像。
● 多種標(biāo)準(zhǔn)化的工作負(fù)載：銀行業(yè)（HTTPS）、電子商務(wù)（HTTP and HTTPS）和支持（HTTP）。
● 使用If-Modified-Since請(qǐng)求模擬模擬器緩存效果。
● 文件訪問(wèn)與今天的真實(shí)Web服務(wù)器訪問(wèn)模式匹配度更高。
|
