|
標簽：
經(jīng)過對現(xiàn)有業(yè)務(wù)情況的詳細分析和整理，并應(yīng)用Oracle AWR數(shù)據(jù)采集來分析系統(tǒng)性能瓶頸的根源，碧桂園發(fā)現(xiàn)，報表系統(tǒng)的瓶頸來源于存儲系統(tǒng)，因為現(xiàn)有存儲系統(tǒng)無法滿足ERP報表系統(tǒng)的性能要求，存在明顯性能瓶頸，且目前使用的中端存儲系統(tǒng)在可靠性方面也存在單點故障風(fēng)險。
通過IBM提供的系統(tǒng)改造方案，碧桂園最終選擇了IBM FlashSystem全閃存陣列來提升ERP報表系統(tǒng)的整體性能。IBM FlashSystem全閃存陣列可以在Oracle數(shù)據(jù)庫不做任何架構(gòu)改變和調(diào)優(yōu)處理的情況下，就獲得十多倍的IO性能改善，而且，IBM SVC與Flashsystem以及Storwize V7000相結(jié)合的存儲方案，不但徹底解決了性能問題，還解決了異構(gòu)平臺的數(shù)據(jù)遷移及業(yè)務(wù)連續(xù)性困擾。
碧桂園的項目就是一起典型的應(yīng)用全閃存陣列提升實時分析性能的案例，最終集團ERP系統(tǒng)的入庫匯總表查詢時間從過去的30分鐘提升到了少于1分鐘，而且只用了一天時間進行系統(tǒng)部署，大大提高了碧桂園ERP系統(tǒng)的效率和可靠性。
離線處理 vs 實時處理
大數(shù)據(jù)時代無可爭議的來臨了，源自全球數(shù)十年的技術(shù)積累，但僅用了最近兩三年時間，便迅速滲透到各個行業(yè)。相比十幾年前的互聯(lián)網(wǎng)泡沫，大數(shù)據(jù)的發(fā)展趨勢更加實際、與企業(yè)業(yè)務(wù)緊密相關(guān)、盈利模式也更加清晰。
當前的大數(shù)據(jù)分析模式分為“離線處理”和“實時處理”兩種類型，離線分析可以對業(yè)務(wù)數(shù)據(jù)和想要分析的數(shù)據(jù)樣本進行恰當?shù)姆蛛x，只針對分離后的數(shù)據(jù)樣本進行建模分析，這種分析模式的優(yōu)勢在于，可以對數(shù)據(jù)做較復(fù)雜的業(yè)務(wù)處理，但顯然無法第一時間把握到市場的發(fā)展趨勢。
實時分析則顧名思義，就是針對正在進行的業(yè)務(wù)數(shù)據(jù)進行即時的處理與分析，顯然，這種分析模式能夠最大限度的隨時了解業(yè)務(wù)狀況的變化趨勢，但受限于系統(tǒng)的處理能力，很難進行復(fù)雜的業(yè)務(wù)處理。前面提到的碧桂園地產(chǎn)公司案例就是典型的實時分析案例。
對于希望從大數(shù)據(jù)中發(fā)掘商業(yè)機會的企業(yè)來說，數(shù)據(jù)的價值有著明顯的時效性，針對業(yè)務(wù)數(shù)據(jù)的分析越及時越充分，分析結(jié)果就能夠更靈敏和更直接的反饋問題。因而，對于實時分析系統(tǒng)來說，如何在不影響生產(chǎn)系統(tǒng)的前提下，進行盡量充分的數(shù)據(jù)分析至關(guān)重要。
像碧桂園公司一樣，在很多客戶的實時分析系統(tǒng)中，存儲往往會成為延時問題的瓶頸，因而，采用固態(tài)存儲設(shè)備提升系統(tǒng)IO效率，對于提升整體系統(tǒng)分析能力十分有效。
實時大數(shù)據(jù)分析的潛力與希望，正奔跑在閃存的田野上。
全面閃存方案 提速大數(shù)據(jù)
針對實時數(shù)據(jù)分析，IBM提供了全面的閃存優(yōu)化方案。
IBM全線存儲產(chǎn)品都可以構(gòu)建閃存解決方案，包括IBM FlashSystem家族全閃存陣列產(chǎn)品，同時IBM DS8000、XIV、Storwize等傳統(tǒng)陣列家族，可以任意配置成全磁盤、全閃存以及混合陣列(磁盤與閃存混插)。此外，IBM還提供面向虛擬化管理、緩存和層級的閃存軟件，并能夠提供閃存適配器、DIMM及SSD硬盤。
在2014年6月10日發(fā)布的《市場份額分析報告:2013年全球SSD與固態(tài)硬盤陣列》中，Gartner指出IBM在2013年的固態(tài)陣列(SSA)市場中占有25%的市場份額，位列第一。IBM在2012年的這一領(lǐng)域還屈居亞軍。2013年IBM固態(tài)陣列的增長是278%,而行業(yè)的平均增長是182%， 這些數(shù)字顯示IBM在全閃存應(yīng)用領(lǐng)域已經(jīng)積累了豐富的經(jīng)驗，并有著強勁的增長勢頭。
BM存儲與軟件定義系統(tǒng)部總經(jīng)理Jamie Thomas表示：“大數(shù)據(jù)給我們的全球客戶創(chuàng)造了巨大機會。為了從大數(shù)據(jù)浪潮中提取業(yè)務(wù)洞察，更多的企業(yè)選擇IBM閃存系統(tǒng)作為核心工具加速洞察獲取。”
FlashSystem全閃存陣列
FlashSystem系列全閃存陣列是IBM閃存戰(zhàn)略中重要一環(huán)，對提升大數(shù)據(jù)實時分析性能十分有效。因為大多數(shù)大數(shù)據(jù)實時分析應(yīng)用負載類型均為讀密集型，單獨依靠額外的CPU處理能力幾乎無法提升性能，將讀數(shù)據(jù)存放在低延遲的全閃存陣列上，讀操作會被更快的處理，從而帶來性能的大幅提升。
IBM FlashSystem系列全閃存陣列源自IBM于2012年8月收購的閃存技術(shù)公司TMS，目前該系列產(chǎn)品擁兩款產(chǎn)品： Flash840 和Flash V840。
IBM FlashSystem家族的新產(chǎn)品FlashSystem 840采用了2U機架式結(jié)構(gòu)(V840為6U設(shè)計)，提供高達 40TB的可用容量，與前代產(chǎn)品820相比，帶寬提升了近2倍，性能提升了1倍，達到110萬IOPS。同時，該全閃存陣列還采用 IBM MicroLatency 技術(shù)，數(shù)據(jù)訪問速度由毫秒縮短到微秒 (少于135微秒)，能夠幫助企業(yè)優(yōu)化實時數(shù)據(jù)分析，更加快速地獲取指導(dǎo)下一步行動的分析結(jié)果。
對于FlashSystem 840的高可用硬件配置來說，在Module-level Variable Stripe RAID(模塊級可變RAID)的基礎(chǔ)上，還加入了System-level RAID 5 across modules(跨模塊的系統(tǒng)級RAID 5)和可熱插拔的閃存模塊等特性。
追求實時分析極致性能
眾所周知，針對大數(shù)據(jù)實時分析工作負載來說，最重要的處理指標就是“時延”，而“時延”則恰好是IBM FlashSystem系列產(chǎn)品的突出優(yōu)勢。
FlashSystem 系統(tǒng)提供獨立的硬件數(shù)據(jù)路徑，和分布式CPU獨立處理路徑，基于FPGA基礎(chǔ)的數(shù)據(jù)移動相比軟件實現(xiàn)的存儲控制器算法實現(xiàn)大大減少了延遲時間。相比較傳統(tǒng)的SSD與磁盤系統(tǒng)的混合陣列，F(xiàn)lashSystem系列全閃存陣列提升IOPS性能的同時，在部署、體積、數(shù)據(jù)安全方面都擁有較明顯的優(yōu)勢：
FlashSystem在2U高的空間內(nèi)就達到了(0.1-0.2ms)1m時延的高效率IOPS，而傳統(tǒng)陣列達到 (1ms)/ 1m時延的IOPS則需要3個機柜的體積。FlashSystem充分利用了閃存優(yōu)勢，采用了更為簡單直接的架構(gòu)設(shè)計，只有CPU/前后端導(dǎo)向器，沒有操作系統(tǒng)層;而傳統(tǒng)混合陣列的操作系統(tǒng)、緩存、交換模塊、控制器都成為提高延時的瓶頸。
FlashSystem全閃存陣列全部部件均可在線更換、升級，擁有更高的可靠性;傳統(tǒng)混合陣列則只能提供磁盤級的RAID保護，RAS安全性更低。總體TCO方面，F(xiàn)lashSystem全閃存陣列能有效降低機房空間占用、電力、能耗、制冷等多方面消耗，降低總體擁有成本;傳統(tǒng)混合陣列則需要更多的機房空間占用、更高能耗等，擁有更高的TCO，且產(chǎn)品發(fā)展路線容易受限于SSD廠商控制。
IBM 系統(tǒng)與科技部存儲產(chǎn)品部全球副總裁FlashSystem產(chǎn)品線總經(jīng)理Michael Kuhn表示，IBM FlashSystem以微秒級時延為設(shè)計目標，因而性能表現(xiàn)尤為突出，這也是當前用戶最為重視的方面。未來FlashSystem會繼續(xù)關(guān)注四個方面，即性能、模塊化設(shè)計、安全加密、數(shù)據(jù)管理能力，最終關(guān)注數(shù)據(jù)的經(jīng)濟性，幫助用戶降低成本。
據(jù)介紹，與同等的硬盤系統(tǒng)相比，IBM 閃存存儲解決方案的單機柜容量高出 6.7 倍，按成本/每秒輸入輸出(IOPS) 計算的成本效益高出 19 倍，并且節(jié)能效果超出 115 倍。
|
