前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的云資源優(yōu)化方案主題范文,僅供參考,歡迎閱讀并收藏。
HDS近日宣布推出首個融合數(shù)據(jù)中心解決方案(Converged Data Center Solutions),用以全面自動化和加速、簡化企業(yè)云部署。該解決方案整合和優(yōu)化了日立的企業(yè)級存儲系統(tǒng)和刀片服務器,同時支持多種應用程序和云環(huán)境下的標準網(wǎng)絡基礎設施組件。通過更快速的部署、自動化和可擴展的特性,這一新的解決方案將幫助企業(yè)按照自身的方式采用云,并以更快的速度實現(xiàn)可預見的業(yè)務價值。
HDS文件、內容與云計算解決方案產(chǎn)品市場總監(jiān)許可介紹說,HDS融合數(shù)據(jù)中心解決方案采用緊密集成和共享的組件(包括存儲、計算和數(shù)據(jù)網(wǎng)絡),使創(chuàng)建云基礎或者基礎設施云成為可能,將存儲、計算和網(wǎng)絡全面整合,與那些沒有經(jīng)過優(yōu)化集成的松散解決方案相比,在企業(yè)級可靠性、部署速度、性能和管理方面擁有明顯的優(yōu)勢。
“融合數(shù)據(jù)中心解決方案將存儲、計算和網(wǎng)絡與軟件的管理、自動化和優(yōu)化相結合,能夠將資源進行自動配置,并對其使用情況進行追蹤,對應用程序、平臺和管理程序進行優(yōu)化處理,從而提供使用技術中所需要的靈活性?!痹S可介紹說,首個融合解決方案包括基于Windows Hyper-V Cloud Fast Track的HDS解決方案、用于Microsoft Exchange 2010的日立Converged Platform、日立統(tǒng)一計算平臺(UCP)、日立計算刀片服務器(Compute Blade)。
據(jù)悉,基于Windows Hyper-V Cloud Fast Track的HDS解決方案,將HDS的存儲、計算與網(wǎng)絡及帶有Hyper-V和System Center的 Windows Server 2008 R2相結合,可帶來高性能的私有云基礎設施以及能夠實現(xiàn)進一步自動化和協(xié)調的途徑。用于Microsoft Exchange 2010的日立Converged Platform是第一款經(jīng)過預測試的特定應用融合解決方案,能夠實現(xiàn)快速部署,并緊密集成了Exchange 2010的最新強大功能。HDS曾在去年的統(tǒng)一計算平臺(UCP)是其融合數(shù)據(jù)中心戰(zhàn)略的一個關鍵要素,提供了在日立融合系列解決方案中的協(xié)調和管理功能。利用編制軟件,UCP能從一個簡單但功能齊全的界面上,將服務器、存儲和網(wǎng)絡的管理作為業(yè)務資源池進行集中和編制。對于計算刀片服務器,許可介紹說,自2004年以來,這一產(chǎn)品已經(jīng)在日本市場廣為銷售,HDS利用這一優(yōu)勢,將其與融合數(shù)據(jù)中心解決方案無縫集成,為客戶提供了企業(yè)級的可靠性和高性能。
面對不斷發(fā)生的市場變化和繁雜多樣的云部署方案,以及基于用戶類型的不同服務形式和使用方式,如何為企業(yè)自身的IT 和業(yè)務需求選擇最佳的解決方案,如何找到最適合的云戰(zhàn)略,成為所有進行云過渡或云升級的企業(yè)不得不面對的嚴峻挑戰(zhàn)。
根據(jù)IOUG ResearchWire公司2010 年和 2011 年的云計算調查顯示,私有云和公有云的使用增長勢頭強勁。2011年,私有云用戶占37%,比2010年增長28%,而公有云用戶占21%,增長率高達50%。此外,在調查的眾多云應用案例中,新應用的使用比對現(xiàn)有應用進行擴展的比例高;內部員工使用比外部用戶的比例高,并且PaaS 的采用遠遠要高于IaaS,但用于開發(fā)/測試和生產(chǎn)環(huán)境則兩者皆有。
針對企業(yè)實現(xiàn)云計算的IT模式轉變,甲骨文公司2012年推出的Oracle云戰(zhàn)略,可為客戶提供全面、自由選擇的云產(chǎn)品和解決方案。該戰(zhàn)略旨在幫助客戶構建、部署和管理私有云和使用公有云、混合云服務,為客戶提供跨SaaS、PaaS、IaaS等服務模式的廣泛產(chǎn)品,推動客戶靈活采用最適合自身發(fā)展的云計算解決方案。
其中,Oracle 云計算解決方案涵蓋了公有云、私有云、混合云所有部署類型的解決方案,支持SaaS、PaaS、IaaS。在SaaS領域,甲骨文擁有基于100% 開放標準的業(yè)務應用解決方案,包括Oracle融合應用軟件和行業(yè)應用軟件,如Oracle 融合HCM云應用、Oracle 融合CRM云應用等;在PaaS領域,甲骨文可提供世界第一的數(shù)據(jù)庫、MySQL、Oracle Exadata 數(shù)據(jù)庫云服務器、WebLogic應用服務器 、Oracle Exalogic中間件云服務器、SOA和BPM、數(shù)據(jù)集成和GoldenGate、身份和訪問管理以及WebCenter等;在IaaS領域,甲骨文可提供最佳的 Unix 和 Linux 操作系統(tǒng)、Sun 存儲、各種服務器虛擬化和集群選件、SPARC和X86服務器等。
Oracle 云戰(zhàn)略將幫助客戶制定適合需要的云戰(zhàn)略和發(fā)展規(guī)劃。它從整合開始,集中平臺和資源,為構建私有云奠定基礎,然后逐漸從私有云擴展至自助式私有云,并在適當?shù)牡胤绞褂霉性品铡M瑫r在企業(yè)發(fā)展需要的情況下,Oracle云戰(zhàn)略還可以將私有云和公有云充分結合和互補,發(fā)揮出混合云的作用。
通往私有云的第一步——整合
甲骨文公司提供了多種整合的方式:首先,企業(yè)可以選擇將多個系統(tǒng)整合到標準、共享和可靈活伸縮的 PaaS 上,也可以無需標準化即整合到共享 IaaS 上。前者適用于所有應用的標準化 PaaS,可減少異構、降低成本以及減少復雜性,加快新應用程序部署速度;后者的軟件體系異構性、成本和復雜性保持不變,而且均可以通過減少硬件、能耗和數(shù)據(jù)中心空間來節(jié)省成本。
其次,通過虛擬化技術實現(xiàn)整合資源池化和靈活的可伸縮性,其中包括服務器虛擬化和集群化。服務器虛擬化可使一個物理資源看似多個物理資源,甲骨文擁有基于M系列、T系列、X86以及SPARC服務器的廣泛的服務器虛擬化技術選擇,可實現(xiàn)集中的虛擬化生命周期管理。反之,集群化則可使多個物理資源作為一個物理資源。甲骨文同樣擁有廣泛的集群技術選擇,可在存儲、服務器、數(shù)據(jù)庫以及中間件等整個IT架構內實現(xiàn)集群化。
在服務器、數(shù)據(jù)庫和中間件層面,甲骨文軟硬件一體化戰(zhàn)略提供了創(chuàng)新的集成化系統(tǒng)。標志性的產(chǎn)品有Oracle Exadata數(shù)據(jù)庫云服務器、Oracle Exalogic中間件云服務器、Oracle SPARC SuperCluster,三者均具有極致性能,部署簡單且總體擁有成本較低,也可作為整合和云計算的構建模塊。此外,甲骨文公司也提供了同類最佳的產(chǎn)品組件和優(yōu)化的層級解決方案,可幫助企業(yè)自身實現(xiàn)整合或者直接通過最佳實踐指導的預先集成來降低風險。
打造可全面管理的自助式私有云
最新推出的Oracle企業(yè)管理器12c可提供完整的生命周期管理、集成的云體系管理和業(yè)務驅動的應用程序管理,可以確保企業(yè)以最高的服務水平和最低運營成本實現(xiàn)云計算,幫助其全面管理Oracle云計算產(chǎn)品,進而實現(xiàn)對云的整體控制。
在云生命周期的計劃和設置云階段,Oracle企業(yè)管理器12c可進行容量和整合規(guī)劃,還具有資產(chǎn)發(fā)現(xiàn)、裸機供應、策略設置等功能;在構建、測試和部署云上的應用程序階段,它可將應用程序打包為組合件,完成應用程序測試,并能自助式供應;在管理和監(jiān)視云階段,它可以管理自助服務資源,監(jiān)視最終用戶、企業(yè)用戶和應用程序,實現(xiàn)整個體系的云管理;在計量、付費、優(yōu)化階段,它可計量資源利用率并進行付費,還能優(yōu)化性能、容量、QoS。
Oracle企業(yè)管理器12c還提供了針對整個體系的單一縱向的集成控制臺,和內置到每一層的高度可管理性,可全面管理Oracle Exadata數(shù)據(jù)庫云服務器、Oracle Exalogic中間件云服務器、Oracle Exalytic商務智能云服務器以及 SPARC SuperCluster T4,并能通過 My Oracle Support 集成提供主動式支持,實現(xiàn)全面的云體系管理。
適時引進外部云 滿足不同需求
企業(yè)私有云的作用巨大,但并不能滿足所有時期的需求。企業(yè)應當適時的引進外部云服務。在這個方面,甲骨文公司所提供的Oracle云服務和Oracle公有云將成為企業(yè)的理想選擇,全面支撐企業(yè)云計算發(fā)展需要。
Oracle云服務不僅能夠有效管理數(shù)據(jù)中心,還適用于 Oracle 軟件及硬件的端到端托管云服務,客戶只需每月支付固定費用,由 Oracle進行部署、測試、集成、升級、監(jiān)視和維護并保證其安全性。
甲骨文公司擁有超過12 年的標準云服務經(jīng)驗和550 萬滿意的最終用戶以及14000 位 Oracle 服務專家,并能支持27 種語言,這將使得客戶對Oracle云服務的投資價值充滿期待。
基于行業(yè)標準的Oracle公有云使客戶可以通過訂購來自助使用Oracle融合應用軟件、Oracle融合中間件和Oracle數(shù)據(jù)庫產(chǎn)品。該產(chǎn)品是一個同類最佳和集成服務的套件,包括Oracle 融合客戶關系管理云服務、Oracle 融合人力資本管理云服務、 Oracle社交網(wǎng)絡(Oracle Social Network)、Oracle Java 云服務和Oracle數(shù)據(jù)庫云服務。
Oracle公有云是業(yè)界唯一能夠為客戶提供全面業(yè)務應用和技術解決方案的公有云產(chǎn)品套件,使客戶可以在采用多個單獨公有云產(chǎn)品時,避免數(shù)據(jù)和業(yè)務流程分割的問題,還可為客戶和合作伙伴的企業(yè)級關鍵任務型應用提供高性能、高可靠性、高彈性和高安全性的架構。
Oracle 云計算:全方位的選擇
甲骨文公司在Oracle云戰(zhàn)略中,通過全面的云產(chǎn)品為客戶提供了全方位的云計算選擇,從SaaS、PaaS到IaaS擁有同類最佳的跨整個IT架構和云生命周期的私有云產(chǎn)品,以及可滿足企業(yè)更多需求的Oracle云服務與Oracle公有云。
架構整合
HDS融合數(shù)據(jù)中心解決方案的核心之一是其企業(yè)級存儲系統(tǒng)。HDS的企業(yè)級存儲系統(tǒng)在虛擬化技術、精簡配置以及可靠性、可擴展性等方面獨樹一幟。從USP到VSP,HDS的企業(yè)級存儲系統(tǒng)在存儲虛擬化技術方面不斷創(chuàng)新,贏得了許多行業(yè)用戶的認可。一些電力公司、互聯(lián)網(wǎng)企業(yè)等都采用了HDS的虛擬化存儲系統(tǒng)和云計算解決方案。
在過去的幾個月中,HDS的云計算解決方案贏得了許多重要的客戶。比如,北京市計算中心選用HDS NAS Platform(HNAS),避免了系統(tǒng)無序擴大,同時消除了流量瓶頸,提高了文件和數(shù)據(jù)共享的性能。借助HNAS的虛擬化功能,如虛擬服務器、虛擬存儲和虛擬存儲池,存儲管理員可以更有效地為不同應用和用戶分配存儲空間。HNAS也是北京工業(yè)云計算服務平臺基礎架構的一部分。像這樣的成功案例還有很多。不過,你不要認為HDS的云計算解決方案只包括存儲,HDS融合數(shù)據(jù)中心解決方案就是讓用戶從整個基礎架構的角度,而不是從存儲的角度去思考構建云環(huán)境。HDS融合數(shù)據(jù)中心解決方案通過整合存儲、計算、網(wǎng)絡和系統(tǒng)管理軟件,可以加速并簡化云架構的部署。許可表示:“由于缺少云部署的標準和方法論,許多用戶在構建云架構時通常會感到無從入手。HDS融合數(shù)據(jù)中心解決方案將存儲、服務器、網(wǎng)絡、管理等進行優(yōu)化集成,可以幫助用戶找到一個切實可行的構建云架構的方法,讓用戶獲得企業(yè)級的可靠性、高性能,同時簡化云架構的部署流程,加快部署速度?!?/p>
簡化流程
已的HDS融合數(shù)據(jù)中心解決方案主要包括以下三個產(chǎn)品:基于Microsoft Hyper-V Cloud Fast Track的HDS解決方案將HDS的存儲、計算與網(wǎng)絡以及包含Hyper-V和System Center的Windows Server 2008 R2相結合,可以為構建高性能的私有云和實現(xiàn)云架構的自動化提供支撐;Hitachi Converged Platform for Microsoft Exchange 2010是一款經(jīng)過預測試的特定應用解決方案,它可以實現(xiàn)快速部署,并具有很好的適應性、可預測性和無縫擴展能力;Hitachi Unified Compute Platform(UCP)增強了HDS融合數(shù)據(jù)中心解決方案的協(xié)調和管理能力,它利用創(chuàng)新的軟件,通過一個簡單但功能齊全的界面管理所有的服務器、存儲和網(wǎng)絡設備。
11月10日,主題為“存聚百年智慧 云起最優(yōu)架構”的IBM智慧信息架構高峰論壇在上海成功召開,通過展現(xiàn)集成的高效存儲技術、完善的數(shù)據(jù)保護方案、以及為云而備的存儲架構,全面詮釋了IBM存儲基礎架構優(yōu)化戰(zhàn)略。此外,IBM還了“統(tǒng)一存儲”的新產(chǎn)品IBM Storwize V7000 Unified,以及IBM XIV Storage System Gen3、IBM Active Cloud Engine等一系列實現(xiàn)“智慧的運算”新品。
“作為今年最大規(guī)模的系統(tǒng)產(chǎn)品更新,IBM將更好地整合和優(yōu)化存儲、服務器基礎架構,幫助各行業(yè)客戶基于工作負載優(yōu)化的系統(tǒng)建設云計算平臺,實現(xiàn)大數(shù)據(jù)的整合,全面提升IT能力,降低運營成本?!盜BM系統(tǒng)與科技部存儲產(chǎn)品部大中華區(qū)總經(jīng)理黃建新表示:“‘智慧的運算’旨在通過以優(yōu)化的系統(tǒng)構架云計算平臺,實現(xiàn)大數(shù)據(jù)整合為核心的IT創(chuàng)新策略,幫助各類組織加速實現(xiàn)‘智慧的運算’,推動運營效率的提升和業(yè)務模式的變革?!?/p>
為云而備
IBM 2011全球CIO調研報告《CIO的智勝之道》對全球71個國家、18個行業(yè)超過3000名CIO進行了調查,其中60%的CIO表示將在未來五年內應用云計算來增強企業(yè)競爭力。作為云計算產(chǎn)業(yè)的推動者,IBM整合了硬件、軟件、服務及研發(fā)資源,是目前業(yè)界惟一一家提供IaaS(基礎架構即服務)、PaaS(平臺即服務)、SaaS(軟件即服務) 和PaaS(業(yè)務流程即服務)的跨越設計、部署、實施、管理的全方位云計算解決方案提供商。全球財富500強中,有80%使用了IBM的云計算技術、產(chǎn)品、解決方案或服務。僅2010年,IBM就在全球實施了2000個私有云項目。而在公有云方面,IBM建立的云平臺已經(jīng)擁有1900萬個用戶,目前IBM的云項目管理著100萬臺虛擬機。
貴州移動通過IBM PowerVM服務器虛擬化技術以及SVC存儲虛擬化技術,將Power服務器以及XIV網(wǎng)格存儲進行全面虛擬化,快速地構建了先進、高效、極具經(jīng)濟性的基礎架構云平臺,運行了包括新農(nóng)合在內的36個業(yè)務應用。IBM認為:成功地建設持久的、高回報的云計算戰(zhàn)略、實現(xiàn)大數(shù)據(jù)整合,需要以優(yōu)化的架構作為堅實的基礎。
那么,究竟何為優(yōu)化的架構,它能為企業(yè)帶來哪些價值?IBM存儲信息架構優(yōu)化解決方案以基礎架構為基點,利用不同解決方案,針對性地幫助企業(yè):去除冗余數(shù)據(jù)、根據(jù)屬性把數(shù)據(jù)放到合適的位置,通過虛擬化等技術,利用已有資源存儲更多數(shù)據(jù),對企業(yè)數(shù)據(jù)建立管理并實施保護,為企業(yè)云存儲架起發(fā)展平臺,從而實施真正意義的云計算。
具體來講,從存儲角度看,IBM存儲架構優(yōu)化解決方案突出注重以下三個方面:
集成高效的基礎架構:建立在無效基礎架構之上的云計算不但無法提高工作效率,反而會因為碎片化、冗余或系統(tǒng)彼此隔斷變得更加復雜、低效。而初次使用IBM存儲架構優(yōu)化解決方案的客戶便可以降低20%~25%的成本支出,3~5年后成本節(jié)約將達到50%以上,讓存儲真正做到存得更精、放得合適、用得更省。
高度安全的基礎架構:IBM高效數(shù)據(jù)保護方案提供端到端的數(shù)據(jù)保護方案,幫助用戶在減少復雜度和成本的基礎上安全管理更多類型的數(shù)據(jù),以不同的備份技術、統(tǒng)一的恢復管理系統(tǒng)建立對企業(yè)數(shù)據(jù)的管理機制,如對于需要最佳備份時間間隔的具有商業(yè)價值的數(shù)據(jù)定期備份,對于不可中斷需要快速恢復的重要應用數(shù)據(jù)頻繁快照,對于系統(tǒng)故障需快速切換,保證高可用的關鍵數(shù)據(jù)進行遠程鏡像等,從而自動地幫助企業(yè)管理數(shù)據(jù),安全地挖掘和實現(xiàn)數(shù)據(jù)價值,鑄就基業(yè)長青的安全保障。
為云而備的基礎架構:全新的IBM Active Cloud Engine可通過隨時隨地按需轉移文件來高效擴展云文件系統(tǒng),企業(yè)可以快速訪問幾十億個文件,并且顯著提高云存儲環(huán)境的管理和效率。該系統(tǒng)基于策略驅動文件管理,例如將企業(yè)領導的重要文件放在快速的存儲單元,而將非重要的文件放在近線存儲單元,或者在一年后自動將不活躍的文件放到相對價值最低的存儲池中,文件在不同存儲單元中的移動完全是自動化的,從而大幅降低存儲成本和管理成本。不同特點的文件會自動匹配與之最適合的存儲單元,所以整體性能也將大幅提升。該系統(tǒng)通過IBM SONAS支持全球性的云平臺,通過Storwize V7000 Unified系統(tǒng)支持中型的云平臺。
統(tǒng)一存儲
在此次高峰論壇上,另一大亮點便于IBM基于中端存儲市場推出的“統(tǒng)一存儲”新產(chǎn)品IBM Storwize V7000 Unified,這是一款能同時提供塊訪問和文件服務的“統(tǒng)一存儲”產(chǎn)品。
Storwize V7000 Unified通過圖形用戶界面在相同系統(tǒng)上同時實施文件和塊級存儲,從而提高數(shù)據(jù)存儲的效率和便捷性。該產(chǎn)品能夠基于策略,將文件自動轉移至適當類型的驅動器,從而幫助企業(yè)控制成本并簡化管理。此外,Storwize V7000 Unified既可在系統(tǒng)內擴展,又可以通過群集兩個系統(tǒng)實現(xiàn)向外擴展,并提供增強型遠程鏡像功能。
電信企業(yè)面臨轉型
目前,我國大部分電信運營商都提供IDC服務器托管和租用等相關業(yè)務,盡管“出租機架+出租帶寬+提供簡單維護”這種服務模式利潤率低的弊端已經(jīng)顯現(xiàn)出來,但在傳統(tǒng)的IT建設和交付模式下,電信業(yè)的IDC業(yè)務轉型舉步維艱;同時,隨著用戶數(shù)量和新業(yè)務的迅速增長,數(shù)據(jù)和設備均已出現(xiàn)不斷膨脹的局面,并直接導致后端的數(shù)據(jù)中心越來越龐大,其空間、能耗和人力成本居高不下。因此,電信運營商急需一種新的IT服務交付模式,以擺脫當前的不利局面,加強自身的市場競爭優(yōu)勢。
日前,IBM公司召開了主題為“成就智慧電信,致勝步步為云”的IBM電信行業(yè)云計算開發(fā)者大會,推出了Power Cloud云平臺戰(zhàn)略。IBM大中華區(qū)系統(tǒng)與科技部電信行業(yè)總經(jīng)理侯淼認為,面對業(yè)務轉型和降低成本的雙重挑戰(zhàn),云計算技術和模式為電信運營商提供了一個非常適合的解決方案,他們可以依托自身規(guī)模化網(wǎng)絡實力和客戶資源,憑借高效的云平臺提供的高度虛擬化和整合的計算資源,將簡單的提供機架和帶寬轉變?yōu)槌鲎庥嬎隳芰?,并提供?shù)據(jù)保護和業(yè)務連續(xù),以此向云服務商轉型。而電信運營商向云服務提供商轉型又恰恰具有天然的自身優(yōu)勢,他們擁有完整的網(wǎng)絡資源、用戶資源、品牌認知度,以及良好的服務保障體系和客戶關系,具有廣闊的市場發(fā)展空間。侯淼說:“IBM全新的Power Cloud戰(zhàn)略涵蓋系統(tǒng)資源池、管理平臺和ISV服務,將有效幫助電信運營商快速部署、順利轉型、輕松駕云?!?/p>
Power彰顯優(yōu)勢
IBM系統(tǒng)與科技部中國區(qū)行業(yè)及重點客戶技術支持總經(jīng)理梁建球認為,當前,云計算主要構建在x86和Unix兩個主流系統(tǒng)平臺上。x86架構入門簡單、成本較低,但其在運算性能、安全性和可靠性方面不如Unix平臺,難以達到電信行業(yè)“企業(yè)級關鍵業(yè)務應用”的需求。而基于IBM Power的云平臺,其核心特征是能夠提供企業(yè)級用戶所需要的關鍵計算能力、高度的計算資源垂直擴展性,以及可靠性。
據(jù)介紹,IBM Power服務器已經(jīng)被我國電信行業(yè)廣泛應用,很多電信運營商都已開始或正在著手部署基于Power的基礎架構云平臺。在這方面,貴州移動和上海電信已經(jīng)先走一步。中國移動通信集團貴州分公司以IBM Power服務器和XIV存儲系統(tǒng)為基礎架構,成功建成云計算平臺,實現(xiàn)了按需分配的IT資源使用模式,有效解決了客戶的信息化需求,同時縮短了業(yè)務建設周期,提高了資源利用率,降低了IT運維工作量及成本。貴州移動云平臺建設始于2009年年底,去年2月上線,現(xiàn)已成功運營包括貴州省新農(nóng)合信息系統(tǒng)、省衛(wèi)生廳OA、居民健康檔案、天氣預報、高考查分、旅游電子門票、農(nóng)機補貼系統(tǒng)等36個業(yè)務系統(tǒng),實現(xiàn)了其經(jīng)營模式和IT運營模式的成功轉型。
上海電信去年開始與IBM開展合作,采用基于AIX平臺的IBM Power Cloud,搭建了金融云專區(qū),為那些業(yè)務量很小的銀行提供低成本、高品質的服務,使5年的運營成本可以節(jié)省60%以上的投入,并使用戶大大縮短了關鍵業(yè)務應用的部署周期。上海電信統(tǒng)一、動態(tài)、開放的數(shù)據(jù)中心云服務平臺,目前已經(jīng)吸引了大量的企業(yè)用戶,不僅提升了自身的服務價值,還優(yōu)化了區(qū)域投資環(huán)境。
三“1”模式
聚攏合作伙伴
在IBM Power Cloud中,IBM提出了“優(yōu)化的服務器和存儲系統(tǒng)構成云計算資源池、采用IBM系統(tǒng)與科技研發(fā)中心的云管理平臺軟件構建完整的基礎架構云、結合具有Power云開發(fā)實力的ISV合作伙伴”,即前面提到的三“1”模式,形成了Power Cloud完整的戰(zhàn)略體系。
在三“1”模式中,最引起合作伙伴關注的是IBM中國系統(tǒng)與科技開發(fā)中心專門推出的IBM基礎架構云計算解決方案SKC(Starter Kit for Cloud,云計算快速部署工具包)。IBM大中華區(qū)系統(tǒng)與科技研發(fā)中心副總裁周諗畬說,為幫助合作伙伴和客戶快速部署和實施云計算,該解決方案利用IBM VMControl的擴展方案和多虛擬機平臺支持能力,基于REST開放架構,具有部署簡單快捷、易于上手和使用的特點。該解決方案可利用已有的硬件和虛擬機環(huán)境,通過自助式按需獲取計算資源,對操作系統(tǒng)和應用進行快速部署,其模塊化架構非常易于二次開發(fā),并且易于與企業(yè)已有的流程和系統(tǒng)整合,該基礎架構云計算解決方案的推出,將使IT基礎架構管理更加輕松和高效。
基于Hyper-V的服務器虛擬化,搭建私有云基礎架構
針對服務器數(shù)量需求大,單臺服務器利用率低的情況,學校首先引入基于Virtual Server的服務器虛擬化平臺,實現(xiàn)服務器的合并和加固,優(yōu)化資源分配。
我們通過高度可用的設置向導,部署了兩臺E7級別的服務器,每臺配有八核心Intel Xeon(2.00 GHz)處理器、32G內存。Windows Server 2008標準版R2被安裝作為主要的操作系統(tǒng),Hyper-V被用做虛擬化的基礎技術。兩臺物理服務器以虛擬機的方式整合了以往二十多臺物理服務器。通過使用系統(tǒng)中心虛擬機管理器進行服務器性能監(jiān)控,物理服務器的利用率被提高到80%以上。
云計算的基礎是虛擬化技術,在學校的私有云解決方案中,數(shù)據(jù)庫服務平臺SQL Server 2008以及Windows Server 2008 R2/Hyper-V(虛擬化技術)/IIS組有機地融合在一起,成功構建出云計算服務平臺。以Hyper-V服務器虛擬化技術構建底層虛擬化平臺,結合System Center Virtual Machine Manager(簡稱SCVMM)虛擬機管理套件將學校內部現(xiàn)有的硬件服務器資源統(tǒng)一整合成為資源池,進行集中管理與調配。通過System Center實現(xiàn)了對整個私有云平臺和動態(tài)數(shù)據(jù)中心的基礎架構、應用的管理。
在該管理架構下的各類計算資源得到了充分的整合與利用,各類計算資源根據(jù)需求,被動態(tài)地、智能地、自動化地分配到各個應用中,保證了各個應用的順暢運行,使得整個監(jiān)管系統(tǒng)在任何時間都可以提供給用戶一個切實可查的信息。具有穩(wěn)定性、安全性、易用性與高度擴展性的微軟私有云架構,也為未來的進一步發(fā)展壯大奠定了良好的基礎。
完善學校私有云解決方案,優(yōu)化資源配置
在云計算的基礎架構中,所有的計算任務都在云端完成,用戶無需關注計算資源所處的位置,所有的資源分配是動態(tài)的、靈活的,這對于那些對計算資源要求實時性較高的產(chǎn)品組而言,是極為關鍵的因素。而在原有的模式下,計算資源是獨立的。受限于成本、計算性能、可用性以及安全管理、賬戶控制等問題,想要添加新的硬件異常困難。
為解決這一難題,在完成前期測試和評估之后,為了充分利用現(xiàn)有的硬件資源,在完成大量服務器的虛擬化的基礎上,充分應用多余的硬件,投入到基礎架構上,實現(xiàn)資源池的概念,在投資相同或少于往年的情況下,實現(xiàn)了硬件資源利用的最大化,解決資源分配難的問題。同時,針對服務器分散且缺乏統(tǒng)一有效的管理這一現(xiàn)狀,引入系統(tǒng)中心虛擬機管理器作為云端服務配置工具,來提高用戶體驗,縮短服務時間。
利用自助服務門戶 (Portal),縮短服務時間
自助服務門戶為網(wǎng)絡中心各應用管理教師提供了一個管理服務器需求的方式,使其能夠集中管理物理資源,包括CPU數(shù)量、內存、硬盤空間、網(wǎng)絡VLAN等。這大大簡化了資源的管理流程。
自助服務門戶提供了一個基于Web的用戶接口來管理虛擬機。通過使用這一內部網(wǎng)站,每個應用的管理教師能夠根據(jù)自己的需求申請?zhí)摂M機,配置虛擬機的相關參數(shù),平均在15分鐘左右即可完成測試環(huán)境的準備,大大縮短了過去搭建環(huán)境所花費的時間(平均2.5小時)。
學校私有云服務器架構
在私有云環(huán)境中,服務器端承擔了更多的工作負載,并可以根據(jù)資源占用情況動態(tài)調配,從而實現(xiàn)資源的合理使用。這種模式降低了對于客戶端的軟硬件需求。另外,學校開始考慮在客戶端實現(xiàn)進一步虛擬化,最終實現(xiàn)以瘦客戶機為基礎的終端虛擬化。我們希望將用戶的桌面環(huán)境放在數(shù)據(jù)中心的服務器上運行,在用戶端的瘦客戶機上僅僅顯示一個用戶界面,而這種用戶界面與典型的Windows桌面體驗完全一致。對于用戶來說,這種本地桌面到云端桌面的遷移是完全透明的。
在整個解決方案中,對于私有云的監(jiān)控是保障學校數(shù)據(jù)中心正常運作的必要環(huán)節(jié)。微軟的System Center Operating Manager提供了端到端的監(jiān)控支持,不但可以監(jiān)控物理服務器的運行,還可以對云環(huán)境中的虛擬服務器以及數(shù)據(jù)中心服務器上的虛擬桌面終端提供全面的監(jiān)控,讓管理員實時了解IT運維情況,并在出現(xiàn)問題時及時響應。除此之外,數(shù)據(jù)的安全與保護也是學校管理層和信息組最為關心的問題,System Center Data Protection Manager(簡稱SCDPM)提供了針對Windows平臺及應用的數(shù)據(jù)備份和恢復解決方案。
整體解決方案的應用與效益
通過云計算基礎架構,開發(fā)測試、安裝和新服務器的添加都能夠以自動化的流程來實現(xiàn),在收到教師請求之后,可以立即自動地提供解決方案,這樣為師生提供了最大程度的便利,也將管理教師的參與要求降到最低。云解決方案服務平臺可以為教師提供高效的工具用來簡化管理。
通過云計算平臺進行資源整合,大大提升了學校的服務器、網(wǎng)絡、存儲資源利用率,提高了管理流程的自動化程度,變被動式服務為主動式服務,使得整個基礎架構處于一個全面的、高度整合的平臺之上,在提供高效、快捷服務的同時,降低了整體的系統(tǒng)維護復雜度和運營成本。
通過使用服務器虛擬化技術,可以使用冗余的虛擬服務器代替外部的物理硬件,因此,不需要部署昂貴的物理服務器即可獲得冗余。 學校以私有云平臺為依托,采用全面虛擬化技術,搭建起功能完善的私有云基礎環(huán)境。同時,在服務器與終端實現(xiàn)了完全的虛擬化之后,學校IT所耗費的能源更少,真正實現(xiàn)了綠色節(jié)能。
通過動態(tài)數(shù)據(jù)中心工具包,使得應用能夠在不超過15分鐘的時間內,通過自助服務門戶網(wǎng)站添加新服務器,幾乎可以獲得實時的水平縮放。另外,還可以為現(xiàn)有服務器添加處理器、內存以及存儲資源,從而進行垂直縮放。從實際效果來說,云計算避免了容量規(guī)劃可能帶來的風險。
使用微軟私有云解決方案,整個學校內無論是應用服務器還是師生所使用的客戶端,大部分運行在動態(tài)數(shù)據(jù)中心的虛擬化的資源池中,各部門所產(chǎn)生的數(shù)據(jù)存儲在統(tǒng)一的位置,讓學??梢愿玫乜刂泼舾袛?shù)據(jù),保護學校數(shù)字資產(chǎn),并提升學校安全性。
【關鍵詞】云計算;虛擬資源池;網(wǎng)管;應用;門戶;監(jiān)控
1、引言
隨著相關業(yè)務系統(tǒng)的落地,虛擬資源池在內部外部得到了廣泛使用,極大的滿足了內部業(yè)務快速部署的需求及外部客戶的需要。通過業(yè)務初期的快速發(fā)展,云主機、云桌面、云存儲業(yè)務于一體的混合云平臺對內部應用系統(tǒng)和外部企業(yè)日益增多,對云計算管理平臺提出了支持在線訂購、遠程自助管理、資源快速開通等新的運營管理需求。同時,隨著云平臺內部規(guī)模不斷擴大和眾多業(yè)務系統(tǒng)逐步遷移到云上,對云計算網(wǎng)管的運維功能也提出了新的挑戰(zhàn),現(xiàn)網(wǎng)云計算的網(wǎng)管系統(tǒng)改造優(yōu)化成為當務之急。
2、網(wǎng)管系統(tǒng)邏輯拓撲
現(xiàn)網(wǎng)存在三種資源池,其中云主機、云桌面共用OMS系統(tǒng)進行虛擬資源的日常監(jiān)控、告警、配置管理;云主機由BMS系統(tǒng)發(fā)放;云桌面由ITA進行資源發(fā)放;云存儲由ISM系統(tǒng)進行業(yè)務發(fā)放和日常維護;分析現(xiàn)網(wǎng)云平臺管理系統(tǒng)的邏輯拓撲,存在如下問題:(1)兩個數(shù)據(jù)中心是兩套獨立的管理平臺,沒有統(tǒng)一的運營、運維界面。(2)每個DC內,從業(yè)務維度可以看出同時存在云桌面和云主機、云存儲的維護管理系統(tǒng),都是各自為政,無法統(tǒng)一拉通管理和監(jiān)控。(3)現(xiàn)網(wǎng)不能支持異構虛擬化管理。(4)最終用戶無在線業(yè)務訂購和自助服務的界面。用戶無法自助完成注冊、訂購、使用、管理等業(yè)務操作。(5)合作伙伴管理及第三方業(yè)務集成能力不足。(6)面向虛擬化的管理系統(tǒng),僅能管理計算設備、存儲設備,缺少對云平臺配套的網(wǎng)絡設備、安全設備的監(jiān)控管理能力。
3、優(yōu)化改造
(1)部署跨數(shù)據(jù)中心統(tǒng)一運營管理系統(tǒng),統(tǒng)一發(fā)放云桌面、云主機、云存儲業(yè)務,簡化業(yè)務管理,兼容現(xiàn)網(wǎng)企業(yè)云商店系統(tǒng)。(2)部署跨數(shù)據(jù)中心運維管理系統(tǒng),集中監(jiān)控云桌面、云主機、云存儲告警、性能,兼容現(xiàn)網(wǎng)云平臺已有的設備管理功能。(3)改造后的運維管理系統(tǒng),不僅能監(jiān)控現(xiàn)網(wǎng)虛擬化資源池的計算設備、存儲設備,還可以監(jiān)控網(wǎng)絡設備、安全設備,提供數(shù)據(jù)中心全面運維監(jiān)控。同時還支持對第三方物理服務器、異構虛擬資源池進行監(jiān)控。(4)滿足云計算業(yè)務運營的需求,提供企業(yè)用戶和個人用戶在線注冊,自助業(yè)務申請、資源開通和管理等功能。(5)改造后平臺,提供合作伙伴管理、第三方業(yè)務集成和。(6)改造后平臺支持計費功能,并與第三方支付平臺對接。
3.1運營管理平臺。運營管理平臺由門戶應用、業(yè)務運營、資源管理、系統(tǒng)管理、數(shù)據(jù)以及接口等組成。用戶能夠通過自服務門戶Portal進行用戶注冊、用戶注銷、業(yè)務訂購、業(yè)務變更、業(yè)務退訂、資源使用等業(yè)務操作。企業(yè)管理人員能夠通過管理平臺對所訂購的資源進行監(jiān)控、分配和重啟等操作。運營管理人員能夠通過運營管理門戶Portal進行資源規(guī)格管理、資源模板管理以及系統(tǒng)管理等運營操作。門戶系統(tǒng)應由用戶自助門戶和運營管理門戶組成,分別面向用戶和運營管理人員提供操作界面。用戶管理要求能夠實現(xiàn)的功能包括用戶注冊、用戶注銷、修改用戶信息、修改密碼、密碼重置、設置用戶狀態(tài)、查詢用戶信息等相關功能。產(chǎn)品管理要求能夠實現(xiàn)的功能包括產(chǎn)品定義、產(chǎn)品、產(chǎn)品更改、產(chǎn)品刪除、產(chǎn)品查詢、產(chǎn)品目錄等相關功能。支持多資源池的同時接入管理,并能對多個集群進行資源的統(tǒng)一分配和運營。運營管理平臺要求能夠支持業(yè)務提供商(ISV)合作伙伴管理,并能集成第三方業(yè)務,實現(xiàn)云平臺的統(tǒng)一運營。支持多資源池的同時接入管理,并能對多個集群進行資源的統(tǒng)一分配和運營。系統(tǒng)支持按用戶使用的資源類型和時長進行計費并輸出相應話單??蛻艨稍诰€選擇第三方支付平臺對所訂購的產(chǎn)品進行付費。運營平臺支持與主流第三方支付平臺的對接,如支付寶、手機支付等;實現(xiàn)平臺的在線支付功能。
3.2運維管理平臺。運維管理平臺由資源管理系統(tǒng)、集中監(jiān)控管理系統(tǒng)組成。資源管理系統(tǒng)為運營管理平臺提供資源池管理功能;集中監(jiān)控管理系統(tǒng)為管理員提供日常運維的管理界面,支持告警、性能、拓撲等管理功能。
3.2.1資源管理系統(tǒng)。資源管理系統(tǒng)應提供同虛擬化軟件相適配的資源管理系統(tǒng),用于調度物理資源、虛擬化資源;支持資源模板管理、鏡像管理、資源分配回收管理、虛擬機資源調整、虛擬機操作管理、虛擬機遷移、虛擬機資源調度管理,支持各類資源(計算/存儲/網(wǎng)絡)監(jiān)控管理,支持拓撲、統(tǒng)計報表等功能,并對外提供運維和業(yè)務接口。物理資源管理支持發(fā)現(xiàn)其管轄范圍內的物理設備(包括服務器、存儲設備和網(wǎng)絡設備)以及它們之間的組網(wǎng)關系。支持將這些物理設備進行池化管理,提供給上層應用管理模塊使用。虛擬資源化管理可以統(tǒng)一管理不同系統(tǒng)提供的虛擬資源,包括虛擬機資源、虛擬網(wǎng)絡資源和虛擬存儲資源等。第三方資源集成管理,支持對現(xiàn)網(wǎng)云平臺和其他第三方的物理設備、虛擬化軟件進行集成管理,提供統(tǒng)一的資源池管理模型和接口。資源集群管理,統(tǒng)一虛擬化資源管理的能力,對上層應用的發(fā)放屏蔽差異,提升虛擬資源的管理效率,降低運維成本,需要提供資源集群管理功能。資源分級管理可以能根據(jù)物理位置、業(yè)務布局、安全等級等需要對資源集群劃分為不同的分區(qū),進行精細化管理,可創(chuàng)建、修改、查詢、刪除分區(qū)。資源模板管理對資源池系統(tǒng)中能夠支持的資源模板進行管理,可以創(chuàng)建、修改、查詢模板并設置模板狀態(tài)。
3.2.2集中監(jiān)控管理系統(tǒng)。提供數(shù)據(jù)中心的硬件、軟件和業(yè)務的運維管理功能,實現(xiàn)硬件、軟件和業(yè)務的全方位運維能力,需支持友好的WebUI維護界面,支持用戶分權分域管理。網(wǎng)元管理提供全網(wǎng)設備資源的增加、刪除和查看功能;提供全網(wǎng)資源信息的功能;提供設備維護操作的入口;提供資源的變化統(tǒng)計信息;支持單臺增加設備;支持自動發(fā)現(xiàn)設備;定時自動發(fā)現(xiàn)設備;支持批量導入設備資源。第三方設備管理支持通過SNMP協(xié)議對第三方物理設備進行自定義管理;包括設備廠商、設備類型、告警信息、性能指標等。拓撲管理提供以拓撲圖方式顯示系統(tǒng)管理的設備及其之間鏈路連接,提供子網(wǎng)、設備、鏈路的管理。提供網(wǎng)元在線、離線狀態(tài)顯示和刷新,網(wǎng)元故障信息的顯示和刷新,鏈路故障狀態(tài)的顯示和刷新。提供TIPS顯示網(wǎng)元和鏈路信息。故障管理提供數(shù)據(jù)中心的故障管理功能,將各個業(yè)務支撐系統(tǒng)的告警集中管理,功能包括:統(tǒng)一告警管理:支持統(tǒng)一集中展示并管理云主機、云桌面、云存儲業(yè)務支撐系統(tǒng)的告警、故障;支持統(tǒng)一管理計算設備、存儲設備、網(wǎng)絡設備、安全設備、負載均衡設備的告警、故障;支持對現(xiàn)網(wǎng)云平臺上計算設備、存儲設備、網(wǎng)絡設備、安全設備、負載均衡設備的告警進行監(jiān)視和查看;支持對第三方設備告警的監(jiān)視和查看。告警遠程通知:可以配置通知策略,根據(jù)緊急程度、嚴重程度及時通過Email、手機短信息的方式通知系統(tǒng)相關管理員,以便及時發(fā)現(xiàn)并解決問題。告警知識庫:系統(tǒng)需要提供告警知識庫功能,方便管理員錄入、查詢各類告警的處理建議。性能管理能管理計算設備、存儲設備、網(wǎng)絡設備、安全設備、負載均衡設備的狀態(tài)、容量、使用率、流量等信息。
【關鍵詞】云計算;DAG圖;遺傳;蟻群;任務;融合
本文提出一種基于DAG模型的優(yōu)先級表的依賴任務調度算法。以時間觸發(fā)調度,采用重復調度。當每次調度事件發(fā)生時,包含那些上一次調度事件中已經(jīng)被調度但還沒有開始執(zhí)行或被迫中斷的任務, 還有新到達的任務,。這與云計算中資源的動態(tài)性是相應的。
在算法實現(xiàn)方面,我們考慮將遺傳算法和蟻群算法相結合,利用遺傳算法進行前期訓練然后利用蟻群算法進一步進行搜索收斂,最終得到最優(yōu)調度方案。結合云計算任務調度的特點,本文選取遺傳算法和蟻群算法的參數(shù)設置,將問題轉換到云計算任務調度問題上來,提出融合遺傳算法[1]和蟻群算法[2][3]的云計算任務調度算法。
一、問題提出
每個子任務用圓圈表示,圈中T表示任務號,Q表示計算量,而DAG圖中的箭頭表示子任務之間的優(yōu)先關系,C(i,j)表示任務Ti與Tj之間的通信量。圖1所示,箭頭從前驅指向后繼,前驅是后繼的必要,只有在某個任務的所有前驅都完成時,該任務才被執(zhí)行。在任務調度過程中重復調度,當每次調度事件發(fā)生時,任務組中既包含新到達的任務,。這與云計算中資源的動態(tài)性相適應的。算法使用更新的資源信息對任務進行調度,這與動態(tài)的云計算環(huán)境是相適應的。
Fig.1 DAG task graph
圖1 任務DAG圖
由各種任務分配方案需要進行優(yōu)化。如圖2任務劃分后的一種方案。
Fig.2 Sub-task resource allocation plan
圖2 子任務資源分配圖
設有m個計算結點所組成的云計算系統(tǒng)P={P1,P2,…,Pm},每個結點Pj處理能力為d。需要運行m個子任務T={t1,t2,…,tm},一般地。將任務調度問題描述成如下五元組∑=(T,,Q,C,X,w)。其中:“”是T中子任務間的優(yōu)先關系;Q是一個維的矩陣,其元素qij表示子任務ti在處理機Pj上的執(zhí)行時間;C是一個維通信矩陣,cij表示子任務ti與tj之間的通信時間;X是一個維的任務分配矩陣,其中Xij=1,表示ti分配到處理機Pj上執(zhí)行,否則Xij=0;w表示通信和執(zhí)行之間的差異。
二、算法實現(xiàn)
利用遺傳算法進行前期的訓練。得到的信息素作為蟻群算法的初始值,最終得到最優(yōu)或次優(yōu)調度方案。
(1)設置遺傳算法參數(shù);(2)假定遺傳算法結束條件;
(3)生成初始種群P(0),g=0; (4)計算P(0)中的個體適應值;
(5)反復執(zhí)行,直到滿足結束條件;
①根據(jù)個體適應值及選擇策略確定P(g)內選擇概率;
②進行PC交叉操作;
③ 進行Pm變異操作;
④計算P(g+1)中個體的適應值,g=g+1;
(6)P(G)從中選擇適應能力強的個體,放入集合中,作為優(yōu)化集合;
(7)對于集合中的每個優(yōu)化解,將遺傳算法求解結果轉換為蟻群算法中的信息素值;
(8)設置蟻群算法控制參數(shù);(9)設置蟻群算法結束條件;
(10)將m只螞蟻散布到n個計算結點上;
(11)對螞蟻的分配結果計算目標函數(shù),選取當前的最佳解;
(12)更新計算結點的信息素值;
(13)若滿足蟻群算法結束條件,退出;否則,返回執(zhí)行步驟(10)。
三、總結
在云計算環(huán)境里調度計算是影響云計算能否成功的最重要的因素之一。由于資源在廣域上分布,本質上異構,相異的存取和花費模式、負載和可用性動態(tài)變化,因此云計算環(huán)境下的任務管理十分復雜。在云計算系統(tǒng)中,如何協(xié)調和分配任務,這就是調度需要解決的問題。本文在廣泛閱讀國內外相關文獻后,歸納云計算和任務調度方面的研究成果,提出基于DAG以及融合遺傳算法和蟻群算法的動態(tài)云計算任務調度算法。
通過實驗結果分析比較可以看出,本文提出的算法在運行性能上具有一定的優(yōu)勢,充分驗證了算法的合理性和有效性。當然,在仿真環(huán)境的限制下,可能實驗結果有細微的差別,但我們相信本文提出的算法不失為合理而有效的算法。
參考文獻:
[1]Annie S W, Han Y et al.An incremental genetic algorithm approach to multiprocessor scheduling[J],2004,15(9):824-834
[2] Dorigo M,Gambardella L M.Ant colony system: A cooperative learning approach to the traveling salesman problem,IEEE Trans. Evolutionary Computation[J],1997,1(1):53-66
[3] HUI YAN,XUE-QIN SHEN et al. AN IMPROVED ANT ALGORITHM FOR JOBSCHEDULING IN GRID COMPUTING.IEEE Proceeding of the Fourth International Conference on Machine Learning and Cybernetics[C], Guangzhou, August 2005:2957-2961
[4] Foster I,Kesselman C,Tuccke. The Anatomy of the Grid:Enabling Scalable Virtual Organizations[J].International Joural of Supercomputer Application,2001;15(3):200-222
[5]I Foster,C Kesselman.Grid Services for Distributed System Integration[J].Computer,2002,35(6):37-46
[6] 孫玉濤,網(wǎng)格計算環(huán)境中的動態(tài)任務調度算法研究,云南師范大學碩士論文.2007
【 關鍵詞 】 地理信息科學;數(shù)字地球;云計算;空間計算;時空;高性能計算;地理信息網(wǎng)絡基礎設施
1 引言
“唯一不變的是變化本身”——肯尼迪。在全球化和人類活動地域擴張的21世紀,理解變化變得越來越重要(Brenner 1999; NRC 2009b)。這些變化在一定的空間范圍內發(fā)生,這個范圍可以小到個人或周圍的小空間,也可以大到整個地球(Brenner 1999)。我們用時空維度來更好地記錄空間的相關變化(Goodchild 1992)。為了理解、保護和改善我們的生活環(huán)境,人類已經(jīng)積累了約十萬年或更長時間發(fā)生的變化的寶貴記錄。這些記錄通過各種傳感技術獲得,這些傳感技術包括我們人類的視覺、觸覺和感覺,以及最近發(fā)展的衛(wèi)星、天文望遠鏡、原位傳感器和傳感器網(wǎng)(Montgomery and Mundt, 2010)。傳感技術的進步極大地提高了記錄的精度和時空范圍??偟膩碚f,我們已經(jīng)積累了EB級的記錄數(shù)據(jù),而且這些數(shù)據(jù)集每天以PB級的速度在增加(Hey, Tansley and Tolle 2009)。
云計算的出現(xiàn)為解決地理科學的挑戰(zhàn),即能夠靈活訪問廣泛集中的、實體化的以及負擔得起的計算機資源,帶來了可能的解決方案(Cui et al., 2010; Huang et al., 2010)。21世紀的地理空間科學與所描述的密集問題可以受益于最新的云計算框架,并充分利用時空原理以優(yōu)化云計算。要抓住云計算和地理空間科學之間的內在關系,我們引入了空間云計算:a)解決地理空間科學中的4個密集問題;b)促進實施和優(yōu)化云計算匯集、彈性、按需以及其他特點。
2 空間云計算(Spatial Cloud Computing (SCC))
云計算正在成為下一代的計算平臺,政府機構正在促進它的使用以降低啟動、維護和能源消耗成本(Buyya et al., 2009; Marston et al. 2011)。結合地理空間科學,幾個試驗性的云計算項目正在諸如FGDC、 NOAA和 NASA等聯(lián)邦機構內實施。商業(yè)機構,如微軟、亞馬遜和ESRI正在調研如何在云計算環(huán)境中操作地理空間應用,了解如何最好地適應這個新的計算模式。早期的調研發(fā)現(xiàn)云計算不僅能夠幫助地理空間科學,而且能夠采用時空原理進行優(yōu)化以最好地使用分布式計算資源(Yang et al., 2011)。地理空間科學問題具有強時空約束和原則,能夠通過系統(tǒng)地考慮通用時空規(guī)則來獲得最好的答案(De Smith 2007; Goodchild 1990; Goodchild et al., 2007; Yang et al., 2011b):1)物理現(xiàn)象是連續(xù)的,數(shù)據(jù)表示在時空上是離散的;2)物理現(xiàn)象在空間、時間和時空關系上是異構的;3)物理現(xiàn)象在局部地理域上是半自治的,并且能夠被分割和合并;4)地理空間科學和應用問題包括數(shù)據(jù)存儲、計算/處理資源、物理現(xiàn)象和用戶的時空位置;上述四種位置的相互作用隨空間分布強度愈發(fā)復雜;5)時空現(xiàn)象越接近越相關(Tobler' first law of geography)。
一個支持地理空間科學的云計算平臺應該利用上述時空原則和限制,以便以一種時空形式更好地優(yōu)化與使用云計算,而不是設置限制條件和重新設計應用架構(Calstroka and Waston 2010)。
時空云計算涉及地理空間科學驅動的計算規(guī)范,通過將分布式計算環(huán)境應用于地理空間和其他科學發(fā)現(xiàn),其能夠被時空原則所優(yōu)化。
空間云計算框架包括物理計算基礎設施、分布在多個區(qū)域的計算資源,和用來管理為終端用戶提供服務的資源的空間云計算虛擬服務器。
空間云計算可以用一個架構來表示,這個架構包含物理計算基礎設施、分布在多個區(qū)域的計算資源,以及一個管理為終端用戶提供服務的資源的空間云計算虛擬服務器。
空間云計算環(huán)境的核心組件主要通過結合時空原則的SCCM來支持地理空間科學,以尋求計算資源的優(yōu)化?;趥鹘y(tǒng)空間云計算平臺和核心GIS功能是能夠實現(xiàn)的,例如動態(tài)重投影和空間分析。本地用戶和系統(tǒng)管理員通過SCCM管理接口,能夠直接訪問私有云服務器,云用戶能夠通過空間云門戶訪問云服務。還需要進一步研究IaaS、PaaS、SaaS和DaaS環(huán)境在云計算與地理信息科學兩方面可用的一致性。在下一節(jié)中,我們使用四種有代表性的應用來說明四種密集的問題。
3 空間云計算應用
為說明云計算如何能潛在解決四個密集問題,我們選擇了四個科學和應用場景來分析這些問題、時空原則和潛在空間云計算解決方案間的內在聯(lián)系。
3.1 數(shù)據(jù)密集型
地理空間科學中的數(shù)據(jù)密集型問題至少可以總結為三個方面:1)利用專門的投影和地理坐標系統(tǒng),多維地理空間數(shù)據(jù)在二維以上空間表示;2)諸如衛(wèi)星觀測、照相獲取、或者模型模擬,會收集或產(chǎn)生海量多維數(shù)據(jù);3)數(shù)據(jù)的全球分布。許多數(shù)據(jù)密集型的應用訪問和數(shù)據(jù)整合,因此,大數(shù)據(jù)可能在快速計算機網(wǎng)絡中傳輸,或者通過組合技術實現(xiàn)最小傳輸。
為解決這些數(shù)據(jù)密集型問題,我們開發(fā)了一種DaaS——分布式的目錄和基于空間云計算的門戶,來發(fā)現(xiàn)、訪問、使用地理空間數(shù)據(jù)。這個DaaS基于Microsoft Azure, Amazon EC2和 NASA 的地理空間社區(qū)的云服務上正在進行開發(fā)與測試。
空間云計算可考慮擁有和使用數(shù)據(jù)、服務、計算和終端用戶的位置、能力、容量和質量等信息并予以優(yōu)化,當然是在計算、地理空間科學和應用使用時空原則的情況下。
3.2 計算密集型
計算機密集型是地理空間科學需要解決的另外一個問題。在地理科學元素中,在信息/知識的數(shù)據(jù)挖掘、參數(shù)提取和現(xiàn)象模擬應用中計算密集型問題愈發(fā)突出。這些問題包括:1)地理空間科學在建模和分析方面天然是耗費計算資源的;2)參數(shù)提出需要運行復雜的地球物理算法,以從海量觀測數(shù)據(jù)中獲取現(xiàn)象值(Phenomena Values),這個復雜的算法運算使得參數(shù)提取更具有計算密集型特征;3)當考慮到地球系統(tǒng)的所有動態(tài)參數(shù)時,模擬地理空間現(xiàn)象是非常復雜的。周期性的現(xiàn)象模擬密集計算的不斷循環(huán),高性能計算機常用來提升此類計算速度。更重要的是,現(xiàn)象處理的時空原則可用來優(yōu)化分布式計算單元的組織,以實現(xiàn)時空科學模擬和預測(Govett et al., 2010; Yang et al., 2011)。這些原則對于實現(xiàn)數(shù)據(jù)挖掘、參數(shù)提取、現(xiàn)象模擬的云計算來優(yōu)化計算資源也是很關鍵的(Ramakrishnan et al. 2011; Zhang et al. 2011),主要通過:1)利用動態(tài)需求和能力,為計算工作選擇最匹配的計算單元;2)并行化操作單元以降低這個處理時間或提高整個系統(tǒng)的可操作性,3)利用更加匹配的工作、計算應用以及存儲與網(wǎng)絡狀態(tài),優(yōu)化整個云操作性。由于科學算法的多樣性和動態(tài)性,最好的實現(xiàn)平臺是PaaS和IaaS。
3.3 并發(fā)訪問密集
互聯(lián)網(wǎng)的發(fā)展和“在任何地點、任何時間將正確信息提供給任何人”的理念,使得基于位置的地理空間服務流行開來(Jensen 2009),并允許數(shù)以千萬計的用戶并發(fā)訪問系統(tǒng)(Blower 2010)。例如,Google Earth通過其SaaS支持數(shù)百萬互聯(lián)網(wǎng)用戶并發(fā)訪問。這些并發(fā)密集型訪問在某一時間(例如2011年3月日本海嘯和地震期間)非常密集,而在另外時間則很少。為更好地滿足這些并發(fā)訪問,空間云計算需要彈性調用更多的來自不同區(qū)域的服務進程來應對訪問峰值。
實驗證明計算進程越多,性能越高。彈性自動提供和釋放計算資源允許我們共享其他無并發(fā)訪問峰值的應用的計算資源,以應對當前的并發(fā)訪問峰值。
3.4 時空密集型
為更好地理解過去和預測未來,一些被收集的地理空間數(shù)據(jù)是基于時間序列的,將已有的觀測數(shù)據(jù)進行時間序列的重建工作也已實施。時空密集型的重要性體現(xiàn)在時空索引(Theodoridis and Nascimento, 2000; Wang et al., 2009)、時空數(shù)據(jù)建模方法(Monmonier, 1990, Stroud et al., 2001)、地球科學現(xiàn)象關聯(lián)分析(Kumar 2007)、颶風模擬(Theodoridis et al., 1999)以及計算機網(wǎng)絡技術(在傳輸負載與拓撲復雜性上飛速發(fā)展)(Donner et al., 2009)之上,面臨著的挑戰(zhàn)也來自于這些。
針對數(shù)據(jù)采集,不同的路徑傳感器、照相機以及公眾探測技術用來獲取實時的交通狀態(tài)信息(Goodchild 2007)。已存在的路徑連接和節(jié)點也被添加進來作為基礎數(shù)據(jù)。模型模擬在高性能計算環(huán)境中進行。不像靜態(tài)路徑規(guī)劃可利用Dijkstra算法實現(xiàn),近實時的路徑規(guī)劃則不能如此(Cao 2007),我們不得不針對每一個路徑規(guī)劃請求進行準實時的計算。此復雜性給計算和地理科學帶來很大的挑戰(zhàn)。由于路徑規(guī)劃請求的動態(tài)特點,我們不能為應對最大量的用戶而去維持最大的計算能力,通常我們不需要全部的計算能力。云計算提供的彈性與按需特征能夠用來解決這個問題,PaaS最適合這種應用。
4 機遇與挑戰(zhàn)
這篇論文羅列了21世紀地理空間科學面臨的諸多巨大挑戰(zhàn):數(shù)據(jù)、計算、并發(fā)和時空分析密集特征。我們論證采用空間特征的云計算的最新進展能夠為解決這些巨大挑戰(zhàn)提供潛在的解決方案。
時空云計算的成功依賴許多因素,例如時空云計算在能夠采納云解決方案的地理空間科學家中的推廣,在能夠采納時空原則進行設計、建設和部署云平臺的計算科學家與工程師中推廣。我們列舉了幾個方面,包括:
4.1 時空原則挖掘和提取
地理空間現(xiàn)象在時間和空間上不斷變化,利用四維或更多維去表示或描述其演變是可能的。我們已建立了歐幾里德和其他空間去描述這些現(xiàn)象。由于現(xiàn)象的復雜性和多維的龐大,我們力圖簡化維度,引入現(xiàn)象的特征或模板去幫助更好地在理論和計算環(huán)境中表示,使得其具有可計算性。
在地理空間科學中,由于人類活動的擴展和全球化,一些表示方法需要重新定義。例如,我們需要整合陸地區(qū)域、海洋和大氣進程以更好地理解氣候變化。另一方面,我們需要更好地描述地理空間現(xiàn)象如何影響我們的生活。這些時空關系幫助我們形成更好的時空原則,開發(fā)多維狀態(tài)下的時空案例。橫向應用需要多領域的不同背景的科學家進行合作。社會上,跨領域和地域的處于分散狀態(tài)的科學家合作是一個巨大挑戰(zhàn)。
4.2 重要的數(shù)字地球與復雜的時空科學及應用
Digital Earth要求將我們星球的數(shù)字信息進行整合,并開發(fā)出地理空間問題的解決方案。理解可預知的模式并提供特定環(huán)境下的解決方案,這是非常必要的。解決這些問題不僅為人們提供需求便利,而且從長遠看能夠改善人們的生活質量。
為此,需要研究:a)辨明具有較大影響的基礎性的應用,以及需要的計算支持;b)結合可獲取的分布式計算能力,分析應用中的四個密集型問題;c)通過考慮云計算能力和時空需求,擴展或指定數(shù)學和概念模型到計算機模型,以實現(xiàn)應用的可計算性;d)為決策者和其他最終用戶解決或提出問題;e)通過改進傳感器技術、數(shù)據(jù)處理算法、數(shù)據(jù)結構和模型模擬以改善應用;f)總結經(jīng)驗教訓,優(yōu)化通用云計算技術。
4.3 支持空間云計算(SCC)特征
空間云計算嚴重依賴計算基礎設施的狀態(tài),除了工程研究和計算基礎設施特征的可用外,網(wǎng)絡、CPU、RAM、硬盤、軟件許可和其他資源的使用/狀態(tài),對于優(yōu)化使用時空原則的云計算環(huán)境也是重要的。
在調研面向解決四種密集型地理空間問題的云計算特征工作中,需要進行擴展研究以更好地理解計算基礎設施和應用的時空特性,應用和計算資源的優(yōu)化調度也是關鍵的(Mustafa Rafique et al. 2011)。
4.4 安全
云計算公司通常會使用授權和認證技術來保護用戶隱私,云服務提供商確保其基礎設施安全并擁有可行的保護用戶數(shù)據(jù)與應用的解決方案是必須的。美國聯(lián)邦首席信息官(The US Federal CIO)正努力合并安全訪問與授權成為統(tǒng)一功能,這計劃為三個步驟(FEDRAMP 2011):a)安全需求底線;b)持續(xù)監(jiān)控;c)潛在訪問與授權。
(注:本文譯自《國際數(shù)字地球學報》International Journal on Digital Earth)
譯者簡介:
翟永(1969-),男,碩士,高級工程師;研究方向:計算機網(wǎng)絡、服務器和空間數(shù)據(jù)庫系統(tǒng)集成以及安全保密技術。
劉津(1989-),女,學士,助理工程師;研究方向:空間數(shù)據(jù)庫管理和地理信息管理系統(tǒng)集成。