久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

ACS880-07C
關(guān)注中國(guó)自動(dòng)化產(chǎn)業(yè)發(fā)展的先行者!
隨著會(huì)計(jì)的發(fā)展,追蹤碳足跡
CAIAC 2025
2024
工業(yè)智能邊緣計(jì)算2024年會(huì)
2023年工業(yè)安全大會(huì)
OICT公益講堂
當(dāng)前位置:首頁(yè) >> 資訊 >> 行業(yè)資訊

資訊頻道

云計(jì)算及其關(guān)鍵技術(shù)
  • 點(diǎn)擊數(shù):1719     發(fā)布時(shí)間:2010-12-19 16:03:00
  • 分享到:
云計(jì)算具有廣闊的發(fā)展前景,相關(guān)的各項(xiàng)關(guān)鍵技術(shù)也在迅速發(fā)展。
關(guān)鍵詞:

    云計(jì)算(CloudComputing)是一種新近提出的計(jì)算模式。是分布式計(jì)算(DistributedComputing)、并行計(jì)算(ParallelComputing)和網(wǎng)格計(jì)算(GridComputing)的發(fā)展。
  
    目前,亞馬遜、微軟、谷歌、IBM、英特爾等公司紛紛提出了“云計(jì)劃”。例如亞馬遜的AWS(AmazonWebServices)、IBM和谷歌聯(lián)合進(jìn)行的“藍(lán)云”計(jì)劃等。這對(duì)云計(jì)算的商業(yè)價(jià)值給予了巨大的肯定。同時(shí)學(xué)術(shù)界也紛紛對(duì)云計(jì)算進(jìn)行深層次的研究。例如谷歌同華盛頓大學(xué)以及清華大學(xué)合作,啟動(dòng)云計(jì)算學(xué)術(shù)合作計(jì)劃(AcademicCloudComputingInitiative),推動(dòng)云計(jì)算的普及,加緊對(duì)云計(jì)算的研究。卡內(nèi)基梅隆大學(xué)等對(duì)數(shù)據(jù)密集型的超級(jí)計(jì)算(DataIntensiveSuperComputing,DISC)進(jìn)行研究,本質(zhì)上也是對(duì)云計(jì)算相關(guān)技術(shù)開(kāi)展研究。
  
    IDC的調(diào)查顯示,未來(lái)五年云計(jì)算服務(wù)將急速增長(zhǎng),預(yù)期2012年市場(chǎng)規(guī)模可達(dá)420億美元。目前企業(yè)導(dǎo)入云計(jì)算已逐漸普及,并且有逐年成長(zhǎng)趨勢(shì)。估計(jì)在2012年,企業(yè)投入在云計(jì)算服務(wù)的支出將占整體IT成本的25%,甚至在2013年提高至IT總支出的三分之一。
  
    由此可見(jiàn),在各大公司以及學(xué)術(shù)界的共同推動(dòng)下,云計(jì)算技術(shù)將會(huì)持續(xù)發(fā)展。云計(jì)算有著廣泛的應(yīng)用前景。如表1所示。
  
    云計(jì)算在天文學(xué)、醫(yī)學(xué)等各個(gè)領(lǐng)域有著廣泛的應(yīng)用前景。趨勢(shì)科技和瑞星等安全廠商紛紛提出了“安全云”計(jì)劃。如今,每天有2萬(wàn)多種新的病毒和木馬產(chǎn)生,傳統(tǒng)的通過(guò)更新用戶(hù)病毒庫(kù)的防毒模式,受到了嚴(yán)峻的挑戰(zhàn),該模式使用戶(hù)端的病毒庫(kù)過(guò)于龐大。趨勢(shì)科技和瑞星的“安全云”將病毒資料庫(kù)放在“云”端,與客戶(hù)端通過(guò)網(wǎng)絡(luò)相連,當(dāng)“云”在網(wǎng)絡(luò)上發(fā)現(xiàn)不安全鏈接時(shí),可以直接形成判斷,阻止其進(jìn)入用戶(hù)機(jī)器,從根本上保護(hù)機(jī)器的安全。
  
    據(jù)趨勢(shì)科技大中華區(qū)執(zhí)行總裁張偉欽介紹,趨勢(shì)科技已投入了大量資金,在全球數(shù)個(gè)地方建設(shè)了新型數(shù)據(jù)中心。同時(shí),趨勢(shì)科技還花費(fèi)了1000多萬(wàn)美元,租借了34000多臺(tái)服務(wù)器,構(gòu)建了一個(gè)服務(wù)遍及全球的“安全云”。目前趨勢(shì)科技已將公司中低端的部分產(chǎn)品線放到“云安全”計(jì)劃中,而高端的大部分產(chǎn)品線,仍在準(zhǔn)備過(guò)程中。
  
    谷歌提供的Gmail、GoogleEarth、GoogleAnalytics等服務(wù)都基于其云計(jì)算服務(wù)器運(yùn)行。谷歌基于云計(jì)算提供的翻譯服務(wù)具有現(xiàn)今最好的性能。對(duì)互聯(lián)網(wǎng)和美國(guó)人生活的一項(xiàng)研究顯示,大約70%的在線用戶(hù)使用以上“云計(jì)算”服務(wù)。
  
    1 云計(jì)算的定義
  
    目前,云計(jì)算沒(méi)有統(tǒng)一的定義,當(dāng)前云計(jì)算的定義主要包括如下幾種。
  
    1)維基百科給云計(jì)算下的定義。云計(jì)算將IT相關(guān)的能力以服務(wù)的方式提供給用戶(hù),允許用戶(hù)在不了解提供服務(wù)的技術(shù)、沒(méi)有相關(guān)知識(shí)以及設(shè)備操作能力的情況下,通過(guò)Internet獲取需要的服務(wù)。
  
    2)中國(guó)云計(jì)算網(wǎng)將云計(jì)算定義為:云計(jì)算是分布式計(jì)算(DistributedComputing)、并行計(jì)算(ParallelComputing)和網(wǎng)格計(jì)算(GridComputing)的發(fā)展,或者說(shuō)是這些科學(xué)概念的商業(yè)實(shí)現(xiàn)。
  
    3)文獻(xiàn)[8]在綜合多個(gè)云計(jì)算的定義之后,給“云”下了如下定義。云是一個(gè)包含大量可用虛擬資源(例如硬件、開(kāi)發(fā)平臺(tái)以及I/O服務(wù))的資源池。這些虛擬資源可以根據(jù)不同的負(fù)載動(dòng)態(tài)地重新配置,以達(dá)到更優(yōu)化的資源利用率。這種資源池通常由基礎(chǔ)設(shè)施提供商按照服務(wù)等級(jí)協(xié)議(ServiceLevelAgreement,SLA)采用用時(shí)付費(fèi)(Pay2Per2Use,PPU)的模式開(kāi)發(fā)管理。
  
    對(duì)比上述定義,可以發(fā)現(xiàn),文獻(xiàn)[6]和文獻(xiàn)[8]中給出的定義的相似之處在于它們都提到了云計(jì)算提供服務(wù)。文獻(xiàn)[6]中的定義主要從云計(jì)算用戶(hù)的角度給出定義,即用戶(hù)在不了解具體實(shí)現(xiàn)的情況下通過(guò)Internet獲取服務(wù)。文獻(xiàn)[7]從云計(jì)算的發(fā)展脈絡(luò)的角度給出定義,主要說(shuō)明了云計(jì)算的歷史。文獻(xiàn)[8]給出的定義則是從云計(jì)算提供者的角度來(lái)給出定義,定義了云計(jì)算的后臺(tái)實(shí)現(xiàn)方式,以及管理模式。但是,這些定義都僅從一個(gè)方面定義云,并不完善。結(jié)合上述定義,可以總結(jié)出云計(jì)算的一些本質(zhì)特征,即分布式的計(jì)算和存儲(chǔ)特性,高擴(kuò)展性,用戶(hù)友好性,良好的管理性,用時(shí)付費(fèi)等。
  
    云計(jì)算技術(shù)具有以下特點(diǎn)。
  
    1)云計(jì)算系統(tǒng)提供的是服務(wù)。服務(wù)的實(shí)現(xiàn)機(jī)制對(duì)用戶(hù)透明,用戶(hù)無(wú)需了解云計(jì)算的具體機(jī)制,就可以獲得需要的服務(wù)。
  
    2)用冗余方式提供可靠性。云計(jì)算系統(tǒng)由大量商用計(jì)算機(jī)組成集群向用戶(hù)提供數(shù)據(jù)處理服務(wù)。隨著計(jì)算機(jī)數(shù)量的增加,系統(tǒng)出現(xiàn)錯(cuò)誤的概率大大增加。在沒(méi)有專(zhuān)用的硬件可靠性部件的支持下,采用軟件的方式,即數(shù)據(jù)冗余和分布式存儲(chǔ)來(lái)保證數(shù)據(jù)的可靠性。
  
    3)高可用性。通過(guò)集成海量存儲(chǔ)和高性能的計(jì)算能力,云能提供較高的服務(wù)質(zhì)量。云計(jì)算系統(tǒng)可以自動(dòng)檢測(cè)失效節(jié)點(diǎn),并將失效節(jié)點(diǎn)排除,不影響系統(tǒng)的正常運(yùn)行。
  
    4)高層次的編程模型。云計(jì)算系統(tǒng)提供高層次的編程模型。用戶(hù)通過(guò)簡(jiǎn)單學(xué)習(xí),就可以編寫(xiě)自己的云計(jì)算程序,在“云”系統(tǒng)上執(zhí)行,滿足自己的需求。現(xiàn)在云計(jì)算系統(tǒng)主要采用Map2Reduce模型。
  
    5)經(jīng)濟(jì)性。組建一個(gè)采用大量的商業(yè)機(jī)組成的集群相對(duì)于同樣性能的超級(jí)計(jì)算機(jī)花費(fèi)的資金要少很多。
  
    6)服務(wù)多樣性。用戶(hù)可以支付不同的費(fèi)用,以獲得不同級(jí)別的服務(wù)等。為了更好地定義云計(jì)算,必須從云計(jì)算的服務(wù)使用者,服務(wù)提供者,組織方式,內(nèi)部實(shí)現(xiàn)機(jī)制等方面同時(shí)定義。根據(jù)現(xiàn)有定義的不足,本文定義云計(jì)算為:“云計(jì)算是由網(wǎng)格計(jì)算發(fā)展而來(lái)的,前臺(tái)采用用時(shí)付費(fèi)的方式通過(guò)Internet向用戶(hù)提供服務(wù)。
  
    云系統(tǒng)后臺(tái)由大量的集群使用虛擬機(jī)的方式,通過(guò)高速互聯(lián)網(wǎng)絡(luò)互連,組成大型的虛擬資源池。這些虛擬資源可自主管理和配置。用數(shù)據(jù)冗余的方式保證虛擬資源的高可用性。并具有分布式存儲(chǔ)和計(jì)算、高擴(kuò)展性、高可用性、用戶(hù)友好性等特征。”
  
    2 云計(jì)算的關(guān)鍵技術(shù)
  
    云計(jì)算是一種新型的超級(jí)計(jì)算方式,以數(shù)據(jù)為中心,是一種數(shù)據(jù)密集型的超級(jí)計(jì)算。在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、編程模式等多方面具有自身獨(dú)特的技術(shù)。同時(shí)涉及了眾多其他技術(shù),如表2所示。本章主要介紹云計(jì)算特有的技術(shù),包括數(shù)據(jù)存儲(chǔ)技術(shù),數(shù)據(jù)管理技術(shù),編程模式等。其他相關(guān)技術(shù)請(qǐng)閱讀給出的參考文獻(xiàn)。
  
    2.1 數(shù)據(jù)存儲(chǔ)技術(shù)

    為保證高可用、高可靠和經(jīng)濟(jì)性,云計(jì)算采用分布式存儲(chǔ)的方式來(lái)存儲(chǔ)數(shù)據(jù),采用冗余存儲(chǔ)的方式來(lái)保證存儲(chǔ)數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。另外,云計(jì)算系統(tǒng)需要同時(shí)滿足大量用戶(hù)的需求,并行地為大量用戶(hù)提供服務(wù)。因此,云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)主要有谷歌的非開(kāi)源的GFS(GoogleFileSystem)和Hadoop開(kāi)發(fā)團(tuán)隊(duì)開(kāi)發(fā)的GFS的開(kāi)源實(shí)現(xiàn)HDFS(HadoopDistributedFileSystem)。
  
    大部分IT廠商,包括雅虎、英特爾的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)未來(lái)的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證以及繼續(xù)提高I/O速率等方面。
  
    以GFS為例,GFS是一個(gè)管理大型分布式數(shù)據(jù)密集型計(jì)算的可擴(kuò)展的分布式文件系統(tǒng)。它使用廉價(jià)的商用硬件搭建系統(tǒng)并向大量用戶(hù)提供容錯(cuò)的高性能的服務(wù)。
  
    GFS和普通的分布式文件系統(tǒng)有以下區(qū)別,如表3所示。GFS系統(tǒng)由一個(gè)Master和大量塊服務(wù)器構(gòu)成。Master存放文件系統(tǒng)的所有元數(shù)據(jù),包括名字空間、存取控制、文件分塊信息、文件塊的位置信息等。GFS中的文件切分為64MB的塊進(jìn)行存儲(chǔ)。在GFS文件系統(tǒng)中,采用冗余存儲(chǔ)的方式來(lái)保證數(shù)據(jù)的可靠性。每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上的備份。為了保證數(shù)據(jù)的一致性,對(duì)于數(shù)據(jù)的所有修改需要在所有的備份上進(jìn)行,并用版本號(hào)的方式來(lái)確保所有備份處于一致的狀態(tài)。客戶(hù)端不通過(guò)Master讀取數(shù)據(jù),避免了大量讀操作使Master成為系統(tǒng)瓶頸。
  
    客戶(hù)端從Master獲取目標(biāo)數(shù)據(jù)塊的位置信息后,直接和塊服務(wù)器交互進(jìn)行讀操作。GFS的寫(xiě)操作將寫(xiě)操作控制信號(hào)和數(shù)據(jù)流分開(kāi),如圖1所示。即客戶(hù)端在獲取Master的寫(xiě)授權(quán)后,將數(shù)據(jù)傳輸給所有的數(shù)據(jù)副本,在所有的數(shù)據(jù)副本都收到修改的數(shù)據(jù)后,客戶(hù)端才發(fā)出寫(xiě)請(qǐng)求控制信號(hào)。在所有的數(shù)據(jù)副本更新完數(shù)據(jù)后,由主副本向客戶(hù)端發(fā)出寫(xiě)操作完成控制信號(hào)。具體請(qǐng)見(jiàn)文獻(xiàn)[17]。當(dāng)然,云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)并不僅僅只是GFS,其他IT廠商,包括微軟、Hadoop開(kāi)發(fā)團(tuán)隊(duì)也在開(kāi)發(fā)相應(yīng)的數(shù)據(jù)管理工具。本質(zhì)上是一種分布式的數(shù)據(jù)存儲(chǔ)技術(shù),以及與之相關(guān)的虛擬化技術(shù),對(duì)上層屏蔽具體的物理存儲(chǔ)器的位置、信息等。快速的數(shù)據(jù)定位、數(shù)據(jù)安全性、數(shù)據(jù)可靠性以及底層設(shè)備內(nèi)存儲(chǔ)數(shù)據(jù)量的均衡等方面都需要繼續(xù)研究完善。
  
    2.2 數(shù)據(jù)管理技術(shù)
  
    云計(jì)算系統(tǒng)對(duì)大數(shù)據(jù)集進(jìn)行處理、分析向用戶(hù)提供高效的服務(wù)。因此,數(shù)據(jù)管理技術(shù)必須能夠高效地管理大數(shù)據(jù)集。其次,如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù),也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問(wèn)題。云計(jì)算的特點(diǎn)是對(duì)海量的數(shù)據(jù)存儲(chǔ)、讀取后進(jìn)行大量的分析,數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率,云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。因此,云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫(kù)領(lǐng)域中列存儲(chǔ)的數(shù)據(jù)管理模式。將表按列劃分后存儲(chǔ)。
  
    云計(jì)算的數(shù)據(jù)管理技術(shù)中最著名的是谷歌在文獻(xiàn)[11]提出的BigTable數(shù)據(jù)管理技術(shù)。由于采用列存儲(chǔ)的方式管理數(shù)據(jù),如何提高數(shù)據(jù)的更新速率以及進(jìn)一步提高隨機(jī)讀速率是未來(lái)的數(shù)據(jù)管理技術(shù)必須解決的問(wèn)題。
  
    以BigTable為例。BigTable數(shù)據(jù)管理方式設(shè)計(jì)者———Google給出了如下定義:“BigTable是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng),這些數(shù)據(jù)可以擴(kuò)展到非常大的規(guī)模,例如在數(shù)千臺(tái)商用服務(wù)器上的達(dá)到PB(Petabytes)規(guī)模的數(shù)據(jù)。”BigTable對(duì)數(shù)據(jù)讀操作進(jìn)行優(yōu)化,采用列存儲(chǔ)的方式,提高數(shù)據(jù)讀取效率。
  
    BigTable管理的數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)為:<row:string,column:string,time:int64>->string。BigTable的基本元素是:行,列,記錄板和時(shí)間戳。其中,記錄板是一段行的集合體。如圖2所示。BigTable中的數(shù)據(jù)項(xiàng)按照行關(guān)鍵字的字典序排列,每行動(dòng)態(tài)地劃分到記錄板中。每個(gè)節(jié)點(diǎn)管理大約100個(gè)記錄板。時(shí)間戳是一個(gè)64位的整數(shù),表示數(shù)據(jù)的不同版本。列族是若干列的集合,BigTable中的存取權(quán)限控制在列族的粒度進(jìn)行。BigTable在執(zhí)行時(shí)需要三個(gè)主要的組件:鏈接到每個(gè)客戶(hù)端的庫(kù),一個(gè)主服務(wù)器,多個(gè)記錄板服務(wù)器。主服務(wù)器用于分配記錄板到記錄板服務(wù)器以及負(fù)載平衡,垃圾回收等。記錄板服務(wù)器用于直接管理一組記錄板,處理讀寫(xiě)請(qǐng)求等。為保證數(shù)據(jù)結(jié)構(gòu)的高可擴(kuò)展性,BigTable采用三級(jí)的層次化的方式來(lái)存儲(chǔ)位置信息,如圖3所示。
  
    其中第一級(jí)的Chubbyfile中包含RootTablet的位置,RootTablet有且僅有一個(gè),包含所有METADATAtablets的位置信息,每個(gè)METADATAtablets包含許多UserTable的位置信息。圖當(dāng)客戶(hù)端讀取數(shù)據(jù)時(shí),首先從Chubbyfile中獲取RootTablet的位置,并從中讀取相應(yīng)METADATAtablet的位置信息。接著從該METADATAtablet中讀取包含目標(biāo)數(shù)據(jù)位置信息的UserTable的位置,然后從該UserTable中讀取目標(biāo)數(shù)據(jù)的位置信息項(xiàng)。據(jù)此信息到服務(wù)器中特定位置讀取數(shù)據(jù)。具體見(jiàn)文獻(xiàn)[11]。
  
    這種數(shù)據(jù)管理技術(shù)雖然已經(jīng)投入使用,但是仍然具有部分缺點(diǎn)。例如,對(duì)類(lèi)似數(shù)據(jù)庫(kù)中的Join操作效率太低,表內(nèi)數(shù)據(jù)如何切分存儲(chǔ),數(shù)據(jù)類(lèi)型限定為string類(lèi)型過(guò)于簡(jiǎn)單等。而微軟的DryadLINQ系統(tǒng)則將操作的對(duì)象封裝為.NET類(lèi),這樣有利于對(duì)數(shù)據(jù)進(jìn)行各種操作,同時(shí)對(duì)Join進(jìn)行了優(yōu)化,得到了比BigTable+MapReduce更快的Join速率和更易用的數(shù)據(jù)操作方式。
  
    2.3 編程模型
  
    為了使用戶(hù)能更輕松地享受云計(jì)算帶來(lái)的服務(wù),讓用戶(hù)能利用該編程模型編寫(xiě)簡(jiǎn)單的程序來(lái)實(shí)現(xiàn)特定的目的,云計(jì)算上的編程模型必須十分簡(jiǎn)單。必須保證后臺(tái)復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶(hù)和編程人員透明。云計(jì)算大部分采用Map2Reduce的編程模式。現(xiàn)在大部分IT廠商提出的“云”計(jì)劃中采用的編程模型,都是基于Map2Reduce的思想開(kāi)發(fā)的編程工具。Map2Reduce不僅僅是一種編程模型,同時(shí)也是一種高效的任務(wù)調(diào)度模型。Map2Reduce這種編程模型并不僅適用于云計(jì)算,在多核和多處理器、cellprocessor以及異構(gòu)機(jī)群上同樣有良好的性能。該編程模式僅適用于編寫(xiě)任務(wù)內(nèi)部松耦合、能夠高度并行化的程序。
  
    如何改進(jìn)該編程模式,使程序員得能夠輕松地編寫(xiě)緊耦合的程序,運(yùn)行時(shí)能高效地調(diào)度和執(zhí)行任務(wù),是Map2Reduce編程模型未來(lái)的發(fā)展方向。Map2Reduce是一種處理和產(chǎn)生大規(guī)模數(shù)據(jù)集的編程模型,程序員在Map函數(shù)中指定對(duì)各分塊數(shù)據(jù)的處理過(guò)程,在Reduce函數(shù)中指定如何對(duì)分塊數(shù)據(jù)處理的中間結(jié)果進(jìn)行歸約。用戶(hù)只需要指定map和reduce函數(shù)來(lái)編寫(xiě)分布式的并行程序。當(dāng)在集群上運(yùn)行Map2Reduce程序時(shí),程序員不需要關(guān)心如何將輸入的數(shù)據(jù)分塊、分配和調(diào)度,同時(shí)系統(tǒng)還將處理集群內(nèi)節(jié)點(diǎn)失敗以及節(jié)點(diǎn)間通信的管理等。圖4給出了一個(gè)Map2Reduce程序的具體執(zhí)行過(guò)程。
  
    從圖4可以看出,執(zhí)行一個(gè)Map2Reduce程序需要五個(gè)步驟:輸入文件、將文件分配給多個(gè)worker并行地執(zhí)行、寫(xiě)中間文件(本地寫(xiě))、多個(gè)Reduceworkers同時(shí)運(yùn)行、輸出最終結(jié)果。本地寫(xiě)中間文件在減少了對(duì)網(wǎng)絡(luò)帶寬的壓力同時(shí)減少了寫(xiě)中間文件的時(shí)間耗費(fèi)。執(zhí)行Reduce時(shí),根據(jù)從Master獲得的中間文件位置信息,Reduce使用遠(yuǎn)程過(guò)程調(diào)用,從中間文件所在節(jié)點(diǎn)讀取所需的數(shù)據(jù)。Map2Reduce模型具有很強(qiáng)的容錯(cuò)性,當(dāng)worker節(jié)點(diǎn)出現(xiàn)錯(cuò)誤時(shí),只需要將該worker節(jié)點(diǎn)屏蔽在系統(tǒng)外等待修復(fù),并將該worker上執(zhí)行的程序遷移到其他worker上重新執(zhí)行,同時(shí)將該遷移信息通過(guò)Master發(fā)送給需要該節(jié)點(diǎn)處理結(jié)果的節(jié)點(diǎn)。
  
    Map2Reduce使用檢查點(diǎn)的方式來(lái)處理Master出錯(cuò)失敗的問(wèn)題,當(dāng)Master出現(xiàn)錯(cuò)誤時(shí),可以根據(jù)最近的一個(gè)檢查點(diǎn)重新選擇一個(gè)節(jié)點(diǎn)作為Master并由此檢查點(diǎn)位置繼續(xù)運(yùn)行。具體請(qǐng)見(jiàn)文獻(xiàn)[12]。Map2Reduce僅為編程模式的一種,微軟提出的DryadLINQ是另外一種并行編程模式。但它局限于.NET的LINQ系統(tǒng)同時(shí)并不開(kāi)源,限制了它的發(fā)展前景。Map2Reduce作為一種較為流行的云計(jì)算編程模型,在云計(jì)算系統(tǒng)中應(yīng)用廣闊。但是基于它的開(kāi)發(fā)工具Hadoop并不完善。特別是其調(diào)度算法過(guò)于簡(jiǎn)單,判斷需要進(jìn)行推測(cè)執(zhí)行的任務(wù)的算法造成過(guò)多任務(wù)需要推測(cè)執(zhí)行,降低了整個(gè)系統(tǒng)的性能。改進(jìn)Map2Reduce的開(kāi)發(fā)工具,包括任務(wù)調(diào)度器、底層數(shù)據(jù)存儲(chǔ)系統(tǒng)、輸入數(shù)據(jù)切分、監(jiān)控“云”系統(tǒng)等方面是將來(lái)一段時(shí)間的主要發(fā)展方向。另外,將Map2Reduce的思想運(yùn)用在云計(jì)算以外的其他方面也是一個(gè)流行的研究方向。
  
    3 云計(jì)算和其他超級(jí)計(jì)算的區(qū)別

    3.1 云計(jì)算與網(wǎng)格計(jì)算的區(qū)別
  
    IanFoster將網(wǎng)格定義為:支持在動(dòng)態(tài)變化的分布式虛擬組織(VirtualOrganizations)間共享資源,協(xié)同解決問(wèn)題的系統(tǒng)。所謂虛擬組織就是一些個(gè)人、組織或資源的動(dòng)態(tài)組合。圖5和圖6分別為云及網(wǎng)格的結(jié)構(gòu)示意圖。圖5顯示,云計(jì)算是一種生產(chǎn)者—消費(fèi)者模型,云計(jì)算系統(tǒng)采用以太網(wǎng)等快速網(wǎng)絡(luò)將若干集群連接在一起,用戶(hù)通過(guò)因特網(wǎng)獲取云計(jì)算系統(tǒng)提供的各種數(shù)據(jù)處理服務(wù)。圖6顯示,網(wǎng)格系統(tǒng)是一種資源共享模型,資源提供者亦可以成為資源消費(fèi)者,網(wǎng)格側(cè)重研究的是如何將分散的資源組合成動(dòng)態(tài)虛擬組織。主要區(qū)別如表4所示。
  
    云計(jì)算和網(wǎng)格計(jì)算的一個(gè)重要區(qū)別在于資源調(diào)度模式。云計(jì)算采用集群來(lái)存儲(chǔ)和管理數(shù)據(jù)資源,運(yùn)行的任務(wù)以數(shù)據(jù)為中心。即調(diào)度計(jì)算任務(wù)到數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)運(yùn)行。而網(wǎng)格計(jì)算,則以計(jì)算為中心。計(jì)算資源和存儲(chǔ)資源分布在因特網(wǎng)的各個(gè)角落,不強(qiáng)調(diào)任務(wù)所需的計(jì)算和存儲(chǔ)資源同處一地。由于網(wǎng)絡(luò)帶寬的限制,網(wǎng)格計(jì)算中的數(shù)據(jù)傳輸時(shí)間占總運(yùn)行時(shí)間的很大一部分。網(wǎng)格將數(shù)據(jù)和計(jì)算資源虛擬化,而云計(jì)算則進(jìn)一步將硬件資源虛擬化,活用虛擬機(jī)技術(shù),對(duì)失敗任務(wù)重新執(zhí)行,而不必重啟任務(wù)。同時(shí),網(wǎng)格內(nèi)各節(jié)點(diǎn)采用統(tǒng)一的操作系統(tǒng)(大部分為UNIX),而云計(jì)算放寬了條件,在各種操作系統(tǒng)的虛擬機(jī)上提供各種服務(wù)。和網(wǎng)格的復(fù)雜管理方式不同,云計(jì)算提供一種簡(jiǎn)單易用的管理環(huán)境。另外,網(wǎng)格和云在付費(fèi)方式上有著顯著的不同。網(wǎng)格按照固定的資費(fèi)標(biāo)準(zhǔn)收費(fèi)或者若干組織之間共享空閑資源。而云則采用用時(shí)付費(fèi)以及服務(wù)等級(jí)協(xié)議的模式收費(fèi)。其他區(qū)別不再贅述。
  
    3.2 云計(jì)算系統(tǒng)與傳統(tǒng)超級(jí)計(jì)算機(jī)的區(qū)別
  
    超級(jí)計(jì)算機(jī)擁有強(qiáng)大的處理能力,特別是計(jì)算能力。2008年11月17日,最新一期的Top500[30]榜單發(fā)布。冠軍“RoadRunner”是IBM為美國(guó)LosAlamos國(guó)家實(shí)驗(yàn)室建造的計(jì)算機(jī)系統(tǒng)。它的運(yùn)算速度達(dá)到了1.026PFLOTP。RoadRuner超級(jí)計(jì)算機(jī)包含12960個(gè)IBMPowerXcell8i處理器以及6948個(gè)分布于刀片服務(wù)器上的AMDOpteron芯片。刀片服務(wù)器安裝在288個(gè)IBMBladCener機(jī)架上。RoadRuner擁有80TB的內(nèi)存,外存使用1.5PB容量的Panasas存儲(chǔ),外存通過(guò)10GbTP的以太網(wǎng)進(jìn)行連接。耗資超過(guò)1億美元。從TOP500對(duì)超級(jí)計(jì)算機(jī)的排名方式可以看出,傳統(tǒng)的超級(jí)計(jì)算機(jī)注重運(yùn)算速度和任務(wù)的吞吐率。以運(yùn)算速度為核心進(jìn)行計(jì)算機(jī)的研究和開(kāi)發(fā)。而云計(jì)算則以數(shù)據(jù)為中心,同時(shí)兼顧系統(tǒng)的運(yùn)算速度。傳統(tǒng)的超級(jí)計(jì)算機(jī)耗資巨大,遠(yuǎn)超云計(jì)算系統(tǒng)。例如,趨勢(shì)科技花費(fèi)1000多萬(wàn)美元租用34000多臺(tái)服務(wù)器,構(gòu)建自身的“安全云”系統(tǒng)。
  
    4 結(jié)語(yǔ)
  
    云計(jì)算具有廣闊的發(fā)展前景,相關(guān)的各項(xiàng)關(guān)鍵技術(shù)也在迅速發(fā)展。首先,當(dāng)前的云計(jì)算系統(tǒng)的能耗過(guò)大,因此,減少能耗,提高能源的使用效率,建造高效的冷卻系統(tǒng)是當(dāng)前面臨的一個(gè)主要問(wèn)題。例如,谷歌的數(shù)據(jù)中心的能耗相當(dāng)于一個(gè)小型城市的總能耗。因?yàn)椋^(guò)大的能耗使得數(shù)據(jù)中心內(nèi)發(fā)熱量劇增,要保證云計(jì)算系統(tǒng)的正常運(yùn)行,必須使用高效的冷卻系統(tǒng)來(lái)保持?jǐn)?shù)據(jù)中心在可接受的溫度范圍內(nèi)。其次,云計(jì)算對(duì)面向市場(chǎng)的資源管理方式的支持有限。可以加強(qiáng)相應(yīng)的服務(wù)等級(jí)協(xié)議,使用戶(hù)和服務(wù)提供者能更好的協(xié)商提供的服務(wù)質(zhì)量。另外,需要對(duì)云計(jì)算的接口進(jìn)行標(biāo)準(zhǔn)化并且制定交互協(xié)議。這樣可以支持不同云計(jì)算服務(wù)提供者之間進(jìn)行交互,相互合作提供更加強(qiáng)大和更好的服務(wù)。再者,需要開(kāi)發(fā)出更易用的編程環(huán)境和編程工具,這樣可以更加方便地創(chuàng)建云計(jì)算應(yīng)用,拓展云計(jì)算的應(yīng)用領(lǐng)域。最后,雖然云計(jì)算還有很多問(wèn)題需要解決,但是云計(jì)算必將得到更大的發(fā)展。

熱點(diǎn)新聞

推薦產(chǎn)品

x
  • 在線反饋
1.我有以下需求:



2.詳細(xì)的需求:
姓名:
單位:
電話:
郵件:
主站蜘蛛池模板: 国产精品酒店视频免费看 | 久久国产免费观看精品3 | 国产午夜免费一区二区三区 | 爱爱欧美 | 国产在线爱做人成小视频 | 久久综合狠狠综合久久 | bt7086福利一区国产 | 免费观看黄色网 | 九九黄色大片 | 日韩亚洲精品不卡在线 | 1024国产手机视频基地 | 国产99福利视频在线 | 五月婷婷综合在线视频 | 亚洲videosbestsex日本 | 污污美女网站 | 亚洲精品国产精品乱码视色 | 亚洲视频一区在线 | 成年女人免费又黄又爽视频 | 欧美国产黄色 | 不卡一区在线观看 | 久久国产成人精品 | 99久在线精品99re6视频 | 亚洲人成在线免费观看 | 黄色片在线免费播放 | 国产一区二区日韩欧美在线 | 国产黄色大片在线观看 | 午夜视频网址 | 国产精品国产三级国产在线观看 | 日本aaaa精品免费视频 | 国产在线黄| 99视频在线观看视频一区 | 国内三级视频 | 99久久999久久久综合精品涩 | 国产日韩欧美成人 | 国产一级爱做片免费观看 | 在线中文字幕第一页 | 国产毛片久久国产 | 亚洲人视频在线观看 | 久青草国产手机视频免费观看 | 国产黄色录像 | 久久99这里只有精品国产 |