公務(wù)員期刊網(wǎng) 精選范文 計(jì)算機(jī)并行處理技術(shù)范文

計(jì)算機(jī)并行處理技術(shù)精選(九篇)

前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的計(jì)算機(jī)并行處理技術(shù)主題范文,僅供參考,歡迎閱讀并收藏。

計(jì)算機(jī)并行處理技術(shù)

第1篇:計(jì)算機(jī)并行處理技術(shù)范文

關(guān)鍵詞:遙感影像;并行計(jì)算;密集匹配;快速處理;流程研究

引言

隨著遙感影像使用范圍越來(lái)越廣泛,現(xiàn)在已經(jīng)成為提供空間信息的重要數(shù)據(jù)源。遙感數(shù)據(jù)的應(yīng)用范圍擴(kuò)大到各個(gè)社會(huì)信息服務(wù)領(lǐng)域,發(fā)揮著重大作用。經(jīng)過(guò)定向后的遙感影像數(shù)據(jù)可為測(cè)繪、城市基礎(chǔ)地理信息動(dòng)態(tài)更新、國(guó)土資源調(diào)查、生態(tài)環(huán)境監(jiān)測(cè)、災(zāi)害監(jiān)測(cè)、海洋資源、農(nóng)業(yè)監(jiān)測(cè)、快速響應(yīng)等不同的領(lǐng)域提供相應(yīng)的地理信息數(shù)據(jù)。

傳統(tǒng)影像處理需要高性能的計(jì)算機(jī),并且配備多種影像數(shù)據(jù)處理軟件協(xié)同作業(yè),各工序僅對(duì)流程負(fù)責(zé),數(shù)據(jù)處理效率低,精度差。現(xiàn)代遙感影像的獲取頻率越來(lái)越快,同時(shí)數(shù)據(jù)量也越來(lái)越大,傳統(tǒng)的基于串行計(jì)算的處理方式已很難滿足高效率的生產(chǎn)需求和快速響應(yīng),因此必須采用并行計(jì)算來(lái)快速地對(duì)大區(qū)域影像進(jìn)行處理,提高數(shù)據(jù)處理效率。

1. 并行處理技術(shù)簡(jiǎn)介

1.1 并行技術(shù)處理種類(lèi)

現(xiàn)代計(jì)算機(jī)并行處理技術(shù)主要有基于CPU和基于GPU這兩大類(lèi)處理方法,各有相應(yīng)的具體處理方案,如通過(guò)CPU加速的MPI、OpenMP、PVM等,還有Intel的TBB等;基于GPU的有NVIDIA的CUDA和ATI的Stream技術(shù)。本試驗(yàn)根據(jù)數(shù)據(jù)特點(diǎn)和計(jì)算機(jī)硬件配置情況,采用基于GPU方法的軟件系統(tǒng)進(jìn)行影像的快速糾正試驗(yàn)。

1.2 GPU并行處理優(yōu)勢(shì)

1.2.1 高效的并行性

在目前主流的GPU中,配置多達(dá)16個(gè)片段處理流水線,6個(gè)頂點(diǎn)處理流水線。多條流水線可以在單一控制部件的集中控制下運(yùn)行,也可以獨(dú)立運(yùn)行。GPU的頂點(diǎn)處理流水線使用MIMD方式控制,片段處理流水線使用SIMD結(jié)構(gòu)。相對(duì)于并行機(jī)而言,GPU提供的并行性在十分廉價(jià)的基礎(chǔ)上,為適合于在GPU上進(jìn)行處理的應(yīng)用提供了一個(gè)很好的并行方案。

1.2.2 高密集的運(yùn)算

GPU通常具有128位或256位的內(nèi)存位寬,因此GPU在計(jì)算密集型應(yīng)用方面具有很好的性能。

1.2.3 超長(zhǎng)圖形流水線

GPU超長(zhǎng)圖形流水線的設(shè)計(jì)以吞吐量的最大化為目標(biāo)(如NVIDIA GeForce 3流水線有800個(gè)階段),因此GPU作為數(shù)據(jù)流并行處理機(jī),在對(duì)大規(guī)模的數(shù)據(jù)流并行處理方面具有明顯的優(yōu)勢(shì)。

2. 遙感影像快速處理應(yīng)用

2.1 應(yīng)用區(qū)簡(jiǎn)介

試驗(yàn)區(qū)內(nèi)覆蓋46景P5影像,布設(shè)外業(yè)控制點(diǎn)68個(gè)、檢查點(diǎn)17個(gè),用于區(qū)域網(wǎng)平差的解算及精度檢查;在立體模型中選取26個(gè)檢測(cè)點(diǎn),用于檢測(cè)DEM和DOM成果精度。試驗(yàn)區(qū)范圍及控制點(diǎn)分布(見(jiàn)圖1)。

2.2 使用的軟硬件

主要軟硬件設(shè)備包括集群式影像處理系統(tǒng)PCI GXL軟件及可進(jìn)行圖形、圖像處理的高配置計(jì)算機(jī)等。

2.3 應(yīng)用區(qū)生產(chǎn)

2.3.1 稀少控制區(qū)域網(wǎng)平差

(1)建立測(cè)區(qū)工程

建立測(cè)區(qū)工程,設(shè)置工程參數(shù)及投影坐標(biāo)系、控制點(diǎn)文件、DEM格網(wǎng)間距及正射影像分辨率。同時(shí)根據(jù)影像之間的相互關(guān)系設(shè)置影像列表,導(dǎo)入衛(wèi)星影像并建立模型。

(2)區(qū)域網(wǎng)平差

首先利用軟件對(duì)所有影像自動(dòng)進(jìn)行連接點(diǎn)的量測(cè),然后對(duì)控制點(diǎn)進(jìn)行預(yù)測(cè),人工輔助量測(cè)控制點(diǎn),最后采用“RPC測(cè)區(qū)絕對(duì)定位”解算方法對(duì)區(qū)域網(wǎng)進(jìn)行平差解算,剔除掉粗差點(diǎn),得到滿足精度的區(qū)域網(wǎng)平差結(jié)果,控制點(diǎn)平差結(jié)果見(jiàn)表1。

表1 區(qū)域網(wǎng)平差結(jié)果(單位:m)

[類(lèi)型\&個(gè)數(shù)\&平面中誤差\&高程中誤差\&平面最大誤差\&高程最大誤差\&控制點(diǎn)\&68\&1.385\&0.836\&2.723\&1.042\&檢查點(diǎn)\&17\&4.667\&1.436\&6.679\&1.496\&]

2.3.2 DEM及DOM生產(chǎn)

首先利用區(qū)域網(wǎng)平差定向后的影像進(jìn)行DEM密集匹配,然后利用擬合、平滑、內(nèi)插、定值等工具對(duì)密集匹配結(jié)果進(jìn)行編輯,得到滿足精度的DEM數(shù)據(jù),最后利用DEM數(shù)據(jù)采用并行計(jì)算的方法對(duì)影像進(jìn)行批量糾正,得到DOM數(shù)據(jù)。DEM及DOM批量鑲嵌結(jié)果見(jiàn)圖2。

2.3.3 精度統(tǒng)計(jì)

利用立體模型量測(cè)的檢測(cè)點(diǎn)對(duì)DEM及DOM進(jìn)行精度檢測(cè),檢測(cè)結(jié)果見(jiàn)表2。

2.3.4 效率統(tǒng)計(jì)

數(shù)據(jù)處理整理耗時(shí)情況見(jiàn)表3。

3. 結(jié)論

通過(guò)生產(chǎn)試驗(yàn)表明,利用并行處理技術(shù)對(duì)大區(qū)域遙感影像數(shù)據(jù)進(jìn)行區(qū)域網(wǎng)平差后制作的DEM與DOM精度能夠滿足不同比例尺規(guī)范的相關(guān)要求,同時(shí)并行處理技術(shù)能夠簡(jiǎn)化生產(chǎn)流程,大幅度提高運(yùn)算效率并減少運(yùn)算時(shí)間,特別在對(duì)大區(qū)域遙感影像進(jìn)行處理時(shí),優(yōu)勢(shì)明顯。

參考文獻(xiàn):

[1] 鄭福海,楊木,宋紅艷等.利用IRS―P5影像制作1:500003D產(chǎn)品的試驗(yàn)研究[J].測(cè)繪與空間地理信息,2011,34(6):117―120.

[2] 肖漢,張祖勛等.基于GPGPU的并行影像匹配算法[J].測(cè)繪學(xué)報(bào),2010,39(1):46―51.

[3] O影,鄭福海,王鐵軍等.PixelGrid集群式系統(tǒng)在影像快速糾正中的應(yīng)用研究[J].測(cè)繪與空間地理信息,2014,37(10):221―223.

[4] 李宏寬,楊曉冬,鄒珍軍.基于MPI并行的遙感影像系統(tǒng)幾何校正快速處理技術(shù)研究[J].河南工程學(xué)院學(xué)報(bào)?自然科學(xué)版,2011,23(1):49―52.

[5] 陳國(guó)良,孫廣中.并行計(jì)算的一體化研究現(xiàn)狀與發(fā)展趨勢(shì)[J].科學(xué)通報(bào),2009,(8):25―27.

第2篇:計(jì)算機(jī)并行處理技術(shù)范文

1.1數(shù)字處理的應(yīng)用計(jì)算機(jī)技術(shù)在數(shù)字處理中應(yīng)用的也極為廣泛,計(jì)算機(jī)技術(shù)與數(shù)字處理技術(shù)是相輔相成的。并且計(jì)算機(jī)技術(shù)的應(yīng)用會(huì)涉及到很多的數(shù)據(jù)、數(shù)字處理等功能,因此要與數(shù)據(jù)處理技術(shù)的結(jié)合應(yīng)用才能實(shí)現(xiàn)數(shù)據(jù)、數(shù)字處理的功能,數(shù)字處理技術(shù)也可以說(shuō)是新時(shí)期下計(jì)算機(jī)技術(shù)的基本,兩者結(jié)合的技術(shù)主要還表現(xiàn)在公式分析以及運(yùn)算的能力。但是,在應(yīng)用到數(shù)字處理技術(shù)時(shí),對(duì)計(jì)算機(jī)的硬件技術(shù)以及CPU的使用率等結(jié)構(gòu)的運(yùn)算技術(shù)要求都是非常高的,同時(shí)這些結(jié)構(gòu)也是計(jì)算機(jī)的重要組成部分。

1.2半導(dǎo)體技術(shù)的應(yīng)用半導(dǎo)體技術(shù)主要是對(duì)半導(dǎo)體的集成度進(jìn)行衡量的技術(shù)標(biāo)準(zhǔn),而在新時(shí)期下的計(jì)算機(jī)技術(shù)的發(fā)展中,將逐漸的應(yīng)用到半導(dǎo)體技術(shù)對(duì)半導(dǎo)體的集成進(jìn)行衡量,有了計(jì)算機(jī)技術(shù)的加入使半導(dǎo)體的發(fā)展更加迅速,尤其是在儲(chǔ)存量較大的半導(dǎo)體生產(chǎn)中,表現(xiàn)的更為突出。

1.3移動(dòng)計(jì)算機(jī)技術(shù)的應(yīng)用計(jì)算機(jī)技術(shù)在移動(dòng)計(jì)算機(jī)領(lǐng)域中也有所突破,與傳統(tǒng)的移動(dòng)不便、受區(qū)域限制的計(jì)算機(jī)相比,現(xiàn)今的計(jì)算機(jī)不僅打破了區(qū)域的限制,在技術(shù)上也是傳統(tǒng)計(jì)算機(jī)遠(yuǎn)遠(yuǎn)達(dá)不到的,新時(shí)期計(jì)算機(jī)技術(shù)實(shí)現(xiàn)了計(jì)算機(jī)的微小化、靈活性等特點(diǎn),是計(jì)算機(jī)領(lǐng)取發(fā)展中不可缺少的重要組成。

1.4并行處理技術(shù)的應(yīng)用并行處理技能在與計(jì)算機(jī)技術(shù)結(jié)合之后,可以充分提高計(jì)算機(jī)的運(yùn)行效率以及運(yùn)行速度,可以實(shí)現(xiàn)計(jì)算機(jī)在同一時(shí)間內(nèi)進(jìn)行多種不同形式的運(yùn)算。并行處理技術(shù)在科技中得到廣泛的應(yīng)用,尤其是分布式計(jì)算機(jī)系統(tǒng)以及共享存儲(chǔ)器的出現(xiàn),極大的推動(dòng)了新時(shí)期計(jì)算機(jī)技術(shù)的發(fā)展。

2新時(shí)期計(jì)算機(jī)技術(shù)的改革

2.1教學(xué)模式改革從教學(xué)角度上講,新時(shí)期計(jì)算機(jī)技術(shù)屬于一門(mén)新型的學(xué)科,不僅要求熟悉掌握相關(guān)的理論基礎(chǔ)知識(shí),還需要達(dá)到相應(yīng)的實(shí)踐審核標(biāo)準(zhǔn),然后才能談新時(shí)期計(jì)算機(jī)技術(shù)的改革和創(chuàng)新的過(guò)程。但是,就目前來(lái)看,新時(shí)期計(jì)算機(jī)技術(shù)的教學(xué)模式還處于傳統(tǒng)的模式下,依舊存在很多問(wèn)題,直接阻礙了計(jì)算機(jī)技術(shù)的發(fā)展創(chuàng)新與應(yīng)用。因此,為實(shí)現(xiàn)新時(shí)期計(jì)算機(jī)技術(shù)的改革,需要從教學(xué)模式上進(jìn)行改革,以理論性知識(shí)教學(xué)模式為教學(xué)基礎(chǔ),在這個(gè)基礎(chǔ)上結(jié)合與互動(dòng)式學(xué)習(xí)法進(jìn)行新時(shí)期計(jì)算機(jī)技術(shù)多樣化的教學(xué)模式,實(shí)現(xiàn)最佳的效果。

2.2管理模式改革從管理的角度上講,新時(shí)期計(jì)算機(jī)管理技術(shù)主要包括機(jī)房的管理和人員的管理。在引用新時(shí)期計(jì)算機(jī)技術(shù)實(shí)現(xiàn)管理模式操作的過(guò)程中,需要將管理經(jīng)驗(yàn)擺在重要的位置,管理經(jīng)驗(yàn)是貫穿整個(gè)管理的核心內(nèi)容是不容忽視的。另外,在機(jī)房管理中要對(duì)機(jī)房的數(shù)量、質(zhì)量以及相關(guān)的管理模式等進(jìn)行嚴(yán)格的監(jiān)測(cè),需保證各項(xiàng)都達(dá)到標(biāo)準(zhǔn)要求才可以。計(jì)算機(jī)技術(shù)的合理操作技術(shù)以及相關(guān)處理工作是管理模式中的重點(diǎn),必須要保證有著現(xiàn)今的計(jì)算機(jī)管理技術(shù)的經(jīng)驗(yàn),才能提高新時(shí)期計(jì)算機(jī)技術(shù)管理運(yùn)行的效率。

第3篇:計(jì)算機(jī)并行處理技術(shù)范文

[關(guān)鍵詞] 網(wǎng)絡(luò),計(jì)算機(jī)病毒,檢測(cè)

中圖分類(lèi)號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1003-8809(2010)-08-0215-01

1、計(jì)算機(jī)網(wǎng)絡(luò)病毒檢測(cè)機(jī)制的原理

首先,位于子網(wǎng)出入口處的探針可以將整個(gè)子網(wǎng)的數(shù)據(jù)報(bào)文捕獲,其通過(guò)特定的協(xié)議??梢哉_地還原出子網(wǎng)中每一臺(tái)主機(jī)發(fā)送、接受的數(shù)據(jù)。然后,本報(bào)警系統(tǒng)將捕獲的數(shù)據(jù)報(bào)文進(jìn)行包級(jí)檢測(cè),主要分為特征碼檢測(cè)(已知病毒)、流量檢測(cè)(未知病毒);對(duì)于仍不能確定的數(shù)據(jù)報(bào)文進(jìn)行連接還原,做文件級(jí)檢測(cè)(已知病毒)、虛擬機(jī)檢測(cè)(病毒變種)。通過(guò)這種機(jī)制,可以使本報(bào)警系統(tǒng)能夠以最大的可能檢測(cè)出病毒并降低病毒的誤報(bào)率。

2、計(jì)算機(jī)網(wǎng)絡(luò)病毒檢測(cè)體系的框架

網(wǎng)絡(luò)報(bào)警系統(tǒng)整體結(jié)構(gòu)采用分布式檢測(cè)集中式管理模型,網(wǎng)絡(luò)報(bào)警系統(tǒng)的探針(檢測(cè)網(wǎng)絡(luò)病毒的并行處理機(jī))放在監(jiān)控的網(wǎng)絡(luò)出入口上,其所檢測(cè)的網(wǎng)絡(luò)可以與病毒疫情管理中心(VESPC)異地,并采用專線連接。病毒檢測(cè)程序的病毒庫(kù)升級(jí)采用被動(dòng)方式,由VESCP主動(dòng)向探針提供升級(jí)服務(wù)。探針需要將檢測(cè)到的己知病毒通過(guò)專線寫(xiě)入數(shù)據(jù)庫(kù),而中央控制臺(tái)主要可以對(duì)病毒庫(kù)進(jìn)行升級(jí),對(duì)探針進(jìn)行遠(yuǎn)程控制。同時(shí)可以通過(guò)對(duì)各地探針寫(xiě)入數(shù)據(jù)庫(kù)的日志進(jìn)行監(jiān)控,時(shí)時(shí)生成各地的疫情影響指數(shù),對(duì)于可能發(fā)生疫情的地區(qū)進(jìn)行及時(shí)預(yù)警。其分布式拓?fù)鋱D如圖1所示。

圖1 分布式拓?fù)錂z測(cè)圖

3、計(jì)算機(jī)局域網(wǎng)之子網(wǎng)劃分模型

傳統(tǒng)的網(wǎng)絡(luò)屬于共享式的,在局域網(wǎng)中的任何一個(gè)主機(jī)可以監(jiān)聽(tīng)到所有節(jié)點(diǎn)機(jī)的數(shù)據(jù)報(bào)文。隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,交換式的網(wǎng)絡(luò)設(shè)備逐漸普及到各個(gè)子網(wǎng),這就造成網(wǎng)絡(luò)中可能會(huì)出現(xiàn)盲點(diǎn),即處于網(wǎng)絡(luò)出口的探針監(jiān)聽(tīng)不到交換式子網(wǎng)之何的通信數(shù)據(jù)。所以在子網(wǎng)的劃分時(shí)需要考慮這種所謂的“盲點(diǎn)”的問(wèn)題,探針監(jiān)聽(tīng)的子網(wǎng)過(guò)大,肯定會(huì)造成盲點(diǎn)過(guò)多的問(wèn)題。這種探針監(jiān)聽(tīng)的子網(wǎng)過(guò)小的問(wèn)題,必然會(huì)帶來(lái)探針探測(cè)開(kāi)銷(xiāo)增加的問(wèn)題。

為了解決這種問(wèn)題,本報(bào)警系統(tǒng)在構(gòu)造網(wǎng)絡(luò)拓?fù)淠P蜁r(shí)采用根據(jù)實(shí)際情況動(dòng)態(tài)增加、減少探測(cè)點(diǎn),且不需要改變程序的作法。對(duì)于這種情況,典型的網(wǎng)絡(luò)模型如圖2所示,探針A所在的網(wǎng)絡(luò)出入口為一級(jí)檢測(cè)對(duì)象。但由于交換式網(wǎng)絡(luò)的出現(xiàn),探針B、C、D所在網(wǎng)絡(luò)(如市縣級(jí)網(wǎng)絡(luò))內(nèi)部節(jié)點(diǎn)機(jī)之間傳輸?shù)臄?shù)據(jù)報(bào)文探針A檢測(cè)不到,又由于其重要性不可忽視,所以在其出入口也放上了探針,視為二級(jí)檢測(cè)對(duì)象。同樣選取探針E所在網(wǎng)絡(luò)作為三級(jí)檢測(cè)對(duì)象。

圖2 可擴(kuò)展子網(wǎng)劃分模型

這個(gè)子網(wǎng)的模型是隨著子網(wǎng)在整個(gè)網(wǎng)絡(luò)中重要性增強(qiáng),可以隨時(shí)設(shè)置該子網(wǎng)的探針;反之亦可。實(shí)際應(yīng)用中不可能將每個(gè)盲點(diǎn)都找到,畢竟資金、設(shè)備等都是有限制的,可以根據(jù)實(shí)際情況選擇性地添加探針。

4、可擴(kuò)展的探測(cè)模型

網(wǎng)絡(luò)帶寬的高速增長(zhǎng)對(duì)計(jì)算機(jī)的處理能力提出了新的挑戰(zhàn)。為了解決不同網(wǎng)絡(luò)帶寬情況下的探針適應(yīng)性問(wèn)題,本文在網(wǎng)絡(luò)病毒的報(bào)警系統(tǒng)中針對(duì)探針提出了具有可擴(kuò)展性的并行處理體系結(jié)構(gòu)。探針由數(shù)據(jù)分流器和N節(jié)點(diǎn)并行處理機(jī)構(gòu)成。實(shí)際環(huán)境下,在400M流量以內(nèi)只用一個(gè)節(jié)點(diǎn)機(jī)就可以正常處理;當(dāng)大于400M流量的時(shí)候就得根據(jù)流量添加節(jié)點(diǎn)并行處理機(jī)和數(shù)據(jù)分流器了。數(shù)據(jù)分流器對(duì)接收的數(shù)據(jù)按數(shù)據(jù)連接進(jìn)行均衡地劃分,這是實(shí)現(xiàn)集群式體系結(jié)構(gòu)模型高性能的關(guān)鍵所在。其不僅擔(dān)負(fù)著負(fù)載均衡的作用,同時(shí)由于病毒預(yù)警系統(tǒng)分析的特殊性,需要將同一個(gè)傳輸層的連接數(shù)據(jù)報(bào)文分發(fā)到同一臺(tái)處理機(jī)上,從而才能避免并行處理機(jī)之間的數(shù)據(jù)依賴。在TCP/IP中,一些協(xié)議分為控制連接和數(shù)據(jù)連接(如TFP),控制連接和數(shù)據(jù)連接源目的地址是相同的,端口是不同的,像這樣的連接我們稱之為具有依賴性的連接。在病毒報(bào)警系統(tǒng)中需要正常處理這種情況,從而能夠避免節(jié)點(diǎn)機(jī)之間的數(shù)據(jù)通信。

總之,隨著信息的網(wǎng)絡(luò)化和全球化,人們?nèi)粘I钪械脑S多活動(dòng)將逐步轉(zhuǎn)移到網(wǎng)絡(luò)上來(lái)。主要原因是由干網(wǎng)絡(luò)交易的實(shí)時(shí)性、方便性、快捷性及低成本性?;ヂ?lián)網(wǎng)最大的優(yōu)點(diǎn)是消除了地域上的限制,使得地球上的每一個(gè)人均可方便地與另一端的用戶通訊??梢哉f(shuō)網(wǎng)絡(luò)在政治、經(jīng)濟(jì)、軍事甚至是人們的日常生活中發(fā)揮的作用越來(lái)越大,有時(shí)是無(wú)可替代。但是隨著互聯(lián)網(wǎng)的廣泛應(yīng)用,計(jì)算機(jī)病毒問(wèn)題特別是網(wǎng)絡(luò)病毒也給人們帶來(lái)了巨大的損失和困擾,也嚴(yán)重影響著網(wǎng)絡(luò)的安全。因此,本文將對(duì)計(jì)算機(jī)網(wǎng)絡(luò)病毒進(jìn)行研究。

參考文獻(xiàn)

[1] 韓楊,網(wǎng)絡(luò)病毒的特點(diǎn)及其防治策略,計(jì)算機(jī)工程,2008(1)

[2] 李霞等,基于免疫原理的計(jì)算機(jī)病毒免疫系統(tǒng)初探,計(jì)算機(jī)工程與應(yīng)用,2009(2)

第4篇:計(jì)算機(jī)并行處理技術(shù)范文

關(guān)鍵詞: 海量圖像; 檢索框架; 并行處理

中圖分類(lèi)號(hào):TP391 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2016)09-0212-04

Designed and Implementation of An Content-based Image Retrieval Framework for Magnanimity Image

LIN Wen-yu,DAI Qing-yun,CAO Jiang-zhong, HE Xiao-ming,LI Neng

(Guangdong University of Technology, Guangzhou 510006, China)

Abstract:With the advantage of the I/O performance of mass data of Hadoop distributed technology and HBase column oriented database, a new retrieval framework is put forword for overcoming the shortage of data storage, processing, real-time retrieval with a very large image database. The retrieval framework is applied to storing and processing the huge amounts of image data. It provides a serializable data type for image data processing, and inputs large image and converts data types by a general input module. Thus the framework can provide a feasible scheme for parallel processing of image processing and feature extraction algorithms.

Key words:magnanimity image; retrieval framework; parallel processing

伴隨著計(jì)算機(jī)與移動(dòng)電子設(shè)備的快速發(fā)展與廣泛應(yīng)用,各領(lǐng)域各行業(yè)的圖像數(shù)據(jù)也日益增多。如何從海量的數(shù)字圖像中快速有效地檢索出有價(jià)值有意義的信息,成為了人們面臨的一大難題,也促使了大量學(xué)者投身于圖像檢索技術(shù)的研究中。單從圖像檢索技術(shù)的發(fā)展而言,從基于文本標(biāo)注的圖像檢索到現(xiàn)今各種基于圖像內(nèi)容的檢索方法使得對(duì)圖像特征的處理、特征提取、相似度比對(duì)等方面現(xiàn)已出現(xiàn)許多較為成熟的算法[1]。但對(duì)于海量圖像的檢索而言,除了對(duì)現(xiàn)有的圖像的處理、表達(dá)與度量等方面的要求外,還增加了對(duì)海量圖像數(shù)據(jù)存儲(chǔ)的需求,以及對(duì)整個(gè)海量圖像數(shù)據(jù)集的處理效率的要求。

傳統(tǒng)的基于內(nèi)容的圖像檢索,通過(guò)在單個(gè)計(jì)算機(jī)上以單線程對(duì)圖像進(jìn)行處理、特征提取,再將提取出的圖像特征數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫(kù)。在檢索請(qǐng)求發(fā)起時(shí),通過(guò)遍歷關(guān)系數(shù)據(jù)庫(kù)將查詢圖像的特征與全庫(kù)特征進(jìn)行比對(duì)并對(duì)比對(duì)結(jié)果進(jìn)行排序,從而獲得檢索的結(jié)果。依賴單計(jì)算機(jī)的處理能力對(duì)現(xiàn)今圖像數(shù)據(jù)增長(zhǎng)的急速形勢(shì)而言,傳統(tǒng)的圖像處理技術(shù)顯然是杯水車(chē)薪。即使通過(guò)多線程技術(shù)來(lái)處理海量圖像也不能完全解決對(duì)海量圖像存儲(chǔ)與處理效率的問(wèn)題。隨著大數(shù)據(jù)概念的興起及其存儲(chǔ)與處理技術(shù)的成熟,采用Hadoop技術(shù)與HBase技術(shù)的基于內(nèi)容的海量圖像框架,不僅可以解決海量圖像的存儲(chǔ)與數(shù)據(jù)傳輸?shù)膯?wèn)題,還能將原本設(shè)計(jì)的圖像檢索算法直接移植到分布式環(huán)境中并行處理,依靠MapReduce集群的并行計(jì)算能力,實(shí)現(xiàn)對(duì)海量圖像的檢索。

海量圖像中,超過(guò)八成的圖像是容量在數(shù)MB以內(nèi)的小文件,不適合使用HDFS等流式訪問(wèn)的大文件分布式存儲(chǔ)技術(shù)。而基于HBase的海量圖片存儲(chǔ)技術(shù)方案,實(shí)現(xiàn)系統(tǒng)層的小文件合并、全局名字空間、并具有良好的通用性[2]。

1技術(shù)背景

1.1 基于內(nèi)容的圖像檢索技術(shù)

針對(duì)圖像本身的數(shù)據(jù)內(nèi)容的操作與處理是基于內(nèi)容的圖像檢索的重要特點(diǎn)。具體處理流程如圖1所示。

對(duì)于圖像特征的提取而言,雖然在實(shí)現(xiàn)的算法上各有不同,但處理對(duì)象都是圖像數(shù)據(jù),而算法提取的結(jié)果往往是能以文本表示的矩陣或數(shù)字?,F(xiàn)有計(jì)算機(jī)的圖像處理接口使得對(duì)數(shù)字圖像數(shù)據(jù)的存儲(chǔ)與讀取簡(jiǎn)化為字節(jié)流的獲取與輸出,而基于內(nèi)容的圖像檢索技術(shù)的研發(fā)人員專注于圖像處理算法的研究,而不必在存儲(chǔ)與讀取圖像方面耗費(fèi)過(guò)多的精力與資源,這也是現(xiàn)今基于內(nèi)容的圖像檢索技術(shù)快速發(fā)展的重要原因之一。

1.2 基于Hadoop的分布式技術(shù)

Hadoop的核心是HDFS分布式文件系統(tǒng)和MapReduce分布式計(jì)算框架,它提供了一系列分布式文件系統(tǒng)和通用的I/O的組件和接口,更提供了分布式數(shù)據(jù)處理的模式和執(zhí)行環(huán)境。

MapReduce是一種用于數(shù)據(jù)處理的簡(jiǎn)單編程模型,支持包括Java、C++和Python等多種編程語(yǔ)言。在本質(zhì)上,MapReduce的程序是并行化的,這意味著對(duì)大規(guī)模的數(shù)據(jù)分析能夠在足夠多的廉價(jià)機(jī)器上高效的并行執(zhí)行。并行化處理大型數(shù)據(jù)集的能力正是MapReduce框架的最大優(yōu)勢(shì)。

1.3 HBase數(shù)據(jù)庫(kù)

HBase是一個(gè)分布式的、持久的、強(qiáng)一致性的數(shù)據(jù)存儲(chǔ)系統(tǒng),性能優(yōu)異的讀寫(xiě)性能。它是列存儲(chǔ)數(shù)據(jù)庫(kù),底層通過(guò)HDFS做數(shù)據(jù)存儲(chǔ),更支持MapReduce的批量式計(jì)算和隨機(jī)查詢。

HBase是用Java編寫(xiě)的,提供了原生的操作API,同時(shí)也支持用其他編程語(yǔ)音訪問(wèn)HBase。HBase的數(shù)據(jù)和坐標(biāo)都是以字節(jié)數(shù)組的形式存儲(chǔ),這在間接上支持存儲(chǔ)任意的數(shù)據(jù)類(lèi)型。HBase只存放有內(nèi)容的表格單元,數(shù)據(jù)文件的稀疏性非常適合存儲(chǔ)文件數(shù)據(jù)[3]。

1.3常見(jiàn)的分布式圖像檢索框架

現(xiàn)在常見(jiàn)的分布式圖像檢索方法是部分分布式實(shí)現(xiàn)。部分分布式實(shí)現(xiàn)是指,通過(guò)借用傳統(tǒng)的圖像特征提取算法,將圖像特征提取后存入關(guān)系數(shù)據(jù)庫(kù),再通過(guò)MapReduce處理文本化后的圖像特征文件[4]。

面對(duì)海量的圖像數(shù)據(jù),沒(méi)有把對(duì)圖像的處理過(guò)程通過(guò)并行化技術(shù)來(lái)實(shí)現(xiàn)這將極大的影響整體的檢索效率。不僅如此,面對(duì)圖像來(lái)源的多變與不確定性是很難保證對(duì)圖像數(shù)據(jù)的傳輸與存儲(chǔ),更無(wú)法對(duì)其進(jìn)行并行處理與檢索。

2框架設(shè)計(jì)與實(shí)現(xiàn)

2.1框架整體架構(gòu)

Hadoop集群具有硬件成本低廉、集群規(guī)模靈活等優(yōu)勢(shì),而其承載的MapReduce應(yīng)用具有高效的并行計(jì)算能力。在框架的設(shè)計(jì)中也需要借助MapReduce框架的來(lái)開(kāi)發(fā)對(duì)海量圖像、圖像特征數(shù)據(jù)的并行化處理程序,實(shí)現(xiàn)對(duì)海量圖像數(shù)據(jù)的高效處理,既能以圖像的可序列化數(shù)據(jù)類(lèi)型將圖像在分布式環(huán)境中存儲(chǔ)、傳輸和操作,又能移植現(xiàn)有的成熟的圖像特征提取等算法。為了對(duì)圖像數(shù)據(jù)進(jìn)行快速的查詢與壓縮式存儲(chǔ),存儲(chǔ)圖像的環(huán)境需要使用HBase面向列擴(kuò)展的分布式數(shù)據(jù)庫(kù),圖像以字節(jié)數(shù)組的形式存于其中,以較為出色的讀寫(xiě)性能支撐分布式圖像檢索的運(yùn)行。因此選擇以HBase為數(shù)據(jù)存儲(chǔ)庫(kù),以MapReduce程序?qū)崿F(xiàn)并行處理模塊,建立海量分布式圖像檢索框架。

檢索框架主要分為圖像輸入模塊、分布式集群模塊和檢索結(jié)果顯示模塊。圖像輸入模塊以獲取網(wǎng)絡(luò)圖像為基礎(chǔ),承載著采集圖像文件并轉(zhuǎn)換為設(shè)計(jì)的可序列化圖像數(shù)據(jù)類(lèi)型,隨后轉(zhuǎn)為字節(jié)數(shù)組存入HBase的圖像表中等數(shù)據(jù)輸入工作。分布式集群模塊以可序列化的圖像數(shù)據(jù)類(lèi)型為接口,通過(guò)移植現(xiàn)有圖像預(yù)處理、特征提取和相似度比對(duì)等算法實(shí)現(xiàn)并行化的圖像檢索。檢索結(jié)果顯示模塊主要實(shí)現(xiàn)將相似度較高的一系列圖像還原為圖像文件,并顯示或保存到指定計(jì)算機(jī)硬盤(pán)中。

框架整體架構(gòu)如圖2。

2.2可序列化的圖像數(shù)據(jù)類(lèi)型

2.2.1可序列化圖像數(shù)據(jù)類(lèi)型的用途和現(xiàn)狀

序列化是指將結(jié)構(gòu)化對(duì)象轉(zhuǎn)為字節(jié)流以便于通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸或?qū)懭氤志么鎯?chǔ)的過(guò)程??尚蛄谢臄?shù)據(jù)格式是指實(shí)現(xiàn)由Hadoop設(shè)計(jì)的緊湊、快速的接口Writable的類(lèi)。Writable接口主要定義了一個(gè)二進(jìn)制輸入流方法和一個(gè)二進(jìn)制輸出流方法,MapReduce程序就是通過(guò)它來(lái)序列化鍵值對(duì)的值。針對(duì)Hadoop的Java基本封裝類(lèi)來(lái)說(shuō),大多是針對(duì)文本和數(shù)字?jǐn)?shù)據(jù)的,而API中針對(duì)二進(jìn)制數(shù)據(jù)的封裝類(lèi)BytesWritable由于底層是由int字段實(shí)現(xiàn)最長(zhǎng)僅能容納4字節(jié)的數(shù)據(jù)。因此要在Mapreduce程序中處理圖像需要自定義序列化數(shù)據(jù)格式。

針對(duì)Hadoop的分布式圖像處理,國(guó)內(nèi)研究者大多是通過(guò)繼承Hadoop的Java API提供的文件輸入Fi1eInPutFormat類(lèi)和文件輸出格式FileOutputFormat類(lèi),將一個(gè)圖像作為一個(gè)輸入分片和輸出分片,實(shí)現(xiàn)將圖像文件轉(zhuǎn)換為自定義的可序列化圖像類(lèi)型[5] -[7]。這樣的實(shí)現(xiàn)一方面對(duì)輸入路徑和輸入的圖像文件數(shù)量存在限制,另一方面對(duì)自定義圖像類(lèi)型的設(shè)計(jì)不便于對(duì)圖像進(jìn)行處理。

2.2.2圖像數(shù)據(jù)類(lèi)型ImageWritable

對(duì)于可序列化的數(shù)據(jù)類(lèi)型,除了要能適用分布式環(huán)境的傳輸和存儲(chǔ)外,也要便于對(duì)數(shù)據(jù)的處理。因此系統(tǒng)設(shè)計(jì)的Hadoop API中基本的可序列化類(lèi)型都有其對(duì)應(yīng)的Java API基本數(shù)據(jù)類(lèi)型,如Text類(lèi)與String類(lèi)對(duì)應(yīng)。因此實(shí)現(xiàn)圖像的數(shù)據(jù)類(lèi)型若與圖像處理常涉及的類(lèi)相對(duì)應(yīng)就能夠便于并行式對(duì)圖像的處理。在Java API 中BufferedImage類(lèi)是處理圖像最常用的類(lèi),而且它能將對(duì)象本身轉(zhuǎn)換為字節(jié)數(shù)組,而字節(jié)數(shù)組又可以轉(zhuǎn)化為Hadoop API的Text類(lèi)型。Text類(lèi)型是通過(guò)可變長(zhǎng)的int型在字符串編碼中存儲(chǔ)字節(jié)數(shù),最大值為2GB,這足夠保存絕大多少的圖片數(shù)據(jù)。此外,BufferedImage類(lèi)帶有圖像常用的數(shù)據(jù)信息。

ImageWritable類(lèi)的具體實(shí)現(xiàn),如圖3。其中ImageWritable的構(gòu)造方法需由BufferedImage對(duì)象作參數(shù);私有函數(shù)parseBytes實(shí)現(xiàn)將BufferedImage轉(zhuǎn)換為字節(jié)數(shù)組,再通過(guò)字符數(shù)組可以轉(zhuǎn)換為T(mén)ext類(lèi)型;用第二個(gè)Text類(lèi)型保存圖像文件的后綴名;用第三個(gè)Text類(lèi)型保存獲取圖像的網(wǎng)址。

2.3 HBase的數(shù)據(jù)庫(kù)設(shè)計(jì)

本框架針對(duì)的是海量圖像的檢索,除了要存儲(chǔ)海量的圖像內(nèi)容的數(shù)據(jù)外,針對(duì)圖像預(yù)處理后的圖像數(shù)據(jù),圖像特征等相關(guān)數(shù)據(jù),采用面向列擴(kuò)展的HBase數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。由于行鍵除了要求唯一性外還要求定長(zhǎng),因此建議將圖像獲取的路徑或網(wǎng)址通過(guò)MD5摘要處理后的定長(zhǎng)字段作為行鍵,而將獲取圖片的路徑或網(wǎng)址作為一個(gè)列值存入。

HBase中單元格的默認(rèn)塊大小是64KB,但這是對(duì)于HBase的系統(tǒng)文件而言的。HBase對(duì)于列值是沒(méi)有長(zhǎng)度限定的。為了索引的性能,HBase僅會(huì)對(duì)行鍵的長(zhǎng)度做檢查,默認(rèn)應(yīng)該小于65536。由此可知,對(duì)于海量的小圖像文件的數(shù)據(jù)而言,沒(méi)有必要對(duì)圖像的字節(jié)數(shù)組進(jìn)行分段,這樣將影響圖片的存儲(chǔ)和讀取的效率。

對(duì)于圖像檢索的應(yīng)用而言,HBase除了保存圖像數(shù)據(jù)外,還可以保存預(yù)處理后的圖像數(shù)據(jù)、提取后的圖像特征等數(shù)據(jù)。對(duì)HBase的數(shù)據(jù)表設(shè)計(jì)見(jiàn)表1。

2.4圖像輸入模塊

對(duì)于ImageWritable類(lèi)來(lái)說(shuō)只是MapReduce程序中一種鍵/值對(duì)中的值的數(shù)據(jù)類(lèi)型,要將圖像文件輸入分布式文件系統(tǒng)或HBase數(shù)據(jù)庫(kù)中,常規(guī)的做法是繼承Hadoop API的文件輸入格式類(lèi)(FileInputFormat)。文件輸入格式類(lèi)以一個(gè)計(jì)算機(jī)本地圖像文件為一個(gè)文件分片,再轉(zhuǎn)換為自定義的可序列化類(lèi)。

本框架的圖像輸入模塊主要一個(gè)Web服務(wù)器和一個(gè)MapReduce程序。Web服務(wù)器具有文件上傳和瀏覽等功能。MapReduce程序是實(shí)現(xiàn)圖像數(shù)據(jù)獲取和格式轉(zhuǎn)換的工具。本地圖像通過(guò)Web服務(wù)器就能轉(zhuǎn)換為網(wǎng)絡(luò)圖像。再把一個(gè)記錄網(wǎng)絡(luò)圖片地址的文本文件作為輸入,在Map過(guò)程中通過(guò)獲取文件流,生成BufferedImage對(duì)象,再將其轉(zhuǎn)換為ImageWritable對(duì)象,最后可以通過(guò)SequenceFile文件保存到HDFS中。另外,也可以通過(guò)ImageWritable類(lèi)獲得對(duì)應(yīng)的字節(jié)數(shù)組存入HBase的數(shù)據(jù)庫(kù)表格中。針對(duì)圖片輸入模塊將圖像數(shù)據(jù)存入HDFS的MapReduce數(shù)據(jù)流如圖4。

2.5分布式集群模塊

框架中的分布式集群模塊主要包括圖片的預(yù)處理、圖像特征提取以及特征相似度計(jì)算等MapReduce程序。由于有ImageWritable數(shù)據(jù)類(lèi)型的支持,可以從HDFS或HBase中獲取需要的圖像數(shù)據(jù),通過(guò)將現(xiàn)有選用的圖像預(yù)處理的算法在Map過(guò)程中實(shí)現(xiàn),將處理后的圖像生成的BufferedImage對(duì)象構(gòu)建出新的ImageWritable對(duì)象并通過(guò)Reduce過(guò)程寫(xiě)入HDFS的SequenceFile中或存入HBase數(shù)據(jù)庫(kù)中。對(duì)于圖像特征提取的MapReduce過(guò)程,與預(yù)處理不同的是MapReduce輸出的是文本或數(shù)字類(lèi)型的數(shù)據(jù)。相似度計(jì)算和排序的MapReduce程序的輸入輸出都是文本或數(shù)字的數(shù)據(jù)類(lèi)型。分布式集群模塊一種的實(shí)現(xiàn)見(jiàn)表2。

2.6檢索結(jié)果的顯示模塊

檢索結(jié)果顯示模塊主要是以某個(gè)輸入圖片為待檢圖片時(shí),通過(guò)圖像相似度計(jì)算和排序后,將相似度高的圖像集合通過(guò)MapReduce程序從HBase數(shù)據(jù)庫(kù)的表中讀取對(duì)應(yīng)的圖像數(shù)據(jù),并將其轉(zhuǎn)換為BufferedImage對(duì)象,通過(guò)UI界面顯示出來(lái),還可將這些檢索結(jié)果保存到計(jì)算機(jī)本地的硬盤(pán)上。

3 ImageWritable類(lèi)的封裝與實(shí)現(xiàn)

ImageWritable類(lèi)是實(shí)現(xiàn)分布式圖像檢索框架的核心類(lèi)。

首先要實(shí)現(xiàn)BufferedImage對(duì)象和byte[]對(duì)象的轉(zhuǎn)換,這需用到圖像文件的后綴名,一般可以從圖像的網(wǎng)址中截取。代碼如下:

private byte[] getBytes(BufferedImage image, String format) {

ByteArrayOutputStream baos

= new ByteArrayOutputStream();

try{

ImageIO.write(image, format, baos);

} catch (Exception e) {

e.printStackTrace();}

return baos.toByteArray();}

其中ImageIO類(lèi)是Java API中常用的圖像工具類(lèi),常用于讀取或生成圖像。

由于通過(guò)上面實(shí)現(xiàn)的getBytes方法可將BufferedImage對(duì)象轉(zhuǎn)換為byte[]對(duì)象,而通過(guò)byte []對(duì)象可以建立Text對(duì)象。Text類(lèi)是HadoopAPI的基礎(chǔ)類(lèi),對(duì)數(shù)據(jù)的傳輸和存儲(chǔ)由原生的接口保證正確性與可靠性。對(duì)于ImageWritable類(lèi)實(shí)現(xiàn)的Writable接口的二進(jìn)制讀寫(xiě)流方法,示意代碼如下:

public void readFields(DataInput arg0) throws IOException {

imagedata.readFields(arg0);

imageFormat.readFields(arg0);

imagePath.readFields(arg0);}

public void write(DataOutput arg0) throws IOException {

imagedata.write (arg0);

imageFormat.write (arg0);

imagePath.write (arg0);}

以上對(duì)ImageWritable類(lèi)的封裝與實(shí)現(xiàn)都是使用Java來(lái)編程實(shí)現(xiàn)的。

4結(jié)束語(yǔ)

本文提出了一種能夠存儲(chǔ)、處理和檢索海量圖像數(shù)據(jù)的圖像檢索框架。該框架以HBase為數(shù)據(jù)存儲(chǔ)工具,并通過(guò)MapReduce程序并行化實(shí)現(xiàn)圖像檢索,解決了趨于成熟的多種圖像檢索方法無(wú)法存儲(chǔ)、處理和檢索海量圖像的問(wèn)題,具有數(shù)據(jù)輸入靈活、處理數(shù)據(jù)量大,算法并行化的移植靈活等特點(diǎn),適合應(yīng)用于對(duì)現(xiàn)有的圖像檢索系統(tǒng)進(jìn)行并行處理的重構(gòu)。

參考文獻(xiàn):

[1] 李向陽(yáng), 莊越挺, 潘云鶴. 基于內(nèi)容的圖像檢索技術(shù)與系統(tǒng)[J]. 計(jì)算機(jī)研究與發(fā)展,2001,38((3): 344-354.

[2] 朱曉麗, 趙志剛. 一種基于HBase的海量圖片存儲(chǔ)技術(shù)[J]. 信息系統(tǒng)工程,2013(8):22-24.

[3] 朱敏, 程佳, 柏文陽(yáng). 一種基于HBase的RDF數(shù)據(jù)存儲(chǔ)模型[J]. 計(jì)算機(jī)研究與發(fā)展,2013,50((z1): 23-31.

[4] 王賢偉, 戴青云, 姜文超, 曹江中. 基于MapReduce的外觀設(shè)計(jì)專利圖像檢索方法[J].小型微型計(jì)算機(jī)系統(tǒng),2012,33((3): 626-632.

[5] 鄭欣杰, 朱程榮, 熊齊邦. 基于MapReduce 的分布式光線跟蹤的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2007,33((22):83-85.

第5篇:計(jì)算機(jī)并行處理技術(shù)范文

關(guān)鍵詞:云計(jì)算;關(guān)鍵技術(shù); 應(yīng)用

1引言

自1945年第一臺(tái)電子計(jì)算機(jī)出現(xiàn)以來(lái),隨著集成電路技術(shù)的不斷發(fā)展,計(jì)算機(jī)的功能越來(lái)越強(qiáng),體積越來(lái)越小,這使得計(jì)算機(jī)在全球范圍內(nèi)得以迅速發(fā)展。從那時(shí)開(kāi)始至今以計(jì)算機(jī)為核心的IT產(chǎn)業(yè)已經(jīng)歷了三次革命,云計(jì)算則被認(rèn)為是繼大型計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、互聯(lián)網(wǎng)之后的第4次IT產(chǎn)業(yè)革命。

2 云計(jì)算簡(jiǎn)介

(1)什么是云計(jì)算

云計(jì)算(Cloud Computing)是由分布式計(jì)算(Distributed Computing)、并行處理(Parallel Computing)、網(wǎng)格計(jì)算(Grid Computing)等技術(shù)漸進(jìn)演變發(fā)展起來(lái)的,是一種新興的商業(yè)計(jì)算模型。目前國(guó)際上尚未對(duì)云計(jì)算提出一個(gè)統(tǒng)一的定義。我國(guó)云計(jì)算專家劉鵬給出的描述是:“云計(jì)算是一種商業(yè)計(jì)算模型,它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上,使用戶能夠按需獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)[1]” 。

簡(jiǎn)單地講,云計(jì)算是以一種簡(jiǎn)化的方式提供服務(wù),用以滿足客戶和業(yè)務(wù)的需求,提供無(wú)限伸縮及不同質(zhì)量的服務(wù)來(lái)促進(jìn)快速創(chuàng)新和決策的計(jì)算模型[2]。

(2) 云計(jì)算的特點(diǎn)

云計(jì)算的特點(diǎn)包括超大規(guī)模、慮擬化、高可靠性、通用性、可擴(kuò)展性以及按需服務(wù)。

超大規(guī)模:“云”里的資源非常龐大,在一個(gè)企業(yè)“云”可以有幾十萬(wàn)甚至上百萬(wàn)臺(tái)服務(wù)器,在一個(gè)小型的“私有云”中也可擁有幾百臺(tái)甚至上千臺(tái)服務(wù)器。

慮擬化:云計(jì)算允許用戶在任何時(shí)間和地點(diǎn)使用各種終端獲取應(yīng)用服務(wù)。用戶不需要了解具體的過(guò)程,只要一個(gè)終端并通過(guò)網(wǎng)絡(luò)就可以獲取“云”中的服務(wù)。

高可靠性:為了保證數(shù)據(jù)安全可靠,云計(jì)算采用數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施,以保證服務(wù)的安全和可靠。

通用性:云計(jì)算可根據(jù)用戶的需求構(gòu)造出不同的應(yīng)用,也可實(shí)現(xiàn)不同設(shè)備間的數(shù)據(jù)與應(yīng)用共享。

可擴(kuò)展性:“云”的規(guī)模是可以根據(jù)應(yīng)用和用戶增長(zhǎng)的需要而動(dòng)態(tài)擴(kuò)展的。

按需服務(wù):“云”是一個(gè)規(guī)模龐大的資源庫(kù),用戶可根據(jù)自己的需要像買(mǎi)水、電一樣向“云”購(gòu)買(mǎi)資源并使用。

(3 )云計(jì)算的服務(wù)模式

云計(jì)算的核心是它的服務(wù)模式,按照NIST (National Institute of Standards and Technology,美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)研究院)的定義,云計(jì)算主要分為三種服務(wù)模式[3]:

SaaS (Software as a Service 軟件即服務(wù)):它是指用戶獲取軟件服務(wù)的一種形式。云計(jì)算提供商將多種應(yīng)用軟件放在一個(gè)服務(wù)器上供用戶下載并收費(fèi),用戶則通過(guò)網(wǎng)絡(luò)向提供商獲取自己需要的軟件服務(wù)并付費(fèi)。

PaaS (Platform as a Service 平臺(tái)即服務(wù)):它將開(kāi)發(fā)環(huán)境作為一種服務(wù)來(lái)提供。在這種模式里,客戶不需要購(gòu)買(mǎi)硬件和軟件,只需要利用此平臺(tái)便能進(jìn)行軟件的開(kāi)發(fā)、測(cè)試、部署和應(yīng)用。

IaaS (infrastructure as a Service,基礎(chǔ)設(shè)施即服務(wù)) :將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用。在此環(huán)境中,用戶相當(dāng)于在使用裸機(jī)和磁盤(pán)并可以讓它運(yùn)行不同的操作系統(tǒng)。

(4 )云計(jì)算的關(guān)鍵技術(shù)

云計(jì)算的關(guān)鍵技術(shù)一般指數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)安全、虛擬化、并行處理、資源管理和系統(tǒng)管理技術(shù)[4]。

數(shù)據(jù)存儲(chǔ):云計(jì)算系統(tǒng)是由大量服務(wù)器組成的,當(dāng)為數(shù)量龐大的用戶進(jìn)行服務(wù)時(shí)會(huì)產(chǎn)生海量的數(shù)據(jù),要保證這些數(shù)據(jù)存儲(chǔ)的安全和可靠就需要高存儲(chǔ)率和高傳輸率的數(shù)據(jù)存儲(chǔ)技術(shù)。云計(jì)算采用的分布式存儲(chǔ)方式,它把數(shù)據(jù)存儲(chǔ)在服務(wù)器集群中,用冗余存儲(chǔ)和數(shù)據(jù)加密技術(shù)來(lái)保證數(shù)據(jù)的安全可靠。

數(shù)據(jù)管理:它是指在云計(jì)算中對(duì)海量數(shù)據(jù)進(jìn)行處理并通過(guò)對(duì)數(shù)據(jù)挖掘提取有用的信息。

數(shù)據(jù)安全:云服務(wù)商應(yīng)避免用戶的數(shù)據(jù)丟失或被竊,無(wú)論在哪種服務(wù)模式下,數(shù)據(jù)安全都是十分重要的。數(shù)據(jù)安全又可分為數(shù)據(jù)傳輸安全、數(shù)據(jù)隔離安全和數(shù)據(jù)殘留等[5]。

虛擬化:慮擬化技術(shù)是云計(jì)算、云存儲(chǔ)服務(wù)得以實(shí)現(xiàn)的基礎(chǔ)和關(guān)鍵。通過(guò)虛擬化技術(shù)可以把軟件應(yīng)用與底層硬件相隔離。它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式,也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。

并行處理:并行處理是指將被求解的問(wèn)題分解成若干部分,每部分均由一個(gè)獨(dú)立的處理機(jī)來(lái)并行計(jì)算。在云中利用并行處理來(lái)求解問(wèn)題無(wú)疑能提高計(jì)算機(jī)系統(tǒng)的計(jì)算速度和處理能力。

資源管理:云計(jì)算中的資源包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、基礎(chǔ)設(shè)施等資源。資源管理就是從邏輯上把這些資源耦合起來(lái)作為一個(gè)單個(gè)的集成資源提供給用戶使用。由于云計(jì)算的資源在地理上是分布的,在本質(zhì)上是異構(gòu)的且有不同的訪問(wèn)代價(jià)模型,因此資源管理主要就是處理好邊界問(wèn)題,并需要有安全和容錯(cuò)機(jī)制。

系統(tǒng)管理:云計(jì)算中的系統(tǒng)管理是云計(jì)算的“神經(jīng)網(wǎng)絡(luò)”,通過(guò)這種技術(shù)能夠使大量的服務(wù)器協(xié)同工作,方便地進(jìn)行業(yè)務(wù)部署和開(kāi)通,快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障。

(5 )云計(jì)算存在的問(wèn)題

首先云計(jì)算至今沒(méi)有一個(gè)統(tǒng)一標(biāo)準(zhǔn)。由于云計(jì)算技術(shù)還在發(fā)展之中,各大云服務(wù)商紛紛推出自己內(nèi)部的技術(shù)標(biāo)準(zhǔn),這就為云服務(wù)商之間進(jìn)行數(shù)據(jù)遷移、轉(zhuǎn)換等兼容性問(wèn)題帶來(lái)一定的困難。

其次是數(shù)據(jù)的安全。雖然云存儲(chǔ)為用戶提供了接近無(wú)限的存儲(chǔ)空間,但多數(shù)用戶對(duì)自己的數(shù)據(jù)在云中是否安全仍存在質(zhì)疑,而且數(shù)據(jù)在“云”中進(jìn)行計(jì)算時(shí)用戶也不知道數(shù)據(jù)到底在什么地方。另外黑客攻擊、計(jì)算機(jī)病毒、木馬等傳統(tǒng)計(jì)算機(jī)安全問(wèn)題依然存在,個(gè)人和企業(yè)隱私的泄露很有可能發(fā)生。所有這些問(wèn)題不僅需要技術(shù)上的改進(jìn),也需要在法律上進(jìn)一步完善。

最后是系統(tǒng)的穩(wěn)定、可靠性問(wèn)題。在云中支撐整個(gè)系統(tǒng)正常運(yùn)行的是大型服務(wù)器集群。當(dāng)系統(tǒng)規(guī)模持續(xù)增加后,系統(tǒng)的可靠性和穩(wěn)定性就成為最大的問(wèn)題之一。只有通過(guò)有效的系統(tǒng)配置、監(jiān)控、管理、調(diào)度以及虛擬化等技術(shù)手段,才能實(shí)現(xiàn)一個(gè)強(qiáng)大的、動(dòng)態(tài)的、自治的計(jì)算存儲(chǔ)資源池,才能提供云計(jì)算所需要的大容量計(jì)算力[6]。

3云計(jì)算的應(yīng)用

近幾年來(lái)隨著谷歌、亞馬遜等大公司對(duì)云計(jì)算技術(shù)的不斷推進(jìn),使得云計(jì)算技術(shù)在國(guó)內(nèi)外的各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用,下面介紹幾個(gè)典型案例。

電子商務(wù)。它是指消費(fèi)者與商戶之間通過(guò)電子商務(wù)網(wǎng)站進(jìn)行交易和在線支付的商業(yè)活動(dòng)。云計(jì)算的加入可以改善系統(tǒng)的安全性,減少因各種安全問(wèn)題而導(dǎo)致的數(shù)據(jù)丟失??梢园哑髽I(yè)對(duì)網(wǎng)站維護(hù)和升級(jí)的問(wèn)題交給“云”處理,這樣不僅可以降低成本,還可以改善企業(yè)電子商務(wù)應(yīng)用的靈活性和專業(yè)性。

氣象預(yù)測(cè)。氣象預(yù)測(cè)實(shí)際上就是對(duì)采集的大量數(shù)據(jù)進(jìn)行科學(xué)計(jì)算。傳統(tǒng)的氣象預(yù)測(cè)要靠大型計(jì)算機(jī)或巨型計(jì)算機(jī)來(lái)完成,而利用云計(jì)算不僅可以提高計(jì)算的速度,降低成本,還可以解決海量氣象數(shù)據(jù)存儲(chǔ)的問(wèn)題。

計(jì)算機(jī)安全。目前計(jì)算機(jī)安全廠商如瑞星、趨勢(shì)科技和賽門(mén)鐵克等都先后提出了“云安全”的概念。用戶不必在電腦單機(jī)中安裝殺毒軟件,只需要連接互聯(lián)網(wǎng)便可實(shí)現(xiàn)查毒、殺毒,使病毒防治工作更加安全可靠。

網(wǎng)絡(luò)應(yīng)用。在互聯(lián)網(wǎng)中如迅雷的下載,谷歌的視頻分享、搜索引擎、電子郵箱等應(yīng)用都使用了云計(jì)算技術(shù),用戶可以更方便快捷的使用這些網(wǎng)絡(luò)資源。

4 結(jié)束語(yǔ)

綜上所述,隨著云計(jì)算在社會(huì)中的作用越來(lái)越顯現(xiàn),云計(jì)算必將利用其技術(shù)、業(yè)務(wù)優(yōu)勢(shì)影響人們的工作和生活,進(jìn)而推動(dòng)整個(gè)社會(huì)信息化的發(fā)展。

參考文獻(xiàn)

[1]劉鵬.云計(jì)算(第二版)[M].北京:電子工業(yè)出版社,2011.

[2]姚有真. 云計(jì)算及其發(fā)展趨勢(shì)[J].通訊管理與技術(shù).2011.8:13-15.[3]De S K, Krishna P R.Clustering web transactions using rough

Approximation [J].Fuzzv Sets and Systems,2004, 148:131-138.

[4]曾劍秋,劉雪嬌.云計(jì)算探源[J]. 移動(dòng)通訊,2012.3:11-14.

第6篇:計(jì)算機(jī)并行處理技術(shù)范文

――獲獎(jiǎng)感言

萊克斯科技(北京)有限公司 LYX Solutions Inc. 創(chuàng)建于2005年。萊克斯以高速數(shù)據(jù)通信應(yīng)用平臺(tái)(USAP)為基礎(chǔ),輔以技術(shù)創(chuàng)新(ECS專家會(huì)診系統(tǒng)、零拷貝技術(shù)、DPI/DFI等),打造了高性能數(shù)據(jù)處理系統(tǒng)。LyxOS是USAP平臺(tái)的基礎(chǔ),ESC專家會(huì)診系統(tǒng)、虛擬設(shè)備管理、DPI、DFI以及零拷貝等是USAP平臺(tái)的核心技術(shù)。

Lyx OS系統(tǒng)

LyxOS是萊克斯科技自主知識(shí)產(chǎn)權(quán)的操作系統(tǒng)。它是萊克斯高速數(shù)據(jù)通訊平臺(tái)(USAP)的核心部分,采用模塊化設(shè)計(jì)和并行數(shù)據(jù)處理理念,具有高效性、高安全性、高健壯性、擴(kuò)展性、可移植性、模塊化、標(biāo)準(zhǔn)化等特征。

LyxOS在目前X86平臺(tái)基礎(chǔ)上可以高效、穩(wěn)定地運(yùn)行,能夠支持多種硬件平臺(tái),如NP、ASIC、多核等。LyxOS采用了并行數(shù)據(jù)處理的設(shè)計(jì)方法,其核心的專家會(huì)診系統(tǒng)(ECS)把傳統(tǒng)的串行數(shù)據(jù)處理方式優(yōu)化為并行處理模式, 通過(guò)系統(tǒng)策略配置各個(gè)功能模塊,可以實(shí)現(xiàn)全方位的需求滿足和安全控制,極大地提高了網(wǎng)絡(luò)安全性和高效性。

ESC專家會(huì)診系統(tǒng)

USAP采用了專家會(huì)診系統(tǒng),對(duì)多個(gè)安全處理單元一次并行處理,可以使得數(shù)據(jù)包分析處理時(shí)間大幅度縮減。

ESC專家會(huì)診系統(tǒng)實(shí)現(xiàn)上就是一種包處理技術(shù)及包處理方式,它改變傳統(tǒng)的包處理為并行處理,減少了數(shù)據(jù)包解析的次數(shù),理論上大大提升了系統(tǒng)對(duì)數(shù)據(jù)包的處理效率。在ESC專家會(huì)診系統(tǒng)中,從數(shù)據(jù)檢測(cè)、數(shù)據(jù)識(shí)別、應(yīng)用及協(xié)議匹配到管理策略匹配只對(duì)數(shù)據(jù)進(jìn)行一次分析處理,與傳統(tǒng)數(shù)據(jù)處理過(guò)程對(duì)比,明顯提高了數(shù)據(jù)的分析處理效率,提升了系統(tǒng)實(shí)際處理能力。

虛擬設(shè)備管理

萊克斯在NSG的服務(wù)平臺(tái)上構(gòu)建多臺(tái)虛擬的計(jì)算機(jī)系統(tǒng),每個(gè)操作系統(tǒng)都可以進(jìn)行虛擬的區(qū)分、配置而不影響真實(shí)硬盤(pán)的數(shù)據(jù),也可以通過(guò)網(wǎng)卡將多幾臺(tái)虛擬機(jī)用網(wǎng)卡連接為一個(gè)局域網(wǎng),極其方便。實(shí)現(xiàn)每個(gè)虛擬的計(jì)算機(jī)上安裝一個(gè)NSG應(yīng)用程序,并將每個(gè)虛擬的NSG提供給不同的公司使用。在每個(gè)公司看來(lái),就像是登錄到一個(gè)真實(shí)的NSG一樣,可實(shí)現(xiàn)對(duì)本公司所有網(wǎng)絡(luò)行為的管控。

DPI與DFI數(shù)據(jù)流分析引擎

DPI(深度數(shù)據(jù)包檢測(cè))和DFI(深度/動(dòng)態(tài)數(shù)據(jù)流檢測(cè))相結(jié)合的技術(shù),對(duì)數(shù)據(jù)包進(jìn)行2到7層的深入解析,同時(shí)對(duì)數(shù)據(jù)流進(jìn)行流量行為分析,增強(qiáng)了系統(tǒng)對(duì)網(wǎng)絡(luò)流量的智能識(shí)別,提高了數(shù)控流量監(jiān)控的準(zhǔn)確性。DPI和DFI的結(jié)合,使數(shù)據(jù)識(shí)別的準(zhǔn)確率可達(dá)95%以上。

第7篇:計(jì)算機(jī)并行處理技術(shù)范文

Cell芯片最初是由IBM、索尼和東芝共同為游戲主機(jī)而研制的。但是最近它很不“安分”,近一年來(lái)它跳出游戲主機(jī)的心臟,積極拓展到醫(yī)療圖像、高性能計(jì)算等領(lǐng)域。而在中國(guó),Cell芯片的應(yīng)用才剛剛開(kāi)始。去年10月,中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心和IBM啟動(dòng)了為CNGrid提供基于Cell的刀片服務(wù)器計(jì)算節(jié)點(diǎn)的項(xiàng)目,并鼓勵(lì)開(kāi)發(fā)各種能夠充分利用其獨(dú)特性能的應(yīng)用。今年4月,國(guó)內(nèi)第一臺(tái)基于Cell的刀片服務(wù)器系統(tǒng)IBM BladeCenter QS20投入運(yùn)行。目前,中國(guó)科學(xué)院各院所、多所大學(xué)以及一些國(guó)內(nèi)科研和商業(yè)機(jī)構(gòu)可以通過(guò)CNGrid使用這一位于北京的中國(guó)科學(xué)院超級(jí)計(jì)算中心的系統(tǒng)。Cell在中國(guó)的首次應(yīng)用非常順利。

何以“越界”

從游戲主機(jī)到科學(xué)甚至商業(yè)計(jì)算,Cell芯片何以跨越差別如此巨大的應(yīng)用領(lǐng)域?IBM下一代計(jì)算系統(tǒng)和技術(shù)杰出工程師Robert Guernsey博士解釋說(shuō),IBM BladeCenter QS20是一種基于Cell的刀片系統(tǒng),專為Cell高性能計(jì)算力以及圖形密集型應(yīng)用而設(shè)計(jì)。尤其是Cell突破性的多內(nèi)核架構(gòu)和超高速技術(shù)能力采用了通常用于IBM最尖端服務(wù)器上的并行處理技術(shù),大大提高了實(shí)時(shí)響應(yīng)速度,有效地提供了類(lèi)似超級(jí)計(jì)算機(jī)的性能。因此,醫(yī)療圖像、金融模擬、多類(lèi)型建模、航天計(jì)算、數(shù)字動(dòng)畫(huà)和網(wǎng)絡(luò)通信等領(lǐng)域都是Cell非常適合的拓展方向。

就CNGrid的初步應(yīng)用來(lái)看,BladeCenter QS20將地震應(yīng)用的計(jì)算速度提高了60倍。也就是說(shuō),地震預(yù)報(bào)專家可以在短短幾分鐘內(nèi)得到以往需要數(shù)小時(shí)才能得到的計(jì)算結(jié)果。國(guó)家863計(jì)劃高效能計(jì)算機(jī)及網(wǎng)格服務(wù)環(huán)境重大項(xiàng)目總體組組長(zhǎng)錢(qián)德沛教授透露,目前,Cell多核并行處理技術(shù)的能力和性能已經(jīng)在地震預(yù)報(bào)、分子動(dòng)力學(xué)仿真以及MPEG2代碼轉(zhuǎn)換機(jī)等應(yīng)用中有了體現(xiàn)。

中國(guó)國(guó)家網(wǎng)格運(yùn)營(yíng)中心主任遲學(xué)斌教授表示,地震預(yù)測(cè)和分子動(dòng)力學(xué)仿真都是計(jì)算密集型應(yīng)用,而且分子動(dòng)力學(xué)仿真還是存儲(chǔ)高速訪問(wèn)型應(yīng)用。從目前CNGrid的應(yīng)用效果來(lái)看,Cell可以適應(yīng)于這兩種應(yīng)用。可見(jiàn),當(dāng)初為游戲而生的Cell現(xiàn)在在科學(xué)計(jì)算和超級(jí)計(jì)算領(lǐng)域也開(kāi)始發(fā)揮作用。

困難仍然不小

但是,作為一款專用設(shè)備,Cell的體系架構(gòu)和傳統(tǒng)處理器不同,因此在編程方面會(huì)有很多新問(wèn)題。也就是說(shuō)Cell能否成功“越界”應(yīng)用,不僅取決于它本身的體系特征,還要有豐富的軟件使它可以真正應(yīng)用。在本次CNGrid的首次應(yīng)用中,CNGrid和IBM就聯(lián)合組建了測(cè)試團(tuán)隊(duì),通過(guò)進(jìn)行一系列優(yōu)化軟件和Cell的硬件潛力開(kāi)發(fā)來(lái)實(shí)現(xiàn)Cell的高性能計(jì)算應(yīng)用。錢(qián)德沛坦言,Cell現(xiàn)在的應(yīng)用還很少,其應(yīng)用移植或應(yīng)用開(kāi)發(fā)還面臨很多問(wèn)題。

據(jù)悉,編譯器、并行處理環(huán)境等在程序設(shè)計(jì)上都需要大量工作,尤其是對(duì)于一些大型程序所需要的時(shí)間較長(zhǎng)。在Cell應(yīng)用于CNGrid不到半年的時(shí)間里,已經(jīng)移植了一些IBM演示程序,并且,雙方共同開(kāi)發(fā)了地震預(yù)測(cè)和分子動(dòng)力學(xué)仿真應(yīng)用。

IBM中國(guó)技術(shù)學(xué)院院長(zhǎng)John J. Turek博士認(rèn)為,IBM的Cell技術(shù)夢(mèng)想就是將多核芯片不斷推進(jìn)。為了加快Cell應(yīng)用,IBM將在軟件上開(kāi)發(fā)更多通用工具。此外,應(yīng)用開(kāi)發(fā)商也可以用C++等傳統(tǒng)編譯語(yǔ)言來(lái)編寫(xiě)程序,再編譯成Cell可以識(shí)別的指令。IBM還為推動(dòng)Cell的應(yīng)用在全球舉辦了一年一度的Cell芯片編程大賽。

據(jù)悉,IBM在全球也正在開(kāi)展多方面的Cell深度合作研究。不過(guò),從網(wǎng)格角度來(lái)看,Cell和CNGrid的合作是全球唯一的。在過(guò)去的5年中,CNGrid一直由863計(jì)劃提供支持。與其他國(guó)家的網(wǎng)格基礎(chǔ)架構(gòu)一樣,CNGrid是一個(gè)對(duì)各種新信息技術(shù)基礎(chǔ)架構(gòu)進(jìn)行試驗(yàn)并支持各類(lèi)應(yīng)用的測(cè)試平臺(tái)。最近它啟動(dòng)了一項(xiàng)名為高生產(chǎn)力計(jì)算機(jī)和網(wǎng)格服務(wù)環(huán)境的863重點(diǎn)項(xiàng)目,其主要目標(biāo)是開(kāi)發(fā)高生產(chǎn)力計(jì)算系統(tǒng)以及先進(jìn)的網(wǎng)格技術(shù)。

混合系統(tǒng)是大勢(shì)所趨

既然Cell的“越界”應(yīng)用才剛剛開(kāi)始,軟件開(kāi)發(fā)需要大量工作,為何CNGrid還會(huì)與IBM合作來(lái)第一個(gè)吃螃蟹?

“這是CNGrid必然的選擇。”錢(qián)德沛表示,“因?yàn)榛旌舷到y(tǒng)是未來(lái)的發(fā)展趨勢(shì)?!比绾卫斫膺@一趨勢(shì)呢?以CNGrid目前的計(jì)算機(jī)設(shè)備為例,雖然它一直采用不同的平臺(tái),比如Intel、Sun和IBM Power,但基本上都是傳統(tǒng)的同構(gòu)系統(tǒng)。而混合系統(tǒng)是未來(lái)的方向。這是因?yàn)?,提高?jì)算機(jī)性能不再只有提高主頻這一種立竿見(jiàn)影的方法,還有另外兩種方式:第一種方式是在芯片中采用多業(yè)務(wù)并行來(lái)處理數(shù)據(jù)密集型業(yè)務(wù),第二種要靠加速器專門(mén)發(fā)展面向特定問(wèn)題的硬件。兩方面的混合協(xié)作,共同處理業(yè)務(wù),將使混合系統(tǒng)逐漸普及。由此可見(jiàn),與Cell的合作一方面可以促進(jìn)Cell的應(yīng)用,另一個(gè)方面對(duì)CNGrid來(lái)講,也需要在這樣一個(gè)變革時(shí)期快速掌握混合系統(tǒng)的技術(shù)。

Guernsey也表示,計(jì)算機(jī)正在發(fā)生革命性的改變,硬件的變革包括加速器如何在硬件中扮演關(guān)鍵角色,軟件的變革則在于如何讓混合系統(tǒng)能夠更好地進(jìn)行應(yīng)用協(xié)作。此外,他還透露了Cell的技術(shù)路線圖。在今年年底,BladeCenter機(jī)箱中將可以放置14個(gè)刀片。由于每個(gè)刀片仍有兩個(gè)Cell芯片,因此,同樣大小的空間可以有28個(gè)Cell芯片,而且內(nèi)存容量也將擴(kuò)至兩倍,同時(shí)I/O也有很大提升。

鏈 接:Cell芯片一覽

Cell芯片憑借專為計(jì)算密集和寬帶富媒體應(yīng)用而優(yōu)化的最新技術(shù),讓日常生活享受超級(jí)計(jì)算。它采用突破性的架構(gòu)設(shè)計(jì);它并非為某個(gè)操作系統(tǒng)定制;它是一種多內(nèi)核芯片;它采用專用電路技術(shù)。

Cell是一種多內(nèi)核架構(gòu):包含8個(gè)SPU,每個(gè)SPU包含128個(gè)128位輸入寄存器文件和256KB的本地存貯區(qū);包含1個(gè)帶有VMX的64位Power架構(gòu),該內(nèi)核采用雙線程SMT設(shè)計(jì),將系統(tǒng)內(nèi)存當(dāng)作是一個(gè)10路統(tǒng)一線程機(jī)器;具有2.5MB的片內(nèi)內(nèi)存(512KB L2和8×256KB);采用模塊化架構(gòu),通過(guò)增加或減少SPU數(shù)量,可以調(diào)整其浮點(diǎn)運(yùn)算能力。

Cell是一種寬帶架構(gòu):兼容64位Power架構(gòu);其SPU采用SIMD指令和本地存貯區(qū)的RISC架構(gòu);每個(gè)芯片可以處理內(nèi)存的128個(gè)并行任務(wù)。

第8篇:計(jì)算機(jī)并行處理技術(shù)范文

1指導(dǎo)思想和內(nèi)容組織

“計(jì)算機(jī)組織與結(jié)構(gòu)”是高等學(xué)校計(jì)算機(jī)科學(xué)與技術(shù)學(xué)科一門(mén)重要的專業(yè)基礎(chǔ)課程,也是IEEE&ACM CC2001/CC2005和我國(guó)CCC2002及教育部高等學(xué)校計(jì)算機(jī)科學(xué)與技術(shù)教學(xué)指導(dǎo)委員會(huì)制定的《專業(yè)規(guī)范》中的核心課程。從課程地位上,它在先導(dǎo)課(如“計(jì)算機(jī)導(dǎo)論”、“數(shù)字邏輯”等)和后續(xù)課(如“微機(jī)原理與接口技術(shù)”、“計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)”等)之間起著承上啟下的作用。同時(shí),“計(jì)算機(jī)組織與結(jié)構(gòu)”課程對(duì)學(xué)生今后進(jìn)一步深造學(xué)習(xí)研究生課程“高性能計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)”、“分布式計(jì)算機(jī)系統(tǒng)”等打下一個(gè)重要的基礎(chǔ)。

從教學(xué)內(nèi)容上講,“計(jì)算機(jī)組織與結(jié)構(gòu)”主要講述單處理機(jī)系統(tǒng)的基本硬件組成以及組成計(jì)算機(jī)各主要部件的邏輯結(jié)構(gòu)、工作原理和設(shè)計(jì)方法。由于計(jì)算機(jī)學(xué)科發(fā)展快、應(yīng)用廣、知識(shí)和技術(shù)更新快等特點(diǎn),“計(jì)算機(jī)組織與結(jié)構(gòu)”課程在教材內(nèi)容的組織和編寫(xiě)上既要保證傳統(tǒng)的知識(shí)和理論的完整性,又要不斷地進(jìn)行內(nèi)容更新,為學(xué)生介紹計(jì)算機(jī)發(fā)展的新技術(shù)、新知識(shí)。

能充分體現(xiàn)課程特點(diǎn)的教材對(duì)提高教學(xué)水平,使學(xué)生更好地掌握所講授的內(nèi)容起著十分重要的作用。因此,我們所編寫(xiě)的《計(jì)算機(jī)組織與結(jié)構(gòu)》教材著重考慮了以下幾個(gè)方面的要求:

(1) 內(nèi)容全面,基本涵蓋CC2001/ CCC2002及《專業(yè)規(guī)范》中“CS-AR計(jì)算機(jī)體系結(jié)構(gòu)與組織”所要求的核心知識(shí)單元。各章節(jié)涵蓋的知識(shí)單元主要包括:

AR2 數(shù)據(jù)的機(jī)器級(jí)表示(核心學(xué)時(shí)):第2章;

AR3匯編級(jí)機(jī)器組織(核心學(xué)時(shí)):第3章;

AR4存儲(chǔ)系統(tǒng)組織與結(jié)構(gòu)(核心學(xué)時(shí)):第4章;

AR5接口和通信(核心學(xué)時(shí)): 第5章、第6章;

AR6功能組織(核心學(xué)時(shí)):第7章;

AR7多處理和體系結(jié)構(gòu)(核心學(xué)時(shí)):第8章。

(2) 基本概念清晰、準(zhǔn)確,一些重要的概念、術(shù)語(yǔ)、符號(hào)等符合相關(guān)國(guó)際標(biāo)準(zhǔn),使學(xué)生學(xué)習(xí)掌握的內(nèi)容能與國(guó)際接軌。

(3) 條理清晰、系統(tǒng)性強(qiáng),使學(xué)生既建立計(jì)算機(jī)“整機(jī)”概念,又能逐級(jí)細(xì)化,按照從整機(jī)到部件自上而下的思想進(jìn)行課程內(nèi)容的組織,使學(xué)生在每一章節(jié)的學(xué)習(xí)中,都清楚所學(xué)章節(jié)的內(nèi)容與整機(jī)的關(guān)聯(lián),讓學(xué)生更容易掌握組成計(jì)算機(jī)各功能部件的原理和設(shè)計(jì)方法。

(4) 有合理的知識(shí)結(jié)構(gòu),為進(jìn)一步深入學(xué)習(xí)有關(guān)計(jì)算機(jī)后續(xù)課程打下良好基礎(chǔ)。考慮到近些年并行處理技術(shù)的發(fā)展和應(yīng)用,本教材除了深入講述單處理機(jī)系統(tǒng)的組織與結(jié)構(gòu)外,還專門(mén)開(kāi)辟一章的內(nèi)容講述當(dāng)今流行的并行處理技術(shù),如多處理機(jī)系統(tǒng)、群集系統(tǒng)等。

(5) 力圖反映新技術(shù)、新動(dòng)向,以適應(yīng)計(jì)算機(jī)技術(shù)發(fā)展的需要,使學(xué)生“學(xué)以致用”。

本教材的編寫(xiě)從設(shè)計(jì)者的角度出發(fā),按照組成計(jì)算機(jī)系統(tǒng)的各功能部件進(jìn)行章節(jié)的劃分,全書(shū)共分8章,其中:

第1章首先介紹計(jì)算機(jī)的發(fā)展歷程;然后介紹按IEEE的分類(lèi)法的計(jì)算機(jī)的分類(lèi);最后,作為本書(shū)的一個(gè)“序”,概括性地介紹計(jì)算機(jī)的硬件組成及計(jì)算機(jī)的層次結(jié)構(gòu)。

第2章首先介紹二進(jìn)制等基本的進(jìn)位計(jì)數(shù)制;再介紹在計(jì)算機(jī)中是如何對(duì)我們?nèi)粘L幚淼臄?shù)值數(shù)據(jù)和非數(shù)值數(shù)據(jù)(主要包括字符、漢字等)進(jìn)行二進(jìn)制編碼表示的;然后介紹數(shù)值數(shù)據(jù)在計(jì)算機(jī)中的二進(jìn)制運(yùn)算方法和實(shí)現(xiàn);最后介紹對(duì)計(jì)算機(jī)中的數(shù)據(jù)在傳遞過(guò)程中產(chǎn)生的差錯(cuò)進(jìn)行檢測(cè)而使用的數(shù)據(jù)校驗(yàn)碼。

第3章首先介紹計(jì)算機(jī)中匯編級(jí)指令的格式、地址結(jié)構(gòu);然后介紹指令及操作數(shù)的尋址方式,以及指令的種類(lèi)和功能、典型指令系統(tǒng)的組成等;最后對(duì)精簡(jiǎn)指令系統(tǒng)RISC進(jìn)行介紹。

第4章首先介紹存儲(chǔ)器的組織、分類(lèi)和分層結(jié)構(gòu);然后介紹計(jì)算機(jī)主存儲(chǔ)器的組成與工作原理;最后介紹提高存儲(chǔ)系統(tǒng)性能的交叉存儲(chǔ)技術(shù)、高速緩沖存儲(chǔ)器及虛擬存儲(chǔ)器技術(shù)等。

第5章首先介紹計(jì)算機(jī)輸入輸出系統(tǒng)的組成;然后對(duì)計(jì)算機(jī)輸入輸出的控制方式進(jìn)行詳細(xì)討論,包括程序控制方式、中斷控制方式、DMA控制方式和通道控制方式等;最后介紹計(jì)算機(jī)存儲(chǔ)設(shè)備――磁盤(pán)系統(tǒng)以及由磁盤(pán)陣列組成的RAID技術(shù)。

第6章首先講述計(jì)算機(jī)內(nèi)部各部件之間的總線互連結(jié)構(gòu),介紹總線的基本概念、總線的類(lèi)別和總線的控制方式等;然后列舉幾種現(xiàn)代微機(jī)中常用的總線標(biāo)準(zhǔn):ISA、PCI等;最后介紹幾種目前在計(jì)算機(jī)中常用的外部總線接口標(biāo)準(zhǔn):USB、IEEE 1394和SCSI等。

第7章首先介紹CPU的功能與組成;然后通過(guò)一個(gè)模型機(jī)的例子介紹CPU的指令周期及執(zhí)行指令的過(guò)程;最后介紹CPU控制部件設(shè)計(jì)的兩種主要方法:硬布線設(shè)計(jì)法和微程序設(shè)計(jì)法。

第8章首先介紹計(jì)算機(jī)系統(tǒng)的并行性概念,對(duì)計(jì)算機(jī)中使用的時(shí)間重疊、資源重復(fù)和資源共享等提高并行性的技術(shù)途徑進(jìn)行概要性的介紹;然后分別介紹現(xiàn)代計(jì)算機(jī)普遍采用的流水線技術(shù)和多處理機(jī)技術(shù)等并行處理技術(shù);最后對(duì)近些年發(fā)展起來(lái)且應(yīng)用非常廣泛的機(jī)群系統(tǒng)進(jìn)行討論。

2教材的主要特色

一門(mén)好的精品課程需要高質(zhì)量的教材作支撐,高質(zhì)量的教材既要全面覆蓋相關(guān)知識(shí)領(lǐng)域的內(nèi)容,又要將這些知識(shí)領(lǐng)域的內(nèi)容很好地融會(huì)貫通起來(lái),做到通俗易懂、循序漸進(jìn),既便于教師的教學(xué)使用,又便于學(xué)生的自學(xué)。結(jié)合計(jì)算機(jī)學(xué)科教育重基礎(chǔ)、重發(fā)展、重實(shí)踐、重創(chuàng)新的要求,本教材在編寫(xiě)上,一方面理論與實(shí)踐相結(jié)合,將枯燥理論知識(shí)的講解通過(guò)對(duì)實(shí)際機(jī)器系統(tǒng)的解剖,使學(xué)生能更好地理解和掌握所學(xué)習(xí)的內(nèi)容。例如,為了給學(xué)生建立整機(jī)的概念,本教材在第1章,通過(guò)將學(xué)生日常所熟悉的實(shí)際PC機(jī)與計(jì)算機(jī)的基本組成部件進(jìn)行比對(duì)的方式,使學(xué)生對(duì)計(jì)算機(jī)整機(jī)的組成有一個(gè)初步的認(rèn)識(shí),對(duì)組成計(jì)算機(jī)系統(tǒng)的主要部件的基本功能有一個(gè)初步的了解。另一方面,圍繞各章節(jié)的內(nèi)容,本教材穿插了一些“知識(shí)拓展”,介紹一些計(jì)算機(jī)系統(tǒng)方面相關(guān)知識(shí)以及計(jì)算機(jī)發(fā)展的新技術(shù)、新知識(shí)等。如在第1章穿插了知識(shí)拓展――摩爾定律、知識(shí)拓展――計(jì)算機(jī)的性能評(píng)測(cè),在第4章穿插了知識(shí)拓展――新型動(dòng)態(tài)存儲(chǔ)器SDRAM和DDR,在第7章穿插了知識(shí)拓展――網(wǎng)絡(luò)存儲(chǔ)系統(tǒng),在第7章穿插了知識(shí)拓展――CPU未來(lái)微結(jié)構(gòu)發(fā)展等等,為學(xué)生開(kāi)拓視野,增長(zhǎng)知識(shí)。

另外,為了幫助學(xué)生更好地學(xué)習(xí)本課程,專門(mén)建設(shè)了計(jì)算機(jī)組織與結(jié)構(gòu)課程教學(xué)網(wǎng)站。網(wǎng)站的課程介紹部分介紹了本課程的教學(xué)大綱、教學(xué)的組織和安排等;課程教學(xué)部分提供了按課堂教學(xué)單元進(jìn)行組織的教學(xué)內(nèi)容、重點(diǎn)難點(diǎn)等;教學(xué)資源部分為學(xué)生提供了本課程的教學(xué)課件和參考資料;學(xué)習(xí)討論部分提供了一個(gè)學(xué)生與教師以及學(xué)生與學(xué)生之間的交流平臺(tái)等。另外,教學(xué)管理部分還進(jìn)一步為教師提供了一個(gè)學(xué)生管理、作業(yè)管理、考試管理和成績(jī)管理等的平臺(tái),教師可以通過(guò)本課程網(wǎng)站更好地組織本課程的教學(xué)。本教材的課程教學(xué)網(wǎng)站地址為:218.64.56.33/coa。

第9篇:計(jì)算機(jī)并行處理技術(shù)范文

一.虛擬演播室技術(shù)與色鍵技術(shù)

    色鍵技術(shù)是電視節(jié)目制作中常用的技術(shù)。站在藍(lán)色幕布前面的演播室主持人由前景攝像機(jī)拍攝,在特技機(jī)的色鍵電路中,由主持人的畫(huà)面產(chǎn)生鍵信號(hào),在主持人畫(huà)面與背景畫(huà)面進(jìn)行疊加時(shí),由鍵信號(hào)挖去背景中藍(lán)色以外的畫(huà)面,而把主持人的圖像嵌插在背景畫(huà)面中,形成了主持人置身于背景畫(huà)面的圖像,這種技術(shù)俗稱為“摳像”,在普通的色鍵技術(shù)中,背景畫(huà)面往往是已經(jīng)錄制好的節(jié)目。

    虛擬演播室技術(shù)與色鍵技術(shù)十分相像,它也是由前景的主持人為主的畫(huà)面和背景畫(huà)面,采用色鍵的方法構(gòu)成一體,產(chǎn)生人物置身于背景的組合畫(huà)面。然而,在真正的虛擬演播室技術(shù)中,背景是由計(jì)算機(jī)產(chǎn)生的,計(jì)算機(jī)接受攝像機(jī)的控制,隨著攝像機(jī)的推拉搖移,改變俯仰角度,計(jì)算機(jī)相應(yīng)改變畫(huà)面的大小和角度,并且為了正確再現(xiàn)前景與背景的空間透視關(guān)系,還需對(duì)前景和背景實(shí)施空間鎖定, 這種空間鎖定是通過(guò)精確測(cè)定攝像機(jī)的所有定位參數(shù)(包括鏡頭調(diào)整參數(shù))來(lái)實(shí)現(xiàn)的。

二、虛擬演播室的原理

    虛擬演播室的原理如圖(1)所示,主持人一般是在呈“U”型或“L”型的藍(lán)箱里做著各種表演,實(shí)際的、或“真實(shí)”的前景攝像機(jī)對(duì)其進(jìn)行拍攝,背景圖像(畫(huà)面裝飾、道具和風(fēng)光布景)大都是三維立體圖,由制作人員預(yù)先用計(jì)算機(jī)生成(即預(yù)先著色好),前景與背景圖像在傳輸或錄制過(guò)程中混合。這種合成圖像的制作方式即被稱為“虛擬”。故此,這種圖像攝錄系統(tǒng)也被稱為“虛擬攝像機(jī)”,與傳統(tǒng)的藍(lán)幕色鍵技術(shù)截然不同的是,虛擬演播室技術(shù)中的真實(shí)攝像機(jī)(前景圖像)與虛擬攝像機(jī)(產(chǎn)生背景圖像)始終保持同步互鎖,為此,必須對(duì)真實(shí)攝像機(jī)的以下參數(shù)進(jìn)行確定:

(1)藍(lán)幕背景的X、Y、Z坐標(biāo)值。

(2)攝像機(jī)的俯仰、搖移以及可旋轉(zhuǎn)角度的數(shù)值。

(3)鏡頭的焦距和聚焦。

然后,真實(shí)攝像機(jī)的所有上述參數(shù)都送入計(jì)算機(jī)分析,系統(tǒng)對(duì)與前景圖像相關(guān)的虛擬背景圖像發(fā)出控制指令。最后,錄有表演者和真實(shí)道具的前景圖像與計(jì)算機(jī)生成的背景圖像在色鍵控制器里合成為一幅畫(huà)面,傳送至視頻切換臺(tái)輸出。

    由此可見(jiàn),虛擬演播室系統(tǒng)可分解為三個(gè)部分:攝像機(jī)跟蹤部分、計(jì)算機(jī)虛擬場(chǎng)景生成部分及視頻合成部分。

1.攝像機(jī)跟蹤部分。

    攝像機(jī)在拍攝過(guò)程中有平移X、縱移Y、高度移Z、水平角、俯仰角、鏡頭變焦Z00M,聚焦FOCUS等變化,這些參數(shù)的改變會(huì)引起所攝圖像視野與視角的改變,為了模擬人物所在的三維環(huán)境,計(jì)算機(jī)必須根據(jù)這些參數(shù)不斷調(diào)整三維視圖。而攝像機(jī)跟蹤部分的作用正是收取攝像機(jī)的位置信息和運(yùn)動(dòng)數(shù)據(jù),實(shí)時(shí)的跟蹤真實(shí)攝像機(jī),以保證前景與計(jì)算機(jī)背景“聯(lián)動(dòng)”。由于這種“聯(lián)動(dòng)”是以高速計(jì)算機(jī)運(yùn)算的結(jié)果,而這種運(yùn)算永遠(yuǎn)是存在著一個(gè)運(yùn)算時(shí)間,所以這種“聯(lián)動(dòng)”是有時(shí)間差的。只是設(shè)計(jì)者保證使這種時(shí)間差在一個(gè)人眼不易察覺(jué)的范圍之內(nèi),因此要求前景攝象機(jī)只能在一個(gè)有限的速率內(nèi)改變位置參數(shù)。 目前虛擬演播室的攝像機(jī)跟蹤系統(tǒng)主要有以下幾種方式。

     (1) 基于傳感器的系統(tǒng)。 該系統(tǒng)通過(guò)安裝在攝像機(jī)各部分的機(jī)械傳感器來(lái)獲取各種信號(hào)參數(shù), 平面X、Y位移傳感器,一般有光電式、機(jī)械式和導(dǎo)軌式等幾種,光電式屬非接觸型,誤碼率低,連續(xù)性好,且攝像機(jī)移動(dòng)不受限制,但必須在攝像機(jī)移動(dòng)通道地面畫(huà)上格點(diǎn),以便識(shí)別。機(jī)械式屬接觸型,由一個(gè)與地面相摩擦的圓球帶動(dòng)水平、垂直兩個(gè)方向的光電碼盤(pán),光電碼盤(pán)送出X、Y數(shù)據(jù),此方式攝像機(jī)移動(dòng)也不受限制,但使用時(shí)間長(zhǎng)了易產(chǎn)生誤差。導(dǎo)軌式誤碼率低,且必須鋪設(shè)軌道,使攝像機(jī)的移運(yùn)受到一定的限制。 高度位移Z傳感器,一般安裝在升降機(jī)上,隨升降機(jī)的運(yùn)動(dòng)檢測(cè)Z信號(hào)。 水平角度和俯仰角度傳感器安裝在攝像機(jī)云臺(tái)上,并分別與云臺(tái)的水平轉(zhuǎn)軸和垂直轉(zhuǎn)軸連動(dòng)。 聚焦Focus和變焦Z00M傳感器,則附于鏡頭的聚焦齒輪和變焦齒輪處。 該系統(tǒng)速度很快,方法較為簡(jiǎn)便直接,是目前虛擬演播室最常用的攝像機(jī) 跟蹤方式,但該方式有其固有的缺點(diǎn),比如得到的攝像機(jī)參數(shù)精度不高,限制了攝像機(jī)的運(yùn)動(dòng),系統(tǒng)的標(biāo)定很麻煩等等。

    (2)基于圖形分析系統(tǒng) 該方式需要把一個(gè)精確的網(wǎng)絡(luò)圖案以兩種不同的藍(lán)色形狀繪制于藍(lán)背景上,通過(guò)攝像機(jī)識(shí)別這種圖案并與計(jì)算機(jī)跟蹤軟件及硬件,預(yù)先確定的模型進(jìn)行對(duì)比,以確定物體與虛擬背景的透視關(guān)系及距離。 該系統(tǒng)精度較高,無(wú)需鏡頭校準(zhǔn),同時(shí)攝像機(jī)可以不同軌道進(jìn)行運(yùn)動(dòng),但該系統(tǒng)在對(duì)藍(lán)色網(wǎng)格圖案制作色鍵過(guò)程中的陰影很難處理,很難保持良好的鍵的質(zhì)量,攝像機(jī)拍攝不能垂直于藍(lán)色網(wǎng)格圖案,必須偏離30度角以上,否則不能準(zhǔn)確定位,而且攝像機(jī)必須同時(shí)觀察4個(gè)網(wǎng)格點(diǎn)以保持跟蹤,這就不可能對(duì)人物進(jìn)行特寫(xiě)鏡頭的拍攝,攝像機(jī)必須緩慢移動(dòng)以避免跟蹤混淆引起跳幀。還有一點(diǎn),此系統(tǒng)需要額外的工作站把網(wǎng)格坐標(biāo)信息轉(zhuǎn)換為搖移,俯仰及變焦坐標(biāo)信息供圖形計(jì)算機(jī)使用,這樣圖案辨識(shí)的延時(shí)有時(shí)高達(dá)8至12幀。鑒于上述須待解決的若干問(wèn)題,網(wǎng)格識(shí)別方案在目前的虛擬演播室系統(tǒng)中使用的不多。

2.計(jì)算機(jī)虛擬場(chǎng)景生成部分

    虛擬演播室的場(chǎng)景是計(jì)算機(jī)繪制的圖形,計(jì)算機(jī)繪圖有二維和三維之分,因而虛擬場(chǎng)景也有二維和三維之分,二維場(chǎng)景沒(méi)有厚度,只是一個(gè)平面圖形,所以二維虛擬場(chǎng)景只能作為背景平面,出現(xiàn)在真實(shí)人物的后面,而三維虛擬場(chǎng)景中的景物具有Z方向的厚度,是立體的,以背景中的一個(gè)長(zhǎng)方體為例,長(zhǎng)方體是一種六面體,其底面和背面一般是看不見(jiàn)的。然而隨拍攝角度的不同,有可能看見(jiàn)其正面,側(cè)面和頂面。在計(jì)算機(jī)中應(yīng)保存其正面、側(cè)面和頂面的圖像,實(shí)際上,在計(jì)算機(jī)內(nèi),其正面、側(cè)面和頂面的圖像都分解為像素的形式,保存在存儲(chǔ)器中,當(dāng)攝像機(jī)處于任意的角度位置時(shí),計(jì)算機(jī)即進(jìn)行計(jì)算,獲得相應(yīng)的畫(huà)面。同時(shí),三維的場(chǎng)景中,虛擬景物既能作為真實(shí)人物的前景出現(xiàn),也能作為背景出現(xiàn)如圖(2)所示: 并且真實(shí)人物還能?chē)@虛擬景物運(yùn)動(dòng)如圖(3)所示:

    這樣在視覺(jué)效果上更具縱深感,更加真實(shí)。顯然對(duì)于計(jì)算機(jī)的運(yùn)算能力、運(yùn)算速度提出了很高的要求。當(dāng)然還必然進(jìn)一步考慮許多細(xì)節(jié)問(wèn)題,比如燈光和陰影的問(wèn)題,當(dāng)攝像機(jī)改變其取向位置時(shí),根據(jù)照明條件,陰影部分將發(fā)生相應(yīng)的變化,背景畫(huà)面應(yīng)該能夠反映出這種變化。

3.視頻合成部分

    虛擬演播室系統(tǒng)視頻合成的基本技術(shù)是色鍵器摳像,攝像機(jī)拍攝的藍(lán)幕布前的真實(shí)景物:通過(guò)色鍵器進(jìn)行摳像處理,與計(jì)算機(jī)生成的虛擬場(chǎng)景合成一個(gè)畫(huà)面。

(1)深度合成技術(shù)

虛擬演播室的一個(gè)基礎(chǔ)就是前景和背景合成的時(shí)候,前景的演員可以被背景的內(nèi)容覆蓋,為了做到這一點(diǎn),一般都采用深度合成技術(shù)。所謂深度就是前后關(guān)系,這一種技術(shù)要考慮兩路鍵信號(hào)的深度信息,就可以讓背景的內(nèi)容在演員前面。這不同于二維圖像的層技術(shù)。因?yàn)槭侨S圖像的各像素都帶有深度信息,而且各像素還有與攝像機(jī)的距離的信息,由這兩部分的信息決定前景和背景的像素的可見(jiàn)性。在實(shí)時(shí)生成的時(shí)候,高性能的終端通常使用一個(gè)深度緩沖區(qū)來(lái)貯存像素的深度值,但是在常規(guī)演播室里面,實(shí)際信號(hào)是沒(méi)有深度信息的。而且也沒(méi)有一個(gè)方法能夠?qū)崟r(shí)的賦予前景信號(hào)以深度信息,可以采用一個(gè)估計(jì)值,即估計(jì)攝像機(jī)與演員之間的距離,前景信號(hào)通過(guò)色鍵摳像得到演員部分的信號(hào),先與背景作常規(guī)意義上的合成,得到色鍵序列值,這一部分確定了前景在背景中的位置,再由深度值來(lái)進(jìn)行前后關(guān)系的調(diào)整,最后輸出的深度鍵值序列就確定了前景和背景的可見(jiàn)性,能夠按常規(guī)方法合成。

(2)同步技術(shù)

 要使前景和背景天衣無(wú)縫的合成,既要讓兩個(gè)攝像機(jī)的參數(shù)保持一致,還要讓兩個(gè)攝像機(jī)同步,因?yàn)楫?dāng)進(jìn)行實(shí)時(shí)合成時(shí),前景信號(hào)的每一幀是與背景信號(hào)的對(duì)應(yīng)幀合成。背景信號(hào)因?yàn)閿z像機(jī)跟蹤系統(tǒng)和實(shí)時(shí)生成都要耗費(fèi)時(shí)間,所以要讓前景信號(hào)延時(shí)來(lái)保證與背景信號(hào)的同步合成。

三、系統(tǒng)的實(shí)現(xiàn)

  從上面的原理分析可以發(fā)現(xiàn),虛擬演播室每生成一幀圖像,就要處理相當(dāng)多的數(shù)據(jù),在實(shí)拍時(shí)還要求處理速度,達(dá)到實(shí)時(shí)的電視速率,即一秒鐘就有25幀圖像,如果按常規(guī)的處理方法,一切由計(jì)算機(jī)串行處理,是絕對(duì)不可能完成的,這就對(duì)虛擬演播室的軟硬件設(shè)計(jì)提出了較高的要求:

1.硬件工作平臺(tái)

  為了使虛擬背景畫(huà)面與攝像機(jī)攝取的前景畫(huà)面相配合,系統(tǒng)至少要工作在配置有視頻處理板的SGI高性能工作站,同時(shí)為了完成實(shí)時(shí)的圖像序列生成,必須把這個(gè)任務(wù)按處理內(nèi)容分類(lèi)進(jìn)行并行處理;實(shí)時(shí)的完成攝像機(jī)跟蹤運(yùn)算,完成人工背景和實(shí)際信號(hào)深度,支持三維自動(dòng)建摸的多重處理,對(duì)于預(yù)處理結(jié)果的描述和圖像處理的工作,每一個(gè)任務(wù)要有一個(gè)專門(mén)的硬件來(lái)完成。

2.軟件系統(tǒng)

  軟件系統(tǒng)設(shè)計(jì)的思想是根據(jù)硬件的并行處理的特點(diǎn),一般采用自適應(yīng)并行處理的計(jì)算。這個(gè)處理在實(shí)際上就是由一系列的處理器組成的服務(wù)器盒,這個(gè)服務(wù)器盒能完成虛擬演播室所需的各種處理,另外,自適應(yīng)并行處理模式將運(yùn)行和編程分開(kāi)。不需要在編寫(xiě)程序時(shí)作并行處理的考慮,因此該種設(shè)計(jì)方法,因?yàn)樘幚韱?wèn)題較為靈活而成為虛擬演播室軟件設(shè)計(jì)思想的主流。

四、虛擬演播室的現(xiàn)狀與未來(lái)

    自從1994年第一套虛擬演播室在國(guó)際廣播電視會(huì)議上展示以來(lái),世界上有很多廠家推出了自己的虛擬演播室系列,但主要的有四個(gè)廠家即:

(1)以色列的ORAD公司以其獨(dú)有的模式識(shí)別技術(shù)和圖像處理技術(shù)開(kāi)發(fā)出高性能Cyberset O及入門(mén)級(jí)Cyberset Et系列產(chǎn)品。

(2)離散邏輯公司的Vapour是采用高性能終端,全功能的實(shí)時(shí)虛擬演播室系統(tǒng)。

(3)E S公司的Mindset是基于NT平臺(tái),采用Orad公司的攝像機(jī)跟蹤系統(tǒng),能夠接多個(gè)攝像機(jī)。

(4)RTSET公司的Larus Otus采用傳感器跟蹤技術(shù),速度快,提供了靈活的合成能力。

  另外還有ACCOM的ELSET自動(dòng)生成特征,讓用戶能很方便的根據(jù)自己的意愿來(lái)建模和燈光設(shè)計(jì);Digmedia的Brainstorm Estuio產(chǎn)品是采用模式識(shí)別方法定出攝像機(jī)的參數(shù),在建模上功能比較強(qiáng);For-A的Didi Wmp采用了Orad公司的視頻處理和延時(shí)設(shè)備,采用多通道結(jié)構(gòu),能實(shí)時(shí)處理等。

  因?yàn)楦咝阅墚a(chǎn)品整套系統(tǒng)的價(jià)格比較高,難以普及,所以各廠家又推出了入門(mén)級(jí)產(chǎn)品,如Orad的Cyberset E以滿足眾多的電視臺(tái)和影視制作單位,采用性能較低的終端如:SGIO2采用WINDOWS NT作為平臺(tái),進(jìn)行非實(shí)時(shí)的圖像合成,系統(tǒng)采用開(kāi)放式結(jié)構(gòu)可以擴(kuò)充到高性能的實(shí)時(shí)系統(tǒng)。

  就目前情況看,虛擬演播室相對(duì)于傳統(tǒng)演播室的優(yōu)勢(shì)是不言而喻的,但就其未來(lái)的發(fā)展,虛擬演播室還需要解決其自身的若干缺限:

·藍(lán)景區(qū)中主持人及演員的活動(dòng)范圍及定位。

·為抑制噪聲邊緣需要在實(shí)施鍵控時(shí)格外小心。

·普遍使用的槽置單調(diào)光、柔光。

·演員投在虛擬地面、墻面和人工景物上真實(shí)陰影的保存。

·自動(dòng)Z鍵(深度信息)控制。

·前后景的同步及延時(shí)控制。