大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的運(yùn)用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的運(yùn)用范文，希望能給你帶來靈感和參考，敬請(qǐng)閱讀。

1引言

在當(dāng)前社會(huì)經(jīng)濟(jì)不斷進(jìn)步、大數(shù)據(jù)不斷發(fā)展的時(shí)代背景下，許多過去難以表達(dá)的信息都可以運(yùn)用數(shù)據(jù)的形式來表現(xiàn)和存儲(chǔ)下來。在大數(shù)據(jù)時(shí)代進(jìn)入到一個(gè)數(shù)據(jù)處理和快速發(fā)展的階段之后，我們更是能夠運(yùn)用計(jì)算機(jī)信息技術(shù)來預(yù)測(cè)事物的發(fā)展，在這種環(huán)境下，人們的知識(shí)層次、價(jià)值體系和平時(shí)日常的行為方式便會(huì)受到了很大的影響。在當(dāng)前，一些還沒有被發(fā)掘的數(shù)據(jù)，其潛力價(jià)值能否被發(fā)現(xiàn)和使用，深化改革大環(huán)境下的經(jīng)濟(jì)、交通、環(huán)保等領(lǐng)域的改革是否可以順利實(shí)現(xiàn)，都是由能不能認(rèn)識(shí)到大數(shù)據(jù)及其潛在功能和價(jià)值所決定的。

2大數(shù)據(jù)

2.1大數(shù)據(jù)的定義及其主要特征

在業(yè)內(nèi)，大數(shù)據(jù)和其他新興學(xué)科一樣還沒有一個(gè)統(tǒng)一的定義和界定標(biāo)準(zhǔn)。一般情況下認(rèn)為：大數(shù)據(jù)是由一些異構(gòu)數(shù)據(jù)所組成的集合，能夠運(yùn)用較為方便合理的算法及工具從中找出有價(jià)值的信息，并為人類帶來社會(huì)和經(jīng)濟(jì)效益。它又被稱為海量數(shù)據(jù)、大資料，這指的是其波及的數(shù)據(jù)量范圍廣大，以至于在合理時(shí)間內(nèi)根本就沒有辦法通過人工獲取、管理等方式整合成為人類所能明晰、解讀的信息。這些數(shù)據(jù)來源廣泛，比如監(jiān)控視頻、網(wǎng)上交易記錄等。盡管還沒有一個(gè)統(tǒng)一規(guī)范的定義，但大量的這些數(shù)據(jù)都被稱為大數(shù)據(jù)。大數(shù)據(jù)具有如下四個(gè)特性：①數(shù)據(jù)發(fā)展速度和處理速度要求快；②大數(shù)據(jù)的多樣性，其數(shù)據(jù)來源豐富，格式又包括有多種不同的表現(xiàn)形式，如聲音、視頻、圖片等；③數(shù)據(jù)的存儲(chǔ)和計(jì)算量比較大；④大數(shù)據(jù)的信息巨大導(dǎo)致其價(jià)值密度相對(duì)較低，因此要想真正的找到有價(jià)值的數(shù)據(jù)難度較大。

2.2大數(shù)據(jù)時(shí)代下的思維變革

①在利用大數(shù)據(jù)去解決一些特殊的問題時(shí)，能夠處理更多的信息而不再依賴簡(jiǎn)單的隨機(jī)采樣。②為了分析處理更多的問題，需要對(duì)數(shù)據(jù)泛化，因?yàn)樵诖髷?shù)據(jù)的簡(jiǎn)單算法之下有可能比先前復(fù)雜的算法更加方便有效。③大數(shù)據(jù)的背景下，人們更加聚焦于事物之間的相關(guān)關(guān)系而不是其因果關(guān)系。

2.3MapReduce框架

MapReduce是谷歌推出的一種計(jì)算編程模型，其主要目的是對(duì)龐大的數(shù)據(jù)進(jìn)行并行處理。因此，MapReduce就把數(shù)據(jù)并行處理的任務(wù)分解成MAP和REDUCE這兩個(gè)核心操作，這種設(shè)計(jì)理念在一定程度上受到一些編程語言如高階函數(shù)的影響。

3大數(shù)據(jù)處理的關(guān)鍵技術(shù)

3.1數(shù)據(jù)備份技術(shù)

大數(shù)據(jù)時(shí)代背景下，數(shù)據(jù)的安全備份工作非常重要。安全備份是數(shù)據(jù)容災(zāi)的基礎(chǔ)和前提，是為了預(yù)防偶然情況而采取的一種安全保護(hù)手段，備份的核心工作是恢復(fù)數(shù)據(jù)，根本目的是數(shù)據(jù)的再利用。它具體指的是如果出現(xiàn)一些突發(fā)情況從而致使存儲(chǔ)在系統(tǒng)中的數(shù)據(jù)、文件等丟失或者說損壞的時(shí)候，系統(tǒng)能夠準(zhǔn)確而迅速的將數(shù)據(jù)進(jìn)行恢復(fù)。

3.2云計(jì)算技術(shù)

假如把形式多樣的大數(shù)據(jù)比作在高速公路上運(yùn)行的各種汽車，那么這條高速公路就是云計(jì)算，云計(jì)算是大數(shù)據(jù)技術(shù)的核心內(nèi)容。正是基于云計(jì)算在海量信息儲(chǔ)存、分析以及應(yīng)用管理等方面的支持，大數(shù)據(jù)才能夠在社會(huì)中廣泛應(yīng)用。谷歌的各種大數(shù)據(jù)信息技術(shù)和應(yīng)用平臺(tái)就是在云計(jì)算的基礎(chǔ)上建立起來的，而其中最為典型的就是以MapReduce（批處理技術(shù)）、UFS（UIT云存儲(chǔ)系統(tǒng)）、BigTable（分布式數(shù)據(jù)庫(kù)）為代表的大數(shù)據(jù)以及在此基礎(chǔ)上建立的數(shù)據(jù)處理平臺(tái)。

3.3Hadoop

在大數(shù)據(jù)時(shí)代背景下，人們對(duì)數(shù)據(jù)的分析、應(yīng)用和管理都提出了更高的要求，傳統(tǒng)的數(shù)據(jù)處理技術(shù)與關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)不能滿足時(shí)代的發(fā)展要求。為了能夠給大數(shù)據(jù)的分析處理提供一個(gè)更高、更好、更可靠的平臺(tái)，Apache基金會(huì)研發(fā)了一個(gè)開源平臺(tái)Hadoop，這個(gè)平臺(tái)用Java語言編寫，已經(jīng)發(fā)展成為一個(gè)包括HBase（分布式數(shù)據(jù)庫(kù)）和HDFS（分布式文件系統(tǒng)）等功能在內(nèi)的完整系統(tǒng)，成為當(dāng)下相對(duì)主流的大數(shù)據(jù)應(yīng)用平臺(tái)。

4大數(shù)據(jù)技術(shù)應(yīng)用所帶來的信息系統(tǒng)的安全隱患以及應(yīng)對(duì)策略

大數(shù)據(jù)之下，海量的信息數(shù)據(jù)一般都存儲(chǔ)在一些分布式的網(wǎng)絡(luò)節(jié)點(diǎn)當(dāng)中，管理相對(duì)混亂和分散，而且系統(tǒng)也沒有辦法獨(dú)立掌控用戶交易數(shù)據(jù)的場(chǎng)所，因此很難分辨用戶是否具有合法的身份標(biāo)識(shí)，這就非常容易致使一些不法客戶肆意竊取、篡改他人信息；另外，大數(shù)據(jù)存儲(chǔ)系統(tǒng)中含有大量的個(gè)人隱私信息及各種數(shù)據(jù)記錄，在大數(shù)據(jù)信息的挖掘利用中，怎樣能夠確定一個(gè)信息的開放和保護(hù)尺度，是當(dāng)前大數(shù)據(jù)發(fā)展過程中面臨的又一難題。為了充分合理的利用大數(shù)據(jù)并對(duì)一些風(fēng)險(xiǎn)進(jìn)行預(yù)防，在此，我們特提出以下四點(diǎn)建議：①建立健全相關(guān)政策，國(guó)家需要加強(qiáng)頂層設(shè)計(jì)，有力的確保數(shù)據(jù)儲(chǔ)存安全；②積極探索相關(guān)技術(shù)，加強(qiáng)對(duì)個(gè)人安全隱私信息的保護(hù)力度；③增強(qiáng)計(jì)算機(jī)防火墻的安全防護(hù)能力，有效抵御網(wǎng)絡(luò)黑客，確保網(wǎng)絡(luò)環(huán)境安全；④深化云計(jì)算安全領(lǐng)域改革，充分適應(yīng)信息化的發(fā)展要求，確保云端數(shù)據(jù)安全。

5案例分析-對(duì)A公司大數(shù)據(jù)及其信息管理系統(tǒng)的研究

A公司實(shí)施信息化已有多年，每年在信息化方面，都會(huì)投入了大量的人力和物力，并已搭建了公司的局域網(wǎng)和廣域網(wǎng)。不過，由于在初期的信息化建設(shè)中，公司是以服務(wù)支持軟件應(yīng)用為主，還沒有站在一個(gè)更高的角度來開展信息化工作，因此也就沒有真正實(shí)現(xiàn)大數(shù)據(jù)的應(yīng)用，更沒有制定較為系統(tǒng)的信息化規(guī)劃，各信息及系統(tǒng)沒有集成，信息孤島現(xiàn)象嚴(yán)重，具體表現(xiàn)為系統(tǒng)中的業(yè)務(wù)流程尤其是在工程、營(yíng)銷、生產(chǎn)和財(cái)務(wù)等環(huán)節(jié)存在嚴(yán)重的斷層現(xiàn)象。此外，由于標(biāo)準(zhǔn)不一，系統(tǒng)沒有整合、較為分散，這就給系統(tǒng)的集成帶來了很大的困難，信息不能共享；數(shù)據(jù)也缺乏標(biāo)準(zhǔn)化，無論是自行開發(fā)，還是從國(guó)外市場(chǎng)上買來的即時(shí)軟件，一般都不注意數(shù)據(jù)的標(biāo)準(zhǔn)化，或數(shù)據(jù)標(biāo)準(zhǔn)自成一體，應(yīng)用項(xiàng)目上得越多，數(shù)據(jù)的不一致性就越嚴(yán)重；系統(tǒng)開發(fā)沒有標(biāo)準(zhǔn)化，A公司在建設(shè)信息系統(tǒng)的過程中沒有使用相對(duì)一致的開發(fā)、應(yīng)用平臺(tái)及工具，不利于降低系統(tǒng)維護(hù)成本、技術(shù)人員培訓(xùn)成本等。為了克服這種現(xiàn)象，A公司認(rèn)識(shí)到，要解決這些問題必須對(duì)系統(tǒng)進(jìn)行集成，并建立健全信息化建設(shè)的統(tǒng)一標(biāo)準(zhǔn)。為此，A從公司的戰(zhàn)略入手，結(jié)合公司的業(yè)務(wù)發(fā)展?fàn)顩r，深入分析了企業(yè)發(fā)展對(duì)大數(shù)據(jù)信息化建設(shè)的需求。而要配合好這些行動(dòng)，首先要做的就是建立客戶關(guān)系管理系統(tǒng)，記錄客戶信息，使公司擁有一個(gè)全面的客戶信息資源庫(kù)，包括客戶的基本信息、交易記錄等。其次，通過分析，A公司對(duì)所要應(yīng)用的每一套信息數(shù)據(jù)系統(tǒng)都提出了詳細(xì)的業(yè)務(wù)需求，通過對(duì)比國(guó)內(nèi)外相關(guān)的信息系統(tǒng)，在綜合考慮需求滿足程度及成本等因素下，該公司選擇了一套國(guó)外的成熟軟件產(chǎn)品進(jìn)行分步實(shí)施。再次，A公司通過對(duì)業(yè)務(wù)流程的分析，從業(yè)務(wù)的角度提出了企業(yè)的信息流程，明確了系統(tǒng)間所需要的的集成關(guān)系。為了較好的整合現(xiàn)有及未來的系統(tǒng)，實(shí)現(xiàn)信息的集成、共享與流轉(zhuǎn)，減少手工的干預(yù)，A公司提出了信息技術(shù)架構(gòu)及其整合方案，包括應(yīng)用系統(tǒng)的組成與結(jié)構(gòu)、信息模型、信息和數(shù)據(jù)在應(yīng)用系統(tǒng)之間的分布與流向、信息技術(shù)標(biāo)準(zhǔn)和規(guī)范等。同時(shí)，該公司還分析了目前在市場(chǎng)上較為主流的系統(tǒng)集成的技術(shù)和產(chǎn)品，在盡量確?，F(xiàn)有投資，同時(shí)又兼顧未來系統(tǒng)方便集成的原則指導(dǎo)下，該公司選擇了最合適的產(chǎn)品和技術(shù)對(duì)現(xiàn)有的系統(tǒng)進(jìn)行分步整合。最后，A公司認(rèn)為，對(duì)信息化的規(guī)劃建設(shè)來說還有一個(gè)十分重要的問題，即大數(shù)據(jù)在信息系統(tǒng)中的實(shí)施及資源配置計(jì)劃。只有明確了信息系統(tǒng)建設(shè)的時(shí)間表和優(yōu)先順序，才能更好地指導(dǎo)信息系統(tǒng)的實(shí)施。因此，A公司在綜合分析了公司的未來戰(zhàn)略、發(fā)展方向、業(yè)務(wù)及系統(tǒng)現(xiàn)狀后，提出了大數(shù)據(jù)信息系統(tǒng)實(shí)施計(jì)劃。在該實(shí)施計(jì)劃中，不僅安排了實(shí)施的時(shí)間表，還給出了系統(tǒng)實(shí)施的大概預(yù)算及主要的產(chǎn)品供應(yīng)商，同時(shí)提出系統(tǒng)實(shí)施需要注意的主要問題等，為以后幾年的信息數(shù)據(jù)化網(wǎng)絡(luò)建設(shè)提供了一個(gè)很好的依據(jù)和參考。

6結(jié)束語

總而言之，在當(dāng)今信息知識(shí)跳躍式發(fā)展的今天，大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用于經(jīng)濟(jì)金融、醫(yī)療、工業(yè)等領(lǐng)域。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，相關(guān)信息行業(yè)競(jìng)相從規(guī)模龐大、結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)海洋中攫取更多有價(jià)值的數(shù)據(jù)信息用于分析、解決現(xiàn)實(shí)生活中的一些實(shí)際問題。由于大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的運(yùn)用，這就使得計(jì)算機(jī)信息系統(tǒng)得到了快速的發(fā)展，在今后，大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的作用將會(huì)越來越重要。

作者：崔海帆 單位：廣東南方通信建設(shè)有限公司