大數(shù)據(jù)分析方案精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的大數(shù)據(jù)分析方案主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞：大壩 安全監(jiān)測(cè) 數(shù)據(jù) 分析

中圖分類(lèi)號(hào)：P2 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2012）12（b）-0053-02

1 大壩安全監(jiān)測(cè)的意義

大壩所具有的潛在安全問(wèn)題既是一個(gè)復(fù)雜的技術(shù)問(wèn)題，也是一個(gè)日益突出的公共安全問(wèn)題，因此，我國(guó)對(duì)大壩安全越來(lái)越重視。隨著壩工理論和技術(shù)的不斷發(fā)展與完善，為了更好地實(shí)現(xiàn)水資源的進(jìn)一步開(kāi)發(fā)利用，我國(guó)的大壩建設(shè)正向著更高更大方向發(fā)展，如三峽重力壩、小灣拱壩（最大壩高294.5 m）、拉西瓦拱壩（最大壩高250 m）、溪洛渡拱壩（最大壩高285.5 m）等，這些工程的建設(shè)將為我國(guó)的經(jīng)濟(jì)發(fā)展做出巨大貢獻(xiàn)，也將推動(dòng)我國(guó)的壩工理論和技術(shù)水平上升到一個(gè)新的高度。但是，這些工程一旦失事，將是不可想象的毀滅性災(zāi)難，因此，大壩安全問(wèn)題就顯得日益突出和重要。保證大壩安全的措施可分為工程措施和非工程措施兩種，兩者相互依存，缺一不可。

回顧大壩安全監(jiān)測(cè)的發(fā)展歷史，最早可追溯到19世紀(jì)90年代，1891年德國(guó)的挨施巴赫重力壩開(kāi)展了大壩位移觀(guān)測(cè)，隨后于1903年美國(guó)新澤西州Boont。n重力壩開(kāi)展了溫度觀(guān)測(cè)，1908年澳大利亞新南威爾士州巴倫杰克溪薄拱壩開(kāi)展了變形觀(guān)測(cè)，1925年美國(guó)愛(ài)達(dá)荷州亞美尼加一佛爾茲壩開(kāi)展了揚(yáng)壓力觀(guān)測(cè)，1826年美國(guó)墾務(wù)局在Stevenson一creek試驗(yàn)拱壩上開(kāi)展了應(yīng)力及應(yīng)變觀(guān)測(cè)，這是最早開(kāi)展安全監(jiān)測(cè)的幾個(gè)實(shí)例。我國(guó)從20世紀(jì)50年代開(kāi)始進(jìn)行安全監(jiān)測(cè)工作，大壩安全監(jiān)測(cè)的作用是逐漸被人們認(rèn)識(shí)的，趙志仁將大壩安全監(jiān)測(cè)的發(fā)展歷程劃分為以下3個(gè)階段。

（1）1891年至1964年，原型觀(guān)測(cè)階段，原型觀(guān)測(cè)的主要目的是研究大壩設(shè)計(jì)計(jì)算方法，檢驗(yàn)設(shè)計(jì)，改進(jìn)壩工理論。（2）1964年至1985年，由原型觀(guān)測(cè)向安全監(jiān)測(cè)的過(guò)度階段，接連發(fā)生的大壩失事，讓人們逐漸認(rèn)識(shí)到大壩安全的重要性，逐步把保證大壩安全運(yùn)行作為主要目的。（3）1985年至今，安全監(jiān)測(cè)階段，此階段，大壩安全監(jiān)測(cè)已經(jīng)成為人們的共識(shí)，隨著監(jiān)測(cè)儀器、監(jiān)測(cè)技術(shù)和資料分析方法的不斷進(jìn)步、發(fā)展與完善，將逐步實(shí)現(xiàn)大壩的安全監(jiān)控。

2 大壩安全監(jiān)測(cè)數(shù)據(jù)分析概述

大壩安全監(jiān)測(cè)取得的大量數(shù)據(jù)為評(píng)價(jià)大壩運(yùn)行狀態(tài)提供了基礎(chǔ)，但是，原始觀(guān)測(cè)數(shù)據(jù)往往不能直觀(guān)清晰地展示大壩性態(tài)，需要對(duì)觀(guān)測(cè)數(shù)據(jù)進(jìn)行分辨、解析、提煉和概括，從繁多的觀(guān)測(cè)資料中找出關(guān)鍵問(wèn)題，深刻地揭示規(guī)律并作出判斷，這就需要進(jìn)行監(jiān)測(cè)數(shù)據(jù)分析。

2.1 監(jiān)測(cè)數(shù)據(jù)分析的意義

大壩監(jiān)測(cè)數(shù)據(jù)分析可以從原始數(shù)據(jù)中提取包含的信息，為大壩的建設(shè)和運(yùn)行管理提供有價(jià)值的科學(xué)依據(jù)。大量工程實(shí)踐表明：大壩監(jiān)測(cè)數(shù)據(jù)中蘊(yùn)藏了豐富的反映壩體結(jié)構(gòu)性態(tài)的信息，做好觀(guān)測(cè)資料分析工作既有工程應(yīng)用價(jià)值又有科學(xué)研究意義。大壩安全監(jiān)測(cè)數(shù)據(jù)分析的意義表現(xiàn)在如下幾方面：（1）原始觀(guān)測(cè)數(shù)據(jù)本身既包含著大壩實(shí)際運(yùn)行狀態(tài)的信息，又帶有觀(guān)測(cè)誤差及外界隨機(jī)因素所造成的干擾。必須經(jīng)過(guò)誤差分析及干擾辨析，才能揭示出真實(shí)的信息。（2）觀(guān)測(cè)值是影響壩體狀態(tài)的多種內(nèi)外因素交織在一起的綜合效應(yīng)，也必須對(duì)測(cè)值作分解和剖析，將影響因素加以分解，找出主要因素及各個(gè)因素的影響程度。（3）只有將多測(cè)點(diǎn)的多測(cè)次的多種觀(guān)測(cè)量放在一起綜合考察，相互補(bǔ)充和驗(yàn)證，才能全面了解測(cè)值在空間分布上和時(shí)間發(fā)展上的相互聯(lián)系，了解大壩的變化過(guò)程和發(fā)展趨勢(shì)，發(fā)現(xiàn)變動(dòng)特殊的部位和薄弱環(huán)節(jié)。（4）為了對(duì)大壩監(jiān)測(cè)數(shù)據(jù)作出合理的物理解釋?zhuān)瑸榱祟A(yù)測(cè)大壩未來(lái)的變化趨勢(shì)，也都離不開(kāi)監(jiān)測(cè)數(shù)據(jù)分析工作。因此，大壩監(jiān)測(cè)資料分析是實(shí)現(xiàn)大壩安全監(jiān)測(cè)最終目的的一個(gè)重要環(huán)節(jié)。

2.2 監(jiān)測(cè)數(shù)據(jù)分析的內(nèi)容

監(jiān)測(cè)資料分析的內(nèi)容通常包括：認(rèn)識(shí)規(guī)律、查找問(wèn)題、預(yù)測(cè)變化、判斷安全。

（1）認(rèn)識(shí)規(guī)律：分析測(cè)值的發(fā)展過(guò)程以了解其隨時(shí)間而變化的情況，如周期性、趨勢(shì)、變化類(lèi)型、發(fā)展速度、變動(dòng)幅度等；分析測(cè)值的空間分布以了解它在不同部位的特點(diǎn)和差異，掌握它的分布特點(diǎn)及代表性測(cè)點(diǎn)的位置；分析測(cè)值的影響因素以了解各種外界條件及內(nèi)部因素對(duì)所測(cè)物理量的作用程度、主次關(guān)系。通過(guò)這些分析，掌握壩的運(yùn)行狀況，認(rèn)識(shí)壩的各個(gè)部位上各種測(cè)值的變化規(guī)律。（2）查找問(wèn)題：對(duì)監(jiān)測(cè)變量在發(fā)展過(guò)程和分布關(guān)系上發(fā)現(xiàn)的特殊或突出測(cè)值，聯(lián)系荷載條件及結(jié)構(gòu)因素進(jìn)行考查，了解其是否符合正常變化規(guī)律或是否在正常變化范圍之內(nèi)，分析原因，找出問(wèn)題。（3）預(yù)測(cè)變化：根據(jù)所掌握的規(guī)律，預(yù)測(cè)未來(lái)一定條件下測(cè)值的變化范圍或取值；對(duì)于發(fā)現(xiàn)的問(wèn)題，估計(jì)其發(fā)展趨勢(shì)、變化速度和可能后果。（4）判斷安全：基于對(duì)測(cè)值的分析，判斷過(guò)去一段時(shí)期內(nèi)壩的運(yùn)行狀態(tài)是否安全并對(duì)今后可能出現(xiàn)的最不利條件組合下壩的安全作出預(yù)先判斷。

一般來(lái)講，大壩監(jiān)測(cè)資料分析可分為正分析和反演分析兩個(gè)方面。正分析是指由實(shí)測(cè)資料建立原型物理觀(guān)測(cè)量的數(shù)學(xué)模型，并應(yīng)用這些模型監(jiān)控大壩的運(yùn)行。反演分析是仿效系統(tǒng)識(shí)別的思想，以正分析成果為依據(jù)，通過(guò)相應(yīng)的理論分析，反求大壩材料的物理力學(xué)參數(shù)和項(xiàng)源（如壩體混凝土溫度、拱壩實(shí)際梁荷載等）。吳中如院士提到通過(guò)大壩監(jiān)測(cè)資料分析可以實(shí)現(xiàn)反饋設(shè)計(jì)，即“綜合原型觀(guān)測(cè)資料正分析和反演分析的成果，通過(guò)理論分析計(jì)算或歸納總結(jié)，從中尋找某些規(guī)律和信息，及時(shí)反饋到設(shè)計(jì)、施工和運(yùn)行中去，從而達(dá)到優(yōu)化設(shè)計(jì)、施工和運(yùn)行的目的，并補(bǔ)充和完善現(xiàn)行水工設(shè)計(jì)和施工規(guī)范”。綜上所述，大壩監(jiān)測(cè)資料正分析中數(shù)學(xué)模型的研究與應(yīng)用是實(shí)現(xiàn)大壩安全監(jiān)測(cè)及資料分析的目的和意義的基礎(chǔ)與根本。

3 監(jiān)測(cè)數(shù)據(jù)分析方法

大壩安全監(jiān)測(cè)數(shù)據(jù)分析涉及到多學(xué)科交叉的許多方法和理論，目前，常用的大壩監(jiān)測(cè)數(shù)據(jù)分析方法主要有如下幾種：多元回歸分析、時(shí)間序列分析、灰色理論分析、頻譜分析、Kalman濾波法、有限元法、人工神經(jīng)網(wǎng)絡(luò)法、小波分析法、系統(tǒng)論方法等等。（圖1）

3.1 多元回歸分析

多元回歸分析方法是大壩監(jiān)測(cè)數(shù)據(jù)分析中應(yīng)用最為廣泛的方法之一，最常用的方法就是逐步回歸分析方法，基于該方法的回歸統(tǒng)計(jì)模型廣泛應(yīng)用于各類(lèi)監(jiān)測(cè)變量的分析建模工作。以大壩變形監(jiān)測(cè)的分析為例，取變形（如各種位移值）為因變量（又稱(chēng)效應(yīng)量），取環(huán)境量（如水壓、溫度等）為自變量（又稱(chēng)影響因子），根據(jù)數(shù)理統(tǒng)計(jì)理論建立多元線(xiàn)性回歸模型，用逐步回歸分析方法就可以得到效應(yīng)量與環(huán)境量之間的函數(shù)模型，然后就可以進(jìn)行變形的物理解釋和預(yù)報(bào)。由于它是一種統(tǒng)計(jì)分析方法，需要因變量和自變量具有較長(zhǎng)且一致性較好的觀(guān)測(cè)值序列。如果回歸模型的環(huán)境變量之間存在多重共線(xiàn)性，可能會(huì)引起回歸模型參數(shù)估計(jì)的不正確；如果觀(guān)測(cè)數(shù)據(jù)序列長(zhǎng)度不足且數(shù)據(jù)中所含隨機(jī)噪聲偏大，則可能會(huì)引起回歸模型的過(guò)擬合現(xiàn)象，而破壞模型的穩(wěn)健性。

在回歸分析法中，當(dāng)環(huán)境量之間相關(guān)性較大時(shí)，可采用主成分分析或嶺回歸分析，為了解決和改善回歸模型中因子多重相關(guān)性和欠擬合問(wèn)題，則可采用偏回歸模型，該模型具有多元線(xiàn)性回歸、相關(guān)分析和主成分分析的性能，在某些情況下甚至優(yōu)于常用的逐步線(xiàn)性回歸模型，例如王小軍、楊杰、鄧念武等在應(yīng)用偏回歸模型進(jìn)行大壩監(jiān)測(cè)數(shù)據(jù)分析時(shí)，還采用遺傳算法進(jìn)行模型的參數(shù)估計(jì)，取得了較好的效果。

3.2 時(shí)間序列分析

大壩安全監(jiān)測(cè)過(guò)程中，各監(jiān)測(cè)變量的實(shí)測(cè)數(shù)據(jù)自然組成了一個(gè)離散隨機(jī)時(shí)間序列，因此，可以用時(shí)間序列分析理論與方法建立模型。一般認(rèn)為時(shí)間序列分析方法是一種動(dòng)態(tài)數(shù)據(jù)的參數(shù)化時(shí)域分析方法，它通過(guò)對(duì)動(dòng)態(tài)數(shù)據(jù)進(jìn)行模型階次和參數(shù)估計(jì)建立相應(yīng)的數(shù)學(xué)模型，以了解這些數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特性，從而對(duì)數(shù)據(jù)變化趨勢(shì)做出判斷和預(yù)測(cè)，具有良好的短期預(yù)測(cè)效果。進(jìn)行時(shí)間序列分析時(shí)一般要求數(shù)據(jù)為平穩(wěn)隨機(jī)過(guò)程，否則，需要進(jìn)行協(xié)整分析，對(duì)數(shù)據(jù)進(jìn)行差分處理，或者采用誤差修正模型。例如，徐培亮利用時(shí)間序列分析方法，對(duì)大壩變形觀(guān)測(cè)資料進(jìn)行分析建模得到一個(gè)AR（2）模型，并對(duì)大壩變形進(jìn)行了預(yù)報(bào)，結(jié)果表明具有良好的預(yù)測(cè)精度。涂克楠、張利、鄭簫等也利用時(shí)間序列對(duì)大壩監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析，有效地提高了模型對(duì)實(shí)測(cè)數(shù)據(jù)的擬合能力和預(yù)測(cè)能力。

3.3 灰色理論分析

當(dāng)觀(guān)測(cè)數(shù)據(jù)的樣本數(shù)不多時(shí)，不能滿(mǎn)足時(shí)間序列分析或者回歸分析模型對(duì)于數(shù)據(jù)長(zhǎng)度的要求，此時(shí)，可采用灰色系統(tǒng)理論建模。該理論于20世紀(jì)80年代由鄧聚龍首次提出，該方法通過(guò)將原始數(shù)列利用累加生成法變換為生成數(shù)列，從而減弱數(shù)據(jù)序列的隨機(jī)性，增強(qiáng)規(guī)律性。例如，在大壩變形監(jiān)測(cè)數(shù)據(jù)分析時(shí)，也可以大壩變形的灰微分方程來(lái)提取趨勢(shì)項(xiàng)后建立組合模型。一般時(shí)間序列分析都是針對(duì)單測(cè)點(diǎn)的數(shù)據(jù)序列，如果考慮各測(cè)點(diǎn)之間的相關(guān)性而進(jìn)行多測(cè)點(diǎn)的關(guān)聯(lián)分析，有可能會(huì)取得更好的效果。1991年，熊支榮等人詳述了灰色系統(tǒng)理論在水工觀(guān)測(cè)資料分析中的應(yīng)用情況，并對(duì)其應(yīng)用時(shí)的檢驗(yàn)標(biāo)準(zhǔn)等問(wèn)題進(jìn)行了探討。同年，劉觀(guān)標(biāo)利用灰色系統(tǒng)模型對(duì)某重力壩的實(shí)測(cè)應(yīng)力分析證明了灰色模型具有理論合理、嚴(yán)謹(jǐn)、成果精度較高的特點(diǎn)。

3.4 頻譜分析

大壩監(jiān)測(cè)數(shù)據(jù)的處理和分析主要在時(shí)域內(nèi)進(jìn)行，利用Fourier變換將監(jiān)測(cè)數(shù)據(jù)序列由時(shí)域信號(hào)轉(zhuǎn)換為頻域信號(hào)進(jìn)行分析，通過(guò)計(jì)算各諧波頻率的振幅，最大振幅所對(duì)應(yīng)的主頻可以揭示監(jiān)測(cè)量的變化周期，這樣，有時(shí)在時(shí)域內(nèi)看不清的數(shù)據(jù)信息在頻域內(nèi)可以很容易看清楚。例如，將測(cè)點(diǎn)的變形量作為輸出，相關(guān)的環(huán)境因子作為輸入，通過(guò)估計(jì)相干函數(shù)、頻率響應(yīng)函數(shù)和響應(yīng)譜函數(shù)，就可以通過(guò)分析輸入輸出之間的相關(guān)性進(jìn)行變形的物理解釋?zhuān)_定輸入的貢獻(xiàn)和影響變形的主要因子。將大壩監(jiān)測(cè)數(shù)據(jù)由時(shí)域信號(hào)轉(zhuǎn)換到頻域信號(hào)進(jìn)行分析的研究應(yīng)用并不多，主要是由于該方法在應(yīng)用時(shí)要求樣本數(shù)量要足夠多，而且要求數(shù)據(jù)是平穩(wěn)的，系統(tǒng)是線(xiàn)性的，頻譜分析從整個(gè)頻域上對(duì)信號(hào)進(jìn)行考慮，局部化性能差。

參考文獻(xiàn)

第2篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞:大數(shù)據(jù);金融投資;大數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)分析技術(shù)其實(shí)就是一種現(xiàn)代化信息處理技術(shù)，目前它被應(yīng)用于各行各業(yè)中，并且發(fā)揮著無(wú)可取代的重要作用，特別是為企業(yè)在金融投資活動(dòng)中提供了保障，很大程度上減少了企業(yè)的金融投資風(fēng)險(xiǎn)?？偟膩?lái)說(shuō)，大數(shù)據(jù)分析技術(shù)催生了新的運(yùn)營(yíng)管理模式，提高了企業(yè)的收益，增強(qiáng)了企業(yè)競(jìng)爭(zhēng)力。本文將具體從大數(shù)據(jù)時(shí)代背景、金融投資中應(yīng)用大數(shù)據(jù)技術(shù)的重要性以及金融投資風(fēng)險(xiǎn)管理中大數(shù)據(jù)分析技術(shù)的應(yīng)用方面進(jìn)行研究。

一、大數(shù)據(jù)挖掘與數(shù)據(jù)分析

(一)大數(shù)據(jù)時(shí)代背景當(dāng)今社會(huì)是信息化時(shí)代、大數(shù)據(jù)時(shí)代，盡管與發(fā)達(dá)國(guó)家相比，我國(guó)大數(shù)據(jù)技術(shù)發(fā)展較晚，還不夠十分成熟完善，但是我國(guó)目前的大數(shù)據(jù)技術(shù)還是很好地促進(jìn)了我國(guó)各行各業(yè)發(fā)展，為市場(chǎng)開(kāi)拓提供了極大的便利，還促進(jìn)了傳統(tǒng)運(yùn)營(yíng)管理模式的更新，增加企業(yè)盈利。同時(shí)，大數(shù)據(jù)技術(shù)的發(fā)展使用還給消費(fèi)者帶來(lái)了諸多新的體驗(yàn)。比如，大數(shù)據(jù)技術(shù)促進(jìn)了產(chǎn)品質(zhì)量的改進(jìn)提高，為消費(fèi)者提供了更優(yōu)質(zhì)的服務(wù)。反過(guò)來(lái)，利用大數(shù)據(jù)技術(shù)分析數(shù)據(jù)，可以幫助企業(yè)更清楚市場(chǎng)行情、預(yù)估市場(chǎng)變化，有利于企業(yè)更好地應(yīng)對(duì)市場(chǎng)變化，為企業(yè)發(fā)展提供保障。

(二)金融投資中應(yīng)用大數(shù)據(jù)技術(shù)的重要性當(dāng)今經(jīng)濟(jì)環(huán)境變幻莫測(cè)，經(jīng)濟(jì)一體化也加劇了金融危機(jī)帶來(lái)的危害，因此，企業(yè)在金融投資者面對(duì)的問(wèn)題也越來(lái)越多、越來(lái)越復(fù)雜。而很多企業(yè)都缺乏投資風(fēng)險(xiǎn)管控經(jīng)驗(yàn)，不具備及時(shí)應(yīng)對(duì)金融投資風(fēng)險(xiǎn)的能力。這種情況下，大數(shù)據(jù)的應(yīng)用能夠很好幫助企業(yè)降低金融投資風(fēng)險(xiǎn)，切實(shí)提高企業(yè)經(jīng)濟(jì)效益。相關(guān)研究數(shù)據(jù)表明，互聯(lián)網(wǎng)、電信和金融行業(yè)是使用大數(shù)據(jù)技術(shù)最廣泛的行業(yè)。具體來(lái)說(shuō)，在金融行業(yè)里使用大數(shù)據(jù)技術(shù)預(yù)測(cè)分析金融投資風(fēng)險(xiǎn)，幫助企業(yè)制定科學(xué)的應(yīng)對(duì)方法，能夠從源頭幫助企業(yè)提高應(yīng)對(duì)風(fēng)險(xiǎn)的能力。現(xiàn)在很多企業(yè)在經(jīng)營(yíng)上是相互依賴(lài)的關(guān)系，這就加劇了金融風(fēng)險(xiǎn)，而大數(shù)據(jù)技術(shù)可以促進(jìn)信息共享，降低他們之間存在的風(fēng)險(xiǎn)，幫助每個(gè)參與的企業(yè)提高經(jīng)濟(jì)效益。還有很多企業(yè)由于在向現(xiàn)代化經(jīng)營(yíng)模式改革，面臨著眾多信息，通過(guò)應(yīng)用大數(shù)據(jù)技術(shù)來(lái)分析收集的數(shù)據(jù)信息可以更加準(zhǔn)確地預(yù)估企業(yè)可能遇到的風(fēng)險(xiǎn)，從而幫助企業(yè)實(shí)現(xiàn)高質(zhì)量管理。因此，在金融投資中應(yīng)用大數(shù)據(jù)技術(shù)很有必要性。

二、金融投資風(fēng)險(xiǎn)管理中大數(shù)據(jù)分析技術(shù)的應(yīng)用

(一)大數(shù)據(jù)分析技術(shù)在銀行行業(yè)的應(yīng)用在信息化時(shí)代環(huán)境下，大數(shù)據(jù)的使用可以幫助企業(yè)進(jìn)行風(fēng)險(xiǎn)預(yù)估，有利于保障企業(yè)發(fā)展。筆者將具體從大數(shù)據(jù)分析技術(shù)在銀行業(yè)的應(yīng)用來(lái)說(shuō)明金融投資風(fēng)險(xiǎn)管理中大數(shù)據(jù)分析技術(shù)的應(yīng)用情況。我們要廣泛收集風(fēng)險(xiǎn)數(shù)據(jù)，再通過(guò)使用大數(shù)據(jù)分析技術(shù)幫助銀行分析、整理各種數(shù)據(jù)，使銀行對(duì)風(fēng)險(xiǎn)進(jìn)行預(yù)估，進(jìn)而研究后續(xù)金融投資風(fēng)險(xiǎn)發(fā)生概率，這樣可以制定專(zhuān)門(mén)的應(yīng)對(duì)方案，采取切實(shí)有效的解決措施。在貸款業(yè)務(wù)方面，大數(shù)據(jù)分析技術(shù)可以保障銀行的利益。多家銀行可以實(shí)現(xiàn)合作，共享數(shù)據(jù)信息，建立數(shù)據(jù)共享平臺(tái)，利用大數(shù)據(jù)分析技術(shù)共同建立應(yīng)對(duì)風(fēng)險(xiǎn)的高質(zhì)量方案，幫助銀行對(duì)金融投資風(fēng)險(xiǎn)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。大數(shù)據(jù)分析技術(shù)還可以使銀行對(duì)客戶(hù)數(shù)據(jù)進(jìn)行整理和分析，對(duì)客戶(hù)資金到賬等有關(guān)信息進(jìn)行系統(tǒng)、合理管理，這樣不僅有利于銀行相關(guān)業(yè)務(wù)的開(kāi)展，還可以保障客戶(hù)資金的安全，既提高了銀行在客戶(hù)心目中的信譽(yù)，又能在很大程度上降低客戶(hù)資金安全風(fēng)險(xiǎn)。因此，在銀行行業(yè)應(yīng)用大數(shù)據(jù)分析技術(shù)，對(duì)銀行自身和客戶(hù)都有積極意義。在使用大數(shù)據(jù)分析技術(shù)處理客戶(hù)信息數(shù)據(jù)時(shí)，會(huì)涉及云計(jì)算的應(yīng)用，該技術(shù)可以提高銀行數(shù)據(jù)平臺(tái)性能，為銀行提供專(zhuān)門(mén)的信息擬訂方案，可以更加有效地處理數(shù)據(jù)信息，最大化地發(fā)揮大數(shù)據(jù)分析技術(shù)在銀行行業(yè)的應(yīng)用。大數(shù)據(jù)分析技術(shù)可以幫助銀行在短時(shí)間內(nèi)對(duì)銀行內(nèi)的數(shù)據(jù)進(jìn)行分類(lèi)識(shí)別，并且準(zhǔn)確分析海量數(shù)據(jù)。面對(duì)銀行業(yè)務(wù)信息，大數(shù)據(jù)分析技術(shù)甚至可以具體研究每一筆業(yè)務(wù)數(shù)據(jù)，既幫助減少銀行金融投資管理，又最大限度地保障個(gè)人客戶(hù)的資金安全。

(二)數(shù)據(jù)挖掘技術(shù)在保險(xiǎn)行業(yè)的應(yīng)用大數(shù)據(jù)分析技術(shù)不僅為各行各業(yè)工作帶來(lái)了便利，還為之提供了高質(zhì)量的保障。數(shù)據(jù)挖掘技術(shù)是大數(shù)據(jù)分析技術(shù)中比較常用的技術(shù)，特別是在保險(xiǎn)行業(yè)，數(shù)據(jù)挖掘技術(shù)應(yīng)用效果顯著，有效降低保險(xiǎn)行業(yè)的金融投資風(fēng)險(xiǎn)。盡管數(shù)據(jù)挖掘技術(shù)的應(yīng)用流程相對(duì)煩瑣，但它被應(yīng)用于保險(xiǎn)行業(yè)的諸多業(yè)務(wù)環(huán)節(jié)中，并且發(fā)揮著重要影響作用。最主要的是數(shù)據(jù)挖掘技術(shù)可以幫助保險(xiǎn)公司分析數(shù)據(jù)，進(jìn)而挖掘發(fā)現(xiàn)具有潛在價(jià)值的信息數(shù)據(jù)，而這些信息數(shù)據(jù)就是各個(gè)保險(xiǎn)公司的重要業(yè)務(wù)來(lái)源。因此，保險(xiǎn)公司的業(yè)務(wù)發(fā)展很大程度上依賴(lài)于數(shù)據(jù)挖掘技術(shù)的應(yīng)用。在保險(xiǎn)行業(yè)中使用數(shù)據(jù)挖掘技術(shù)要對(duì)明確客戶(hù)的價(jià)值。保險(xiǎn)公司得以運(yùn)營(yíng)的根本就是客戶(hù)的存在，而客戶(hù)的價(jià)值就直接影響著保險(xiǎn)公司業(yè)務(wù)的后續(xù)進(jìn)行。利用數(shù)據(jù)挖掘技術(shù)對(duì)客戶(hù)信息進(jìn)行分析，對(duì)其潛在價(jià)值進(jìn)行挖掘，從而對(duì)客戶(hù)的價(jià)值進(jìn)行模型建立，后面保險(xiǎn)公司可以根據(jù)這個(gè)模型為客戶(hù)制定專(zhuān)門(mén)的方案，提高針對(duì)客戶(hù)的服務(wù)質(zhì)量，既保證了保險(xiǎn)公司的客戶(hù)來(lái)源，也滿(mǎn)足了客戶(hù)自身的需求。利用數(shù)據(jù)挖掘技術(shù)，保險(xiǎn)公司可以全面地收集客戶(hù)、市場(chǎng)信息，并仔細(xì)分析客戶(hù)數(shù)據(jù)，并擁有自己的數(shù)據(jù)庫(kù)，在數(shù)據(jù)庫(kù)的基礎(chǔ)上研究客戶(hù)的需求，既能抓住客戶(hù)的心，還能避免開(kāi)展不必要的業(yè)務(wù)，節(jié)約公司資源?？偠灾瑪?shù)據(jù)挖掘技術(shù)在保險(xiǎn)行業(yè)的應(yīng)用既有利于降低保險(xiǎn)金融投資風(fēng)險(xiǎn)，還保障了客戶(hù)的服務(wù)體驗(yàn)與質(zhì)量。

第3篇：大數(shù)據(jù)分析方案范文

提出“五級(jí)”轉(zhuǎn)型戰(zhàn)略

盡管當(dāng)前很多企業(yè)都在積極采用大數(shù)據(jù)分析技術(shù)和解決方案來(lái)變革業(yè)務(wù)模式，提升企業(yè)的核心競(jìng)爭(zhēng)力，但是很多企業(yè)都對(duì)自身的大數(shù)據(jù)項(xiàng)目并不滿(mǎn)意。全球領(lǐng)先的基準(zhǔn)研究和咨詢(xún)機(jī)構(gòu)Ventana Research的研究@示，79%的企業(yè)用戶(hù)不具備運(yùn)用高級(jí)分析技術(shù)的必備技能。

姜欣介紹，今年Teradata通過(guò)《經(jīng)濟(jì)學(xué)人》雜志在全球所做的一個(gè)調(diào)研結(jié)果顯示，在大數(shù)據(jù)利用方面，企業(yè)主要存在以下三方面問(wèn)題：第一，數(shù)據(jù)整合問(wèn)題，57%的被訪(fǎng)企業(yè)認(rèn)為難以獲取重要的業(yè)務(wù)數(shù)據(jù)；第二，數(shù)據(jù)應(yīng)用問(wèn)題，42%的受訪(fǎng)企業(yè)認(rèn)為數(shù)據(jù)過(guò)于繁雜，應(yīng)用不夠友好；第三，數(shù)據(jù)治理問(wèn)題，75%的受訪(fǎng)企業(yè)為因異構(gòu)數(shù)據(jù)而浪費(fèi)時(shí)間感到困擾。

“我們目前推出的解決方案和技術(shù)，就是為了解決以上三方面問(wèn)題。”姜欣介紹說(shuō)，為此Teradata提出了五級(jí)轉(zhuǎn)型戰(zhàn)略：

其一，堅(jiān)定地走一體化數(shù)據(jù)分析平臺(tái)的道路，不斷完善一系列平臺(tái)產(chǎn)品，其中包括最近推出的Teradata IntelliFlex數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)和Teradata Aster大數(shù)據(jù)探索平臺(tái)

其二，全面向云轉(zhuǎn)型，支持私有云、公有云和托管云等多種部署方式，并在這種云生態(tài)下提供咨詢(xún)和開(kāi)發(fā)部署服務(wù)。

其三，打造分析生態(tài)系統(tǒng)，將統(tǒng)一數(shù)據(jù)架構(gòu)（UDA），以及Unity、QueryGrid和Listener等工具整合起來(lái)，形成一個(gè)大數(shù)據(jù)生態(tài)，并在這個(gè)生態(tài)下提供咨詢(xún)和實(shí)施服務(wù)。

其四，從完全技術(shù)中立的角度為客戶(hù)提供大數(shù)據(jù)咨詢(xún)服務(wù)，如大數(shù)據(jù)戰(zhàn)略規(guī)劃服務(wù)、敏捷開(kāi)發(fā)咨詢(xún)服務(wù)、數(shù)據(jù)建模服務(wù)。

其五，堅(jiān)持客戶(hù)至上而非產(chǎn)品至上，用多元化的產(chǎn)品全面滿(mǎn)足客戶(hù)需求，幫助客戶(hù)挖據(jù)數(shù)據(jù)價(jià)值。

由此可見(jiàn)，Teradata在大數(shù)據(jù)領(lǐng)域，除了不斷完善產(chǎn)品和技術(shù)以外，還不斷強(qiáng)化咨詢(xún)服務(wù)能力。

推出無(wú)邊界分析功能

作為T(mén)eradata多年的老客戶(hù)，瑞典最大的工業(yè)企業(yè)集團(tuán)沃爾沃汽車(chē)公司從2006年開(kāi)始建立數(shù)據(jù)分析平臺(tái)。一直以來(lái)，沃爾沃汽車(chē)公司面臨的一個(gè)問(wèn)題，就是數(shù)據(jù)散布在超過(guò)30個(gè)系統(tǒng)中。公司的整合數(shù)據(jù)存儲(chǔ)庫(kù)和數(shù)據(jù)模型中，除了有客戶(hù)、經(jīng)銷(xiāo)商、車(chē)輛與車(chē)輛配置信息、質(zhì)保和故障診斷等數(shù)據(jù)外，還有很多外部數(shù)據(jù)。這些數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)，也有非結(jié)構(gòu)化數(shù)據(jù)。

沃爾沃汽車(chē)公司亟須一個(gè)彈性好、敏捷性高的平臺(tái)來(lái)處理所有這些數(shù)據(jù)。為此，沃爾沃汽車(chē)公司部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu)，將所有需要處理的數(shù)據(jù)全部整合起來(lái)進(jìn)行處理，從而解決數(shù)據(jù)孤島和數(shù)據(jù)治理混亂問(wèn)題。在部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu)后，沃爾沃汽車(chē)公司構(gòu)建了全球統(tǒng)一的敏捷的數(shù)據(jù)驅(qū)動(dòng)環(huán)境，從而可以借助可靠的數(shù)據(jù)分析結(jié)果降低運(yùn)營(yíng)成本，提高盈利能力和客戶(hù)滿(mǎn)意度；形成基于事實(shí)的決策機(jī)制和文化，使得公司更加開(kāi)放和透明；有效支撐“數(shù)據(jù)創(chuàng)客”活動(dòng)，員工和合作伙伴可以基于數(shù)據(jù)平臺(tái)開(kāi)發(fā)數(shù)據(jù)產(chǎn)品。

沃爾沃汽車(chē)公司成功應(yīng)用Teradata統(tǒng)一數(shù)據(jù)架構(gòu)的案例，是Teradata新推出的無(wú)邊界分析功能的一個(gè)應(yīng)用典范。據(jù)悉，Teradata無(wú)邊界分析打破了過(guò)去在進(jìn)行數(shù)據(jù)分析時(shí)單一系統(tǒng)、單一技術(shù)分析的界限，突破時(shí)間、地點(diǎn)，以及所需數(shù)據(jù)和平臺(tái)的限制，幫助企業(yè)高效完成數(shù)據(jù)分析工作。

Teradata無(wú)邊界分析功能通過(guò)最新版本的Teradata QueryGrid軟件和可以自動(dòng)協(xié)調(diào)多系統(tǒng)Teradata環(huán)境的Teradata Unity軟件來(lái)實(shí)現(xiàn)。其中，Teradata Unity軟件具有高可用性特點(diǎn)和工作負(fù)載分配功能，從而確保用戶(hù)在權(quán)限范圍內(nèi)可隨時(shí)訪(fǎng)問(wèn)相關(guān)數(shù)據(jù)和分析。全新升級(jí)的Teradata Unity具有強(qiáng)大的跨系統(tǒng)功能，可進(jìn)一步消除分析環(huán)境界限。

電子專(zhuān)業(yè)制造服務(wù)公司偉創(chuàng)力公司數(shù)據(jù)與分析團(tuán)隊(duì)主管森迪爾（Sendil Thangavelu）認(rèn)為，采用多個(gè)分析引擎來(lái)分析來(lái)自多個(gè)數(shù)據(jù)存儲(chǔ)庫(kù)的數(shù)據(jù)以獲得更全面、可視化的分析結(jié)果，將成為企業(yè)強(qiáng)化競(jìng)爭(zhēng)優(yōu)勢(shì)的重要因素。“我們的Teradata數(shù)據(jù)管理環(huán)境已經(jīng)非常卓越，但我們一直還在尋找解決方案來(lái)提高我們的能力。Teradata的無(wú)邊界分析概念與我們的企業(yè)發(fā)展方向不謀而合。”森迪爾補(bǔ)充說(shuō)。

推出快速分析咨詢(xún)服務(wù)

姜欣告訴記者，2015年年底，Teradata總結(jié)出了在新形勢(shì)下具有較強(qiáng)競(jìng)爭(zhēng)力的新型企業(yè)――技術(shù)感知型企業(yè)。技術(shù)感知型企業(yè)應(yīng)具有敏捷平臺(tái)、行為分析、協(xié)同思維、自助應(yīng)用和自動(dòng)決策五大核心能力。

姜欣表示，技術(shù)感知型企業(yè)對(duì)內(nèi)能夠提供數(shù)據(jù)洞察能力，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)流程，提升運(yùn)營(yíng)的ROI；對(duì)外可以整合數(shù)據(jù)價(jià)值，創(chuàng)新數(shù)據(jù)盈利模式，實(shí)現(xiàn)信息運(yùn)營(yíng)。

但是，成為技術(shù)感知型企業(yè)并不容易。為了幫助客戶(hù)更加順利、快速地成為技術(shù)感知型企業(yè)，Teradata還推出了Teradata RACE（快速分析咨詢(xún)服務(wù)）和Teradata業(yè)務(wù)價(jià)值框架。據(jù)介紹，RACE是一套敏捷、技術(shù)中立的方法論，能夠幫助客戶(hù)在正式投資前了解分析解決方案的潛在業(yè)務(wù)價(jià)值。不僅如此，借助豐富的行業(yè)經(jīng)驗(yàn)和專(zhuān)業(yè)的數(shù)據(jù)分析技術(shù)，Teradata還可以幫助客戶(hù)將項(xiàng)目實(shí)施所需時(shí)間從數(shù)月縮短至6～10周。

據(jù)悉，作為T(mén)eradata RACE服務(wù)的核心，Teradata業(yè)務(wù)價(jià)值框架是Teradata從數(shù)千次與客戶(hù)成功合作中積累的豐富經(jīng)驗(yàn)的結(jié)晶。該框架通過(guò)發(fā)現(xiàn)切實(shí)有用的分析解決方案，幫助客戶(hù)更快地從分析和數(shù)據(jù)技術(shù)投資中獲取回報(bào)。

值得一提的是，隨著物聯(lián)網(wǎng)傳感器數(shù)據(jù)等新型數(shù)據(jù)源的不斷出現(xiàn)，新分析技術(shù)的不斷涌現(xiàn)，用戶(hù)部署和應(yīng)用分析解決方案的難度越來(lái)越大。但依托適用Teradata業(yè)務(wù)價(jià)值框架詳盡的可視化信息，接受RACE服務(wù)的客戶(hù)可以在實(shí)施分析解決方案時(shí)，掌握清晰的路線(xiàn)圖，了解該項(xiàng)目在何時(shí)、以怎樣的方式帶來(lái)投資回報(bào)。

姜欣介紹，RACE方法包含三個(gè)主要階段：

第一階段，溝通（Align）。Teradata的分析業(yè)務(wù)咨詢(xún)顧問(wèn)以業(yè)務(wù)價(jià)值框架作為出發(fā)點(diǎn)，幫助客戶(hù)發(fā)現(xiàn)最具潛在價(jià)值的業(yè)務(wù)案例，并對(duì)準(zhǔn)該業(yè)務(wù)案例開(kāi)展工作，確認(rèn)支持該使用案例關(guān)鍵數(shù)據(jù)資產(chǎn)的可用性。

第二階段，創(chuàng)建（Create）。Teradata的數(shù)據(jù)科學(xué)家為選中的業(yè)務(wù)案例載入并準(zhǔn)備數(shù)據(jù)，開(kāi)發(fā)新分析模型或調(diào)整既有模型。本階段數(shù)據(jù)科學(xué)家會(huì)與業(yè)務(wù)發(fā)起人對(duì)方案進(jìn)行多次快速迭代，以確保分析結(jié)果能帶來(lái)預(yù)期業(yè)務(wù)效果。

第三階段，評(píng)估（Evaluate）。Teradata的分析業(yè)務(wù)咨詢(xún)顧問(wèn)分析結(jié)果，評(píng)估部署分析使用案例的潛在投資回報(bào)率，并為客戶(hù)設(shè)計(jì)、部署方案。

Ventana Research高級(jí)副總裁兼研究主管大衛(wèi)（David Menninger）指出，企業(yè)對(duì)數(shù)據(jù)分析項(xiàng)目不滿(mǎn)的主要原因是相關(guān)技能短缺，而Teradata的業(yè)務(wù)價(jià)值框架將為企業(yè)提供所需技能和最佳實(shí)踐案例，幫助企業(yè)獲得豐碩的成果和可觀(guān)的投資回報(bào)。

第4篇：大數(shù)據(jù)分析方案范文

①大數(shù)據(jù)分析

②大數(shù)據(jù)可視化

③BI商業(yè)智能分析

④大數(shù)據(jù)檢索

⑤產(chǎn)品大數(shù)據(jù)分析

⑥大數(shù)據(jù)預(yù)測(cè)、咨詢(xún)

⑦大數(shù)據(jù)服務(wù)支撐平臺(tái)

⑧機(jī)器學(xué)習(xí)技術(shù)

“大數(shù)據(jù)分析、可視化及BI領(lǐng)域——

雖然這三個(gè)領(lǐng)域在功能及應(yīng)用范圍上各有千秋，但實(shí)質(zhì)上可以說(shuō)是相輔相成：通過(guò)大數(shù)據(jù)的基礎(chǔ)分析工具，研究人員可以獲得數(shù)據(jù)內(nèi)部的邏輯及結(jié)果表現(xiàn)，但通常這些結(jié)果過(guò)于復(fù)雜并缺乏合理的表達(dá)形式，使數(shù)據(jù)科學(xué)家及企業(yè)的管理者無(wú)法快速領(lǐng)會(huì)并對(duì)經(jīng)營(yíng)活動(dòng)進(jìn)行調(diào)整。

因此大數(shù)據(jù)的可視化方案應(yīng)運(yùn)而生，多數(shù)可視化方案都作為數(shù)據(jù)分析工具的延伸而存在，但也有少部分公司另辟蹊徑，采用非傳統(tǒng)方式將數(shù)據(jù)的可視化更加貼近需求。BI則是大數(shù)據(jù)分析和可視化與業(yè)務(wù)場(chǎng)景的結(jié)合，作為企業(yè)內(nèi)部管理工具，使企業(yè)的價(jià)值有了極大的增長(zhǎng)，成為了大數(shù)據(jù)應(yīng)用領(lǐng)域重要的一環(huán)。

{ 1 }大數(shù)據(jù)分析領(lǐng)域，在朝向易用、簡(jiǎn)單化發(fā)展

大部分大數(shù)據(jù)分析企業(yè)的現(xiàn)狀，可以說(shuō)是將數(shù)據(jù)的分析、可視化及數(shù)據(jù)的采集、治理、集成進(jìn)行了一體化，以大數(shù)據(jù)的分析平臺(tái)形式存在。例如Fractal Analytics除了具備數(shù)據(jù)分析功能外，還提供自動(dòng)化數(shù)據(jù)清理及驗(yàn)證服務(wù)，能夠返回標(biāo)準(zhǔn)化的結(jié)構(gòu)化數(shù)據(jù)；Voyager Labs則能夠?qū)崟r(shí)采集、分析遍布世界各地的數(shù)十億個(gè)數(shù)據(jù)點(diǎn)，幫助用戶(hù)進(jìn)行預(yù)測(cè)。

上述典型公司主要面向大型企業(yè)進(jìn)行定制化全流程服務(wù)，客單價(jià)有時(shí)高達(dá)千萬(wàn)美元級(jí)別，例如Fractal Analytics的客戶(hù)就包括飛利浦、金佰利等大型公司，其高昂的價(jià)格及服務(wù)令小型企業(yè)望塵莫及。

但隨著大數(shù)據(jù)技術(shù)的逐漸普及，SaaS化的大數(shù)據(jù)分析服務(wù)將是一個(gè)明確的發(fā)展方向，而其使用門(mén)檻也將大幅降低，從而將大數(shù)據(jù)分析的能力逐步賦予給中小企業(yè)，以真正的實(shí)現(xiàn)其基礎(chǔ)資源的價(jià)值。同時(shí)確保企業(yè)數(shù)據(jù)安全的數(shù)據(jù)脫敏、數(shù)據(jù)保護(hù)市場(chǎng)也會(huì)隨著SaaS化的到來(lái)而逐步拓展出新的市場(chǎng)空間。

目前大數(shù)據(jù)技術(shù)簡(jiǎn)化、低成本、易用的趨勢(shì)已經(jīng)在部分公司的產(chǎn)品策略上有所體現(xiàn)，例如大數(shù)據(jù)分析公司Domino的產(chǎn)品讓數(shù)據(jù)科學(xué)家只需專(zhuān)注于自己的分析工作，而不用關(guān)注軟硬件基礎(chǔ)設(shè)施的建立及維護(hù)，Datameer更進(jìn)一步開(kāi)發(fā)出的產(chǎn)品屏蔽了復(fù)雜的大數(shù)據(jù)分析底層技術(shù)，通過(guò)類(lèi)似電子表格的可視化數(shù)據(jù)分析用戶(hù)界面，讓企業(yè)的員工能夠快速上手使用，RapidMiner Studio可零代碼操作客戶(hù)端，實(shí)現(xiàn)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、文本挖掘、預(yù)測(cè)性分析等功能。

在大數(shù)據(jù)分析能力普及的同時(shí)，提升數(shù)據(jù)分析性能、優(yōu)化數(shù)據(jù)分析結(jié)果的技術(shù)研發(fā)也在快速進(jìn)展中。例如SigOpt通過(guò)自主開(kāi)發(fā)的貝葉斯優(yōu)化(Bayesian Optimization)算法來(lái)調(diào)整模型的參數(shù)，獲得了比常見(jiàn)的網(wǎng)格搜索(grid searching technique)解決方案更快、更穩(wěn)定、更易于使用的結(jié)果，目前SigOpt的產(chǎn)品不僅可以讓用戶(hù)測(cè)試不同變量，還能夠提供下一步的測(cè)試建議，以幫助用戶(hù)持續(xù)優(yōu)化改善數(shù)據(jù)分析結(jié)果。

令人感到欣喜的是，在大數(shù)據(jù)分析領(lǐng)域還存在著一些顛覆了傳統(tǒng)數(shù)據(jù)分析理論，采用獨(dú)特方式方法進(jìn)行數(shù)據(jù)分析的公司。這類(lèi)公司的技術(shù)對(duì)傳統(tǒng)數(shù)據(jù)分析方法進(jìn)行了很好的補(bǔ)充，在特定領(lǐng)域有著成功的應(yīng)用。

這類(lèi)公司中的典型之一是由三位全球頂尖的數(shù)學(xué)家創(chuàng)立的Ayasdi，它利用拓?fù)鋽?shù)據(jù)分析技術(shù)和上百種機(jī)器學(xué)習(xí)的算法來(lái)處理復(fù)雜的數(shù)據(jù)集，不僅可以有效地捕捉高維數(shù)據(jù)空間的拓?fù)湫畔ⅲ疑瞄L(zhǎng)發(fā)現(xiàn)一些用傳統(tǒng)方法無(wú)法發(fā)現(xiàn)的小分類(lèi)，這種方法目前在基因與癌癥研究領(lǐng)域大顯身手，例如一位醫(yī)生利用Ayasdi的數(shù)據(jù)分析技術(shù)發(fā)現(xiàn)了乳腺癌的14個(gè)變種，如今Ayasdi已經(jīng)在金融服務(wù)和醫(yī)療保健行業(yè)中獲得了相當(dāng)數(shù)量的客戶(hù)。

{ 2 }可視化技術(shù)，逐步實(shí)現(xiàn)了自動(dòng)化、智能化

大數(shù)據(jù)可視化是連接數(shù)據(jù)分析結(jié)果與人腦的最好途徑，因此可視化技術(shù)的高低也成為了左右大數(shù)據(jù)企業(yè)獲客能力的重要因素。目前可視化的發(fā)展方向同大數(shù)據(jù)分析一致，都是朝著簡(jiǎn)單、自動(dòng)化、智能的方向在努力。

典型企業(yè)如Alteryx是一個(gè)提供一站式數(shù)據(jù)分析平臺(tái)的初創(chuàng)公司，旨在讓用戶(hù)在同一個(gè)平臺(tái)上完成數(shù)據(jù)輸入、建模以及數(shù)據(jù)圖形化等操作，將數(shù)據(jù)運(yùn)算與精美的圖像完美地嫁接在一起，并能夠和SAS和R語(yǔ)言一樣進(jìn)行數(shù)據(jù)的統(tǒng)計(jì)和分析。

通過(guò)可視化幫助用戶(hù)實(shí)現(xiàn)真正的管理能力提升也是重要的功能之一，德國(guó)大數(shù)據(jù)公司Celonis通過(guò)流程挖掘技術(shù)，從日常記錄中提取數(shù)據(jù)、發(fā)現(xiàn)關(guān)鍵因素，并最終揭示公司在業(yè)務(wù)中的執(zhí)行情況，能夠幫助客戶(hù)公司提高30%的工作效率。

發(fā)展到如今，可視化技術(shù)已經(jīng)不局限于傳統(tǒng)的分析結(jié)果展示，而是能夠直接轉(zhuǎn)換文本、圖片等非結(jié)構(gòu)化的數(shù)據(jù)并直觀(guān)展現(xiàn)，例如Quid利用機(jī)器智能讀取大量文本，然后將該數(shù)據(jù)轉(zhuǎn)換為交互式視覺(jué)地圖，以節(jié)約過(guò)去通常會(huì)耗費(fèi)在閱讀檢索中的大量時(shí)間。Origami幫助營(yíng)銷(xiāo)人員將CRM、社交媒體、郵件營(yíng)銷(xiāo)和調(diào)查報(bào)告等跨平臺(tái)的數(shù)據(jù)整合并進(jìn)行有效分析，使其簡(jiǎn)單化、直觀(guān)化、視覺(jué)化，人人都能夠高效實(shí)用。

同時(shí)數(shù)據(jù)分析及可視化對(duì)硬件應(yīng)用的革新也在進(jìn)行中，開(kāi)發(fā)GPU關(guān)系數(shù)據(jù)庫(kù)服務(wù)的Kinetica獲得了5000萬(wàn)美元A輪融資，采用同一技術(shù)路線(xiàn)的MapD也已經(jīng)能夠做到比傳統(tǒng)計(jì)算內(nèi)核快100倍的速度對(duì)大數(shù)據(jù)進(jìn)行查詢(xún)與可視化。

{ 3 }BI技術(shù)擺脫"雞肋"，實(shí)時(shí)便捷普惠政企效率提升

BI技術(shù)的發(fā)展已經(jīng)有了較長(zhǎng)的歷史，但由于技術(shù)因素此前一直被限制于企業(yè)內(nèi)部采集與應(yīng)用，實(shí)際發(fā)揮的效果有限并且使用率不高。如今在數(shù)據(jù)采集與應(yīng)用范圍普及與大數(shù)據(jù)分析、可視化技術(shù)的推動(dòng)下，通過(guò)數(shù)據(jù)儀表板、智能決策等方式提升企業(yè)運(yùn)營(yíng)效率利器的BI再次獲得了資本市場(chǎng)的青睞，Tableau作為BI的代表性企業(yè)已經(jīng)順利IPO目前市值超過(guò)48億美元，另一家代表性企業(yè)DOMO估值也達(dá)到20億美元，成長(zhǎng)速度遠(yuǎn)超傳統(tǒng)商業(yè)軟件公司。

相比于可視化技術(shù)，BI更偏重于實(shí)際的應(yīng)用，通過(guò)模板化、SaaS化及去代碼等方式，BI應(yīng)用范圍不再局限于數(shù)據(jù)科學(xué)家及企業(yè)高管，可預(yù)見(jiàn)未來(lái)企業(yè)內(nèi)部每個(gè)員工都可以通過(guò)BI工具獲知自己及所處部門(mén)的各項(xiàng)數(shù)據(jù)，并能夠有針對(duì)性的改進(jìn)工作方式與方向。

已經(jīng)累計(jì)融資1.77億美元的Looker令用戶(hù)能夠使用自然語(yǔ)言進(jìn)行查詢(xún)，降低了查詢(xún)大型數(shù)據(jù)集的門(mén)檻；GoodData為企業(yè)提供大數(shù)據(jù)分析SaaS服務(wù)，其所有的數(shù)據(jù)分析服務(wù)實(shí)現(xiàn)了100%云化，企業(yè)可以將公司已有數(shù)據(jù)導(dǎo)入GoodData的云平臺(tái)，再對(duì)數(shù)據(jù)做跟蹤、切分、可視化、分析等處理。

BI領(lǐng)域一個(gè)有意思的應(yīng)用案例是Qlik公司的產(chǎn)品受到了中國(guó)海關(guān)總署的高度贊揚(yáng)。海關(guān)總署每天都需要進(jìn)行龐大的數(shù)據(jù)分析，Qlik則通過(guò)圖形化數(shù)據(jù)展示，使海關(guān)管理人員不再受平臺(tái)和時(shí)間的限制，能夠多視角長(zhǎng)跨度的分析，實(shí)現(xiàn)了對(duì)于現(xiàn)有海量數(shù)據(jù)的業(yè)務(wù)的快速展示，極大地促進(jìn)了稽查效果。

“企業(yè)大數(shù)據(jù)檢索、產(chǎn)品大數(shù)據(jù)分析、大數(shù)據(jù)咨詢(xún)預(yù)測(cè)、大數(shù)據(jù)平臺(tái)及機(jī)器學(xué)習(xí)領(lǐng)域——

企業(yè)大數(shù)據(jù)檢索能夠充分挖掘并釋放企業(yè)數(shù)據(jù)的潛力；產(chǎn)品的大數(shù)據(jù)分析使用戶(hù)行為成為了產(chǎn)品設(shè)計(jì)與運(yùn)營(yíng)環(huán)節(jié)的重要參考因素；大數(shù)據(jù)技術(shù)與咨詢(xún)業(yè)務(wù)的結(jié)合則對(duì)咨詢(xún)行業(yè)形成了很大的影響，數(shù)據(jù)技術(shù)導(dǎo)向的咨詢(xún)業(yè)務(wù)將極有可能成為未來(lái)行業(yè)的主流選擇；大數(shù)據(jù)服務(wù)支撐平臺(tái)類(lèi)企業(yè)則為大數(shù)據(jù)技術(shù)的普及和實(shí)用化做了很大的貢獻(xiàn)，是大數(shù)據(jù)技術(shù)生態(tài)中不可或缺的一環(huán)；最后是機(jī)器學(xué)習(xí)，作為大數(shù)據(jù)分析的底層技術(shù)方法也逐漸開(kāi)始得到廣泛應(yīng)用。

首先將企業(yè)大數(shù)據(jù)檢索、產(chǎn)品大數(shù)據(jù)分析、大數(shù)據(jù)咨詢(xún)預(yù)測(cè)、大數(shù)據(jù)平臺(tái)和機(jī)器學(xué)習(xí)這五個(gè)領(lǐng)域的典型企業(yè)列舉如下，接下來(lái)將分版塊進(jìn)行詳細(xì)介紹。

{ 4 }企業(yè)大數(shù)據(jù)檢索

移動(dòng)互聯(lián)網(wǎng)的普及與SaaS服務(wù)的興起令企業(yè)沉淀的數(shù)據(jù)量呈指數(shù)級(jí)上升，但目前對(duì)企業(yè)數(shù)據(jù)價(jià)值的挖掘僅僅停留在較淺層面，真正的大數(shù)據(jù)分析能力還尚未應(yīng)用。因此如何做好企業(yè)內(nèi)部數(shù)據(jù)信息價(jià)值的發(fā)掘成為了關(guān)鍵的第一步。

提升企業(yè)數(shù)據(jù)挖掘檢索能力，并將檢索的技術(shù)門(mén)檻降低的典型企業(yè)有Algolia，目前其產(chǎn)品具備關(guān)鍵字輸入智能容錯(cuò)功能，并提供搜索排名配置，能夠讓普通員工也能按需要找到自己所需的數(shù)據(jù)信息。同時(shí)Algolia還為移動(dòng)設(shè)備提供了離線(xiàn)搜索引擎，其C++ SDK可以嵌入到應(yīng)用服務(wù)器端，這樣即便沒(méi)有網(wǎng)絡(luò)連接應(yīng)用也能提供搜索功能，適用范圍很廣。

而在SaaS化服務(wù)興起的同時(shí)，企業(yè)采用多種軟件導(dǎo)致內(nèi)部數(shù)據(jù)不聯(lián)通而形成了數(shù)據(jù)孤島。根據(jù)互聯(lián)網(wǎng)女皇Mary Meeker的分析，不同行業(yè)的公司平均使用SaaS服務(wù)的數(shù)量從最低25個(gè)至高達(dá)91個(gè)，需要跨平臺(tái)數(shù)據(jù)檢索分析服務(wù)。Maana開(kāi)發(fā)的數(shù)據(jù)搜索和發(fā)現(xiàn)平臺(tái)Maana Knowledge Graph，其長(zhǎng)處便是收集來(lái)自多個(gè)系統(tǒng)或者"孤島"的數(shù)據(jù)，并將其轉(zhuǎn)換為運(yùn)營(yíng)建議，可廣泛應(yīng)用于多個(gè)行業(yè)。

{ 5 }產(chǎn)品大數(shù)據(jù)分析

產(chǎn)品大數(shù)據(jù)分析相對(duì)其他應(yīng)用來(lái)說(shuō)關(guān)注度稍低，但其能夠發(fā)揮的功能并不少。通過(guò)收集用戶(hù)的瀏覽、點(diǎn)擊、購(gòu)買(mǎi)等行為，不單從宏觀(guān)上能夠察覺(jué)用戶(hù)群體的喜好變化提前應(yīng)對(duì)，微觀(guān)上還能夠構(gòu)建用戶(hù)畫(huà)像，從而做到定制的產(chǎn)品推薦與營(yíng)銷(xiāo)，能夠有效的提升用戶(hù)的消費(fèi)水平與滿(mǎn)意程度。

Mixpanel便是一家提供類(lèi)似產(chǎn)品的公司，其讓企業(yè)用戶(hù)跟蹤用戶(hù)的使用習(xí)慣提供實(shí)時(shí)分析，其產(chǎn)品有用戶(hù)動(dòng)態(tài)分析(Trends)、行為漏斗模型(Funnels)、用戶(hù)活躍度(Cohorts)及單用戶(hù)行為分析(People)等幾個(gè)模塊，全面的覆蓋了可能發(fā)生的用戶(hù)行為與場(chǎng)景。

{ 6 }大數(shù)據(jù)咨詢(xún)預(yù)測(cè)

如今大數(shù)據(jù)技術(shù)的發(fā)展為事件分析和預(yù)測(cè)提供了可能，并且準(zhǔn)確度和處理速度已經(jīng)具備了很大競(jìng)爭(zhēng)力，傳統(tǒng)咨詢(xún)公司的處境類(lèi)似于現(xiàn)在面對(duì)AI威脅的華爾街分析師，或許不久之后就將會(huì)被替代。因此隨著逐漸出現(xiàn)大數(shù)據(jù)咨詢(xún)公司的同時(shí)，傳統(tǒng)咨詢(xún)企業(yè)也紛紛與大數(shù)據(jù)技術(shù)公司合作，甚至成立了自己的數(shù)據(jù)業(yè)務(wù)部門(mén)。

Opera Solutions便是一家依托大數(shù)據(jù)分析的咨詢(xún)公司，其創(chuàng)始人是咨詢(xún)行業(yè)資深人士，曾創(chuàng)辦了商業(yè)咨詢(xún)公司Mitchell Madison和Zeborg。

目前Opera致力于金融領(lǐng)域的數(shù)據(jù)分析類(lèi)咨詢(xún)，通過(guò)建模、定量分析給客戶(hù)提供建議，解決客戶(hù)的商業(yè)問(wèn)題。例如其計(jì)算機(jī)系統(tǒng)可以一次性采集數(shù)十億條數(shù)據(jù)，包含從房產(chǎn)和汽車(chē)價(jià)格到經(jīng)紀(jì)賬戶(hù)和供應(yīng)鏈的實(shí)時(shí)數(shù)據(jù)等，通過(guò)分析從中獲得有關(guān)消費(fèi)者、市場(chǎng)和整個(gè)經(jīng)濟(jì)體系將如何行動(dòng)的信號(hào)或見(jiàn)解。其客戶(hù)包含了咨詢(xún)機(jī)構(gòu)及花旗銀行等公司，最近還為摩根士丹利提供了幫助經(jīng)紀(jì)人團(tuán)隊(duì)給其客戶(hù)提供投資建議的業(yè)務(wù)。

新技術(shù)、機(jī)器學(xué)習(xí)與咨詢(xún)預(yù)測(cè)行業(yè)的結(jié)合，相比于僅使用大數(shù)據(jù)分析技術(shù)能夠獲得更好的效果，也成為了行業(yè)內(nèi)的一個(gè)小熱點(diǎn)。例如基于社會(huì)物理學(xué)原理的Endor能夠依托少量數(shù)據(jù)生成統(tǒng)一的人類(lèi)行為數(shù)據(jù)集，并比傳統(tǒng)海量數(shù)據(jù)分析方式更早的做出模式識(shí)別與判斷。在甄別facebook上受ISIS控制的賬號(hào)的實(shí)驗(yàn)中，根據(jù)已知少量ISIS賬號(hào)特性，Endor高效分辨出了新的ISIS疑似賬號(hào)并且準(zhǔn)確度令人滿(mǎn)意。

{ 7 }大數(shù)據(jù)服務(wù)支撐平臺(tái)

目前圍繞著大數(shù)據(jù)技術(shù)與大數(shù)據(jù)產(chǎn)業(yè)生態(tài)鏈發(fā)展的，還有許多是平臺(tái)服務(wù)型的公司，這類(lèi)公司具備一定的技術(shù)水平，但主要通過(guò)服務(wù)大數(shù)據(jù)技術(shù)公司及科研人員而存在，是技術(shù)生態(tài)中不可或缺的一環(huán)。

Dataiku創(chuàng)建了一個(gè)云平臺(tái)，旨在使數(shù)據(jù)科學(xué)家和普通員工更容易獲得公司收集的大數(shù)據(jù)，并通過(guò)機(jī)器學(xué)習(xí)庫(kù)縮短了專(zhuān)家以及數(shù)據(jù)分析師所需要的時(shí)間。

Algorithmia的平臺(tái)上提供包括機(jī)器學(xué)習(xí)、語(yǔ)義分析、文本分析等通用性算法，一旦用戶(hù)找到想用的算法，只需添加幾行簡(jiǎn)單的算法查詢(xún)代碼到應(yīng)用中，Algorithmia的服務(wù)器就會(huì)與應(yīng)用連接，避免了開(kāi)發(fā)者的重復(fù)勞動(dòng)。

目前部分向開(kāi)發(fā)者社區(qū)業(yè)務(wù)發(fā)展過(guò)渡的平臺(tái)型企業(yè)，因其資源已經(jīng)得到行業(yè)巨頭的青睞，被Google收購(gòu)的Kaggle便是一例，通過(guò)舉辦數(shù)據(jù)科學(xué)周邊的線(xiàn)上競(jìng)賽，Kaggle吸引了大量數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)開(kāi)發(fā)者的參與，為各類(lèi)現(xiàn)實(shí)中的商業(yè)難題尋找基于數(shù)據(jù)的算法解決方案。同時(shí)Kaggle為其社區(qū)提供了一整套服務(wù)，包括知名的招聘服務(wù)以及代碼分享工具Kernels。

{ 8 }機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)，是模式識(shí)別、統(tǒng)計(jì)學(xué)習(xí)、數(shù)據(jù)挖掘的技術(shù)手段，也是計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域的底層技術(shù)，在附件的介紹中大家可以看到，微軟Azure、Google云平臺(tái)及AWS都推出了自己的機(jī)器學(xué)習(xí)產(chǎn)品，而眾多的機(jī)器學(xué)習(xí)創(chuàng)業(yè)公司則通過(guò)提供有特色的技術(shù)或服務(wù)進(jìn)行差異化競(jìng)爭(zhēng)。

已累計(jì)獲得了7900萬(wàn)美元融資的Attivio專(zhuān)注于利用機(jī)器學(xué)習(xí)技術(shù)通過(guò)文本進(jìn)行情緒分析，提供有監(jiān)督的機(jī)器學(xué)習(xí)與無(wú)監(jiān)督機(jī)器學(xué)習(xí)兩種技術(shù)，幫助企業(yè)通過(guò)識(shí)別企業(yè)語(yǔ)料庫(kù)中的文檔進(jìn)行情緒建模與分析。思科通過(guò)Attivio的智能系統(tǒng)令銷(xiāo)售人員能夠在與客戶(hù)合作時(shí)依據(jù)對(duì)方的情緒、消費(fèi)能力等數(shù)據(jù)推薦合適產(chǎn)品，從而節(jié)省了數(shù)百萬(wàn)的銷(xiāo)售運(yùn)營(yíng)費(fèi)用，同時(shí)節(jié)約了銷(xiāo)售團(tuán)隊(duì)15-25%的時(shí)間。

第5篇：大數(shù)據(jù)分析方案范文

【關(guān)鍵詞】 “互聯(lián)網(wǎng)+” 大數(shù)據(jù) “三角服務(wù)”模型 智能醫(yī)療服務(wù)系統(tǒng)

在人口快速老齡化、家庭規(guī)模日益小型化和機(jī)構(gòu)養(yǎng)老發(fā)展不足等多重因素的影響下，發(fā)展社區(qū)養(yǎng)老逐漸成為一種必然選擇。建立起基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，在市區(qū)大醫(yī)院、社區(qū)醫(yī)療站以及社區(qū)老年人三者之間建立起信息網(wǎng)絡(luò)，使社區(qū)老年人的健康問(wèn)題得到更好的保障。

一、系統(tǒng)概述

現(xiàn)如今，大型醫(yī)院普遍存在床位緊張、人員調(diào)配效果不佳、管理體系不健全等問(wèn)題。建立社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)是完善現(xiàn)有醫(yī)療體系急需解決的主要問(wèn)題，同時(shí)，隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，將互聯(lián)網(wǎng)與大數(shù)據(jù)分析技術(shù)用于社區(qū)醫(yī)療服務(wù)系統(tǒng)，已成為該方面的一項(xiàng)新技術(shù)。

二、技術(shù)分析

根據(jù)上述分析，需要開(kāi)發(fā)一套基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，此系統(tǒng)可以最優(yōu)化利用資源，幫助老人方便、快捷的解決突發(fā)狀況。為滿(mǎn)足需求，該方案需要具備以下技術(shù)：1）概率統(tǒng)計(jì)。收集社區(qū)老人的體溫、心率等生命體征數(shù)據(jù)。以河師大社區(qū)為例，運(yùn)用概率統(tǒng)計(jì)技術(shù)采集社區(qū)老人的生命體征數(shù)據(jù)。2）大數(shù)據(jù)分析。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上，利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘和人工智能中不確定性推理技術(shù)，對(duì)采集到的老年人信息進(jìn)行分析及推斷。3）互聯(lián)網(wǎng)技術(shù)。構(gòu)建“三角服務(wù)”模型。運(yùn)用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個(gè)以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大子系統(tǒng)相互連接的“三角服務(wù)”模型，實(shí)現(xiàn)智能管理。

三、設(shè)計(jì)方案

1、總體流程。整個(gè)醫(yī)療服務(wù)系統(tǒng)可分為線(xiàn)上和線(xiàn)下兩種服務(wù)方式。線(xiàn)上：系統(tǒng)按照固定方案進(jìn)行老人身體數(shù)據(jù)采集；線(xiàn)下：社區(qū)醫(yī)療站會(huì)定期派專(zhuān)業(yè)人士到老人家里對(duì)其進(jìn)行全方位檢查以及相關(guān)醫(yī)療知識(shí)的普及。

2、數(shù)據(jù)采集與處理。首先利用智能手環(huán)采集社區(qū)部分老年人的身體數(shù)據(jù)，通過(guò)社區(qū)中建立的互聯(lián)網(wǎng)網(wǎng)絡(luò)把數(shù)據(jù)傳輸?shù)绞謾C(jī)APP以及信息協(xié)作平臺(tái)上。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上，利用大數(shù)據(jù)分析和不確定性推理技術(shù)，對(duì)采集到的老年人信息進(jìn)行分析及推斷。

3、“三角服務(wù)”模型?！盎ヂ?lián)網(wǎng)+”社區(qū)養(yǎng)老中最為核心的就是系統(tǒng)模型的構(gòu)建，運(yùn)用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個(gè)以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大系統(tǒng)相互連接的“三角服務(wù)”模型（如圖1所示）。

若采集到的老人的身體數(shù)據(jù)發(fā)生了變化，則會(huì)通過(guò)報(bào)警系統(tǒng)反饋到社區(qū)醫(yī)療站，社區(qū)醫(yī)療站則做出最快的反應(yīng)，一方面，會(huì)到老人家中對(duì)老人進(jìn)行急救，另一方面，會(huì)及時(shí)將老人的存檔發(fā)送給醫(yī)院，并聯(lián)系醫(yī)院進(jìn)行一系列的急救措施，從而節(jié)約了救援時(shí)間。

4、構(gòu)建智能醫(yī)療服務(wù)系統(tǒng)。開(kāi)發(fā)社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。即開(kāi)發(fā)一個(gè)集智能醫(yī)療設(shè)備、智能醫(yī)護(hù)終端設(shè)備和帶有功能模塊的智能醫(yī)護(hù)平臺(tái)為一體的服務(wù)系統(tǒng)。將采集到的老人身體數(shù)據(jù)存于專(zhuān)門(mén)的數(shù)據(jù)庫(kù)中，在信息協(xié)作平臺(tái)上將社區(qū)老人、社區(qū)醫(yī)療站和市區(qū)大醫(yī)院三者建立成一個(gè)相互共享的網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)信息的共享。手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系，能夠通過(guò)移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息，市區(qū)大醫(yī)院的醫(yī)療系統(tǒng)與社區(qū)醫(yī)療站的數(shù)據(jù)庫(kù)相連接，從而便于實(shí)現(xiàn)信息的共享。

結(jié)語(yǔ)：本系統(tǒng)是基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，是物聯(lián)網(wǎng)在醫(yī)療領(lǐng)域的應(yīng)用，目的是為社區(qū)老人提供更便捷的醫(yī)療服務(wù)。將大數(shù)據(jù)分析技術(shù)與智能醫(yī)療服務(wù)系統(tǒng)相結(jié)合，在概率統(tǒng)計(jì)的基礎(chǔ)上，將手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系，通過(guò)移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息，便于實(shí)現(xiàn)信息的共享與交流，醫(yī)療服務(wù)更趨于智能化。

參 考 文 獻(xiàn)

[1] 趙靜. 基于物網(wǎng)發(fā)展的智能化社區(qū)醫(yī)療服務(wù)研究[D].燕山大學(xué)，2013.

[2]潘峰，宋峰. 互聯(lián)網(wǎng)+社區(qū)養(yǎng)老：智能養(yǎng)老新思維[J]. 學(xué)習(xí)與實(shí)踐，2015，09：99-105.

[3]王蔚，邵磊，楊青. 基于大數(shù)據(jù)體系下的城市住宅區(qū)養(yǎng)老模式研究[J]. 住區(qū)，2016，01：35-41.

第6篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞：互聯(lián)網(wǎng)聯(lián)網(wǎng) 數(shù)據(jù)分析師 人才培養(yǎng)

互聯(lián)網(wǎng)行業(yè)在快速發(fā)展，“互聯(lián)網(wǎng)+”概念的提出標(biāo)志著互聯(lián)網(wǎng)已叩響“萬(wàn)物互聯(lián)時(shí)代”的大門(mén)。在這個(gè)時(shí)代，大數(shù)據(jù)滲透于各行各業(yè)，掌握數(shù)據(jù)核心價(jià)值成為企業(yè)脫穎而出并取得勝利的法寶。越來(lái)越多的企業(yè)承認(rèn)競(jìng)爭(zhēng)優(yōu)勢(shì)與大數(shù)據(jù)有關(guān)，由此，數(shù)據(jù)分析師這一職業(yè)逐漸得到認(rèn)可并受到追捧。世界500強(qiáng)企業(yè)中，有90%以上都建立了數(shù)據(jù)分析部門(mén)。在國(guó)內(nèi)，已有超過(guò)56%的企業(yè)在籌備和發(fā)展大數(shù)據(jù)研究，據(jù)有關(guān)部門(mén)預(yù)測(cè)未來(lái)5年，94%的公司都將需要數(shù)據(jù)分析專(zhuān)業(yè)人才。數(shù)據(jù)分析師的職位需求隨之不斷增長(zhǎng)，全國(guó)數(shù)據(jù)分析師的職位由2014年初的200多個(gè)職位增長(zhǎng)到接近3000個(gè)職位。正如著名出版公司O’Reilly的創(chuàng)始人Tim O’Reilly斷言，大數(shù)據(jù)就是下一個(gè)Intel Inside，未來(lái)屬于那些能把數(shù)據(jù)轉(zhuǎn)換為產(chǎn)品的公司和人群。

優(yōu)秀的數(shù)據(jù)分析師已經(jīng)成為促進(jìn)各行各業(yè)發(fā)展，推動(dòng)國(guó)家經(jīng)濟(jì)進(jìn)步的重要人物。但我國(guó)針對(duì)數(shù)據(jù)分析的研究起步晚，市場(chǎng)巨大，職位空缺現(xiàn)象十分嚴(yán)重。因此，培養(yǎng)數(shù)據(jù)分析人才的項(xiàng)目活動(dòng)應(yīng)引起高度重視。

1互聯(lián)網(wǎng)環(huán)境下的數(shù)據(jù)分析師

1.1數(shù)據(jù)分析師的定義

談起數(shù)據(jù)分析師，很多人都認(rèn)為其職位高高在上，不可企及，但實(shí)際并非如此。讓我們從案例出發(fā)來(lái)探索其內(nèi)在含義，數(shù)據(jù)分析最經(jīng)典的案例便是“啤酒與尿布”，沃爾瑪超市將Aprior算法引入Pos機(jī)數(shù)據(jù)分析發(fā)現(xiàn)美國(guó)年輕的父親去超市為嬰兒購(gòu)買(mǎi)尿布的同時(shí)，往往會(huì)順便為自己購(gòu)買(mǎi)啤酒，這樣便使尿布和啤酒這兩樣看似不相干的商品有了某種聯(lián)系。于是，沃爾瑪嘗試將兩種商品擺放在同一區(qū)域，進(jìn)而取得了意想不到的良好銷(xiāo)售收入?？梢?jiàn)，數(shù)據(jù)分析是運(yùn)用適當(dāng)?shù)姆椒▽?duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析整理，篩選有價(jià)值的信息并形成相應(yīng)的解決方案以幫助人們作出判斷，采取適當(dāng)行動(dòng)的過(guò)程。

1.2數(shù)據(jù)分析師的層級(jí)分類(lèi)

經(jīng)對(duì)多家招聘網(wǎng)站數(shù)據(jù)分析師的招聘信息進(jìn)行分析研究，發(fā)現(xiàn)目前數(shù)據(jù)分析師大體分為三個(gè)層級(jí)：傳統(tǒng)行業(yè)的數(shù)據(jù)分析師、互聯(lián)網(wǎng)初級(jí)數(shù)據(jù)分析師、互聯(lián)網(wǎng)高級(jí)數(shù)據(jù)分析師。傳統(tǒng)行業(yè)的數(shù)據(jù)分析師的主要工作是整理、處理數(shù)據(jù)，專(zhuān)業(yè)技能只要具備一定的數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識(shí)儲(chǔ)備即可；第二層級(jí)是互聯(lián)網(wǎng)初級(jí)數(shù)據(jù)分析師，職位要求在傳統(tǒng)數(shù)據(jù)分析師的基礎(chǔ)上掌握少數(shù)的計(jì)算機(jī)工具譬如SPSS、SQL等，從職人員需具備一定的數(shù)據(jù)敏感度和邏輯思維能力，能夠?qū)?shù)據(jù)源進(jìn)行分析并能制作數(shù)據(jù)報(bào)表；互聯(lián)網(wǎng)高級(jí)數(shù)據(jù)分析師是一類(lèi)復(fù)合型人才，要熟悉業(yè)務(wù)環(huán)境并能與技術(shù)相結(jié)合解決企業(yè)實(shí)際問(wèn)題，并掌握數(shù)據(jù)挖掘常用算法和一系列相關(guān)的分析軟件，他們的工作與企業(yè)發(fā)展密切相連，擁有一名優(yōu)秀的數(shù)據(jù)分析師的企業(yè)將擁有與同行業(yè)競(jìng)爭(zhēng)的資本。

1.3數(shù)據(jù)分析師的能力需求

數(shù)據(jù)分析師的工作分為采集、存儲(chǔ)、篩選、數(shù)據(jù)挖掘、建模分析、優(yōu)化、展現(xiàn)、應(yīng)用等一系列過(guò)程。接下來(lái)從主要步驟詳細(xì)分析數(shù)據(jù)分析師的能力需求。數(shù)據(jù)挖掘過(guò)程即從海量數(shù)據(jù)中提取潛在的有價(jià)值的信息，要求數(shù)據(jù)分析師掌握一系列相關(guān)分析方法譬如聚類(lèi)分析、關(guān)聯(lián)分析、等并能熟練運(yùn)用數(shù)據(jù)挖掘算法和相關(guān)工具；建模分析即對(duì)數(shù)據(jù)抽象組織，確定數(shù)據(jù)及相關(guān)性的過(guò)程，在此基礎(chǔ)上要掌握譬如決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、K-means算法、SVM等至少一種相關(guān)算法；展現(xiàn)過(guò)程要求具備數(shù)據(jù)整理、數(shù)據(jù)可視化、報(bào)表制作能力，熟練應(yīng)用D3、Vega實(shí)現(xiàn)數(shù)據(jù)可視化，并能運(yùn)用R和DateWangler工具將原始數(shù)據(jù)轉(zhuǎn)化為實(shí)用的格式。

2數(shù)據(jù)分析師的培養(yǎng)現(xiàn)狀

2.1國(guó)外數(shù)據(jù)分析師的培養(yǎng)現(xiàn)狀

在國(guó)外，無(wú)論是學(xué)術(shù)研究還是企業(yè)部門(mén)，數(shù)據(jù)分析已發(fā)展到較為成熟的地步。斯坦福大學(xué)的研究成員著手開(kāi)發(fā)MEGA（現(xiàn)代動(dòng)態(tài)網(wǎng)絡(luò)圖像分析Modern Graph Analysis for Dynamic Networks）并與多家媒體公司緊密合作，研究社交媒體中的用戶(hù)行為，建立模型并探究其中的規(guī)律；哥倫比亞大學(xué)已開(kāi)設(shè)了《數(shù)據(jù)科學(xué)導(dǎo)論》和《應(yīng)用數(shù)據(jù)科學(xué)》課程，從2013年秋季起開(kāi)設(shè)“數(shù)據(jù)科學(xué)專(zhuān)業(yè)成就認(rèn)證”培訓(xùn)項(xiàng)目，并于2014年設(shè)立專(zhuān)業(yè)碩士學(xué)位和博士學(xué)位；華盛頓大學(xué)開(kāi)設(shè)《數(shù)據(jù)科學(xué)導(dǎo)論》課程，并對(duì)修滿(mǎn)數(shù)據(jù)科學(xué)相關(guān)課程學(xué)分的學(xué)生頒發(fā)數(shù)據(jù)科學(xué)證書(shū)。數(shù)據(jù)分析師在國(guó)外已引起了充分的重視，他們均衡分布在各行各業(yè)，運(yùn)用掌握的專(zhuān)業(yè)知識(shí)并結(jié)合相關(guān)思維為自身、企業(yè)乃至社會(huì)的發(fā)展做著不小的貢獻(xiàn)。

2.2國(guó)內(nèi)數(shù)據(jù)分析師的培養(yǎng)現(xiàn)狀

近年來(lái)，在國(guó)內(nèi)，大數(shù)據(jù)的概念雖被媒體和行業(yè)廣泛提及，但數(shù)據(jù)分析算是剛剛起步，數(shù)據(jù)分析師的培養(yǎng)課程未得到普及，我國(guó)目前將數(shù)據(jù)分析納入教學(xué)體系的高校寥寥無(wú)幾，開(kāi)設(shè)相關(guān)課程并取得一定成果的有：香港中文大學(xué)設(shè)立“數(shù)據(jù)科學(xué)商業(yè)統(tǒng)計(jì)科學(xué)”碩士學(xué)位；復(fù)旦大學(xué)開(kāi)設(shè)數(shù)據(jù)科學(xué)討論班，于2010年開(kāi)始招收數(shù)據(jù)科學(xué)博士研究生；北京航空航天大學(xué)設(shè)立大數(shù)據(jù)工程碩士學(xué)位；中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院開(kāi)設(shè)數(shù)據(jù)分析方向應(yīng)用統(tǒng)計(jì)碩士。

和國(guó)外相比，我國(guó)數(shù)據(jù)分析師的人才培養(yǎng)機(jī)制還未成熟，高校教育仍存在各種各樣的問(wèn)題，譬如，大學(xué)生雖然從多門(mén)課程中接觸到與數(shù)據(jù)分析相關(guān)內(nèi)容，但各門(mén)課程的教學(xué)資源未能實(shí)現(xiàn)有效的整合。互聯(lián)網(wǎng)環(huán)境下，大數(shù)據(jù)帶來(lái)的是一場(chǎng)革命性的變化，若想把握機(jī)遇，實(shí)現(xiàn)國(guó)家經(jīng)濟(jì)革命性發(fā)展，首要任務(wù)就是數(shù)據(jù)分析師的培養(yǎng)。

3如何成為優(yōu)秀的數(shù)據(jù)分析師

數(shù)據(jù)分析師作為新時(shí)代新興起的高薪職業(yè)，對(duì)人員的能力要求是相當(dāng)高的，下面將根據(jù)數(shù)據(jù)分析師的定義、能力需求并結(jié)合互聯(lián)網(wǎng)環(huán)境的時(shí)代背景，對(duì)數(shù)據(jù)分析師的成才途徑作出詳細(xì)的分析。

思維變革，數(shù)據(jù)分析師成才的前提。首先要在思維方面有所改變，培養(yǎng)自身數(shù)據(jù)思維、多模式思維、邏輯思維和結(jié)構(gòu)化思維。數(shù)據(jù)思維即量化思維，對(duì)數(shù)據(jù)具有獨(dú)特的敏感度，相信一切事物皆可量化；多模式思維即構(gòu)造多種想法和解決思路，拓寬思維，從多角度出發(fā)，以尋求最優(yōu)的解決問(wèn)題的方案；邏輯思維，在錯(cuò)綜復(fù)雜的海量數(shù)據(jù)中要有縝密的思維和清晰的邏輯推理能力才能按照自己既定的目標(biāo)有效解決問(wèn)題；結(jié)構(gòu)化思維即系統(tǒng)性思考問(wèn)題，深入分析內(nèi)在原因，能夠制定系統(tǒng)可行的解決方案。

技能變革，數(shù)據(jù)分析師成才的工具。作為一名優(yōu)秀的數(shù)據(jù)分析師若想在互聯(lián)網(wǎng)環(huán)境下對(duì)海量數(shù)據(jù)進(jìn)行有效的管理，就要努力學(xué)習(xí)相關(guān)的專(zhuān)業(yè)技能。要掌握多種機(jī)器學(xué)習(xí)方法，不斷學(xué)習(xí)相關(guān)軟件應(yīng)用，譬如，Java、Python、SQL、Hadoop、R等等，這將成為數(shù)據(jù)分析全過(guò)程的輔助工具；除此，還要掌握一定的心理學(xué)知識(shí)，能夠很好的分析和解釋客戶(hù)行為；在此基礎(chǔ)上，最核心的是要掌握一定的業(yè)務(wù)能力和管理能力。

素質(zhì)變革，數(shù)據(jù)分析師成才的保證。在個(gè)人素質(zhì)方面，互聯(lián)網(wǎng)時(shí)代對(duì)數(shù)據(jù)分析師的要求增多，若想成為優(yōu)秀的數(shù)據(jù)分析師就應(yīng)不斷學(xué)習(xí)完善以下素質(zhì)能力：對(duì)工作的態(tài)度嚴(yán)謹(jǐn)認(rèn)真，對(duì)數(shù)據(jù)的變化時(shí)刻保持敏銳的洞察力，對(duì)方法的運(yùn)用保持一定的創(chuàng)新性，對(duì)團(tuán)隊(duì)保持團(tuán)結(jié)合作之心，能與顧客溝通交流并及時(shí)了解他們的需求。

實(shí)踐，數(shù)據(jù)分析師成才的推動(dòng)力。數(shù)據(jù)分析師的職責(zé)是幫助企業(yè)挖掘市場(chǎng)價(jià)值、發(fā)現(xiàn)機(jī)遇、準(zhǔn)確進(jìn)行市場(chǎng)定位并從海量數(shù)據(jù)中找出問(wèn)題，提出解決方案。因此，在數(shù)據(jù)分析師的成才道路上，實(shí)踐是必不可少的。相關(guān)人員要在掌握理論的基礎(chǔ)上，敢于應(yīng)用于實(shí)踐，充分考慮數(shù)據(jù)中存在的價(jià)值和風(fēng)險(xiǎn)。使自我能力在實(shí)踐中不斷改進(jìn)和完善。

4給我國(guó)高校的建議

高校為數(shù)據(jù)分析師的成長(zhǎng)提供指導(dǎo)和途徑，肩負(fù)著為我國(guó)社會(huì)培養(yǎng)有用人才的重任，因此高校要努力構(gòu)建數(shù)據(jù)分析師的人才培養(yǎng)機(jī)制，不斷輸出數(shù)據(jù)分析相關(guān)人才。

高校的首要任務(wù)是，強(qiáng)化師資力量，改進(jìn)教學(xué)方法。各大高校應(yīng)聯(lián)合共建優(yōu)秀師資團(tuán)隊(duì)，鼓勵(lì)教師考取數(shù)據(jù)分析師資格證，并到實(shí)際企業(yè)中進(jìn)行歷練。再者，我們要組建專(zhuān)門(mén)師資團(tuán)隊(duì)到國(guó)外開(kāi)展學(xué)習(xí)工作，取其精髓，去其槽粕，不斷優(yōu)化我國(guó)數(shù)據(jù)分析師的培養(yǎng)體系。

第二、培養(yǎng)專(zhuān)業(yè)化的人才就要有效整合各門(mén)課程的教學(xué)資源，構(gòu)建系統(tǒng)性教學(xué)結(jié)構(gòu)。鑒于市場(chǎng)對(duì)數(shù)據(jù)分析師的需求的火熱程度，高校完全可以開(kāi)設(shè)專(zhuān)門(mén)課程，將與數(shù)據(jù)相關(guān)的課程進(jìn)行有機(jī)的整合并開(kāi)設(shè)數(shù)據(jù)分析導(dǎo)論、基礎(chǔ)等課程，制定數(shù)據(jù)分析系統(tǒng)性課程體系，專(zhuān)門(mén)為市場(chǎng)培養(yǎng)數(shù)據(jù)分析的專(zhuān)業(yè)人才。

第三、在具備優(yōu)秀的師資力量和良好的教學(xué)體系的基礎(chǔ)上，高校也高度應(yīng)注重學(xué)生興趣的培養(yǎng)。數(shù)據(jù)分析師是新時(shí)代的復(fù)合型人才，一名優(yōu)秀的數(shù)據(jù)分析師需掌握包括數(shù)學(xué)、統(tǒng)計(jì)學(xué)、運(yùn)籌學(xué)、社會(huì)學(xué)、管理學(xué)以及大量軟件應(yīng)用在內(nèi)的大量相關(guān)知識(shí)，學(xué)習(xí)過(guò)程會(huì)十分繁瑣、復(fù)雜，學(xué)習(xí)周期長(zhǎng)，學(xué)習(xí)難度大，所以建議各大高校在制定教學(xué)體系時(shí)應(yīng)合理安排課程，在教學(xué)過(guò)程中應(yīng)注重課程的趣味性，寓教于樂(lè)，采用案例導(dǎo)入、項(xiàng)目教學(xué)等教學(xué)方法，逐漸培養(yǎng)學(xué)生對(duì)數(shù)據(jù)分析濃厚的興趣。

第四、隨時(shí)更新教學(xué)數(shù)據(jù)，培養(yǎng)適應(yīng)時(shí)展的人才?；诖髷?shù)據(jù)的4V特征即大量化（Volume）、多樣化（Variety）、快速化（Velocity）、價(jià)值化（Value），在培養(yǎng)數(shù)據(jù)分析人才的期間，高校一方面要注重?cái)?shù)據(jù)的全面性，另一方面要注重?cái)?shù)據(jù)的更新，及時(shí)更改教學(xué)方法和教學(xué)案例，與時(shí)俱進(jìn)。高校要充分利用互聯(lián)網(wǎng)的優(yōu)勢(shì)，引入MOOC（Massive Open Online Course，大規(guī)模網(wǎng)絡(luò)開(kāi)放課程）教學(xué)方式，充分發(fā)揮大數(shù)據(jù)在教育領(lǐng)域的作用，克服傳統(tǒng)教學(xué)方法資源少、反饋慢、綜合分析困難等缺點(diǎn)，將數(shù)據(jù)分析的研究成果應(yīng)用于數(shù)據(jù)分析人才的培養(yǎng)，實(shí)現(xiàn)數(shù)據(jù)分析行業(yè)的良性循環(huán)。

第五、注重理論與實(shí)踐相結(jié)合，努力為學(xué)生搭建實(shí)踐的平臺(tái)。高?？煽紤]校企合作的教學(xué)理念，邊教學(xué)邊實(shí)踐，讓學(xué)生將所學(xué)到的理論知識(shí)轉(zhuǎn)化為實(shí)際應(yīng)用，一方面在實(shí)踐中鞏固并檢驗(yàn)自己的理論知識(shí)，另一方面數(shù)據(jù)來(lái)源真正的企業(yè)運(yùn)營(yíng)中，讓學(xué)生切實(shí)體驗(yàn)數(shù)據(jù)的作用和風(fēng)險(xiǎn)，有助于塑造真正對(duì)企業(yè)有用的人才。

5結(jié)語(yǔ)

綜上所述，互聯(lián)網(wǎng)帶來(lái)了全球范圍的數(shù)據(jù)信息大爆炸，這對(duì)企業(yè)來(lái)說(shuō)是機(jī)遇同時(shí)也是挑戰(zhàn)，能將大數(shù)據(jù)為自己所用，是企業(yè)取勝的關(guān)鍵，因此數(shù)據(jù)分析師逐漸被各行各業(yè)認(rèn)可。文章從數(shù)據(jù)分析師的定義出發(fā)，結(jié)合目前的時(shí)代背景，對(duì)數(shù)據(jù)分析師的每一工作步驟所需的能力進(jìn)行研究，旨在初步探索優(yōu)秀數(shù)據(jù)分析師的成才之道，為即將成為數(shù)據(jù)分析師的學(xué)者提供一定的理論參考。最后，針對(duì)如何構(gòu)建數(shù)據(jù)分析人才培養(yǎng)體系，對(duì)我國(guó)高校提出了幾點(diǎn)建議。高校的培養(yǎng)只是為數(shù)據(jù)分析師提供成才的途徑，如何成為資深的數(shù)據(jù)分析師還有賴(lài)于每個(gè)學(xué)者的不斷探索和研究。

參考文獻(xiàn)：

[1]張明元.數(shù)據(jù)分析師的職業(yè)是否高不可及[J].出國(guó)與就業(yè)，2007（08）：56.

[2]鄭葵，馬濤.經(jīng)管類(lèi)專(zhuān)業(yè)大學(xué)生數(shù)據(jù)分析能力提升策略探討[J].商業(yè)經(jīng)濟(jì)，2013（19）：52-53.

[3]馮海超.大數(shù)據(jù)時(shí)代正式到來(lái)[J].互聯(lián)網(wǎng)周刊，2012（24）：36-38.

[4]譚立云，李強(qiáng)麗，李慧.大數(shù)據(jù)時(shí)代數(shù)據(jù)分析人才培養(yǎng)的思考及對(duì)策[J].科技論壇，2015.

[5]尹穎堯，李鴻琳.趕緊培養(yǎng)數(shù)據(jù)分析師[J].大學(xué)生，2013（18）：78-79.

[6]程征.提升數(shù)字閱讀質(zhì)感的數(shù)據(jù)分析師[J].中國(guó)記者，2013（6）：46-47.

[7]張文霖.數(shù)據(jù)分析師那些事[J].統(tǒng)計(jì)論壇，2013（7）：44-45.

第7篇：大數(shù)據(jù)分析方案范文

［關(guān)鍵詞］數(shù)據(jù)分析；大數(shù)據(jù)；智慧校園；決策支持

1國(guó)內(nèi)外研究開(kāi)發(fā)現(xiàn)狀和發(fā)展趨勢(shì)

1．1現(xiàn)狀與趨勢(shì)

在當(dāng)今大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)等新思路、新技術(shù)快速發(fā)展的又一歷史時(shí)期，高等教育面臨著前所未有的發(fā)展機(jī)遇，在經(jīng)歷了網(wǎng)絡(luò)化、數(shù)字化、信息化管理階段之后，“智慧校園”將是在“互聯(lián)網(wǎng)＋教育”趨勢(shì)下最重要的發(fā)展思路。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，各種系統(tǒng)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以前所未有的驚人速度迅猛增長(zhǎng)，“大數(shù)據(jù)”時(shí)代已經(jīng)到來(lái)。大數(shù)據(jù)是指數(shù)據(jù)結(jié)構(gòu)比較復(fù)雜、數(shù)據(jù)規(guī)模大的數(shù)據(jù)集合。其數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超出了一般數(shù)據(jù)管理工具可以承受的處理時(shí)間以及數(shù)據(jù)處理及存儲(chǔ)管理能力。在當(dāng)今大數(shù)據(jù)環(huán)境下，高校管理系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)及數(shù)據(jù)量發(fā)生了巨大的變化。在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)分析及數(shù)據(jù)挖掘等方面面臨著巨大的機(jī)遇和挑戰(zhàn)。為了有效地利用大數(shù)據(jù)為高校決策分析提供更好的服務(wù)，必須基于大數(shù)據(jù)建立相應(yīng)的數(shù)據(jù)分析系統(tǒng)。

1．2國(guó)內(nèi)外研究與開(kāi)發(fā)綜述

隨著大數(shù)據(jù)的發(fā)展和教育信息化的不斷深入，基于大數(shù)據(jù)開(kāi)展的高校校園數(shù)據(jù)分析與應(yīng)用逐步受到重視。對(duì)大數(shù)據(jù)的定義始終沒(méi)有形成統(tǒng)一的意見(jiàn)。維基百科對(duì)大數(shù)據(jù)（Bigdata）的定義是：所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理并整理成為人類(lèi)所能解讀的信息。麥肯錫全球研究院將大數(shù)據(jù)定義為：無(wú)法在一定時(shí)間內(nèi)使用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行獲取、管理和處理的數(shù)據(jù)集合。加特納（Gartner）于2012年修改了對(duì)大數(shù)據(jù)的定義：大數(shù)據(jù)是大量、高速、多變的信息資產(chǎn)，它需要新型的處理方式去促成更強(qiáng)的決策能力、洞察力與優(yōu)化處理。而在高校學(xué)生數(shù)據(jù)的分析應(yīng)用方面，國(guó)內(nèi)外高校均有開(kāi)展相關(guān)的研究。紐約州波基普西市瑪麗斯特學(xué)院（MaristCollege）與商業(yè)數(shù)據(jù)分析公司Pentaho合作發(fā)起開(kāi)源學(xué)術(shù)分析計(jì)劃，旨在一門(mén)新課程開(kāi)始的兩周內(nèi)預(yù)測(cè)哪些學(xué)生可能會(huì)無(wú)法順利完成課程，它基于商業(yè)分析平臺(tái)開(kāi)發(fā)了一個(gè)分析模型，通過(guò)收集分析學(xué)生的學(xué)習(xí)習(xí)慣，包括線(xiàn)上閱讀材料、論壇發(fā)言、完成作業(yè)時(shí)長(zhǎng)等數(shù)據(jù)信息，來(lái)預(yù)測(cè)學(xué)生的學(xué)業(yè)情況，及時(shí)干預(yù)幫助問(wèn)題學(xué)生，從而提升畢業(yè)率。上海財(cái)經(jīng)大學(xué)基于校園信息化數(shù)據(jù)基礎(chǔ)，開(kāi)發(fā)了校務(wù)決策支持系統(tǒng)，面向人才培養(yǎng)、內(nèi)部管理、科學(xué)研究和師生服務(wù)等方面開(kāi)展決策分析；華東師范大學(xué)利用校園信息化基礎(chǔ)數(shù)據(jù)，開(kāi)展了校車(chē)人數(shù)與載客分布分析，提升了校車(chē)使用率；利用一卡通數(shù)據(jù)開(kāi)展了貧困生的特征確定、潛在貧困生分析、后續(xù)跟蹤驗(yàn)證，有效提升了幫困扶貧的工作效率。

2需求分析

結(jié)合西安歐亞學(xué)院信息化建設(shè)基礎(chǔ)與海量的數(shù)據(jù)積累，建立“智慧校園”數(shù)據(jù)分析系統(tǒng)，通過(guò)此平臺(tái)的建設(shè)和應(yīng)用，運(yùn)用數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)，從而在大數(shù)據(jù)中獲取數(shù)據(jù)之間內(nèi)在的相互聯(lián)系，以及其中可能存在的某種規(guī)律，從而有效提升校園管理的決策效率，提升教學(xué)科研與管理服務(wù)的綜合水平。通過(guò)調(diào)查走訪(fǎng)各部門(mén)，了解教師、學(xué)生與行政管理人員的相關(guān)需求。主要包括四個(gè)方面：一是教學(xué)數(shù)據(jù)分析需求。包括各分院、招生辦、教務(wù)處等部門(mén)對(duì)于招生、學(xué)生學(xué)習(xí)行為、教學(xué)質(zhì)量、學(xué)科建設(shè)與學(xué)生就業(yè)等方面的分析。二是生活服務(wù)數(shù)據(jù)分析需求。包括圖書(shū)館、后勤等部門(mén)對(duì)于學(xué)生的消費(fèi)行為即圖書(shū)借閱、網(wǎng)絡(luò)行為、資源利用等項(xiàng)目的分析。三是財(cái)務(wù)、人事、宣傳等部門(mén)對(duì)于全校的資產(chǎn)、師資力量、宣傳效果等項(xiàng)目的分析。四是研究發(fā)展部門(mén)對(duì)于全?？蒲许?xiàng)目與成果完成情況的分析（見(jiàn)圖1）。

3系統(tǒng)方案設(shè)計(jì)

3．1框架設(shè)計(jì)

結(jié)合需求情況，開(kāi)展系統(tǒng)的總體框架設(shè)計(jì)，初步將系統(tǒng)分為三大板塊，包括數(shù)據(jù)監(jiān)測(cè)、決策支持和查詢(xún)定制（見(jiàn)圖2）。

3．2系統(tǒng)方案

系統(tǒng)總體架構(gòu)包括四個(gè)層次，分別是數(shù)據(jù)引擎、數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)解決方案和交互平臺(tái)。數(shù)據(jù)引擎部分將集成校園WIFI、固網(wǎng)、一卡通、教務(wù)系統(tǒng)等各類(lèi)信息系統(tǒng)的數(shù)據(jù)，形成數(shù)據(jù)源，數(shù)據(jù)挖掘?qū)⑼ㄟ^(guò)分布式計(jì)算架構(gòu)和數(shù)據(jù)分析平臺(tái)對(duì)潛在數(shù)據(jù)進(jìn)行分析與建模，通過(guò)數(shù)據(jù)庫(kù)建立本系統(tǒng)的分析數(shù)據(jù)庫(kù)，最終通過(guò)PC、手機(jī)等客戶(hù)端向用戶(hù)進(jìn)行呈現(xiàn)（見(jiàn)圖3）。

3．3典型應(yīng)用研究?jī)?nèi)容

3．3．1教學(xué)質(zhì)量評(píng)估教學(xué)質(zhì)量評(píng)估屬于高校定期必須完成的任務(wù)，教學(xué)評(píng)估的主要目的是更好地發(fā)掘出教學(xué)過(guò)程中存在的一些問(wèn)題，從而及時(shí)地對(duì)教學(xué)方法進(jìn)行調(diào)整，最終實(shí)現(xiàn)教學(xué)質(zhì)量的提升。將大數(shù)據(jù)運(yùn)用到高校教學(xué)評(píng)估系統(tǒng)之中，不但能夠在很大程度上提高高校教學(xué)管理的科學(xué)性，同時(shí)還可以提高信息化教學(xué)的實(shí)用性。把基于大數(shù)據(jù)挖掘的算法運(yùn)用在教學(xué)評(píng)估工作之中，找出教學(xué)效果、信息技術(shù)在教學(xué)中的應(yīng)用、師生之間的溝通互動(dòng)等因素之間的聯(lián)系，從而給高校的教學(xué)部門(mén)帶來(lái)非常科學(xué)的決策信息，同時(shí)讓教師可以更加有效地開(kāi)展教學(xué)工作，提高教學(xué)質(zhì)量。

3．3．2教師教學(xué)能力分析以往的教學(xué)缺乏大量數(shù)據(jù)支撐，教學(xué)的質(zhì)量高低主要靠教師自我度的把握。現(xiàn)在，可以通過(guò)在線(xiàn)課堂等技術(shù)，搜集大量課堂情況信息，比如學(xué)生對(duì)知識(shí)點(diǎn)的理解程度、教師課堂測(cè)試的成績(jī)、學(xué)生課堂紀(jì)律等。通過(guò)這些數(shù)據(jù)的分析，了解教師熟悉教案的程度、課堂氛圍等，改善教學(xué)水平。也可以通過(guò)深度分析學(xué)生在教學(xué)過(guò)程中教師的課堂表現(xiàn)，從而發(fā)現(xiàn)課程的閃光點(diǎn)以及不足，從而讓教師能夠進(jìn)一步地對(duì)課程教學(xué)進(jìn)行改善，提升教學(xué)質(zhì)量。

3．3．3個(gè)性化課程分析個(gè)性化學(xué)習(xí)是高校教學(xué)改革的目標(biāo)，過(guò)去的班級(jí)制教學(xué)中無(wú)法很好達(dá)到這一點(diǎn)，通過(guò)把大數(shù)據(jù)挖掘技術(shù)和學(xué)習(xí)內(nèi)容結(jié)合起來(lái)，指導(dǎo)學(xué)習(xí)者規(guī)劃學(xué)習(xí)發(fā)展方向，制訂學(xué)習(xí)規(guī)劃，實(shí)現(xiàn)個(gè)性化學(xué)習(xí)功能。通過(guò)評(píng)估個(gè)人情況，根據(jù)分析結(jié)果推薦可能取得優(yōu)秀成績(jī)的課程方案。首先獲取學(xué)生以往的學(xué)習(xí)表現(xiàn)，然后從已畢業(yè)學(xué)生的成績(jī)庫(kù)中找到與之成績(jī)相似的學(xué)生信息，分析前期成績(jī)和待選課程結(jié)果之間的相關(guān)性，結(jié)合專(zhuān)業(yè)要求和學(xué)生能力進(jìn)行分析，預(yù)測(cè)學(xué)生選擇的課程中可能取得的成績(jī)，最后綜合權(quán)衡預(yù)測(cè)學(xué)生成績(jī)和各門(mén)課程的重要性，為學(xué)生推薦一份專(zhuān)業(yè)課程清單。

3．3．4學(xué)習(xí)行為分析通過(guò)一卡通門(mén)禁信息、網(wǎng)絡(luò)信息、課程信息、在線(xiàn)教育系統(tǒng)等相關(guān)數(shù)據(jù)，可以把學(xué)生到課堂時(shí)間、上課表現(xiàn)、作業(yè)完成情況、自習(xí)情況等學(xué)習(xí)信息記錄下來(lái)，進(jìn)行變量分析。當(dāng)一些與學(xué)習(xí)行為有關(guān)的因素（如曠課、紀(jì)律問(wèn)題、課堂表現(xiàn)）發(fā)生變化時(shí)，對(duì)學(xué)生提示并進(jìn)行分析。通過(guò)這種系統(tǒng)分析，可以很好地規(guī)劃學(xué)生的學(xué)習(xí)時(shí)間，提高學(xué)習(xí)效率。

4技術(shù)創(chuàng)新點(diǎn)

4．1大數(shù)據(jù)環(huán)境下提升數(shù)據(jù)挖掘范圍

相比于傳統(tǒng)常規(guī)環(huán)境下的數(shù)據(jù)獲取渠道，大數(shù)據(jù)環(huán)境下，校園數(shù)據(jù)的獲取更為廣泛和準(zhǔn)確。常規(guī)環(huán)境下的數(shù)據(jù)主要以經(jīng)費(fèi)收支、課程建設(shè)、問(wèn)卷、訪(fǎng)談、課堂觀(guān)察等來(lái)源，而在大數(shù)據(jù)環(huán)境下，通過(guò)對(duì)事件數(shù)據(jù)、輿情數(shù)據(jù)、一卡通、日志搜索等數(shù)據(jù)的抓取與分析，更能夠準(zhǔn)確地反映實(shí)際校情。

4．2可視化技術(shù)展現(xiàn)數(shù)據(jù)分析結(jié)果

利用大數(shù)據(jù)分析的數(shù)據(jù)挖掘與可視化分析，能夠直觀(guān)地呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被使用者所接受，就如同看圖說(shuō)話(huà)一樣簡(jiǎn)單明了。智慧校園中，結(jié)合學(xué)生學(xué)習(xí)、生活消費(fèi)的各類(lèi)數(shù)據(jù)，通過(guò)系統(tǒng)分析與圖表展現(xiàn)，讓用戶(hù)只管了解數(shù)據(jù)分析的結(jié)果。

4．3數(shù)據(jù)質(zhì)量管理提供重要支持

本項(xiàng)目結(jié)合大數(shù)據(jù)發(fā)展趨勢(shì)，充分利用數(shù)據(jù)挖掘、建模與可視化展示技術(shù)，系統(tǒng)存儲(chǔ)數(shù)據(jù)主要是從校內(nèi)外各種數(shù)據(jù)源中獲得最原始數(shù)據(jù)，并對(duì)該部分?jǐn)?shù)據(jù)進(jìn)行整合形成數(shù)據(jù)層，然后將數(shù)據(jù)層中的數(shù)據(jù)經(jīng)過(guò)抽取、清洗、轉(zhuǎn)換、裝載進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)從而形成支撐層，在支撐層的基礎(chǔ)上，可以根據(jù)需求對(duì)數(shù)據(jù)進(jìn)行挖掘分析，從而構(gòu)建決策層。

第8篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞：大數(shù)據(jù) 數(shù)據(jù)安全 安全分析 安全技術(shù) 安全防護(hù)

1 引言

隨著大數(shù)據(jù)技術(shù)日益發(fā)展成熟，運(yùn)營(yíng)商通過(guò)多年的發(fā)展積累了龐大的數(shù)據(jù)資源，基于數(shù)據(jù)資源方面的顯著優(yōu)勢(shì)，在確保數(shù)據(jù)安全使用的前提下，積極開(kāi)展大數(shù)據(jù)外部旅游、交通、政府、地產(chǎn)、人力資源、汽車(chē)、公共服務(wù)等行業(yè)的營(yíng)銷(xiāo)實(shí)踐，可實(shí)現(xiàn)大數(shù)據(jù)經(jīng)濟(jì)效益和社會(huì)效益的雙重提升。

《中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要》明確指出，要“實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略”，“加快推動(dòng)數(shù)據(jù)資源共享開(kāi)放和開(kāi)發(fā)應(yīng)用”；要“加強(qiáng)數(shù)據(jù)資源安全保護(hù)”，“保障安全高效可信應(yīng)用”。國(guó)務(wù)院頒布的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》提出，要深化大數(shù)據(jù)在各行業(yè)的創(chuàng)新應(yīng)用，同步建立健全大數(shù)據(jù)安全保障體系，切實(shí)保障數(shù)據(jù)安全。

但是，隨著運(yùn)營(yíng)商大數(shù)據(jù)應(yīng)用需求的快速增加，其面臨的安全風(fēng)險(xiǎn)也在不斷增大，為貫徹落實(shí)國(guó)家的相關(guān)要求，確保運(yùn)營(yíng)商大數(shù)據(jù)安全風(fēng)險(xiǎn)可管可控，在確保安全的前提下發(fā)揮數(shù)據(jù)價(jià)值，開(kāi)展運(yùn)營(yíng)商大數(shù)據(jù)安全管理策略研究，對(duì)實(shí)現(xiàn)運(yùn)營(yíng)商大數(shù)據(jù)安全管理具有重要的意義。

2 運(yùn)營(yíng)商大數(shù)據(jù)全生命周期安全管控

運(yùn)營(yíng)商建設(shè)大數(shù)據(jù)系統(tǒng)通常分為五個(gè)層級(jí)：

（1）數(shù)據(jù)采集層：主要是對(duì)移動(dòng)通信網(wǎng)絡(luò)、家庭寬帶網(wǎng)絡(luò)、集團(tuán)專(zhuān)線(xiàn)網(wǎng)絡(luò)的網(wǎng)絡(luò)設(shè)備及業(yè)務(wù)平臺(tái)側(cè)進(jìn)行數(shù)據(jù)分光復(fù)用、流量鏡像等配置操作。

（2）數(shù)據(jù)處理層：基于服務(wù)器資源對(duì)傳輸過(guò)來(lái)的原始數(shù)據(jù)進(jìn)行解析，生產(chǎn)準(zhǔn)實(shí)時(shí)數(shù)據(jù)，其中包括位置數(shù)據(jù)、通話(huà)數(shù)據(jù)、漫游數(shù)據(jù)、上網(wǎng)數(shù)據(jù)等明細(xì)數(shù)據(jù)。

（3）數(shù)據(jù)標(biāo)簽層：根據(jù)上層應(yīng)用功能需求，對(duì)數(shù)據(jù)處理層生成的基礎(chǔ)明細(xì)數(shù)據(jù)進(jìn)行建模，生產(chǎn)滿(mǎn)足各個(gè)應(yīng)用場(chǎng)景的小時(shí)/日/周/月寬表數(shù)據(jù)和用戶(hù)畫(huà)像標(biāo)簽。

（4）功能模塊層：為支撐各種不同行業(yè)產(chǎn)品的需求，需要提供對(duì)外數(shù)據(jù)推送的OpenAPI接口，實(shí)現(xiàn)與外部需求系統(tǒng)的協(xié)議適配、準(zhǔn)實(shí)時(shí)推送、定時(shí)分發(fā)和實(shí)時(shí)查詢(xún)等功能。同時(shí)對(duì)外輸出分析報(bào)告、數(shù)據(jù)產(chǎn)品和行業(yè)解決方案。

（5）行業(yè)應(yīng)用層：根據(jù)行業(yè)特征和需求，針對(duì)客戶(hù)、產(chǎn)品、服務(wù)等方面進(jìn)行分析研究，并輸出大數(shù)據(jù)開(kāi)放接口、大數(shù)據(jù)分析報(bào)告、大數(shù)據(jù)解決方案及大數(shù)據(jù)產(chǎn)品，提升客戶(hù)在各行業(yè)進(jìn)行業(yè)務(wù)管理、產(chǎn)品運(yùn)營(yíng)、精準(zhǔn)營(yíng)銷(xiāo)等方面的能力，實(shí)現(xiàn)運(yùn)輸商大數(shù)據(jù)變現(xiàn)。

基于運(yùn)營(yíng)商大數(shù)據(jù)系統(tǒng)建設(shè)的五個(gè)層級(jí)，構(gòu)建大數(shù)據(jù)全生命周期安全管控如圖1所示。

對(duì)于運(yùn)營(yíng)商大數(shù)據(jù)全生命周期安全管控，需要建立數(shù)據(jù)采集、傳輸、存儲(chǔ)、共享、使用、審計(jì)、銷(xiāo)毀等七個(gè)環(huán)節(jié)的端到端安全管理體系。

（1） 采集環(huán)節(jié)

在數(shù)據(jù)采集過(guò)程中，應(yīng)確保數(shù)據(jù)采集和處理均在運(yùn)營(yíng)商機(jī)房?jī)?nèi)，確保核心數(shù)據(jù)不出機(jī)房。采集所使用的分光器應(yīng)在建設(shè)時(shí)做好包括端口、位置等信息在內(nèi)的記錄，并定期開(kāi)展審計(jì)。

（2）傳輸環(huán)節(jié)

針對(duì)跨安全域傳輸?shù)却嬖跐撛诎踩L(fēng)險(xiǎn)的環(huán)境，應(yīng)對(duì)敏感信息的傳輸進(jìn)行加密保護(hù)，并根據(jù)數(shù)據(jù)敏感級(jí)別采用相應(yīng)的加密手段。對(duì)于目前已使用的未進(jìn)行數(shù)據(jù)加密傳輸，應(yīng)令廠(chǎng)家盡快加入加密模塊，并在傳輸兩端協(xié)商好加解密算法與密鑰，密鑰應(yīng)做到定期更換。

（3）存儲(chǔ)環(huán)節(jié)

針對(duì)存在潛在安全風(fēng)險(xiǎn)的存儲(chǔ)環(huán)境，例如hadoop中的數(shù)據(jù)庫(kù)、磁盤(pán)陣列等，應(yīng)對(duì)大數(shù)據(jù)中的敏感信息加密存儲(chǔ)，確保其保密性，保障數(shù)據(jù)完整性，做好數(shù)據(jù)容災(zāi)備份。

建立從設(shè)備到操作系統(tǒng)、從平臺(tái)應(yīng)用到數(shù)據(jù)庫(kù)、從業(yè)務(wù)到數(shù)據(jù)等多角度的容災(zāi)備份方案，大數(shù)據(jù)安全管理員從應(yīng)急預(yù)案、風(fēng)險(xiǎn)檢測(cè)、實(shí)時(shí)預(yù)警、風(fēng)險(xiǎn)遏制、問(wèn)題根除、系統(tǒng)恢復(fù)、跟蹤總結(jié)各環(huán)節(jié)建立落實(shí)大數(shù)據(jù)安全事件應(yīng)急響應(yīng)方案，定期開(kāi)展演練。

（4 ）使用環(huán)節(jié)

大數(shù)據(jù)平臺(tái)的所有設(shè)備及平臺(tái)應(yīng)用必須全量接入安全審計(jì)系統(tǒng)，并實(shí)施繞行訪(fǎng)問(wèn)控制，禁止直連訪(fǎng)問(wèn)。對(duì)涉及用戶(hù)身份、位置等敏感信息提取的操作采用“金庫(kù)模式”管控。對(duì)用戶(hù)敏感信息進(jìn)行對(duì)外查詢(xún)、展現(xiàn)、統(tǒng)計(jì)、導(dǎo)出等操作時(shí)，必須首先經(jīng)過(guò)模糊化處理或脫敏處理。

（5 ）共享環(huán)節(jié)

針對(duì)跨部門(mén)的大數(shù)據(jù)共享，通過(guò)保密協(xié)議等方式明確數(shù)據(jù)共享雙方應(yīng)承擔(dān)的安全責(zé)任、應(yīng)具備的數(shù)據(jù)保護(hù)手段、限制數(shù)據(jù)使用范圍和場(chǎng)景等。一切離開(kāi)大數(shù)據(jù)平臺(tái)的敏感數(shù)據(jù)都需要先進(jìn)行加密，確保未授權(quán)的人員無(wú)法訪(fǎng)問(wèn)其內(nèi)容。

（6）審計(jì)環(huán)節(jié)

用戶(hù)登錄大數(shù)據(jù)平臺(tái)后的任何操作必須有詳細(xì)的日志記錄，日志log文件中應(yīng)至少包括“何時(shí)、何地、何賬號(hào)、何操作”，涉及大數(shù)據(jù)的具體操作，日志中還應(yīng)該記錄關(guān)鍵字段名稱(chēng)。

（7）銷(xiāo)毀環(huán)節(jié)

涉及用戶(hù)敏感信息的大數(shù)據(jù)平臺(tái)下線(xiàn)或分析工作結(jié)束后留在系統(tǒng)內(nèi)部的敏感信息，應(yīng)采用技術(shù)手段刪除，確保信息不可還原。對(duì)于分析工作結(jié)束后留在系統(tǒng)內(nèi)部的敏感信息，應(yīng)根據(jù)數(shù)據(jù)需求工單中的數(shù)據(jù)有效期進(jìn)行銷(xiāo)毀。

3 構(gòu)建統(tǒng)一客戶(hù)敏感數(shù)據(jù)管理

運(yùn)營(yíng)商大數(shù)據(jù)涉及到用戶(hù)的行為特征，可以分為敏感數(shù)據(jù)和非敏感數(shù)據(jù)。敏感數(shù)據(jù)是不可下載本地系統(tǒng)進(jìn)行操作，只允許在統(tǒng)一客戶(hù)敏感數(shù)據(jù)管理平臺(tái)中對(duì)其進(jìn)行直接操作，而非敏感數(shù)據(jù)是可以下載本地進(jìn)行操作，非敏感數(shù)據(jù)的下載只允許通過(guò)數(shù)據(jù)提取系統(tǒng)進(jìn)行下載。統(tǒng)一客戶(hù)敏感數(shù)據(jù)管理系統(tǒng)架構(gòu)如圖2所示。

在市魴棖筧嗽碧岢魴棖蟮ブ后，數(shù)據(jù)分析接口管理人員必須能夠識(shí)別是否為敏感數(shù)據(jù)和非敏感數(shù)據(jù)。

3.1 非敏感數(shù)保護(hù)原則

（1）市場(chǎng)營(yíng)銷(xiāo)人員提出需求單，數(shù)據(jù)分析接口管理人員把此需求單定義為非敏感數(shù)據(jù)后，數(shù)據(jù)分析人員把分析的結(jié)果上傳到數(shù)據(jù)上載區(qū)的非敏感數(shù)據(jù)區(qū)。

（2）數(shù)據(jù)分析人員把非敏感數(shù)據(jù)區(qū)的數(shù)據(jù)上載到數(shù)據(jù)提取系統(tǒng)中。

（3）審核人員對(duì)此需求單的數(shù)據(jù)進(jìn)行審核。

（4）市場(chǎng)營(yíng)銷(xiāo)人員通過(guò)數(shù)據(jù)提取系統(tǒng)下載非敏感數(shù)據(jù)，整個(gè)非敏感數(shù)據(jù)流向都需要日志審計(jì)。

（5）數(shù)據(jù)上載區(qū)的非敏感數(shù)據(jù)區(qū)只有數(shù)據(jù)分析人員有讀、寫(xiě)、刪等權(quán)限，其它人員無(wú)任何權(quán)限。

3.2 敏感數(shù)據(jù)保護(hù)原則

（1）市場(chǎng)營(yíng)銷(xiāo)人員提出需求單，數(shù)據(jù)分析接口管理人員把此需求單定義為敏感數(shù)據(jù)后，數(shù)據(jù)分析人員把分析的結(jié)果上傳到數(shù)據(jù)上載區(qū)的敏感數(shù)據(jù)區(qū)。

（2）由數(shù)據(jù)分析人員把敏感數(shù)據(jù)區(qū)的數(shù)據(jù)放置審核區(qū)。

（3）由審核人員進(jìn)行審核審核區(qū)的數(shù)據(jù)之后，放置個(gè)人工作區(qū)。

（4）市場(chǎng)營(yíng)銷(xiāo)人員直接操作個(gè)人工作區(qū)的數(shù)據(jù)，也可放置該數(shù)據(jù)至共享工作區(qū)，以便其它市場(chǎng)營(yíng)銷(xiāo)人員訪(fǎng)問(wèn)。

（5）數(shù)據(jù)上載區(qū)的敏感數(shù)據(jù)區(qū)，僅僅只有數(shù)據(jù)分析人員有讀、寫(xiě)、刪等完全控制權(quán)限，其它人員無(wú)任何權(quán)限。

（6）審核區(qū)僅僅只有審核人員有讀、寫(xiě)、刪等完全控制權(quán)限。

（7）數(shù)據(jù)操作區(qū)的個(gè)人工作區(qū)，市場(chǎng)營(yíng)銷(xiāo)人員分別對(duì)自己的個(gè)人工作區(qū)有讀、寫(xiě)、刪等完全控制權(quán)限，而審核人員對(duì)個(gè)人工作區(qū)有寫(xiě)權(quán)限。

（8）數(shù)據(jù)操作區(qū)的共享工作區(qū)，市場(chǎng)營(yíng)銷(xiāo)人員僅僅對(duì)該部門(mén)或者該單位的共享工作區(qū)有讀、寫(xiě)、刪等完全控制權(quán)限，但是無(wú)上一級(jí)共享工作區(qū)的權(quán)限。

3.3 敏感數(shù)據(jù)使用原則

（1）獲得授權(quán)的用戶(hù)（數(shù)據(jù)提取人員、審核人員、市場(chǎng)營(yíng)銷(xiāo)人員），必須在系統(tǒng)安全域中分配相應(yīng)的賬號(hào)和密碼。

（2）數(shù)據(jù)提取人員遵循的原則

數(shù)據(jù)分析人員只能通過(guò)專(zhuān)有的無(wú)盤(pán)瘦客戶(hù)端登陸到應(yīng)用交付系統(tǒng)進(jìn)行正常業(yè)務(wù)工作，該無(wú)盤(pán)瘦客戶(hù)端無(wú)硬盤(pán)、光驅(qū)及USB接口，無(wú)法將數(shù)據(jù)復(fù)制到本地。

數(shù)據(jù)分析人員在數(shù)據(jù)提取系統(tǒng)接到需求單時(shí)，需區(qū)分該需求單得出的數(shù)據(jù)是敏感數(shù)據(jù)還是非敏感數(shù)據(jù)。

數(shù)據(jù)分析人員在后臺(tái)業(yè)務(wù)數(shù)據(jù)取得數(shù)據(jù)以后，必須把該數(shù)據(jù)放到數(shù)據(jù)上載區(qū)，建議把敏感數(shù)據(jù)放到數(shù)據(jù)上載區(qū)的敏感數(shù)據(jù)區(qū)，把非敏感數(shù)放到數(shù)據(jù)上載區(qū)的非敏感數(shù)據(jù)區(qū)。

數(shù)據(jù)分析人員在數(shù)據(jù)管理服務(wù)器上，非敏感數(shù)據(jù)區(qū)的數(shù)據(jù)只能上傳至數(shù)據(jù)提取系統(tǒng)中，以給審核人員進(jìn)行審核。

數(shù)據(jù)分析人員在數(shù)據(jù)管理服務(wù)器上，敏感數(shù)據(jù)區(qū)的數(shù)據(jù)只能上傳至審核區(qū)中，以給審核人員進(jìn)行審核。

（3）審核人員遵循的原則

對(duì)于非敏感數(shù)據(jù)，審核人員登陸數(shù)據(jù)提取系統(tǒng)，根據(jù)數(shù)據(jù)提取人員上傳的數(shù)據(jù)進(jìn)行審核，審核通過(guò)后，由市場(chǎng)營(yíng)銷(xiāo)人員下載到本地（此本地為市場(chǎng)營(yíng)銷(xiāo)的辦公電腦）。

對(duì)于敏感數(shù)據(jù)，審核人員進(jìn)入數(shù)據(jù)管理服務(wù)器的審計(jì)區(qū)，對(duì)該區(qū)的數(shù)據(jù)進(jìn)行審核，并根據(jù)該數(shù)據(jù)的需求人把數(shù)據(jù)上載到個(gè)人工作區(qū)（需求人工作區(qū)）。

（4）市場(chǎng)營(yíng)銷(xiāo)人員遵循的原則

對(duì)于非敏感數(shù)據(jù)，市場(chǎng)營(yíng)銷(xiāo)人員登錄數(shù)據(jù)提取系統(tǒng)后，下載已經(jīng)審核通過(guò)的非敏感數(shù)據(jù)至本地，然后在本地對(duì)非敏感數(shù)據(jù)進(jìn)行操作。

對(duì)于敏感數(shù)據(jù)，市場(chǎng)營(yíng)銷(xiāo)人員通過(guò)應(yīng)用交付系統(tǒng)進(jìn)入數(shù)據(jù)管理服務(wù)器的個(gè)人工作區(qū)，然后直接對(duì)敏感數(shù)據(jù)進(jìn)行操作。

敏感數(shù)據(jù)需要進(jìn)行共享，則必須由市場(chǎng)營(yíng)銷(xiāo)個(gè)人把數(shù)據(jù)從個(gè)人工作區(qū)拷貝到共享工作區(qū)中，然后其他營(yíng)銷(xiāo)人員進(jìn)行拷貝或者直接進(jìn)行操作。

4 大數(shù)據(jù)安全事件閉環(huán)管控

4.1 建立大數(shù)據(jù)安全事件閉環(huán)管控流程

大數(shù)據(jù)安全從檢測(cè)、響應(yīng)、恢復(fù)及加固四個(gè)環(huán)節(jié)開(kāi)展大數(shù)據(jù)安全事件的全流程管控。

（1）建立大數(shù)據(jù)系統(tǒng)的安全屬性庫(kù)，考慮系統(tǒng)的可用性、完整性和保密性，針對(duì)系統(tǒng)的弱點(diǎn)屬性如系統(tǒng)漏洞信息、安全配置信息等，進(jìn)行完整記錄和及時(shí)更新機(jī)制。

（2）建立必要的大數(shù)據(jù)安全防御手段，包括防火墻、入侵防御、防病毒、終端管理、上網(wǎng)行為管理、數(shù)據(jù)防泄漏等。

（3）發(fā)生安全事件時(shí)觸發(fā)預(yù)警/告警，安全監(jiān)控人員及時(shí)進(jìn)行數(shù)據(jù)采集解析、事件識(shí)別、實(shí)時(shí)數(shù)據(jù)分析、歷史數(shù)據(jù)分析，進(jìn)行事件溯源，并啟動(dòng)工單系統(tǒng)，生成安全事件工單，派發(fā)相應(yīng)運(yùn)維人員處理。

（4）安全運(yùn)維人員開(kāi)展事件處理、系統(tǒng)加固、安全策略調(diào)整，實(shí)現(xiàn)大數(shù)據(jù)安全的閉環(huán)管控。

大數(shù)據(jù)安全事件閉環(huán)管控流程如圖3所示。

4.2 建立大數(shù)據(jù)安全事件快速分析能力

大數(shù)據(jù)安全事件發(fā)生后的首要任務(wù)是及時(shí)開(kāi)展安全事件的分析，具備完整、及時(shí)的安全數(shù)據(jù)分析能力是縮短安全事件的處置、減小損失的關(guān)鍵。

（1）建立全面、及時(shí)的安全數(shù)據(jù)的搜集。通過(guò)SNMP、SYSLOG、Agent、Netflow、API接口、數(shù)據(jù)庫(kù)接口、FTP、HDFS、KAFKA、端口鏡像、Netflow等數(shù)據(jù)源接口對(duì)網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、中間件、主機(jī)、數(shù)據(jù)庫(kù)等開(kāi)展數(shù)據(jù)采集。

（2）數(shù)據(jù)解析處理：通過(guò)安全數(shù)據(jù)字段的識(shí)別、時(shí)間字段偵測(cè)、時(shí)間同步等技術(shù)提升數(shù)據(jù)的解析成功率。

（3）建立數(shù)據(jù)關(guān)聯(lián)分析模型：基于Spark Streaming技術(shù)對(duì)系統(tǒng)采集的實(shí)時(shí)數(shù)據(jù)流進(jìn)行關(guān)聯(lián)分析，關(guān)聯(lián)的模式包括統(tǒng)計(jì)關(guān)聯(lián)、設(shè)備關(guān)聯(lián)、信息關(guān)聯(lián)、模式關(guān)聯(lián)、漏洞關(guān)聯(lián)、策略關(guān)聯(lián)等，并內(nèi)置安全關(guān)聯(lián)規(guī)則。

（4）用戶(hù)行為畫(huà)像：建立特定用戶(hù)的畫(huà)像，包括其合法行為白名單和行為基線(xiàn)。通過(guò)用戶(hù)行為分析引擎?zhèn)蓽y(cè)用戶(hù)的異常行為，例如異常時(shí)間、從可疑位置登錄，或是訪(fǎng)問(wèn)和平時(shí)完全不同的數(shù)據(jù)或稻萘?；蚴前褦?shù)據(jù)上傳至公司外部的可疑地址，提供可疑用戶(hù)最近的所有行為給安全管理員進(jìn)行進(jìn)一步的詳細(xì)調(diào)查。

（5）建立分等級(jí)的告警規(guī)則：根據(jù)監(jiān)控內(nèi)容，對(duì)不同設(shè)備和系統(tǒng)的異常情況進(jìn)行告警，并對(duì)告警進(jìn)行分類(lèi)，例如高級(jí)告警、中級(jí)告警等。制定監(jiān)控告警生成事件的規(guī)則，如主要告警可以生成安全事件進(jìn)行跟蹤和處理。

常見(jiàn)的高級(jí)告警：違規(guī)安全軟件、違規(guī)登錄系統(tǒng)、終端數(shù)據(jù)泄漏；中級(jí)告警：違規(guī)上網(wǎng)訪(fǎng)問(wèn)、密碼未定期更新、終端病毒感染、K端惡意掃描；低級(jí)告警：補(bǔ)丁未及時(shí)更新、惡意卸載軟件。大數(shù)據(jù)安全分析能力模型如圖4所示。

5 結(jié)論

本方案分析了運(yùn)營(yíng)商大數(shù)據(jù)發(fā)展的趨勢(shì)，重點(diǎn)闡述了當(dāng)前面臨嚴(yán)峻的安全挑戰(zhàn)，并為運(yùn)營(yíng)商大數(shù)據(jù)開(kāi)展內(nèi)外部變現(xiàn)提出了一種運(yùn)營(yíng)商大數(shù)據(jù)全生命周期安全管控策略，通過(guò)基于運(yùn)營(yíng)商大數(shù)據(jù)系統(tǒng)建設(shè)的五個(gè)層級(jí)，建立數(shù)據(jù)采集、傳輸、存儲(chǔ)、共享、使用、審計(jì)、銷(xiāo)毀等七個(gè)環(huán)節(jié)的端到端安全管理體系。

運(yùn)營(yíng)商大數(shù)據(jù)由于涉及到用戶(hù)敏感數(shù)據(jù)，一方面可以建立統(tǒng)一客戶(hù)敏感數(shù)據(jù)管理平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行分級(jí)管理，定制差異化審批審計(jì)流程。另一方面從檢測(cè)、響應(yīng)、恢復(fù)及加固四個(gè)環(huán)節(jié)建立大數(shù)據(jù)安全事件閉環(huán)管控流程，并提升大數(shù)據(jù)安全事件快速分析能力，將有效增強(qiáng)安全事件發(fā)生后的應(yīng)對(duì)處置能力。

參考文獻(xiàn)：

[1] 中國(guó)移動(dòng)通信集團(tuán)公司. 中國(guó)移動(dòng)大數(shù)據(jù)安全風(fēng)險(xiǎn)防控工作指引[Z]. 2016.

[2] 中國(guó)移動(dòng)通信集團(tuán)廣東有限公司. 廣東公司DPI（2/3/4G軟硬采）數(shù)據(jù)安全管理規(guī)定[Z]. 2016.

[3] 王準(zhǔn). 大數(shù)據(jù)環(huán)境下數(shù)據(jù)安全策略研究[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用， 2016（5）： 48-49.

[4] 李戰(zhàn)克，丁夢(mèng)娟. 大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究[J]. 信息安全與技術(shù)， 2015（6）.

[5] 陳左寧，王廣益，胡蘇太，等. 大數(shù)據(jù)安全與自主可控[J]. 科學(xué)通報(bào)， 2015（Z1）： 427-432.

[6] 陳立樞. 中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展態(tài)勢(shì)及政策體系構(gòu)建[J]. 改革與戰(zhàn)略， 2015（6）： 144-147.

[7] 王倩，朱宏峰，劉天華. 大數(shù)據(jù)安全的現(xiàn)狀與發(fā)展[J]. 計(jì)算機(jī)與網(wǎng)絡(luò)， 2013（16）： 66-69.

[8] 王長(zhǎng)杰，王衛(wèi)華. 大數(shù)據(jù)時(shí)代下信息安全保護(hù)研究[J]. 清遠(yuǎn)職業(yè)技術(shù)學(xué)院學(xué)報(bào)， 2016（1）： 42-47.

第9篇：大數(shù)據(jù)分析方案范文

在人口快速老齡化、家庭規(guī)模日益小型化和機(jī)構(gòu)養(yǎng)老發(fā)展不足等多重因素的影響下，發(fā)展社區(qū)養(yǎng)老逐漸成為一種必然選擇。建立起基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，在市區(qū)大醫(yī)院、社區(qū)醫(yī)療站以及社區(qū)老年人三者之間建立起信息網(wǎng)絡(luò)，使社區(qū)老年人的健康問(wèn)題得到更好的保障。 

一、系統(tǒng)概述 

現(xiàn)如今，大型醫(yī)院普遍存在床位緊張、人員調(diào)配效果不佳、管理體系不健全等問(wèn)題。建立社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)是完善現(xiàn)有醫(yī)療體系急需解決的主要問(wèn)題，同時(shí)，隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，將互聯(lián)網(wǎng)與大數(shù)據(jù)分析技術(shù)用于社區(qū)醫(yī)療服務(wù)系統(tǒng)，已成為該方面的一項(xiàng)新技術(shù)。 

二、技術(shù)分析 

根據(jù)上述分析，需要開(kāi)發(fā)一套基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，此系統(tǒng)可以最優(yōu)化利用資源，幫助老人方便、快捷的解決突發(fā)狀況。為滿(mǎn)足需求，該方案需要具備以下技術(shù)：1）概率統(tǒng)計(jì)。收集社區(qū)老人的體溫、心率等生命體征數(shù)據(jù)。以河師大社區(qū)為例，運(yùn)用概率統(tǒng)計(jì)技術(shù)采集社區(qū)老人的生命體征數(shù)據(jù)。2）大數(shù)據(jù)分析。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上，利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘和人工智能中不確定性推理技術(shù)，對(duì)采集到的老年人信息進(jìn)行分析及推斷。3）互聯(lián)網(wǎng)技術(shù)。構(gòu)建“三角服務(wù)”模型。運(yùn)用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個(gè)以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大子系統(tǒng)相互連接的“三角服務(wù)”模型，實(shí)現(xiàn)智能管理。 

三、設(shè)計(jì)方案 

1、總體流程。整個(gè)醫(yī)療服務(wù)系統(tǒng)可分為線(xiàn)上和線(xiàn)下兩種服務(wù)方式。線(xiàn)上：系統(tǒng)按照固定方案進(jìn)行老人身體數(shù)據(jù)采集；線(xiàn)下：社區(qū)醫(yī)療站會(huì)定期派專(zhuān)業(yè)人士到老人家里對(duì)其進(jìn)行全方位檢查以及相關(guān)醫(yī)療知識(shí)的普及。 

2、數(shù)據(jù)采集與處理。首先利用智能手環(huán)采集社區(qū)部分老年人的身體數(shù)據(jù)，通過(guò)社區(qū)中建立的互聯(lián)網(wǎng)網(wǎng)絡(luò)把數(shù)據(jù)傳輸?shù)绞謾C(jī)APP以及信息協(xié)作平臺(tái)上。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上，利用大數(shù)據(jù)分析和不確定性推理技術(shù)，對(duì)采集到的老年人信息進(jìn)行分析及推斷。 

3、“三角服務(wù)”模型。“互聯(lián)網(wǎng)+”社區(qū)養(yǎng)老中最為核心的就是系統(tǒng)模型的構(gòu)建，運(yùn)用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個(gè)以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大系統(tǒng)相互連接的“三角服務(wù)”模型（如圖1所示）。  

若采集到的老人的身體數(shù)據(jù)發(fā)生了變化，則會(huì)通過(guò)報(bào)警系統(tǒng)反饋到社區(qū)醫(yī)療站，社區(qū)醫(yī)療站則做出最快的反應(yīng)，一方面，會(huì)到老人家中對(duì)老人進(jìn)行急救，另一方面，會(huì)及時(shí)將老人的存檔發(fā)送給醫(yī)院，并聯(lián)系醫(yī)院進(jìn)行一系列的急救措施，從而節(jié)約了救援時(shí)間。 

4、構(gòu)建智能醫(yī)療服務(wù)系統(tǒng)。開(kāi)發(fā)社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。即開(kāi)發(fā)一個(gè)集智能醫(yī)療設(shè)備、智能醫(yī)護(hù)終端設(shè)備和帶有功能模塊的智能醫(yī)護(hù)平臺(tái)為一體的服務(wù)系統(tǒng)。將采集到的老人身體數(shù)據(jù)存于專(zhuān)門(mén)的數(shù)據(jù)庫(kù)中，在信息協(xié)作平臺(tái)上將社區(qū)老人、社區(qū)醫(yī)療站和市區(qū)大醫(yī)院三者建立成一個(gè)相互共享的網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)信息的共享。手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系，能夠通過(guò)移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息，市區(qū)大醫(yī)院的醫(yī)療系統(tǒng)與社區(qū)醫(yī)療站的數(shù)據(jù)庫(kù)相連接，從而便于實(shí)現(xiàn)信息的共享。 

結(jié)語(yǔ)：本系統(tǒng)是基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，是物聯(lián)網(wǎng)在醫(yī)療領(lǐng)域的應(yīng)用，目的是為社區(qū)老人提供更便捷的醫(yī)療服務(wù)。將大數(shù)據(jù)分析技術(shù)與智能醫(yī)療服務(wù)系統(tǒng)相結(jié)合，在概率統(tǒng)計(jì)的基礎(chǔ)上，將手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系，通過(guò)移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息，便于實(shí)現(xiàn)信息的共享與交流，醫(yī)療服務(wù)更趨于智能化。 

參 考 文 獻(xiàn) 

[1] 趙靜. 基于物聯(lián)網(wǎng)發(fā)展的智能化社區(qū)醫(yī)療服務(wù)研究[D].燕山大學(xué)，2013. 

[2]潘峰，宋峰. 互聯(lián)網(wǎng)+社區(qū)養(yǎng)老：智能養(yǎng)老新思維[J]. 學(xué)習(xí)與實(shí)踐，2015，09：99-105. 

[3]王蔚，邵磊，楊青. 基于大數(shù)據(jù)體系下的城市住宅區(qū)養(yǎng)老模式研究[J]. 住區(qū)，2016，01：35-41.