數(shù)據(jù)分析設(shè)計全文(5篇)

［摘要］伴隨著大數(shù)據(jù)、移動互聯(lián)網(wǎng)等信息技術(shù)的不斷成熟，數(shù)據(jù)支持決策已經(jīng)影響到社會和生活的各個方面。我國的教育信息化在近年來也快速發(fā)展，“智慧校園”已經(jīng)成為高校信息化建設(shè)的一致目標。在智慧校園視角下，高校將建立起豐富、多樣、繁雜的信息數(shù)據(jù)庫，如何利用這些數(shù)據(jù)，并且影響和支持決策將是“智慧校園”的重要突破點。通過對校園宏觀環(huán)境和用戶需求的深入分析，開展教學、服務(wù)、管理、科研四個方面的數(shù)據(jù)分析系統(tǒng)設(shè)計，建立基礎(chǔ)、決策、分析數(shù)據(jù)庫并研究分析模型，形成一套服務(wù)于教師、學生和校園管理者的數(shù)據(jù)分析系統(tǒng)整體方案。

［關(guān)鍵詞］數(shù)據(jù)分析；大數(shù)據(jù)；智慧校園；決策支持

1國內(nèi)外研究開發(fā)現(xiàn)狀和發(fā)展趨勢

1．1現(xiàn)狀與趨勢

在當今大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)等新思路、新技術(shù)快速發(fā)展的又一歷史時期，高等教育面臨著前所未有的發(fā)展機遇，在經(jīng)歷了網(wǎng)絡(luò)化、數(shù)字化、信息化管理階段之后，“智慧校園”將是在“互聯(lián)網(wǎng)＋教育”趨勢下最重要的發(fā)展思路。隨著計算機技術(shù)的不斷發(fā)展，各種系統(tǒng)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以前所未有的驚人速度迅猛增長，“大數(shù)據(jù)”時代已經(jīng)到來。大數(shù)據(jù)是指數(shù)據(jù)結(jié)構(gòu)比較復雜、數(shù)據(jù)規(guī)模大的數(shù)據(jù)集合。其數(shù)據(jù)量已經(jīng)遠遠超出了一般數(shù)據(jù)管理工具可以承受的處理時間以及數(shù)據(jù)處理及存儲管理能力。在當今大數(shù)據(jù)環(huán)境下，高校管理系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)及數(shù)據(jù)量發(fā)生了巨大的變化。在數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)分析及數(shù)據(jù)挖掘等方面面臨著巨大的機遇和挑戰(zhàn)。為了有效地利用大數(shù)據(jù)為高校決策分析提供更好的服務(wù)，必須基于大數(shù)據(jù)建立相應(yīng)的數(shù)據(jù)分析系統(tǒng)。

1．2國內(nèi)外研究與開發(fā)綜述

隨著大數(shù)據(jù)的發(fā)展和教育信息化的不斷深入，基于大數(shù)據(jù)開展的高校校園數(shù)據(jù)分析與應(yīng)用逐步受到重視。對大數(shù)據(jù)的定義始終沒有形成統(tǒng)一的意見。維基百科對大數(shù)據(jù)（Bigdata）的定義是：所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間內(nèi)達到截取、管理、處理并整理成為人類所能解讀的信息。麥肯錫全球研究院將大數(shù)據(jù)定義為：無法在一定時間內(nèi)使用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行獲取、管理和處理的數(shù)據(jù)集合。加特納（Gartner）于2012年修改了對大數(shù)據(jù)的定義：大數(shù)據(jù)是大量、高速、多變的信息資產(chǎn)，它需要新型的處理方式去促成更強的決策能力、洞察力與優(yōu)化處理。而在高校學生數(shù)據(jù)的分析應(yīng)用方面，國內(nèi)外高校均有開展相關(guān)的研究。紐約州波基普西市瑪麗斯特學院（MaristCollege）與商業(yè)數(shù)據(jù)分析公司Pentaho合作發(fā)起開源學術(shù)分析計劃，旨在一門新課程開始的兩周內(nèi)預(yù)測哪些學生可能會無法順利完成課程，它基于商業(yè)分析平臺開發(fā)了一個分析模型，通過收集分析學生的學習習慣，包括線上閱讀材料、論壇發(fā)言、完成作業(yè)時長等數(shù)據(jù)信息，來預(yù)測學生的學業(yè)情況，及時干預(yù)幫助問題學生，從而提升畢業(yè)率。上海財經(jīng)大學基于校園信息化數(shù)據(jù)基礎(chǔ)，開發(fā)了校務(wù)決策支持系統(tǒng)，面向人才培養(yǎng)、內(nèi)部管理、科學研究和師生服務(wù)等方面開展決策分析；華東師范大學利用校園信息化基礎(chǔ)數(shù)據(jù)，開展了校車人數(shù)與載客分布分析，提升了校車使用率；利用一卡通數(shù)據(jù)開展了貧困生的特征確定、潛在貧困生分析、后續(xù)跟蹤驗證，有效提升了幫困扶貧的工作效率。

摘要：隨著高校各類應(yīng)用系統(tǒng)的發(fā)展，信息化建設(shè)將轉(zhuǎn)向大數(shù)據(jù)服務(wù)階段。如何有效利用分散在各系統(tǒng)中的數(shù)據(jù)，為學校的管理與決策提供數(shù)據(jù)支撐，是迫切需要解決的問題。文章闡述了數(shù)據(jù)采集整合過程和分布式存儲技術(shù)，設(shè)計了大數(shù)據(jù)分析平臺基礎(chǔ)架構(gòu)和功能模塊，分析了相關(guān)數(shù)據(jù)模型。通過搭建大數(shù)據(jù)分析平臺，測試了數(shù)據(jù)采集功能和各分析模塊的展示情況。

關(guān)鍵詞：大數(shù)據(jù)分析平臺；Hadoop；數(shù)據(jù)采集

引言

隨著高校信息化建設(shè)快速推進，國內(nèi)高校基本完成各類基礎(chǔ)應(yīng)用系統(tǒng)的建設(shè)，在應(yīng)用系統(tǒng)中也存儲了大量的數(shù)據(jù)，包括教師和學生的工作、生活、學習、教學和科研等數(shù)據(jù)，以及個系統(tǒng)的日志數(shù)據(jù)。由于各系統(tǒng)相對獨立無法進行系統(tǒng)間的數(shù)據(jù)共享，使得這些系統(tǒng)數(shù)據(jù)都閑置在各應(yīng)用系統(tǒng)中。因為在學校的管理與決策中缺乏真實可靠的數(shù)據(jù)做支撐，所以研究如何將閑置的數(shù)據(jù)有效利用起來，對高校的信息化建設(shè)會更有意義。大數(shù)據(jù)分析平臺是在現(xiàn)有各應(yīng)用系統(tǒng)的基礎(chǔ)上，對各系統(tǒng)匯集起的海量數(shù)據(jù)資源進行清洗、整理、挖掘、分析等操作后，數(shù)據(jù)標準化程度提高其利用價值也更大。大數(shù)據(jù)分析平臺的基礎(chǔ)是數(shù)據(jù)，核心是分析模型，目標是應(yīng)用。本文將整合校園內(nèi)各應(yīng)用系統(tǒng)數(shù)據(jù)，并對其進行挖掘、整理、分析，然后通過構(gòu)建數(shù)據(jù)模型，搭建統(tǒng)一的大數(shù)據(jù)分析平臺，實現(xiàn)對零散的數(shù)據(jù)進行整合分析，分析結(jié)果可以為學校及各部門的管理和決策提供數(shù)據(jù)支撐，數(shù)據(jù)的利用價值也更高。對師生在工作、生活、學習、教學和科研方面提供行為分析，分析結(jié)果為學校優(yōu)化管理方式，提升服務(wù)水平提供指導，勾畫“千人千面”，讓學校真正了解師生。

1關(guān)鍵技術(shù)簡介

Hadoop[1]是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，充分利用集群的優(yōu)勢對數(shù)據(jù)進行運算和存儲。Hadoop由許多元素構(gòu)成，底層是分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS），用來存儲集群中所有存儲節(jié)點中的文件。HDFS上一層是Ma-pReduce引擎,為海量的數(shù)據(jù)提供高速計算。ETL（Extract-Transform-Load）[2]是用來描述將數(shù)據(jù)從源端經(jīng)過抽?。‥xtract）、轉(zhuǎn)換（Transform）、加載（Load）到目的端的過程。使用ETL目的是將學校中分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起，為學校管理決策提供數(shù)據(jù)支撐。Sqoop[3]是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導入HDFS，也可以將HDFS的數(shù)據(jù)回流到關(guān)系型數(shù)據(jù)庫中。Sqoop也為NoSQL數(shù)據(jù)庫它也提供了連接器。Nutch[4]是一個開源的高度可擴展和可伸縮性的分布式爬蟲框架。Nutch主要由爬蟲Crawler和查詢Searcher組成，Craw-ler主要用于從網(wǎng)絡(luò)上抓取網(wǎng)頁并建立索引，Searcher主要利用這些索引檢索用戶的查找關(guān)鍵詞來產(chǎn)生查找結(jié)果。兩者之間的接口是索引，所以除去索引部分，兩者之間的耦合度很低。

2基礎(chǔ)架構(gòu)設(shè)計

摘要:畜產(chǎn)品安全與人們的生命安全和身體健康息息相關(guān)，近年來，畜牧業(yè)作為農(nóng)業(yè)產(chǎn)業(yè)調(diào)結(jié)構(gòu)、轉(zhuǎn)方式、提質(zhì)量、增效益的主導產(chǎn)業(yè)和重要方向，基礎(chǔ)條件和發(fā)展模式發(fā)生深刻變化，進入產(chǎn)業(yè)化、規(guī)?；⒓s化的高速增長新階段。在新的要求下，保證產(chǎn)品質(zhì)量成為畜產(chǎn)品發(fā)展的首要要求，也是保障民生的重要內(nèi)容，提高產(chǎn)品質(zhì)量就要從提升畜產(chǎn)品檢驗檢測的工作質(zhì)量上入手。文章對畜產(chǎn)品大數(shù)據(jù)分析系統(tǒng)的構(gòu)建進行了全面的分析，為系統(tǒng)的開發(fā)提供理論的依據(jù)。

關(guān)鍵詞:畜產(chǎn)品;大數(shù)據(jù);數(shù)據(jù)倉庫;監(jiān)測分析

1畜產(chǎn)品大數(shù)據(jù)的現(xiàn)狀

在大數(shù)據(jù)時代下，人工智能、云平臺和高性能計算等技術(shù)的高速發(fā)展為畜產(chǎn)品智能檢測分析系統(tǒng)提供了重要的支撐。智能檢測分析系統(tǒng)的建構(gòu)，有利于提升畜產(chǎn)品檢測的智能化，完善畜產(chǎn)品質(zhì)量安全體系，推進農(nóng)業(yè)信息化建設(shè)［1］。將畜產(chǎn)品檢測與大數(shù)據(jù)技術(shù)相結(jié)合，利用現(xiàn)代信息技術(shù)，通過采集海量碎片化的信息數(shù)據(jù)，準確的進行篩選、分析，并最終歸納、整理出政府和相關(guān)機構(gòu)需要的資訊，構(gòu)建一套畜產(chǎn)品檢測智能分析系統(tǒng)，實行及時有力的深度分析，整體提升畜產(chǎn)品檢測監(jiān)管能力和水平，促進畜牧業(yè)產(chǎn)業(yè)健康、可持續(xù)發(fā)展。針對目前畜產(chǎn)品的檢測，其數(shù)據(jù)處理主要存在3個問題:(1)畜產(chǎn)品檢測注重檢測方法的使用和創(chuàng)新，檢測設(shè)備的培訓和升級，檢測人員的指導和培訓，而對檢測數(shù)據(jù)分析不夠重視，沒有深度發(fā)掘測試數(shù)據(jù)的潛在價值。(2)各類檢測機構(gòu)眾多且互不統(tǒng)屬，有傳統(tǒng)的人工統(tǒng)計模式，還有利用軟件進行簡單分析的模式。此外實驗室所用大型儀器，廠家不同，操作軟件也不同，數(shù)據(jù)存儲和處理也不同，測試數(shù)據(jù)分散，導致數(shù)據(jù)收集困難。(3)畜產(chǎn)品數(shù)據(jù)的數(shù)據(jù)統(tǒng)計、分析與挖掘還比較滯后，需要向系統(tǒng)化、集成化、智能化的方向發(fā)展，缺乏相對應(yīng)的畜產(chǎn)品檢測數(shù)據(jù)分析系統(tǒng)。

2大數(shù)據(jù)平臺的數(shù)據(jù)處理

2．1數(shù)據(jù)獲取

數(shù)據(jù)獲取是從數(shù)據(jù)源收集數(shù)據(jù)，數(shù)據(jù)源分為閉源數(shù)據(jù)和開源數(shù)據(jù)。閉源數(shù)據(jù)指的是和相關(guān)檢測機構(gòu)合作獲取的內(nèi)部數(shù)據(jù)，這部分數(shù)據(jù)可靠性比較高且不向外部公開，僅僅只作為分析統(tǒng)計使用，不能進行商業(yè)的應(yīng)用。開源數(shù)據(jù)是指各檢測機構(gòu)通過網(wǎng)絡(luò)的公開檢測數(shù)據(jù)，比較分散，可以利用爬蟲軟件進行抓?。?］。對開源數(shù)據(jù)進行收集時，首先是定時，每段時間對相關(guān)網(wǎng)站進行分析，觀察所檢測數(shù)據(jù)的更新情況。其次定量，要準確地識別出哪些是最新的、哪些是相關(guān)的內(nèi)容。數(shù)據(jù)主要來源于國家、省、市、縣和具有檢測資質(zhì)的企業(yè)等相關(guān)網(wǎng)站，這些數(shù)據(jù)都比較分散，需要進一步進行有意義信息的提取，比如:過濾冗余信息，集成互補性信息。這其中還存在很多問題，如信息的質(zhì)量問題，哪些信息是有價值的、可信賴的?？梢詮目尚潘菰?信息的不同來源進行分析，省市級的信息比較重要和真實)、動態(tài)輪詢(根據(jù)后期分析和預(yù)測結(jié)果對數(shù)據(jù)源之前的重要性權(quán)重進行動態(tài)更新)做出判斷。采集數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，要區(qū)別對待。

摘要：為實現(xiàn)教育過程中的一站式在線服務(wù)，基于大數(shù)據(jù)分析技術(shù)設(shè)計包括數(shù)據(jù)資源庫、大數(shù)據(jù)分析層、智慧教育信息云服務(wù)層、應(yīng)用服務(wù)層和表現(xiàn)層的智慧教育平臺。大數(shù)據(jù)分析層采用Hbase數(shù)據(jù)庫結(jié)合SQL計算執(zhí)行引擎分析智慧教育數(shù)據(jù)，將分析得到的學生、教師以及資源信息等傳遞至智慧教育信息云服務(wù)層；智慧教育信息云服務(wù)層通過驗證用戶、服務(wù)綁定和服務(wù)提供，使平臺用戶享受平臺存儲文件、課程管理和課程等服務(wù)。智慧教育信息云服務(wù)層中在線學習模塊的管理員審核教師備課資料和學生學習資源、教師在線或錄播授課以及學生課程選擇與確定功能的實現(xiàn)，實現(xiàn)教師、管理員以及學生的在線信息交流。平臺測試結(jié)果表明，該平臺可根據(jù)學生個性化學習行為提供個性化教學和管理，實現(xiàn)教師、管理員與學生的在線交流，且平臺教育資源存儲服務(wù)和教育資源門戶服務(wù)均可實現(xiàn)，應(yīng)用價值高。

關(guān)鍵詞：教育平臺設(shè)計；智慧教育；課程管理；大數(shù)據(jù)分析；在線學習；教育資源存儲

引言

當前由于存在海量教育資源，導致教育應(yīng)用平臺建設(shè)資源分散和低水平重復建設(shè)問題嚴重，教育信息化雖在網(wǎng)絡(luò)環(huán)境和硬件建設(shè)方面取得一定成果，但尚未能實現(xiàn)大數(shù)據(jù)下的智能服務(wù)，造成教育平臺建設(shè)發(fā)展不均衡，無法向教師、管理員和學生提供一站式在線服務(wù)，成為影響教育信息化的重要難點。智慧教育是指將信息化理念運用在教育領(lǐng)域[1]，全面深入地運用現(xiàn)代信息技術(shù)，加快教育改革與發(fā)展進程。隨著大數(shù)據(jù)分析技術(shù)在教育領(lǐng)域的不斷深入，翻轉(zhuǎn)課堂、MOOC等一些新興教育模式逐漸興起，技術(shù)革新推動教育模式發(fā)生轉(zhuǎn)變，如何利用大數(shù)據(jù)分布式數(shù)據(jù)存儲特點[2]，構(gòu)建大數(shù)據(jù)環(huán)境下的智慧教育平臺，克服學習障礙，實現(xiàn)智慧學習是眾多學者關(guān)注的熱點問題。大數(shù)據(jù)技術(shù)合理整合教育資源，向教育行業(yè)人員提供了虛擬服務(wù)，輔助教師和學生簡化智慧教育平臺開發(fā)部署過程，構(gòu)建出適合教育和科學研究的智慧教育平臺，為平臺使用者提供存儲文件、課程管理和課程等服務(wù)。發(fā)展智慧教育云平臺能夠在為學生創(chuàng)建良好學習環(huán)境的同時，向教師、管理員和學生提供一站式在線服務(wù)[3]，因此，本文基于大數(shù)據(jù)分析技術(shù)設(shè)計智慧教育平臺。

1智慧教育平臺設(shè)計

1.1大數(shù)據(jù)分析技術(shù)平臺

智慧教育平臺采用大數(shù)據(jù)分析平臺的分布式框架。大數(shù)據(jù)分析技術(shù)平臺將大數(shù)據(jù)處理、數(shù)據(jù)交換與共享以及數(shù)據(jù)分析挖掘合理整合，用于智慧教育平臺設(shè)計過程中，大數(shù)據(jù)分析技術(shù)平臺框架如圖1所示。SQOOP數(shù)字交換工具通過同步學校以及外部存儲系統(tǒng)的教育資源數(shù)據(jù)，將教育資源數(shù)據(jù)保存在文件系統(tǒng)中，文件系統(tǒng)中海量教育數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)分析層，大數(shù)據(jù)分析層采用HBase數(shù)據(jù)庫結(jié)合SQL計算執(zhí)行引擎，分析海量智慧教育數(shù)據(jù)，業(yè)務(wù)層主要挖掘、分析和處理智慧教育信息數(shù)據(jù)。

摘要：我國正從工程教育大國轉(zhuǎn)向工程教育強國，案例教學是培養(yǎng)研究生工程能力的主要模式和方法。案例庫的建設(shè)成為案例教學成敗的關(guān)鍵。以大數(shù)據(jù)分析方向為例介紹了案例庫建設(shè)的目標、設(shè)計思路和內(nèi)容框架，從真實應(yīng)用出發(fā)，找出共性，主題分解。有利于學生“搭積木”式地構(gòu)建自身的知識體系，“漸進式”提升解決復雜工程問題的能力，培養(yǎng)工程素質(zhì)。

關(guān)鍵詞：案例庫；主題分解；案例設(shè)計；教學改革

1引言

案例教學是以學生為中心，以真實項目裁剪的案例為基礎(chǔ)，通過呈現(xiàn)案例場景，引導學生發(fā)現(xiàn)問題、分析問題和解決問題，從而在實踐中掌握理論、形成觀點、提高能力的一種教學方式。這是強化實踐能力培養(yǎng)，促進理論與實踐有機融合的重要途徑，是專業(yè)學位研究生教學改革的趨勢[1]。教育部早在2015年發(fā)文對加強專業(yè)學位研究生案例教學提出了指導性意見。目前案例教學是推動專業(yè)學位研究生培養(yǎng)模式改革、提高人才培養(yǎng)質(zhì)量的重要手段[2]。案例的設(shè)計和使用必須考慮到課程和專業(yè)特征，在課程教學大綱框架下，從教學形式到教學內(nèi)容均要受到相應(yīng)的約束[3]。這就必須考慮選用的案例是否合適、與教學目標是否契合[4]。因此，系統(tǒng)地設(shè)計教學案例和案例庫顯得尤為重要。

2大數(shù)據(jù)分析案例庫設(shè)計目標

大數(shù)據(jù)方向?qū)I(yè)學位研究生的培養(yǎng)目標是處理和分析大規(guī)模數(shù)據(jù)，從中獲取有用信息。然而這只是一個寬泛的知識性要求，對于專業(yè)學位研究生，還需要加強實際工程開發(fā)項目的訓練，提高解決復雜工程問題的能力，尤其是需要培養(yǎng)學生互聯(lián)網(wǎng)新業(yè)態(tài)中的大工程觀、互聯(lián)網(wǎng)從業(yè)人員的職業(yè)規(guī)范、工程倫理等工程素質(zhì)。因此，大數(shù)據(jù)分析案例庫的設(shè)計目標是：通過知識點、簡單應(yīng)用和綜合實踐案例的教學實踐，讓學生掌握大數(shù)據(jù)處理與分析領(lǐng)域的工程倫理、工程方法、工程創(chuàng)新思想和工程實踐技能，能獨立開發(fā)大數(shù)據(jù)處理及分析相關(guān)項目，掌握信息獲取、信息抽取、信息處理和智能分析等多種技術(shù)和方法，并能自覺地在項目實踐中考慮到信息安全等因素，以培養(yǎng)多學科交叉背景下大數(shù)據(jù)分析應(yīng)用設(shè)計、研發(fā)和驗證、能夠為復雜工程問題提供可行的工程解決方案的能力。

3案例設(shè)計原則