談農(nóng)業(yè)信息資源共享交互平臺需求

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了談農(nóng)業(yè)信息資源共享交互平臺需求范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要:信息化時代，農(nóng)業(yè)數(shù)據(jù)繁多，覆蓋面廣泛，信息資源共享整合建設(shè)尤為重要。本文從業(yè)務(wù)流程、功能需求、性能需求3方面對農(nóng)業(yè)信息資源共享交互平臺的需求進(jìn)行詳細(xì)分析。

關(guān)鍵詞:農(nóng)業(yè)信息化;農(nóng)業(yè)大數(shù)據(jù);數(shù)據(jù)治理

為深入貫徹落實國務(wù)院、江蘇省、常州市關(guān)于促進(jìn)政務(wù)信息資源共享整合建設(shè)的要求，按照常州市2019年政府電子政務(wù)工作要點的要求，從深入推進(jìn)“一網(wǎng)通辦”、“智慧城市”、“數(shù)據(jù)共享”、“平臺優(yōu)化”和“智造產(chǎn)業(yè)”5大行動出發(fā)的指示精神，常州市將推進(jìn)農(nóng)業(yè)信息資源共享交互平臺項目建設(shè)，以進(jìn)一步規(guī)范全市政務(wù)信息資源管理工作，將信息資源共享在深化改革、轉(zhuǎn)變職能及創(chuàng)新管理等方面全面滲透和應(yīng)用，從而提升政務(wù)服務(wù)水平及行政效能。本文結(jié)合常州市農(nóng)業(yè)信息化當(dāng)前的實際情況，介紹了一種農(nóng)業(yè)信息資源共享交互平臺，并對該平臺的業(yè)務(wù)流程、功能和性能需求進(jìn)行分析。

1業(yè)務(wù)流程分析

1.1數(shù)據(jù)交換共享流程

目前，常州市涉農(nóng)數(shù)據(jù)資源交換共享方式主要是人工報送的Excel、Word等格式數(shù)據(jù)文件，沒有明確的流程。通過建設(shè)常州市農(nóng)業(yè)信息資源共享交互平臺農(nóng)業(yè)數(shù)據(jù)共享交換系統(tǒng)，可對全市涉農(nóng)數(shù)據(jù)資源的共享交換進(jìn)行規(guī)劃，建立標(biāo)準(zhǔn)規(guī)范，優(yōu)化共享流程。本項目涉及2類數(shù)據(jù)交換共享，包括市局內(nèi)部現(xiàn)有信息系統(tǒng)之間的數(shù)據(jù)共享交換以及市局與外部相關(guān)單位之間的數(shù)據(jù)共享交換。數(shù)據(jù)共享交換流程涉及數(shù)據(jù)資源訂閱方、數(shù)據(jù)資源管理方、數(shù)據(jù)資源提供方3類用戶角色，具體流程如圖1所示。

1.2數(shù)據(jù)治理流程

通過數(shù)據(jù)交換共享方式匯聚的數(shù)據(jù)資源，需要經(jīng)過數(shù)據(jù)治理，經(jīng)過數(shù)據(jù)抽取、驗證、清洗、集成、聚集、裝載，將數(shù)據(jù)源轉(zhuǎn)化為數(shù)據(jù)倉庫需要的格式。數(shù)據(jù)加工處理工作由數(shù)據(jù)服務(wù)平臺自動完成，同時由用戶進(jìn)行人為監(jiān)控。數(shù)據(jù)治理流程如圖2所示。

1.2.1數(shù)據(jù)抽取從數(shù)據(jù)源抽取涉農(nóng)數(shù)據(jù)資源。數(shù)據(jù)源可以是通過業(yè)務(wù)平臺數(shù)據(jù)匯聚形成的數(shù)據(jù)資源庫，也可以是通過數(shù)據(jù)交換共享平臺獲取的涉農(nóng)數(shù)據(jù)資源(市局內(nèi)部和外部數(shù)據(jù))。數(shù)據(jù)抽取包括增量抽取、增量加載及批量裝載，可依據(jù)時間戳自動判斷抽取增量數(shù)據(jù)。

1.2.2數(shù)據(jù)清洗通常情況抽取的數(shù)據(jù)資源中包含冗余數(shù)據(jù)、垃圾數(shù)據(jù)。數(shù)據(jù)在邏輯上沖突和數(shù)據(jù)定義沖突等問題十分常見，因此需要對數(shù)據(jù)資源進(jìn)行清洗，發(fā)現(xiàn)殘缺數(shù)據(jù)、錯誤數(shù)據(jù)、重復(fù)數(shù)據(jù)，在信息資源庫進(jìn)行數(shù)據(jù)補(bǔ)錄、關(guān)聯(lián)、去除，導(dǎo)入到數(shù)據(jù)倉庫中。

1.2.3數(shù)據(jù)轉(zhuǎn)換清洗之后的涉農(nóng)數(shù)據(jù)資源需要轉(zhuǎn)換為數(shù)據(jù)倉庫的格式。

1.2.4數(shù)據(jù)裝載經(jīng)過格式轉(zhuǎn)換的涉農(nóng)數(shù)據(jù)資源需要裝載到數(shù)據(jù)倉庫，為數(shù)據(jù)建模和主題分析做準(zhǔn)備。

1.3數(shù)據(jù)分析應(yīng)用流程

數(shù)據(jù)分析應(yīng)用不僅能夠?qū)?jīng)過加工處理后的涉農(nóng)數(shù)據(jù)資源進(jìn)行挖掘分析，還可以對信息資源目錄、元數(shù)據(jù)、主數(shù)據(jù)進(jìn)行管理?，F(xiàn)以信息資源目錄管理和數(shù)據(jù)分析應(yīng)用流程為例進(jìn)行闡述。

1.3.1信息資源目錄管理經(jīng)過梳理之后的涉農(nóng)信息資源目錄可為數(shù)據(jù)資源相關(guān)單位提供信息資源目錄使用、查詢等服務(wù)。數(shù)據(jù)資源相關(guān)單位可根據(jù)自身業(yè)務(wù)發(fā)展變化情況，利用需要更新信息資源目錄，由數(shù)據(jù)資源管理方審核確認(rèn)后，不斷完善并形成可持續(xù)發(fā)展的全市涉農(nóng)信息資源目錄體系(圖3)。

1.3.2主題分析應(yīng)用主題分析應(yīng)用以采集數(shù)據(jù)和共享交換數(shù)據(jù)為基礎(chǔ)，通過匯聚存儲于數(shù)據(jù)緩沖區(qū)，經(jīng)過數(shù)據(jù)的ETL處理過程，包括數(shù)據(jù)抽取、驗證、清洗、轉(zhuǎn)換、裝載等，按照面向主題的方式存入數(shù)據(jù)中心(ODS)，提供常規(guī)的數(shù)據(jù)查詢統(tǒng)計分析。給予數(shù)據(jù)中心，經(jīng)過ETL處理可建立面向農(nóng)業(yè)、種植信息、畜牧養(yǎng)殖信息、測土配方施肥與土壤墑情、土地流轉(zhuǎn)信息、農(nóng)作物種類產(chǎn)量等不同(可進(jìn)一步細(xì)分)的主題數(shù)據(jù)庫，建立多維數(shù)據(jù)分析模型，為主題分析提供支持。在此基礎(chǔ)上，通過理論(業(yè)務(wù))模型的建立，包括播種態(tài)勢模型、產(chǎn)量預(yù)測模型、農(nóng)產(chǎn)品質(zhì)量安全模型等，提供預(yù)測預(yù)警與決策指導(dǎo)等服務(wù)。主題分析應(yīng)用流程如圖4所示。

2功能需求分析

2.1數(shù)據(jù)交換共享

業(yè)務(wù)數(shù)據(jù)資源的采集，在本次項目建設(shè)中，數(shù)據(jù)交換共享是最重要的采集方式。通過平臺的建設(shè)，可梳理出農(nóng)口的統(tǒng)一數(shù)據(jù)共享交換標(biāo)準(zhǔn)和接口規(guī)范，并建立為平臺與外部系統(tǒng)之間的數(shù)據(jù)共享提供指南和標(biāo)準(zhǔn)，市局與外部單位之間通過建立數(shù)據(jù)交換共享機(jī)制實現(xiàn)涉農(nóng)數(shù)據(jù)資源的共享匯聚利用。

2.2數(shù)據(jù)加工處理

由于涉農(nóng)數(shù)據(jù)資源一部分來自數(shù)據(jù)報送人員在線直報和自動采集，另一部分來源于市局現(xiàn)有信息系統(tǒng)和外部單位信息系統(tǒng)，數(shù)據(jù)格式、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類別、數(shù)據(jù)標(biāo)識等經(jīng)常不一致，因此需要進(jìn)一步對源頭數(shù)據(jù)進(jìn)行加工處理。

2.3數(shù)據(jù)分析應(yīng)用

建設(shè)數(shù)據(jù)共享交換系統(tǒng)將涉農(nóng)數(shù)據(jù)匯聚之后，最為核心的工作是對數(shù)據(jù)進(jìn)行挖掘分析應(yīng)用。通過大數(shù)據(jù)分析手段挖掘掩藏在涉農(nóng)數(shù)據(jù)資源表面的業(yè)務(wù)特點、規(guī)律，實現(xiàn)對農(nóng)業(yè)農(nóng)村工作的決策支持，提供數(shù)據(jù)監(jiān)測、分析、預(yù)警、預(yù)測等服務(wù)。

2.4數(shù)據(jù)展現(xiàn)

通過一系列數(shù)據(jù)可視化展示方式將基礎(chǔ)數(shù)據(jù)資源和分析數(shù)據(jù)資源直觀地呈現(xiàn)給各級領(lǐng)導(dǎo)和各級工作人員，并定期提供數(shù)據(jù)分析報告全景展示常州市現(xiàn)代農(nóng)業(yè)發(fā)展趨勢和狀況，滿足用數(shù)據(jù)說話、用數(shù)據(jù)管理和用數(shù)據(jù)決策的工作需要。通過建設(shè)專題決策支撐系統(tǒng)，實現(xiàn)對全市農(nóng)產(chǎn)品質(zhì)量安全等專題數(shù)據(jù)的綜合展示和相關(guān)工作的統(tǒng)一指揮調(diào)度。

3性能需求分析

3.1訪問速度方面

頁面打開速度小于3s，簡單類查詢速度小于3s，復(fù)雜類查詢分析速度小于8s。

3.2穩(wěn)定性方面

在利用本平臺正常工作中，不應(yīng)出現(xiàn)妨礙工作順利進(jìn)行的系統(tǒng)錯誤或意外中止的情況。

3.3資源利用方面

在進(jìn)行海量數(shù)據(jù)的查詢、統(tǒng)計、分析的過程中，允許CPU和內(nèi)存的占用率提升及網(wǎng)絡(luò)帶寬占有量的加大，但在操作結(jié)束后，應(yīng)該及時釋放所占用的資源，以保證工作人員利用電腦順利進(jìn)行其它工作。

3.4系統(tǒng)處理能力方面

系統(tǒng)的用戶較多，所以對系統(tǒng)的并發(fā)處理能力要求較高;支持?jǐn)?shù)據(jù)采集應(yīng)用并發(fā)數(shù)100，最長響應(yīng)時間3s。

3.5使用靈活性方面

當(dāng)系統(tǒng)與其它軟件的接口發(fā)生變化，用戶的操作方式、運(yùn)行環(huán)境、對信息獲取方式以及對期望獲取的信息結(jié)果發(fā)生變化時，軟件系統(tǒng)要做到易于調(diào)整，擁有高度的靈活性。

4信息量分析和預(yù)測

4.1農(nóng)業(yè)數(shù)據(jù)量分析與預(yù)測

本項目農(nóng)業(yè)信息資源交互平臺建設(shè)的信息資源數(shù)據(jù)，包括了市縣農(nóng)業(yè)農(nóng)村局現(xiàn)有數(shù)據(jù)(如農(nóng)產(chǎn)品質(zhì)量監(jiān)管、農(nóng)產(chǎn)品質(zhì)量追溯、動監(jiān)所執(zhí)法、三農(nóng)項目管理等)、部省相關(guān)數(shù)據(jù)(如三品一標(biāo)、農(nóng)業(yè)投入品等)、政府部門相關(guān)數(shù)據(jù)(如氣象、環(huán)境、工商、防汛等)、機(jī)構(gòu)改革后農(nóng)辦發(fā)改財政部門相關(guān)數(shù)據(jù)、其它下一步收集的數(shù)據(jù)(如休閑觀光客源、土壤質(zhì)地、森林植被等)，總計占用存儲空間約20TB(其中，關(guān)系型數(shù)據(jù)約5TB，非結(jié)構(gòu)化數(shù)據(jù)約15TB)。

4.2查詢頻度分析

查詢頻度與支持的系統(tǒng)數(shù)量、用戶數(shù)量、系統(tǒng)建設(shè)情況有關(guān)。建設(shè)初期，由于訪問系統(tǒng)的用戶數(shù)和基于平臺建設(shè)的系統(tǒng)少，查詢用戶少，訪問頻度較低。但隨著信息系統(tǒng)建設(shè)的不斷發(fā)展，信息內(nèi)容的不斷豐富和支持的應(yīng)用系統(tǒng)增加，用戶數(shù)也會不斷攀升，系統(tǒng)訪問頻度將急劇增加。以常州市農(nóng)業(yè)農(nóng)村局農(nóng)產(chǎn)品質(zhì)量安全監(jiān)管平臺為例，目前用戶數(shù)近1000人。平時有200個用戶在線使用平臺，通常用戶并發(fā)數(shù)50個左右，高峰時并發(fā)用戶數(shù)100個左右。

4.3數(shù)據(jù)流量分析與預(yù)測

本系統(tǒng)在B/S訪問時，由于業(yè)務(wù)的要求需要傳輸視頻圖像或文件，每個訪問點的傳輸速率至少保證5Mbps。

參考文獻(xiàn)

［1］王文生，郭雷風(fēng)．農(nóng)業(yè)大數(shù)據(jù)及其應(yīng)用展望［J］．江蘇農(nóng)業(yè)科學(xué)，2015，43(09):1－5．

［2］孟祥寶，謝秋波，劉海峰，等．農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)和平臺建設(shè)［J］．廣東農(nóng)業(yè)科學(xué)，2014，41(14):173－178．

［3］溫孚江．農(nóng)業(yè)大數(shù)據(jù)研究的戰(zhàn)略意義與協(xié)同機(jī)制［J］．高等農(nóng)業(yè)教育，2013(11):3－6．

［4］亓開元，趙卓峰，房俊，等．針對高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實時處理方法［J］．計算機(jī)學(xué)報，2012，35(03):477－490．

［5］方艾，徐雄，梁冰，等．主流大數(shù)據(jù)處理開源架構(gòu)的分析及對比評測［J］．電信科學(xué)，2015，31(07):152－157．

［6］李貞強(qiáng)，陳康，武永衛(wèi)，等．大數(shù)據(jù)處理模式———系統(tǒng)結(jié)構(gòu)，方法以及發(fā)展趨勢［J］．小型微型計算機(jī)系統(tǒng)，2015，36(04):641－647．

作者：薛彩霞 單位：常州大學(xué)