地震前兆臺網(wǎng)數(shù)據(jù)通信技術(shù)探析

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了地震前兆臺網(wǎng)數(shù)據(jù)通信技術(shù)探析范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要針對地震前兆數(shù)據(jù)到云端傳輸?shù)目煽?、穩(wěn)定和高效問題，研究了前兆數(shù)據(jù)通信策略中云端的資源動態(tài)分配方式以及基于UDP通信協(xié)議的傳輸技術(shù)和高效數(shù)據(jù)壓縮技術(shù)，實現(xiàn)將數(shù)據(jù)以盡快速度可靠的傳輸?shù)皆贫说臄?shù)據(jù)匯聚平臺，為前兆海量數(shù)據(jù)信息的存儲、分析、清理、分割提供通信傳輸保障。

關(guān)鍵詞云平臺；前兆臺網(wǎng)；傳輸技術(shù)；通信策略

引言

云平臺的出現(xiàn)，至今已趨于成熟，數(shù)據(jù)采集與管理的扁平化是大勢所趨，地震前兆數(shù)據(jù)的產(chǎn)出、處理、分析、存儲以及管理也必然走上扁平化道路，即將改變目前逐級匯集的管理模式，實現(xiàn)數(shù)據(jù)的可靠高效傳輸，達(dá)到儀器到云端直接對接的要求。地震前兆觀測數(shù)據(jù)可以利用這種新的基于互聯(lián)網(wǎng)的計算方式和資源應(yīng)用平臺，通過網(wǎng)絡(luò)將龐大復(fù)雜的數(shù)據(jù)交由多部服務(wù)器組成的巨大系統(tǒng)平臺進(jìn)行統(tǒng)一計算、分析和存儲。把分布在全國各地的地震前兆觀測儀器接入目前相對成熟的云計算和云存儲平臺，實現(xiàn)分別采用“模擬”、“九五”和“十五”等標(biāo)準(zhǔn)的異構(gòu)設(shè)備統(tǒng)一接入到云架構(gòu)管理平臺，從而將當(dāng)前多節(jié)點數(shù)據(jù)存儲[1]，多級匯集、分發(fā)的組網(wǎng)模式，改為中心存儲、單級采集管理模式。這一數(shù)據(jù)生產(chǎn)管理模式的實現(xiàn)必須建立在數(shù)據(jù)通信系統(tǒng)的可靠、穩(wěn)定和高效的基礎(chǔ)之上。臺網(wǎng)數(shù)據(jù)源，即儀器數(shù)據(jù)傳輸?shù)皆贫说姆植际骄W(wǎng)絡(luò)環(huán)境，尤其是對跨區(qū)域傳輸中如何保證網(wǎng)絡(luò)的穩(wěn)定性、傳輸效率和數(shù)據(jù)的一致性提出了非常高的要求。本文針對如上問題設(shè)計了高性能云傳輸技術(shù)方案，克服網(wǎng)絡(luò)帶寬有限、狀態(tài)不夠穩(wěn)定等問題，實現(xiàn)對大容量數(shù)據(jù)高效傳輸，并最大限度地提升網(wǎng)絡(luò)帶寬利用率。

1數(shù)據(jù)傳輸方案設(shè)計

把前兆數(shù)據(jù)采集扁平化，集中于云端管理，確保數(shù)據(jù)傳輸?shù)囊恢滦?、可靠性和高效性是系統(tǒng)實現(xiàn)的關(guān)鍵所在，針對該問題本文對數(shù)據(jù)傳輸部分進(jìn)行了設(shè)計。在該設(shè)計中將高性能云傳輸分為數(shù)據(jù)傳輸引擎、資源索引服務(wù)、文件處理組件和用戶應(yīng)用終端4個組成部分。數(shù)據(jù)傳輸引擎基于UDP用戶數(shù)據(jù)報協(xié)議，利用數(shù)據(jù)壓縮技術(shù)降低數(shù)據(jù)傳輸占用帶寬，同時改進(jìn)UDP傳輸協(xié)議，提高數(shù)據(jù)傳輸效率和可靠性；文件處理組件和資源索引服務(wù)基于文件系統(tǒng)，提供數(shù)據(jù)的校驗、存儲及檢索功能，保持?jǐn)?shù)據(jù)的一致性；用戶應(yīng)用終端針對數(shù)據(jù)傳輸、索引服務(wù)、文件處理等底層功能組件的運行狀態(tài)進(jìn)行監(jiān)控，完成系統(tǒng)資源的動態(tài)分配。從數(shù)據(jù)通信傳輸系統(tǒng)設(shè)計可看出，確保數(shù)據(jù)傳輸?shù)母咝Э煽?，包含了云端資源動態(tài)分配、基于UDP協(xié)議的可靠通信和數(shù)據(jù)壓縮技術(shù)等關(guān)鍵技術(shù)部分。

2資源動態(tài)分配模塊設(shè)計

從前兆臺網(wǎng)數(shù)據(jù)傳輸?shù)墓ぷ髁鞒虂砜?，首先前兆?shù)據(jù)需要通過終端接入網(wǎng)絡(luò)，向云端提出數(shù)據(jù)傳輸需求，然后云端接受請求后分配基礎(chǔ)設(shè)施資源，如內(nèi)存、CPU、網(wǎng)絡(luò)帶寬等，最后完成數(shù)據(jù)通信任務(wù)。在數(shù)據(jù)通信過程中，通過資源動態(tài)分配，實現(xiàn)可用資源的最大化利用。。整個云端實際上在一個虛擬系統(tǒng)的管理下，再細(xì)分為多個虛擬系統(tǒng)（虛擬機(jī)），每個虛擬機(jī)作為一個工作節(jié)點，虛擬機(jī)的系統(tǒng)資源多少是可動態(tài)分配的。每個虛擬機(jī)占用的核心資源是動態(tài)分配的，系統(tǒng)通過監(jiān)控管理功能模塊對應(yīng)用層和接口層的資源消耗進(jìn)行動態(tài)監(jiān)控，當(dāng)各個前兆節(jié)點向中心云端發(fā)送數(shù)據(jù)請求時，虛擬機(jī)所要求的物理資源隨之變化。虛擬機(jī)根據(jù)請求對象的優(yōu)先級以及當(dāng)前虛擬機(jī)的資源分配情況，重新評估物理資源的可用性，并進(jìn)行再次分配，達(dá)到動態(tài)分配的效果，實現(xiàn)分配滿足性能要求的最小資源量，從而提高資源利用率和滿足功能執(zhí)行需要。中心云端接到數(shù)據(jù)通信請求后按照任務(wù)類型，預(yù)先定義任務(wù)執(zhí)行完成所需要的內(nèi)存（估算），如：采集分鐘值數(shù)據(jù)需要2MB內(nèi)存，采集秒數(shù)據(jù)需要20MB內(nèi)存等；對當(dāng)前CPU使用情況進(jìn)行分析，并對完成通信任務(wù)所需資源進(jìn)行評估，以及對當(dāng)前帶寬容量進(jìn)行檢測，根據(jù)資源情況，對當(dāng)前通信請求進(jìn)行有效資源分配，在分配任務(wù)的時候首先將正在運行的任務(wù)所需的內(nèi)存數(shù)減掉，然后再分配任務(wù)。每分配一個任務(wù)都要在可用內(nèi)存數(shù)的基礎(chǔ)上將任務(wù)所需內(nèi)存減掉，如果減掉后的結(jié)果大于設(shè)計預(yù)留內(nèi)存數(shù)，則分配任務(wù)運行，否則，等待下一輪分配。

3可靠UDP協(xié)議數(shù)據(jù)通信設(shè)計

一般情況下，實現(xiàn)可靠數(shù)據(jù)傳遞的方法主要采用傳輸控制TCP協(xié)議。但是，TCP協(xié)議有一個根本的速度瓶頸，這個瓶頸隨著傳輸延遲和網(wǎng)絡(luò)丟包率的增加而變得愈發(fā)明顯。速度瓶頸的形成和TCP控制數(shù)據(jù)流量速率的機(jī)制密切相關(guān)。TCP協(xié)議的數(shù)據(jù)分片和基于分片的確認(rèn)方式，要占用一些通信帶寬，降低了以太網(wǎng)上的有效荷載；同時TCP是基于點對點連接方式的，不能充分利用以太網(wǎng)絡(luò)對突發(fā)傳輸?shù)闹С諿2-3]。用戶數(shù)據(jù)報協(xié)議（UDP）是ISO參考模型中的一種無連接的傳輸層協(xié)議，提供面向操作的簡單非可靠信息傳送服務(wù)。傳統(tǒng)UDP協(xié)議通信效率高、可靠性較差，不適合對可靠性要求較高的應(yīng)用環(huán)境。隨著網(wǎng)絡(luò)傳輸?shù)目焖侔l(fā)展，一種基于UDP協(xié)議的簡單可靠傳輸協(xié)議可以在保證高效性的基礎(chǔ)上提高通信雙方傳輸?shù)目煽啃?。擁塞控制機(jī)制將速率控制和流量控制兩者結(jié)合起來：前者通過調(diào)整包的發(fā)送間隔來控制包的發(fā)送速率；后者則通過限制可以發(fā)送的包的最大序號來調(diào)整發(fā)送方一次可以發(fā)送的數(shù)據(jù)。我國地震前兆觀測數(shù)據(jù)通過專有線路網(wǎng)絡(luò)傳輸，而專有線路網(wǎng)絡(luò)的帶寬和誤碼率等網(wǎng)絡(luò)參數(shù)都位于可控范圍，且占用網(wǎng)絡(luò)帶寬的應(yīng)用也比較確定，因此，網(wǎng)絡(luò)狀況較為簡單，當(dāng)出現(xiàn)網(wǎng)絡(luò)擁塞時，按照特定的算法平緩地降低發(fā)送速率，直至擁塞消除，同時能兼顧帶寬利用率。。采用UDP協(xié)議完成數(shù)據(jù)傳輸，但在傳輸端和發(fā)送端需要進(jìn)行傳輸控制信息交互，確認(rèn)數(shù)據(jù)的一致性，從而保障數(shù)據(jù)傳輸?shù)目煽啃浴Ｍ瑫r該設(shè)計相對TCP協(xié)議從多個方面提高了數(shù)據(jù)的傳輸效率：①UDP協(xié)議無需數(shù)據(jù)分片，將數(shù)據(jù)接收和確認(rèn)分開，無需等待確認(rèn)，數(shù)據(jù)接收方定期發(fā)送方報告數(shù)據(jù)包的接收情況，包括接收到的和未接收到的包的序號；②由于確認(rèn)數(shù)據(jù)的發(fā)送速率保持恒定，從而確?！按_認(rèn)”的開銷為常量，因此，帶寬越大，報文確認(rèn)的開銷占比越??；③UDP協(xié)議的無連接方式，省去了連接維護(hù)負(fù)擔(dān)，可充分利用以太網(wǎng)絡(luò)支持突發(fā)傳輸。

4通信傳輸壓縮技術(shù)設(shè)計

數(shù)據(jù)壓縮是一門通信原理和計算機(jī)科學(xué)都會涉及到的學(xué)科。通過數(shù)據(jù)壓縮技術(shù)縮小傳輸數(shù)據(jù)的體量，降低帶寬的占用，同時減小硬件輸入輸出的壓力。目前我國地震前兆觀測臺網(wǎng)全網(wǎng)3000多套觀測儀器，分布在全國各地，平均每天每套儀器產(chǎn)出原始數(shù)據(jù)按1MB計算，每天全臺網(wǎng)產(chǎn)出原始數(shù)據(jù)量約3GB，而數(shù)據(jù)采集的時間比較集中，數(shù)據(jù)傳輸?shù)乃矔r流量是當(dāng)前網(wǎng)絡(luò)很難滿足的；同時對數(shù)據(jù)庫和硬盤讀寫能力也將造成較大的壓力。采用數(shù)據(jù)壓縮技術(shù)可同時降低網(wǎng)絡(luò)和輸入輸出壓力。本文針對當(dāng)前前兆數(shù)據(jù)的特點，對所需傳輸?shù)臄?shù)據(jù)信息進(jìn)行二級壓縮，即專業(yè)數(shù)據(jù)壓縮與工具壓縮相結(jié)合，。熵編碼是利用數(shù)據(jù)的統(tǒng)計信息進(jìn)行壓縮的無語義數(shù)據(jù)流無損編碼，能實現(xiàn)數(shù)據(jù)的無損壓縮，因此，能保障數(shù)據(jù)壓縮的安全與效率[4]。由于地震前兆觀測地電、地磁、重力、形變和地下流體各學(xué)科數(shù)據(jù)具有非常強(qiáng)的日變規(guī)律，故采用基于統(tǒng)計的熵編碼是較為理想的選擇，因此，分別采用熵編碼香農(nóng)-范諾（Shannon-Fano）編碼、哈夫曼（Huffman）編碼、算術(shù)編碼（arithmeticcoding）、行程編碼（RLE）和LZW編碼來實現(xiàn)。然后再對壓縮后的數(shù)據(jù)采用通用壓縮工具ZIP進(jìn)行二次壓縮。應(yīng)用測試實驗結(jié)果顯示，前兆觀測數(shù)據(jù)平均實現(xiàn)12:1的壓縮比，扣除壓縮、解壓縮的性能遞減，總體提升傳輸性能3倍左右。

5結(jié)束語

本文針對前兆臺網(wǎng)數(shù)據(jù)上云端的需求，結(jié)合當(dāng)前網(wǎng)絡(luò)技術(shù)基礎(chǔ)進(jìn)行了前兆臺網(wǎng)數(shù)據(jù)傳輸方案設(shè)計，并對其實現(xiàn)的關(guān)鍵技術(shù)，如設(shè)計云平臺資源的動態(tài)分配實現(xiàn)系統(tǒng)資源的負(fù)載均衡管理；針對TCP協(xié)議傳輸速率瓶頸設(shè)計可靠的UDP傳輸方案，在提高數(shù)據(jù)傳輸效率的同時保證了可靠性；在分析前兆數(shù)據(jù)規(guī)律的基礎(chǔ)上選擇合適的壓縮算法組合，對數(shù)據(jù)實現(xiàn)了壓縮比高于12:1的無損壓縮，將有助于降低帶寬要求。這3個關(guān)鍵技術(shù)問題的解決，為儀器數(shù)據(jù)與云端的直接對接和地震前兆數(shù)據(jù)管理的扁平化提供了很好的技術(shù)支持，為減少硬件重復(fù)投資和精簡技術(shù)管理人員提供了條件。

參考文獻(xiàn)

［1］陳俊，劉高川，李罡風(fēng)，等.基于Web的地震前兆應(yīng)用數(shù)據(jù)庫管理系統(tǒng)設(shè)計[J].四川地震，2016(4)：41-45趙飛，葉震.UDP協(xié)議與TCP協(xié)議的對比分析與可靠性改進(jìn)[J].計算機(jī)技術(shù)與發(fā)展，2006，16(9)：219-221

［2］王繼剛，顧國昌，徐立峰，等.可靠UDP數(shù)據(jù)傳輸協(xié)議的研究與設(shè)計[J].計算機(jī)工程與應(yīng)用，2006(15)：113-116

［3］楊敬鋒，張南峰，李勇，等.基于改進(jìn)Huffman編碼的農(nóng)機(jī)作業(yè)數(shù)據(jù)傳輸壓縮方法[J].農(nóng)業(yè)工程學(xué)報，2014，30(13)：153-159［4］

作者：王晨 陳俊 劉金城 趙銀剛 裴紅云 謝慶 單位：中國地震局地球物理研究所 安徽省地震局 天津市地震局 安丘地震臺