大數(shù)據(jù)時代的數(shù)據(jù)挖掘及應用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了大數(shù)據(jù)時代的數(shù)據(jù)挖掘及應用范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：結合大數(shù)據(jù)時代的基本內容，從大數(shù)據(jù)的特征出發(fā)，筆者探討了數(shù)據(jù)挖掘的功能及應用，并在此基礎上重點分析了大數(shù)據(jù)的數(shù)據(jù)挖掘發(fā)展應用以及前景，希望能夠推動信息社會快速發(fā)展。

關鍵詞：大數(shù)據(jù)；信息時代；數(shù)據(jù)挖掘；發(fā)展前景

1大數(shù)據(jù)的概念

大數(shù)據(jù)是數(shù)字化時展的必然產物，其并非產品，也無所謂技術范疇內容。對于大數(shù)據(jù)的理解，不應僅僅理解為非常巨大的數(shù)據(jù)量，結合戰(zhàn)略眼光來看，還應該包括數(shù)據(jù)的專業(yè)化處理方式。根據(jù)基維百科的解釋，規(guī)模巨大到無法用當前軟件處理的數(shù)據(jù)資料量則是大數(shù)據(jù)，并能在一定的時間內進行管理和處理，有利于實現(xiàn)經營目標。而結合麥肯錫研究所的定義，大數(shù)據(jù)則可以看作為數(shù)據(jù)的集合體，并能夠在特定時間范圍內，沒有方法利用傳統(tǒng)軟件來實現(xiàn)數(shù)據(jù)管理、存儲、采集等操作。在上述定義中，能看到大數(shù)據(jù)的特點，但具有一定的狹義性。從廣義角度來分析，所謂的大數(shù)據(jù)，不僅包括大數(shù)據(jù)技術，還涉及整體的大數(shù)據(jù)科學以及相關的工程內容。在信息化時代，大數(shù)據(jù)時代則是必然的發(fā)展趨勢，如何進一步深化對于大數(shù)據(jù)的理解，并充分利用好相關服務能力，則是體現(xiàn)出未來社會競爭力的必然趨勢。

2大數(shù)據(jù)的特征

在信息化時代，數(shù)據(jù)可謂無所不在、無處不在，大數(shù)據(jù)已經超越了“云計算”“物聯(lián)網”等，已經開辟了嶄新的大數(shù)據(jù)時代，其主要的特征主要表現(xiàn)在以下幾個方面。第一，高度流動。相比于傳統(tǒng)的數(shù)據(jù)流動，其流動速度主要涉及數(shù)據(jù)的獲取、存儲以及分析并處理有價值數(shù)據(jù)的速度，而對于大數(shù)據(jù)來說，考慮到其具有非常龐大的數(shù)據(jù)數(shù)量，其數(shù)據(jù)流自然具有快速變動的特點，其必將獲得高速的數(shù)據(jù)處理速度，傳統(tǒng)的處理方式已經表現(xiàn)出很大的問題，現(xiàn)在已經從TB級上升到PB級。第二，大數(shù)據(jù)的種類非常多。在信息社會的快速發(fā)展過程中，傳感器的應用范圍越來越廣，人們的生活也越來越依賴社交網絡、智能設備，從而自然會出現(xiàn)多種類型的數(shù)據(jù)。當前，在大數(shù)據(jù)類型中，除了傳統(tǒng)的音頻、網頁、文檔、視頻以及郵件等，正在出現(xiàn)多種多樣的數(shù)據(jù)類型，其往往包括板結構模式、不具備結構模式等類型。第三，數(shù)量巨大。所謂的大數(shù)據(jù)往往涉及超過10TB規(guī)模的數(shù)據(jù)量，在新時代，隨著信息技術的快速發(fā)展，這必然是大勢所趨。當前，隨著集成電路成本不斷降低，儀器智能化水平不斷上升，出現(xiàn)了大量的存儲數(shù)據(jù)。在不斷認識新事物的過程中，各種儀器層出不窮，并通過相應的存儲數(shù)據(jù)來描述事物的部分或者全部。為了能夠實現(xiàn)信息傳遞的即時性，大量的通信工具，特別是在機器影響機器傳遞方式的情況下，必然會產生大量的數(shù)據(jù)。第四，低價值密度。在大數(shù)據(jù)時代，有意義的數(shù)據(jù)信息所占比例越來越低，不斷增加了獲取有效信息的難度。比如，對于“4V”來說，不僅意味著巨大的數(shù)據(jù)量，也必然會產生更加復雜的數(shù)據(jù)分析結果，難以實現(xiàn)預期的效率。

3數(shù)據(jù)挖掘的功能及應用

在大數(shù)據(jù)時代，數(shù)據(jù)挖掘具有非常明顯的意義，是挖掘有用信息的過程，這部分數(shù)據(jù)往往具有隨機、模糊、海量以及非完整的特點。一般來說，對于數(shù)據(jù)挖掘來講，主要涉及預測以及描述等方面。在開展數(shù)據(jù)挖掘的過程中，目標數(shù)據(jù)的類型則是關注的重點，應該從實際出發(fā)，選擇合適的數(shù)據(jù)類型，才能充分發(fā)揮好數(shù)據(jù)挖掘的作用。數(shù)據(jù)挖掘能進一步體現(xiàn)出數(shù)據(jù)的價值，因而在很多領域得到了廣泛應用[1-2]。

3.1數(shù)據(jù)挖掘在金融業(yè)中的應用

考慮到金融業(yè)的的特點，其必將涉及大量的數(shù)據(jù)信息，通過應用數(shù)據(jù)挖掘技術，能夠發(fā)現(xiàn)內在的發(fā)展規(guī)律，進而能結合實際的組織信息、目標客戶情況，掌握金融市場的發(fā)展動態(tài)?？梢姡诮鹑跇I(yè)的數(shù)據(jù)挖掘過程中，主要包括市場預測、分類賬號、數(shù)據(jù)清理、市場分析以及信譽評估等方面。

3.2數(shù)據(jù)挖掘在市場中的應用

在市場的發(fā)展過程中，充分利用數(shù)據(jù)挖掘的優(yōu)勢，能夠對市場進行準確定位，能進一步掌握消費者群體的需求以及規(guī)律性內容，據(jù)此制訂有利于市場營銷的計劃。與傳統(tǒng)營銷模式相比，大數(shù)據(jù)的數(shù)據(jù)挖掘能進一步降低企業(yè)成本，實現(xiàn)預期的市場目標，獲得更高的利潤。

3.3大數(shù)據(jù)挖掘在醫(yī)學中的應用

部分疾病是由于單一基因所致，部分則是由于多種基因共同影響的結果。在基因研究工作中，為了尋找治療疾病的方法，特別是當涉及編碼序列和非編碼序列的區(qū)分問題時，則必然涉及大量的實驗和演算內容，從而應該充分發(fā)揮數(shù)據(jù)挖掘的優(yōu)勢來解決分類問題。

3.4遙感大數(shù)據(jù)挖掘的應用

對于遙感大數(shù)據(jù)進行相應的數(shù)據(jù)挖掘處理，具體表現(xiàn)形式如下。第一，獲取數(shù)據(jù)，并提出相應的存儲方式，結合實際需求從不同傳感器上獲得多源、海量的遙感數(shù)據(jù)，并進行數(shù)據(jù)的預處理，組成有效的數(shù)據(jù)集。第二，分析處理相應的數(shù)據(jù)集，通過數(shù)學統(tǒng)計學方法進行分類，尋找數(shù)據(jù)間以及數(shù)據(jù)類別等相互關系。第三，對于分類后的數(shù)據(jù)進行數(shù)據(jù)挖掘，進一步采用多樣化的方法探索數(shù)據(jù)間的隱含信息以及內在聯(lián)系，利用深度學習、云模型、決策樹、神經網絡等方式尋找模式關系。第四，進一步對模式以及知識進行可視化處理，便于用戶更好地理解，便于后續(xù)的分析和利用。

4大數(shù)據(jù)的數(shù)據(jù)挖掘發(fā)展前景

在大數(shù)據(jù)時代，數(shù)據(jù)庫技術獲得了突飛猛進的發(fā)展，并具有數(shù)據(jù)變換、連接、共享的特點。在此背景下，企業(yè)應充分發(fā)揮大數(shù)據(jù)挖掘技術的優(yōu)勢，充分利用多種類型的數(shù)據(jù)，進一步提升數(shù)據(jù)的價值。由此可見，結合大數(shù)據(jù)的特征以及數(shù)據(jù)挖掘發(fā)展特點，大數(shù)據(jù)的數(shù)據(jù)挖掘必將擁有廣闊的發(fā)展前景[3]。

4.1大數(shù)據(jù)的數(shù)據(jù)挖掘將成為企業(yè)及教育機構的轉折點

在當前的企業(yè)管理發(fā)展中，大數(shù)據(jù)的數(shù)據(jù)挖掘技術具有明顯的優(yōu)勢，能為企業(yè)發(fā)展帶來更多的經濟效益，是企業(yè)保持自身競爭力的有效方式，也應該據(jù)此重新制定管理模式，進一步在企業(yè)管理中發(fā)揮大數(shù)據(jù)的數(shù)據(jù)挖掘作用，從而才能跟上時展的步伐。同時，大數(shù)據(jù)也必將影響企業(yè)的人力資源管理，對于信息化技術人才會提出更高的要求，只有符合新時代背景下的數(shù)據(jù)管理人才、數(shù)據(jù)分析人才以及技術型人才才能幫助企業(yè)實現(xiàn)可持續(xù)發(fā)展。

4.2大數(shù)據(jù)的數(shù)據(jù)挖掘將成為信息安全發(fā)展的契機

當前，隨著信息技術的快速發(fā)展，能夠進一步提升數(shù)據(jù)價值，對于社會發(fā)展具有積極的意義。但是，數(shù)據(jù)的安全性問題則是人們關注的重點。對于大數(shù)據(jù)來說，往往都具有集中存儲于云端的特點，難以實現(xiàn)有效的集中管理，并在確定用戶的合法性方面存在一定的不足之處，容易出現(xiàn)竊取、非法入侵以及篡改數(shù)據(jù)的問題。因此，如何保障信息安全問題尤為重要，對于大數(shù)據(jù)技術和產品也是如此，所以大數(shù)據(jù)的數(shù)據(jù)挖掘發(fā)展對于信息安全進步具有重要的影響。

4.3大數(shù)據(jù)的數(shù)據(jù)挖掘將成為創(chuàng)造價值的核心

相比于傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)挖掘則具有廣泛的應用范圍和較高的商業(yè)價值，對于政府以及企業(yè)發(fā)展至關重要。另外，大數(shù)據(jù)中還蘊藏著6000多億美元的個人信息價值，從而大數(shù)據(jù)的數(shù)據(jù)挖掘能從多方面創(chuàng)造社會價值。

5結語

新時代，大數(shù)據(jù)挖掘技術將能夠推動經濟快速發(fā)展，我國應該順應時展的潮流，積極開展大數(shù)據(jù)挖掘技術的培訓以及教育工作，才能為社會培養(yǎng)更多的大數(shù)據(jù)人才。

參考文獻

[1]覃兵文.大數(shù)據(jù)的分類挖掘優(yōu)化技術[J].現(xiàn)代電子技術,2017(24):45.

[2]蔣潔.AI圖景下大數(shù)據(jù)挖掘的風險評估與應對策略[J].現(xiàn)代情報,2018,5.

[3]李平榮.大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術與應用[J].重慶三峽學院學報,2014(6):23-26.

作者：印小冬 單位：中國電子科技集團公司第二十八研究所