大資料給互聯網帶來的是空前的資訊大爆炸，它不僅改變了互聯網的資料應用模式，還將深深影響著人們的生產生活。深處在大資料時代中，人們認識到大資料已經將資料分析的認識從“向後分析”變成“向前分析”，改變了人們的思維模式，但同時大資料也向我們提出了資料獲取、分析和使用等難題。在解決了這些難題的同時，也意味著大資料開始向縱深方向發展。
一、資料統計分析的內涵
近年來，包括互聯網、物聯網、雲計算等資訊技術在內的IT通信業迅速發展，資料的快速增長成了許多行業共同面對的嚴峻挑戰和寶貴機遇，因此現代資訊社會已經進入了大資料時代。事實上，大資料改變的不只是人們的日常生活和工作模式、企業運作和經營模式，甚至還引起科學研究模式的根本性改變。一般意義上，大資料是指無法在一定時間內用常規機器和軟硬體工具對其進行感知、獲取、管理、處理和服務的資料集合。網路大資料是指“人、機、物”三元世界在網路空間中彼此交互與融合所產生並在互聯網上可獲得的大資料。
將資料應用到生活生產中，可以有效地説明人們或企業對資訊作出比較準確的判斷，以便採取適當行動。資料分析是組織有目的地收集資料、分析資料，並使之成為資訊的過程。也就是指個人或者企業為瞭解決生活生產中的決策或者行銷等問題，運用分析方法對資料進行處理的過程。所謂的資料統計分析，就是運用統計學的方法對資料進行處理。在以往的市場調研工作中，資料統計分析能夠説明我們挖掘出資料中隱藏的資訊，但是這種資料的分析是“向後分析”，分析的是已經發生過的事情。而在大資料中，資料的統計分析是“向前分析”，它具有預見性。
二、大資料的分析
1.視覺化分析。
資料是結構化的，包括原始資料中的關聯式資料庫，其資料就是半結構化的，譬如我們熟知的文本、圖形、圖像資料，同時也包括了網路的不同質性的資料。通過對各種資料的分析，就可以清晰的發現不同類型的知識結構和內容，包括反映表徵的、帶有普遍性的廣義型知識;用於反映資料的彙聚模式或根據物件的屬性區分其所屬類別的特徵型知識;差異和極端特例進行描述的差異型知識;反映一個事件和其他事件之間依賴或關聯的關聯型知識;根據當前歷史和當前資料預測未來資料的預測型知識。當前已經出現了許多知識發現的新技術，其中之一就是視覺化方法。資料視覺化技術有3個鮮明的特點：第一，與用戶的交互性強。使用者不再是資訊傳播中的受者，還可以方便地以交互的方式管理和開發資料。第二，資料顯示的多維性。在視覺化的分析下，資料將每一維的值分類、排序、組合和顯示，這樣就可以看到表示物件或事件的資料的多個屬性或變數。第三，最直觀的可視性特點。資料可以用圖像、曲線、二維圖形、三維體和動畫來顯示,並可對其模式和相互關係進行視覺化分析。
2.資料採擷演算法。
資料採擷是指資料庫中的知識發現，其歷史可以追溯到1989年美國底特律市召開的第一屆KDD國際學術會議上，而第一屆知識發現和資料採擷(Data Mining，DM)國際學術會議是1995年加拿大召開的，會議上將資料庫裡存放的資料生動地比擬成礦床，從而“資料採擷”這個名詞很快就流傳開來。資料採擷的目的是在雜亂無章的資料庫中，從大量資料中找到有用的、合適的資料，並將其隱含的、不為人知的潛在價值的資訊揭示出來的過程。事實上，資料採擷只是整個KDD過程中的一個步驟。
資料採擷的定義沒有統一的說法，其中“資料採擷是一個從不完整的、不明確的、大量的並且包含雜訊的具有很大隨機性的實際應用資料中，提取出隱含其中、事先未被人們獲知、卻潛在有用的知識或模式的過程”是被廣泛接受的定義。事實上，該定義中所包含的資訊——大量真實的資料來源包含著雜訊;滿足用戶的需求的新知識;被理解接受的而且有效運用的知識;挖掘出的知識並不要求適用於所有領域，可以僅支持某個特定的應用發現問題。以上這些特點都表現了它對資料處理的作用，在有效處理海量且無序的資料時，還能夠發現隱藏在這些資料中的有用的知識，最終為決策服務。從技術這個角度來說，資料採擷就是利用一系列相關演算法和技術從大量的資料中提取出為人們所需要的資訊和知識，隱藏在資料背後的知識，可以以概念、模式、規律和規則等形式呈現出來。
3.預測性分析能力。
預測性分析可以讓分析員根據視覺化分析和資料採擷的結果做出一些預測性的判斷。大資料分析最終要實現的應用領域之一就是預測性分析，視覺化分析和資料採擷都是前期鋪墊工作，只要在大資料中挖掘出資訊的特點與聯繫，就可以建立科學的資料模型，通過模型帶入新的資料，從而預測未來的資料。作為資料採擷的一個子集，記憶體計算效率驅動預測分析，帶來即時分析和洞察力，使即時交易資料流得到更快速的處理。即時事務的資料處理模式能夠加強企業對資訊的監控，也便於企業的業務管理和資訊更新流通。此外，大資料的預測分析能力，能夠説明企業分析未來的資料資訊，有效規避風險。在通過大資料的預測性分析之後，無論是個人還是企業，都可以比之前更好地理解和管理大資料。
儘管當前大資料的發展趨勢良好，但網路大資料對於存儲系統、傳輸系統和計算系統都提出了很多苛刻的要求，現有的資料中心技術很難滿足網路大資料的需求。因此，科學技術的進步與發展對大資料的支援起著重要的作用，大資料的革命需要考慮對IT行業進行革命性的重構。網路大資料平臺(包括計算平臺、傳輸平臺、存儲平臺等)是網路大資料技術鏈條中的瓶頸，特別是網路大資料的高速傳輸，需要革命性的新技術。此外，既然在大資料時代，任何資料都是有價值的，那麼這些有價值的資料就成為了賣點，導致爭奪和侵害的發生。事實上，只要有資料，就必然存在安全與隱私的問題。隨著大資料時代的到來，網路資料的增多，使得個人資料面臨著重大的風險和威脅，因此，網路需要制定更多合理的規定以保證網路環境的安全。
留言列表
