產品介紹
大數據價值的發現與其所處的應用場景密切相關。概括起來,大數據價值發現可以劃分為三大類:數據服務、數據分析和數據探索。數據服務是面向大規模用戶,提供高性能的數據查詢、檢索、預測等服務,通過直接滿足用戶需求而將數據價值變現的形式;數據分析是分析人員利用經驗,通過對大規模數據使用特定的計算模型進行較為復雜的運算,從而發現易于人們理解的數據模式或規律所進行的數據價值變現的一種運算形式;數據探索是一種利用數據分析和人機交互的結合,通過不斷揭示數據的規律和數據間的關聯,引導分析人員發現并認識其所未知的數據模式或規律,其價值更多地體現在對未知途徑的數據模式和規律的探索。
1.數據服務
數據服務針對用戶非常明確的數據查詢和處理任務,以高性能和高吞吐量的方式實現大眾化的服務,是數據價值最重要也是最直接的發現方式。由于要處理大眾化的服務請求,每個服務任務必須能夠被快速地處理掉,因此,數據服務的單個任務負載不能過于復雜,單任務直接處理的數據不能太大,任務對應的用戶需求和采用的數據處理方法必須是明確的。一些典型的數據服務包括事務處理、數據查詢、信息檢索、數據預測。
2.數據分析
?數據分析是指用適當的統計分析方法對大量數據進行分析或建模,提取有用信息并形成結論,進而輔助人們決策的過程。在這個過程中,用戶會有一個明確的目標,通過“數據清 理、轉換、建模、統計”等一系列復雜的操作,獲得對數據的洞察,從而協助用戶進行決策。常見的數據分析任務又可以被進一步劃分為描述型分析、診斷型分析、預測型分析、策略型分析。
4.數據探索
?數據探索是指針對目標可變、持續、多角度的搜索或分析任務,其搜索過程是有選擇、有策略和反復進行的。它將以找到信息為目的的傳統信息檢索模式變為以發現、學習和決策為目的的信息搜尋模式。這樣的搜索模式結合了大量的數據分析與人機交互過程,適合于人們從數據中發現和學習更多的內容和價值。
北京理工大學大數據搜索與挖掘實驗室張華平主任研發的NLPIR大數據語義智能分析技術是滿足大數據挖掘對語法、詞法和語義的綜合應用。NLPIR大數據語義智能分析平臺是根據中文數據挖掘的綜合需求,融合了網絡采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對互聯網內容處理的全技術鏈條的共享開發平臺。