大數(shù)據(jù)的核心能力是云技術(shù)和BI,大數(shù)據(jù)就是海量數(shù)據(jù)的高效處理。
大數(shù)據(jù)的4V特性,即類型復(fù)雜,海量,快速和價(jià)值,其總體架構(gòu)包括三層,數(shù)據(jù)存儲,數(shù)據(jù)處理和數(shù)據(jù)分析,三層的相互配合,讓大數(shù)據(jù)最終產(chǎn)生價(jià)值。數(shù)據(jù)存儲層,從存儲層的搭建來說,關(guān)系型數(shù)據(jù)庫,NoSQL數(shù)據(jù)庫和hdfs分布式文件系統(tǒng)三種存儲方式都需要。從用戶來講并不關(guān)心底層存儲細(xì)節(jié),只關(guān)心數(shù)據(jù)的存儲和讀取的方便性,通過共享數(shù)據(jù)存儲層可以實(shí)現(xiàn)在存儲上的應(yīng)用和存儲基礎(chǔ)設(shè)置的徹底解耦。數(shù)據(jù)處理層核心解決問題在于數(shù)據(jù)存儲出現(xiàn)分布式后帶來的數(shù)據(jù)處理上的復(fù)雜度,海量存儲后帶來了數(shù)據(jù)處理上的時(shí)效性要求,這些都是數(shù)據(jù)處理層要解決的問題。數(shù)據(jù)分析層重點(diǎn)是真正挖掘大數(shù)據(jù)的價(jià)值所在,而價(jià)值的挖掘核心又在于數(shù)據(jù)分析和挖掘。那么數(shù)據(jù)分析層核心仍然在于傳統(tǒng)的BI分析的內(nèi)容。包括數(shù)據(jù)的維度分析,數(shù)據(jù)的切片,數(shù)據(jù)的上鉆和下鉆,cube等。
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com