數(shù)據(jù)中臺(tái)是什么?
數(shù)據(jù)中臺(tái)是在政企數(shù)字化轉(zhuǎn)型過(guò)程中,對(duì)各業(yè)務(wù)單元業(yè)務(wù)與數(shù)據(jù)的沉淀,構(gòu)建包括數(shù)據(jù)技術(shù)、數(shù)據(jù)治理、數(shù)據(jù)運(yùn)營(yíng)等數(shù)據(jù)建設(shè)、管理、使用體系,實(shí)現(xiàn)數(shù)據(jù)賦能。數(shù)據(jù)中臺(tái),是新型信息化應(yīng)用框架體系中的核心。
數(shù)據(jù)中臺(tái)是什么意思?
數(shù)據(jù)中臺(tái)是對(duì)既有/新建信息化系統(tǒng)業(yè)務(wù)與數(shù)據(jù)的沉淀,是實(shí)現(xiàn)數(shù)據(jù)賦能新業(yè)務(wù)、新應(yīng)用的中間、支撐性平臺(tái)。
數(shù)據(jù)中臺(tái)是指通過(guò)數(shù)據(jù)技術(shù),對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑。數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)一之后,會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù),再進(jìn)行存儲(chǔ),形成大數(shù)據(jù)資產(chǎn)層,進(jìn)而為客戶(hù)提供高效服務(wù)。
1.數(shù)據(jù)采集
為數(shù)據(jù)中臺(tái)提供匯集數(shù)據(jù)的能力,應(yīng)提供統(tǒng)一的數(shù)據(jù)獲取接入方式,數(shù)據(jù)來(lái)源包括內(nèi)部數(shù)據(jù)和外部數(shù)據(jù),數(shù)據(jù)類(lèi)型應(yīng)支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)采集。傳統(tǒng)的ETL工具仍然可以復(fù)用,實(shí)現(xiàn)數(shù)據(jù)采集、轉(zhuǎn)換、加載等關(guān)鍵處理過(guò)程。
2.數(shù)據(jù)計(jì)算
為數(shù)據(jù)中臺(tái)提供統(tǒng)一的大數(shù)據(jù)計(jì)算能力,針對(duì)不同大數(shù)據(jù)處理場(chǎng)景,所需提供的數(shù)據(jù)計(jì)算能力也不同,一般主要包括批量離線(xiàn)計(jì)算、內(nèi)存計(jì)算、在線(xiàn)流式計(jì)算等,可用到的技術(shù)有數(shù)據(jù)挖掘,大數(shù)據(jù)分析,云計(jì)算等。
3.數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)中臺(tái)中全域數(shù)據(jù)的存儲(chǔ)中心,按照不同的數(shù)據(jù)類(lèi)型,可以采用圖中一種或多種數(shù)據(jù)存儲(chǔ)系統(tǒng)的“混搭”架構(gòu)。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)(如DB2/ORACLE)是最為穩(wěn)定的數(shù)據(jù)存儲(chǔ)方式,承載著及時(shí)性、準(zhǔn)確性要求高的企業(yè)核心應(yīng)用。分布式關(guān)系數(shù)據(jù)庫(kù),也常簡(jiǎn)稱(chēng)為MPP數(shù)據(jù)庫(kù),相較于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù),具有高性能處理能力、高數(shù)據(jù)吞吐能力的優(yōu)勢(shì)。