客戶需求

通過數據倉庫的建設，打破數據孤島、形成數據合力、建設數據質量體(tǐ)系，支撐全行數據應用。解決數據加載耗時(shí)越來(lái)越長，無法滿足目标系統對數據的時(shí)效性要求；解決隻能(néng)處理(lǐ)結構化(huà)數據，無法滿足多樣化(huà)（半結構、非結構化(huà)）格式數據處理(lǐ)需求。

解決方案

基于大數據計算(suàn)引擎進行信息統計，同時(shí)使用實時(shí)處理(lǐ)工具進行線上(shàng)日志的實時(shí)解析比對及處理(lǐ)；實現(xiàn)大數據的批量處理(lǐ)和快(kuài)速檢索，大大減少數據加載耗時(shí)，通過分(fēn)布式計算(suàn)避免I/O瓶頸，支持線性擴展，支持非結構化(huà)數據的存儲和處理(lǐ)，對數據進行統一(yī)整合，實現(xiàn)多租戶管理(lǐ)；使用流程工具調用每天的批處理(lǐ)業務(wù)，提供穩定高效的批處理(lǐ)性能(néng)，以及高并發，且支持全文索引下(xià)的毫秒(miǎo)級查詢。

應用效果

數據倉庫從傳統Oracle庫遷移到大數據數倉後，并行入庫任務(wù)性能(néng)提升7.34倍，并行任務(wù)最多提升46.6倍；在核心存儲過程性能(néng)方面，總體(tǐ)核心作(zuò)業性能(néng)提升了(le)5.7倍；大數據量批處理(lǐ)性能(néng)從小時(shí)級降低(dī)到分(fēn)鍾級甚至秒(miǎo)級；對内數據倉庫将全行數據進行歸集并整合，為(wèi)全行業務(wù)應用提供數據服務(wù)；對外提供了(le)涉及營銷與風(fēng)控的價值數據，比如(rú)客戶畫像、欺詐名單等。