建立資料倉庫是一個解決企業資料問題應用的過程,是企業資訊化發展到一定階段必不可少的一步,也是發展資料化管理的重要基礎。資料倉庫的知識介紹書籍和文章不少,但是實際實施依據行業不同,企業核心需求不同,從技術到方法論各有不同。
如何實施資料倉庫專案,本文先以傳統行業的資料倉庫切入,從整體上講下資料倉庫的實施方法論!
需求分析是資料倉庫專案最重要的一個環節,資料倉庫說到底還是為了業務,支援業務。如果需求分析不準確,做了之後沒人使用,上了業務覺得不好用,會直接影響業務/客戶的使用效果,最終導致專案的失敗。
為了避免最壞的情況,磨刀不誤砍柴工,前期一定要重視需求的調研、挖掘和分析,並採用一些嚴謹科學的措施和方法去做需求分析。
在實際調研過程中分享幾個經驗:
(1) 儘可能與業務方/客戶方一起分析需求,引導對方將專案所要實現的整體框架和業務細節部分描述清楚,最好的方式就是需求人員和設計人員基於原型來討論,從而正確理解實際的業務需求。
(2) 必須真實地將資料倉庫所能實現的目標和不容易解決的問題與協商清楚。這一個環節比較容易出現各種小問題:IT方急著上線,業務方對於專案還處於一知半解,甚至在推動的時候可能避重就輕,比如一期不滿足的需求強行上線,長遠來看專案會產生不少推諉,消磨的是對方的信任。
所以在需求討論的基礎上,需要理解業務工作流程,當然如果你已經具備了這個行業豐富的業務知識,那可以在需求調研的時候儘可能地讓對方按照自己的思路去完成資料倉庫系統的功能設計。
(3) 需求方群體的分類,BI專案最終的使用人群可以分為以下幾類:資料查詢者、報表查詢者、企業決策者。
這三類人群的需求特點完全不一樣,溝通的時候需要注意區分並深刻理解
(4) **需求調研的再完美,也避免不了需求變更。**現實是很多情況下需求是不確定的,業務方是提不出有價值的需求的,需求今天是A明天又變成B無法一步做到位的,這都很正常,作為專案實施者要做好心理預期。
一般情況下,業務方能夠提供的都是需求的整體框架部分或者是實際需求的一部分內容,不能預見未來需要增加的需求,這也註定了資料倉庫專案是一個不斷迴圈、反饋,使系統不斷完善增長的過程。
不能規避風險但是可以減少風險,所以科學的調研尤為重要。以下是調研模板,當需求調研完成時,需要對採集結果進行分析、歸納、整理,最終形成完整的需求分析報告。
業務需求的實施目的就是真正理解企業決策者的戰略性目標。
在理解建立商業智慧系統目標的基礎上,建立有效的企業管理模式,制定出詳細的企業資料倉庫業務管理規範,設計出常用的ETL資料採集規範和工作流程,從而明確商業智慧系統的實施範圍和目標。
為了提高企業的分析決策能力,可以利用當下的區域網技術和互聯網技術實現企業對各種資訊的查詢和分析,通過建立企業業務資料模型,分析商業智慧系統的系統架構、資料來源之間的差異、對資料質量的評估和各種資訊的處理方法,有效地提高企業商業智慧系統的分析和決策能力。
資料倉庫在邏輯上可以分成操作型資料庫、資料倉庫層、資料集市層、資料分析應用層和報表展示層,其架構如下圖所示:
ODS 可以有兩種形式:ODS 資料緩衝區和ODS統一資訊檢視區。
ODS資料緩衝區是業務資料流動過程的第一個儲存區,實現了資料倉庫從各個業務系統的資料來源中將資料抽取出來,並且裝載到ODS資料緩衝區的這一過程,從而實現統一的全域性的企業資料平臺,為以後的資料抽取、清洗、轉換過程打下堅實的基礎。
對於資料的資料來源可以採用增量的方式進行抽取,對於經常變化更新的資料一般採用全量的方式進抽取。ODS資料緩衝區具有實時性的特徵,ODS系統將各個孤立的業務系統的生產運營資料整合起來,組成統一的、全域性的企業資料交換平臺。
ODS統一資訊檢視區是指有選擇地整合各類業務源資料,對資料進行抽取、清洗、轉換操作,以資料主題域為資料整合的基礎,對資料進行分類和組織,使使用者能夠通過統一信心檢視區獲得跟某個主題域相關的實時性資料。各業務系統和ODS統一資訊檢視區可以互相訪問,可以生成具有實時性的操作性報表和查詢某一主題的近期全部資訊。
ODS 資料緩衝區主要為業務源資料抽取到資料倉庫中提供中間資料緩衝的功能,與ODS 統一資訊檢視區最大的區別就是資料抽取、清洗、轉換、載入的轉換規則和資料儲存的方式不同。
ODS統一資訊檢視區是完全按照主題的方式進行資料儲存,向用戶提供快速的報表展示和資料實時查詢的功能。而ODS資料緩衝區的ETL規則一般只進行簡單的彙總、計算,或者從操作型資料庫中直接抽取而中間不進行任何轉化。ODS 統一資訊檢視區的資料一般都是從ODS資料緩衝區中抽取過來的。
目前為止,我們講述了需求分析、資料倉庫的邏輯分析、設計ODS系統,三個部分,希望對大家有幫助~
未完待續,下次預告…
04 資料倉庫建模
05 資料集市建模
06 資料來源分析
07 資料的獲取與整合
08 資料應用和報表展現
本文由IT value研討社、[帆軟]https://www.finereport.com/tw/)商業智慧研究院共同創作。
歡迎按讚我的臉書 IT Value 研討社,發現更多精彩內容 ?
偷偷告訴你,私訊臉書小編,關鍵詞【數位化轉型】,即可獲取一份14個行業,240個轉型案例的最全資料包?