iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 11
0
Google Developers Machine Learning

透視Google Machine Learning的奧秘系列 第 11

[Day11] 你了解你在做機器學習時的資料嗎?資料倉儲與商業智慧應用(6/6)

  • 分享至 

  • twitterImage
  •  

前一天介紹了ETL架構的子系統與與資料品質的衡量,今天我們來看資料倉儲有關商業智慧應用的部分。

注意!

接下來文章當中所提到的商業智慧應用是一種構建完成資料倉儲後的延伸應用,他是透過維度屬性表來製作視覺化圖表,而資料倉儲也可以延伸應用在建立機器學習模型的資料來源上,前者主要應用在視覺化圖表做決策支援觀看資料樣貌,後者應用在實踐和驗證原先提出的假設是否有被支持或是觀看模型所做出預測結果的樣貌。

資料倉儲

資料倉儲做完之後有很多種應用可以使用,其中一種是拿來做機器學習的,也可以拿來製作視覺化圖表,給管理者做決策支援,或是開發成服務應用程式、報表等等;如果是做機器學習的話就會接到我們圖表當中的"資料讀取"部分,所以說在一開始做前處理需要花費不少功夫對資料進行處理,ETL的過程也是非常重要

而機器學習這塊的ETL最重要的目的是要達到自動化的效果,不管今天是即時資料接進來或是批量資料,透過寫好的ETL自動轉化成我們所想要的資料,就如同課程當中所說的Data pipelines概念就是這樣的意思。

用EXCEL製作維度表

一般來說日期和時間維度是每個維度屬性表必備的維度,其餘維度就根據領域所相關或所需要的資料來設計新的維度,我們以日期和時間維度的例子舉例來說:
日期維度
時間維度

在構建完各個維度表後即可跟事實表做關聯,即可運用維度模型

在建置維度屬性表時需要花長時間的填寫,有些情境不是那麼容易就能想出來,需要一些靈感以及針對每個情境去設想更深入的情境,而情境列出來後填入對應的值,多半是運用excel公式填入,但也有絕大多數是得一個個仔細查找相關文章後才能填入,這段時間就無比考驗細心度和耐心,直到把維度屬性表完成。

視覺化工具

透過Power BI 圖表呈現,往往就能看出資料的哪些特點對於目標來說影響較大,如果沒有前面那些資料的轉換,用原始資料是看不出直觀的變化,所以如果是純粹將資料轉換成生動的圖表讓管理者可以一目了然,提供好的決策支援的話,就是資料倉儲應用於商業智慧應用的部分,如果是應用在機器學習所載入的資料上,就能發現哪些資料是我們未來要做特徵工程或建立模型時要注意的要點。

商業智慧應用-圖表形式

如果要以製作圖形報表的形式呈現給管理者看,在做ETL的過程中就很重要,在圖表當中我們會去猜想說會不會是什麼樣的原因造成,這都是假設,至於說確不確定、是不是?決策者自己判斷,決策者看到這個圖之後會自己去猜想,可能是這樣,可能是那樣?我們提供給他這些圖表、這些決策支援,不提供的話決策者無法有這種猜想,但是是不是我們猜想的原因?最後還是要跑統計模型或是建機器學習模型去驗證才行,我們無法確定,我們只能猜想,全都是問號,所以如果是把本來是密密麻麻的數字變得很生動很有趣而且一目了然的圖表,讓別人一眼看就知道,這樣子就做到很好的決策支援,所以說如果最後需要用機器學習模型去做驗證,先以圖表的方式呈現去做判斷也是一個很好的方式!

商業智慧應用-情境假設

我們發想的情境以及假設皆是建立在我們現有的維度模型還有原始資料上,透過不同維度的交叉比對以及完整的原始資料得到更豐富更細緻的圖表,因此,管理者想要了解更全面、更深入的問題,便需要更多維度屬性以及相應的原始資料才能繪製出圖表,透過圖表我們能直觀的看出資料當中特別的變化,並提出假設,給予決策支援,讓管理者以自身經驗以及圖表顯示的資訊做出適當的決策,如果說要讓決策支援更有力,需要將蒐集到的原始資料透過統計工具來看資料的顯著情形,或是機器學習來證實假設。

補充-資料前處理方法

這邊所提到的ETL與資料倉儲應用純粹是資料前處理當中的其中一種方法,你也可以透過其他方法完成這流程,像是使用Python套件做到清理和一致化也是可以

今天介紹了許多的維度表以及商業智慧應用,明天我們來介紹Python如何做資料處理的部分。

參考資料與圖片來源

  • 我的大學老師

上一篇
[Day10] 你了解你在做機器學習時的資料嗎?ETL架構的子系統與與資料品質的衡量(5/6)
下一篇
[Day12] Python程式如何做到資料前處理的各個步驟?
系列文
透視Google Machine Learning的奧秘30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言