鐵人檔案
在這個系列中，我將分享如何推動公司走向資料驅動決策文化的實戰經驗，包括過程中遇到的挑戰、需要掌握的資料工程知識，以及資料分析與組織變革中的重要概念。
我會從決策支援、技術選型、產品與商業目標的策略角度出發，分享我認為過程中幫助決策和變革最重要的觀點，而不會過於深入探討某個特定工具或分析方法。希望這些多元的視角能幫助大家少踩雷，順利推動公司使用數據決策的文化。
在2017剛加入公司時，資料科學正在準備盛行起來，我們公司是比較少見的在一開始就具備獨立資料團隊，配置是兩位成員，一位較偏向數理統計背景，另一位則是我，資訊出身...
資料工程的概念 資料工程的概念其實很簡單，就是儲存 → 轉換/轉移 → 再儲存，白話文就是把資料從Ａ搬到Ｂ，所以需要A水槽、水管、B水槽以及怎麼讓水跑起來。 相...
開始思考的背景 剛開始到公司的時候，我們只有 MySQL 系統使用的資料庫，撈資料也是直接用 R 連線到 Production Database，憑藉著大學和碩...
其實簡單來說，就如名稱一樣，Row-based Database 就是以列為單位儲存， Columnar Database 就是以行為單位儲存。 看圖最快：...
為什麼要更了解 MySQL 在進入 OLAP 的設計探討之前，我想先再多聊聊 MySQL 關聯式資料庫的核心概念，你必須先掌握 OLTP 遇到了什麼問題，才能客...
上一篇用比較精簡的方式介紹了一個好的資料表的設計，接著來聊聊 MySQL 的系統結構以及如何做SQL 查詢的優化。 儲存結構 如果你對於電腦的執行有些了解，你已...
隨著近年來處理、儲存和分析數據的需求顯著增加，尤其在大數據的增長下，組織必須能快速處理並分析大量數據，以便做出明智的決策並保持競爭力。這就是OLAP計算技術的應...
前幾篇的基礎都是希望能幫助你在data pipeline的設計能有更多元角度的決策判斷，在做架構設計我認為最重要的是你有多少力氣去做維護、優化，不是導入很多新奇...
Data Orchestration 資料處理就像是一個自來水處理系統，你有上游水的來源，有要輸送到終點的家家戶戶、工廠，中間有許多大大小小的資料轉換、要整合哪...
前言 資料服務的架構大致在前面幾篇都介紹完了，這篇算是來把前面的大元件的關係、服務設計做一個統整收尾，今天會先簡單介紹資料倉儲的三層式架構，然後再跟大家分享我們...
