從原本不知道 dbt 是什麼，因工作上需要用 dbt，開始翻 dbt 文件和討論論壇，意外發現很多好用的功能。這一系列文章將會介紹 dbt 進階應用（macro, materialization 等），以及如何開發 dbt CI/CD

在這個系列中，我將分享如何推動公司走向資料驅動決策文化的實戰經驗，包括過程中遇到的挑戰、需要掌握的資料工程知識，以及資料分析與組織變革中的重要概念。 我會從決策支援、技術選型、產品與商業目標的策略角度出發，分享我認為過程中幫助決策和變革最重要的觀點，而不會過於深入探討某個特定工具或分析方法。希望這些多元的視角能幫助大家少踩雷，順利推動公司使用數據決策的文化。

這個題目會從我擔任 Data Engineer 的經驗出發，從過去與各種合作夥伴 (Backend Engineer, Data Analyst, Data Scientist 等) 協作過程中的挑戰出發，並從資料庫設計、軟體工程、基礎建設及資料運用等面向切入，說明不同職能間可能會有的知識落差。 期望透過本系列文章的說明，讓不同領域的人都對 Data 有更全面的理解，進而克服跨職能合作間可能會有的挑戰。

dbt 近年來是許多數據團隊的熱門選擇，在資料轉換與資料治理的領域中提供很強大的框架去做更好的管理。 從導入 dbt 到現在歷經了一年多的時間，在開發的過程中，我們一路遵循著 dbt 的 best practice guide，但仍然遇到不少取捨或挑戰，因此希望透過這個系列的文章，梳理在整趟旅程中的各種甘苦談。 在這邊我會盡可能略過在文件中已經有仔細說明的環節（附上連結讓有興趣的人可以去研究），不再重複討論，而是專注在討論按照文件進行部署時，我們團隊在實戰時面臨的挑戰。

筆者在2023年下半年曾經使用Azure雲端服務和OpenAI API開發過企業內部的聊天機器人，鑒於近年來GenAI應用技術更新快速，每個當下都是最好的紀錄時機，決定在2024鐵人賽中，挑戰在資料不上雲、不使用付費服務的情境下，於本地端啟用能自己餵文件打造專屬知識庫的聊天機器人。 文章適合初次踏入LLM應用的開發者，以及好奇聊天機器人背後運作原理的所有人。預計先介紹Azure於github公開的demo code，來認識雲端服務的運用以及聊天機器人架構。接著，便開始紀錄初次嘗試以開源免費資源打造地端聊天機器人的過程，歡迎大家留言提供建議，共同參與這個挑戰。

網路上說轉職當資料分析師可以 blah, blah, blah，但他們沒告訴你的是，多數人最後也只是成為撈資料的猴子，工作沒什麼成就感。 是我太 cynical 嗎？不是，因為國外真的有 SQL Monkey, SQL ATM 等詞彙描述資料團隊的窘境。 但俗話說得好，當猴子也要當個專業的。 這系列文章不會教你如何發揮影響力 （這部分還是乖乖祈禱自己跟對主管比較快）。但會從何謂大數據、KPI 以及指標到資料模型的設計，並透過 dbt, PowerBI 設計出 讓提出需求的人自己撈資料的工具。如果做不到，至少也有機會自己把資料撈得又快又好，多出來的時間就可以去打混摸魚。