團隊的合作方式從古至今總是不斷的演變當中，雖然工程師的歷史並沒有很長，但是變化卻十分快速。就像是網站工程師一般，過去也沒有這麼細分為前端禍後端，常常每個人都是全端工程師。但隨著現代的網站需求越來越多，分工更細緻更專業化。大部分 team 會專職的分別尋找前端或後端的工程師。而現在的 Data team 的團隊合作隨負責的職務也大致可以細分成幾個職位。

Data team 的常見組成

一般來說 Data team 主要由資料工程師，資料科學家，資料分析師所組成。

• Data Architect 資料架構師
  對於資料團隊的發展方向訂下方向，建立並設計資料架構，也幫助組織透過資料優化商業決策。
  通常是對於整個資料領域有一定經驗的成員來擔任這個角色。
• Data Engineer 資料工程師
  資料工程師負責建立、維護和優化數據基礎設施，以確保組織能夠有效地處理和分析大規模的數據，並維護和監控資料的品質資料安全。另外也需要處理資料的揉整，實作資料相關的工具提供Data scientists以及 Data Analyst 所需之資料樣式。
• Data Scientist 資料科學家
  資料科學家會觀察多樣化的資料，透過資料解決問題，將資料進行特徵工程，建模，針對特定要達成的目的設計及訓練模型，並對於模型加以評估分析，幫助團隊企業解決問題。
• Data Analyst 資料分析師
  資料分析師，透過數據洞悉相關領域的狀態，並把所觀察到的現象透過數據分析以及視覺化等方式提出給團隊與決策者知悉。幫助團隊及公司在訂定決策時更有實際的數據作為背景進行判斷。

Data team 的合作模式

雖然說有各個職位的區分，但是在實際團隊的運作當中，所負責的工作未必會劃分得非常清楚。特別是在團隊剛起步時或是團隊人數還在成長階段時，甚至有可能一個人要負責多種任務，團隊成員會在產品的實作過程當中找到適合的合作模式。下圖中，Mikkel Dengsøe提到了Data team 中常見的幾種合作方式。

圖片出處：https://medium.com/@mikldd/data-team-structure-embedded-or-centralised-f179aa231108

圖中所說的 Centralised, Hybrid, Embbed 架構，各有其優點及缺點，針對各個團隊的狀況需要找到最適合團隊的合作模式。

資料工程師需要之業務技能

在擔任資料工程師的期間，除了相關的技術能力，其實對於團隊對於客戶也有許多需要資料工程師發揮之處。並且往往在資料專案中最難的並不是技術的問題，而是溝通上及業務上的應對問題。

• 溝通能力
  在實際的專案場景當中，滿多時候資料工程師是會需要瞭解客戶以及團隊的需求，並提出相關設計以及幫助彼此能達到共同目的。此時的溝通能力就非常重要，需要有很好的溝通理解表達能力，有時候甚至會需要良好的外語能力，幫助團隊能夠在過程當中很好地彼此理解並交付產品。
• 資料架構能力
  理解業務需求之後，對於資料工程師來說很重要的是要針對各種需求設計適合的資料工程架構，如何能方便讓資料能很好的被重複利用，如何最有效率的處理資料流等等都會是資料工程師會碰到的議題。
• 開發流程
  在團隊協作當中開發流程是會影響到團隊運作效率重要的一環，身為Data team資料處理樞紐的資料工程師，需要對 DataOps, MLOps 相關的開發維運理解及關注，把資料維運流程與團隊共同討論和決策。
• 費用評估
  現今許多的資料基礎建設都是建立在雲端當中，在使用雲端的服務的時候需要選用最適合的技術方案，幫助團隊能以較低的成本提供服務。同要若是在地端的服務也需要了解各樣建置的花費整合雲端服務建立良好的服務。
• 持續學習
  在科技進步提升的現在，學習可以說是非常重要的能力了，尤其最近的AI服務可以說是如雨後春筍般非常快速的增長。身為資料工程師需要持續的學習應用新的技術並幫助團隊導入最適合的技術。

Reference : Fundamentals of Data Engineering: Plan and Build Robust Data Systems
-- Joe Reis, Matt Housley

在這邊講到的比較是在業務上以及合作上會比較需要的技能和角色定位，明天跟大家分享資料工程師會需要用到的程式技術相關技能！