Fundamental of Data Engineering 讀書心得 - DE 工具選擇的要點 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2023 iThome 鐵人賽

DAY 25

AI & Data

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享系列第 25 篇

Fundamental of Data Engineering 讀書心得 - DE 工具選擇的要點

15th鐵人賽 fundamental of data engineering

brucehau

團隊dbt 和 dbt 以外有趣的事

2023-10-10 10:36:55

436 瀏覽

分享至

技術選擇
- 團隊規模和能力
  - 團隊的大小和技能水平是選擇技術時的重要考慮因素。這涉及確保團隊具有足夠的專業知識和能力來應對所選技術的需求
- 市場速度
  - 當選擇技術時，需要考慮完成或推行到市場的速度。例如:你們公司的決策單位在產品剛上市後需要看相關報表，資料團隊就應該趕快搭建每日更新一次的 data pipeline batch 排程，並陸續優化，而不是花大半年研究 streaming 相關技術
- 互通性
  - 互通性是指工具A能夠與工具B集成的能力。例如，JDBC、ODBC等是數據庫連接的互通性標準。建議設計具有模組化結構，以便在有新的替代技術可用時能夠輕鬆切換技術
- 成本優化
  - 總成本
    - 資本成本
      
      單次的建置成本，例如購買大型伺服器
    - 運營成本
      
      首先要考慮運營成本，尤其是在使用靈活的、按需付費的雲端技術時，這有助於有效控制成本。
  - 機會成本
    - 您需要考慮迅速且成本較低地遷移到更新和更好的技術。不要陷入只使用單一技術的困境。
  - 財務運營（Finops）
    - 考慮雲系統的成本結構，並監控服務的成本，以確保有效管理成本。
- 現在 vs. 未來技術選擇
  - 兩個問題：1. 您目前處於什麼位置？2. 您在不久的將來的目標是什麼？
  - 轉移性(Transitory)的技術: 例如前端、後端框架
  - 不變性的技術：存在更長時間，活得更久 → 如儲存空間 AWS S3, 你使用的 SQL、bash
  - 過渡性
    - 在技術選擇中，需要考慮現在和未來。不變性是指選擇能夠長期存在且適應未來需求的技術。而過渡性則指在短期內可能會被替換的技術。
  - 建議
    - 確認你的不變(immutable)的技術在你的 Data Engineering lifecycle 當作基礎，並搭配可轉移的技術
    - 每兩年評估一次，無論如何都要選擇具有不變性的工具，因為許多工具最終會失敗，一定要考慮工具多方便轉移，以及轉移的障礙。絕對要避免陷入 "陷阱"