iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 695 瀏覽

鐵人賽 AI & Data DAY 2

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 2 篇

技術『Day 2』什麼是 Data Engineering

記得在學生時期，我因為對於學校的選課網站操作不太習慣，於是便自己寫了一個簡單的爬蟲程式，用來自動抓取課程資訊和教師評價。經整理後，我和朋友合作設計了一個使用者友...

無聊工程師 bored_engineer ‧ 2023-09-17

1 Like 0 留言 520 瀏覽

鐵人賽 AI & Data DAY 1

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 1 篇

技術『Day1』前言

哈囉大家好，今年又不小心衝動再一次報名了鐵人賽了！這次寫的主題和上次的主題有很大的轉變，主要是因為自己因緣際會下轉換了領域，進入了 Data Engineeri...

無聊工程師 bored_engineer ‧ 2023-09-16

0 Like 0 留言 813 瀏覽

鐵人賽 AI & Data DAY 30

資料工程師修煉之路 Part II 系列第 30 篇

技術 Stream Processing (2) - Chande Data Capture

保持同步資料工程師修煉之路走到現在，真的沒有一個系統能同足滿足資料儲存、查詢和邏輯處理，現實世界的應用程式都是由多個不同的系統組件搭建起來；舉例來說我們會使用...

tshine73 ‧ 2021-09-30

0 Like 0 留言 1719 瀏覽

鐵人賽 AI & Data DAY 30

資料產品開發與專案管理系列第 30 篇

技術 [Day 30] 資料產品開發實務 - 完結撒花！

終於撐完三十天啦啊啊啊啊！！！沒想到自己有一天也能完成這個壯舉（拭淚），真的太敬佩各路大神以及前輩了Orz，也非常感謝各位讀者的支持，不管是幫忙點擊、按讚、分享...

bryanyang0528 ‧ 2021-09-30

0 Like 0 留言 2296 瀏覽

鐵人賽 AI & Data DAY 29

資料產品開發與專案管理系列第 29 篇

技術 [Day 29] 資料產品開發實務 - 自動貼標系統

「懶惰是進步的原動力」科技的進步降低了許多事情的門檻，例如過去要會換牌檔才能開車，現在基本上就自排；過去要會打字才能用電腦傳訊息，現在除了打字還可以語音傳圖片...

bryanyang0528 ‧ 2021-09-29

1 Like 0 留言 762 瀏覽

鐵人賽 AI & Data DAY 29

資料工程師修煉之路 Part II 系列第 29 篇

技術 Stream Processing (1-2) - Acknowledgments & Partitioned Logs

續 Day 28 Acknowledgments and redelivery 老樣子，消費者任何時間都有可能故障，有可能發生訊息代理 (message...

tshine73 ‧ 2021-09-29

0 Like 0 留言 2481 瀏覽

鐵人賽 AI & Data DAY 28

資料產品開發與專案管理系列第 28 篇

技術 [Day 28] 資料產品開發實務 - 非機器學習模型

模型當然也有純理論的介紹方法，但實務上是很難單談模型的，今天這篇會介紹過去常用、也滿泛用的不需要使用機器模型的分析手法以及對應的商業需求。人口描述 (http...

bryanyang0528 ‧ 2021-09-28

0 Like 0 留言 1272 瀏覽

鐵人賽 AI & Data DAY 28

資料工程師修煉之路 Part II 系列第 28 篇

技術 Stream Processing (1-1) - Transmitting Event Streams

Transmitting Event Streams 最後一個章節是串流處理 (stream processing)，Day 23 ~ Day 27 講的批...

tshine73 ‧ 2021-09-28

0 Like 0 留言 4218 瀏覽

鐵人賽 AI & Data DAY 27

資料產品開發與專案管理系列第 27 篇

技術 [Day 27] 資料產品開發實務 - 加工資料 - ETL 開發流程

介紹一下一般開發 ETL 的流程。每隻 ETL 都可以看作是獨立的程式，有獨立的開發流程。但是不同的 ETL 程式又可以使用類似的系統或架構來幫助開發和管理。...

bryanyang0528 ‧ 2021-09-27

0 Like 0 留言 719 瀏覽

鐵人賽 AI & Data DAY 27

資料工程師修煉之路 Part II 系列第 27 篇

技術 Batch Processing (4) - Materialization of Intermediate State

Beyond MapReduce 儘管 MapReduce 在 2000 年以後很夯，但它畢竟是分散式系統中諸多程式框架中的其中一種，取決於數據量、數據結構和數...

tshine73 ‧ 2021-09-27

0 Like 0 留言 1484 瀏覽

鐵人賽 AI & Data DAY 26

資料產品開發與專案管理系列第 26 篇

技術 [Day 26] 資料產品開發實務 - 原始資料 - Event Tracking

前面說了那麼多理論，最後幾天來寫一下開發實務吧！今天要介紹的是怎麼收集 App 使用者行為資料。 Initiate 追蹤事件是需要成本的，這些成本包括開發、蒐集...

bryanyang0528 ‧ 2021-09-26

0 Like 0 留言 1181 瀏覽

鐵人賽 AI & Data DAY 26

資料工程師修煉之路 Part II 系列第 26 篇

技術 Batch Processing (3-2) - MapReduce Map-Side Joins

[Day 26] Batch Processing (3-2) - MapReduce Map-Side Joins 續 Day 25 Map-Side J...

tshine73 ‧ 2021-09-26

0 Like 0 留言 928 瀏覽

鐵人賽 AI & Data DAY 25

資料產品開發與專案管理系列第 25 篇

技術 [Day 25] 資料產品在評估階段的五個大坑

在評估階段有幾件面向需要注意資料產品品質資料產品品質是需要持續監控和評估的。不同層的資料產品有不同的品質指標，基本上很難一次到位，需要持續增加觀察的指標。例...

bryanyang0528 ‧ 2021-09-25

0 Like 0 留言 850 瀏覽

鐵人賽 AI & Data DAY 25

資料工程師修煉之路 Part II 系列第 25 篇

技術 Batch Processing (3-1) - MapReduce Reduce-Side Joins and Grouping

Reduce-Side Joins and Grouping 當 MapReuce Job 執行時，它會讀取所有的輸入資料，相較於資料庫來說等於全表掃描 (f...

tshine73 ‧ 2021-09-25

0 Like 0 留言 1559 瀏覽

鐵人賽 AI & Data DAY 24

資料產品開發與專案管理系列第 24 篇

技術 [Day 24] 資料產品在部署階段的五個大坑

上線之後才是開始。第一坑開發和部署環境不一致如果一開始開發和部署沒有「喬好」環境的話，那上線的過程可是會吃一番苦頭。例如搞不清楚環境有哪些套件，只好正式環...

bryanyang0528 ‧ 2021-09-24

0 Like 0 留言 789 瀏覽

鐵人賽 AI & Data DAY 24

資料工程師修煉之路 Part II 系列第 24 篇

技術 Batch Processing (2) - MapReduce Job Execution

MapReduce and Distributed Filesystems MapReduce 有點像昨天講的 Unix 工具，它通常不會修改到輸入檔案，除...

tshine73 ‧ 2021-09-24

0 Like 0 留言 1107 瀏覽

鐵人賽 AI & Data DAY 23

資料產品開發與專案管理系列第 23 篇

技術 [Day 23] 資料產品在設計與開發階段的五個大坑

過了需求訪談後，在設計和開發階段也有要注意的事項。第一坑資料不熟悉當組織規模一大，設計資料產品的人可能需要從其他人的手伸認識資料，這種時候就會發生很多誤解...

bryanyang0528 ‧ 2021-09-23

1 Like 0 留言 1591 瀏覽

鐵人賽 AI & Data DAY 23

資料工程師修煉之路 Part II 系列第 23 篇

技術 Batch Processing (1) - Batch Processing with Unix Tools

Batch Processing 從去年開始寫本系列文開始到現在，我們著墨的都是現代系統的樣子，你發送 request 或送一個查詢，然後系統回給你 res...

tshine73 ‧ 2021-09-23

0 Like 0 留言 1484 瀏覽

鐵人賽 AI & Data DAY 22

資料產品開發與專案管理系列第 22 篇

技術 [Day 22] 資料產品在需求訪談階段的五個大坑

最後幾天來回顧一下在過去開發資料產品時常見的坑與應對方式，不管是專案還是產品，首先當然要面對的難題就是需求訪談。第一坑完全沒有畫面資料產品在需求訪談階段通...

bryanyang0528 ‧ 2021-09-22

0 Like 0 留言 1017 瀏覽

鐵人賽 AI & Data DAY 22

資料工程師修煉之路 Part II 系列第 22 篇

技術 Consistency and Consensus (4-3) - Coordination Services & Summary

續 Day 21 協調服務 (Coordination Services) 像 Apache ZooKeeper 類型的專案通常會被描述為："分散...

tshine73 ‧ 2021-09-22

0 Like 0 留言 1166 瀏覽

鐵人賽 AI & Data DAY 21

資料產品開發與專案管理系列第 21 篇

技術 [Day 21] 資料產品與 DataOps 原則

今天來細看 DataOps 的原則，盡量會搭配過去實作的經驗一起做說明。 1. 持續地滿足客戶需求我們最優先的任務是透過及早並持續地交付有價值的分析洞察來滿足...

bryanyang0528 ‧ 2021-09-21

0 Like 0 留言 842 瀏覽

鐵人賽 AI & Data DAY 21

資料工程師修煉之路 Part II 系列第 21 篇

技術 Consistency and Consensus (4-2) - Fault-Tolerant Consensus

續 Day 20 Fault-Tolerant Consensus 共識問題通常可以公式化成：一個或多個節點可以提議，然後共識演算法從其提議中做決定。舉個...

tshine73 ‧ 2021-09-21

0 Like 0 留言 1294 瀏覽

鐵人賽 AI & Data DAY 20

資料工程師修煉之路 Part II 系列第 20 篇

技術 Consistency and Consensus (4-1) - Atomic Commit and Two-Phase Commit(2pC)

分散式 transaction 和共識 (Distributed Transactions and Consensus) 共識是分散式計算中重要的基礎問題，目標...

tshine73 ‧ 2021-09-20

0 Like 0 留言 1475 瀏覽

鐵人賽 AI & Data DAY 20

資料產品開發與專案管理系列第 20 篇

技術 [Day 20] 資料產品與 DataOps 價值

資料可以是資產、也可以是負債。當組織積累了太多無用、甚至錯誤的資料時，資料不但不能提供價值，反而需要花更多力氣與時間去儲存、除錯、整理它，變成了負債。為了讓...

bryanyang0528 ‧ 2021-09-20

0 Like 0 留言 1680 瀏覽

鐵人賽 AI & Data DAY 19

資料產品開發與專案管理系列第 19 篇

技術 [Day 19] 資料產品的管理-資料治理初探

前面花了不少篇幅在討論資料產品的開發，接下來將花一些篇幅討論資料產品的治理方式。在做資料產品治理時，有一個很重要的觀念「將資料當作資產」。如果前面介紹過的，資...

bryanyang0528 ‧ 2021-09-19

0 Like 0 留言 794 瀏覽

鐵人賽 AI & Data DAY 19

資料工程師修煉之路 Part II 系列第 19 篇

技術 Consistency and Consensus (3-3) - Total Order Broadcast

[Day 19] Consistency and Consensus (3-3) - Total Order Broadcast 續 Day 18 Tota...

tshine73 ‧ 2021-09-19

0 Like 0 留言 917 瀏覽

鐵人賽 AI & Data DAY 18

資料產品開發與專案管理系列第 18 篇

技術 [Day 18] 資料產品生命週期管理-自動決策

如同前面所說，資料模型需要運用到實際環境中才會發揮價值 Initiation 延續之前輔助決策的初始條件，如果想使用資料來做自動決策，最重要的一樣是要釐清想解決...

bryanyang0528 ‧ 2021-09-18

0 Like 0 留言 676 瀏覽

鐵人賽 AI & Data DAY 18

資料工程師修煉之路 Part II 系列第 18 篇

技術 Consistency and Consensus (3-2) - Lamport Timestamp

續 Day 17 序列號排序 (Sequence Number Ordering) 使用 timestamp 是排序事件的好方法，我們曾在 2021 Day...

tshine73 ‧ 2021-09-18

0 Like 0 留言 1080 瀏覽

鐵人賽 AI & Data DAY 17

資料產品開發與專案管理系列第 17 篇

技術 [Day 17] 資料產品生命週期管理-輔助決策

如同前面所說，資料模型需要運用到實際環境中才會發揮價值 Initiation 延續之前模型的初始條件，如果想使用資料來輔助決策，最重要的就是要釐清想解決的問題是...

bryanyang0528 ‧ 2021-09-17

0 Like 0 留言 1052 瀏覽