iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
AI & Data

「知其然,更知其所以然:什麼是 Real-time (Streaming) Pipeline?從造輪子到 Flink 與 RisingWave」 系列

這次 30 天技術寫作挑戰,我選擇聚焦 Real-time (Streaming) Pipeline。系列將從「知其然,更知其所以然」的角度出發,先動手寫一個簡單的 streaming framework,帶大家理解事件驅動、狀態管理與窗口計算等核心概念,再進一步探索業界主流的 Flink 與 RisingWave。希望透過「先造小輪子,再開大卡車」的方式,讓大家不只看懂技術,還能真正體會它為什麼重要。三十天不一定能成就一部史詩,但一定能收穫一套完整的 Streaming 心法。

鐵人鍊成 | 共 30 篇文章 | 13 人訂閱 訂閱系列文 RSS系列文
DAY 21

【知其然,更知其所以然】Day 21: Flink 核心概念全解析

在上一篇我們理解了 Flink 的設計理念:真正的流式處理。今天我們要深入 Flink 的內部世界,掌握那些在生產環境中必須理解的核心概念。 通過前面構建 Si...

2025-09-10 ‧ 由 wudihero2 分享
DAY 22

【知其然,更知其所以然】Day 22: 大寬表設計與 OLAP 集成

經過前 21 天對流處理核心概念的深入理解,今天我們要進入一個全新的實務領域:如何用流處理技術支撐複雜的業務分析需求。 當你的老闆要求「我想看到每個客戶的訂單金...

2025-09-11 ‧ 由 wudihero2 分享
DAY 23

【知其然,更知其所以然】Day 23: 多層架構設計

昨天我們學會了用 Flink SQL 構建大寬表,一個 INSERT 語句就能 JOIN 所有相關表,看似完美解決了 OLAP 分析的需求。但在實際的生產環境中...

2025-09-12 ‧ 由 wudihero2 分享
DAY 24

【知其然,更知其所以然】Day 24: Flink 大狀態管理與維運挑戰

昨天我們學習了 Kafka 多層架構設計,解決了「JDBC 無法 streaming read」的問題,讓 Silver 層保持在 Kafka 中的流動性。因商...

2025-09-13 ‧ 由 wudihero2 分享
DAY 25

【知其然,更知其所以然】Day 25: Flink + Iceberg

過去幾天我們深入探討了 Flink + Kafka 的 Kappa 架構,從基礎概念到生產優化,見證了這套經典組合的強大能力。但技術永不停歇,當我們解決了狀態管...

2025-09-14 ‧ 由 wudihero2 分享
DAY 26

【知其然,更知其所以然】Day 26: Flink Paimon

昨天我們探討了 Flink + Iceberg 如何在分鐘級延遲下提供更好的成本效益,看到了 Data Lakehouse 架構的優勢。但你可能會好奇:既然 F...

2025-09-15 ‧ 由 wudihero2 分享
DAY 27

【知其然,更知其所以然】Day 27: RisingWave

經過這些天對 Flink 生態系統的深入學習,從基礎概念到 Kafka、Iceberg、Paimon 等技術棧,我們見識了 Flink 的強大能力。但作為一個在...

2025-09-16 ‧ 由 wudihero2 分享
DAY 28

【知其然,更知其所以然】Day 28: Flink 2.0 + Fluss

在經歷了 27 天對流處理技術的深度探索後,今天讓我們將目光投向更遠的未來,探討流處理領域的兩項前沿技術:Apache Flink 2.0 和 Apache F...

2025-09-17 ‧ 由 wudihero2 分享
DAY 29

【知其然,更知其所以然】Day 29: 學術前沿

經過 28 天的學習,今天來看看學術界的一些新技術。這些雖然還比較新,但已經有一些實際的產品了。 Timely Dataflow & Different...

2025-09-18 ‧ 由 wudihero2 分享
DAY 30

【知其然,更知其所以然】Day 30: Streaming Data Pipeline 總結

三十天的流處理技術探索之旅即將結束。這是我第一次挑戰撰寫這樣的技術心得文,所以,在這最後一天,就讓我們回顧這段學習歷程,並為正在或即將踏入 Real-time...

2025-09-19 ‧ 由 wudihero2 分享