這次 30 天技術寫作挑戰,我選擇聚焦 Real-time (Streaming) Pipeline。系列將從「知其然,更知其所以然」的角度出發,先動手寫一個簡單的 streaming framework,帶大家理解事件驅動、狀態管理與窗口計算等核心概念,再進一步探索業界主流的 Flink 與 RisingWave。希望透過「先造小輪子,再開大卡車」的方式,讓大家不只看懂技術,還能真正體會它為什麼重要。三十天不一定能成就一部史詩,但一定能收穫一套完整的 Streaming 心法。
在上一篇我們理解了 Flink 的設計理念:真正的流式處理。今天我們要深入 Flink 的內部世界,掌握那些在生產環境中必須理解的核心概念。 通過前面構建 Si...
經過前 21 天對流處理核心概念的深入理解,今天我們要進入一個全新的實務領域:如何用流處理技術支撐複雜的業務分析需求。 當你的老闆要求「我想看到每個客戶的訂單金...
昨天我們學會了用 Flink SQL 構建大寬表,一個 INSERT 語句就能 JOIN 所有相關表,看似完美解決了 OLAP 分析的需求。但在實際的生產環境中...
昨天我們學習了 Kafka 多層架構設計,解決了「JDBC 無法 streaming read」的問題,讓 Silver 層保持在 Kafka 中的流動性。因商...
過去幾天我們深入探討了 Flink + Kafka 的 Kappa 架構,從基礎概念到生產優化,見證了這套經典組合的強大能力。但技術永不停歇,當我們解決了狀態管...
昨天我們探討了 Flink + Iceberg 如何在分鐘級延遲下提供更好的成本效益,看到了 Data Lakehouse 架構的優勢。但你可能會好奇:既然 F...
經過這些天對 Flink 生態系統的深入學習,從基礎概念到 Kafka、Iceberg、Paimon 等技術棧,我們見識了 Flink 的強大能力。但作為一個在...
在經歷了 27 天對流處理技術的深度探索後,今天讓我們將目光投向更遠的未來,探討流處理領域的兩項前沿技術:Apache Flink 2.0 和 Apache F...
經過 28 天的學習,今天來看看學術界的一些新技術。這些雖然還比較新,但已經有一些實際的產品了。 Timely Dataflow & Different...
三十天的流處理技術探索之旅即將結束。這是我第一次挑戰撰寫這樣的技術心得文,所以,在這最後一天,就讓我們回顧這段學習歷程,並為正在或即將踏入 Real-time...