iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
DevOps

被稱作Server Restart Engineer的我,也想了解如何實踐可觀測性工程 系列

從Prometheus, Grafana再到ELK stack, 把工具都摸過一輪之後,發現自己侷限於工具的使用,卻沒有好好了解可觀測性工程是什麼?它又該如何在工作現場當中實踐?本系列文將從我們熟知的三本柱metrics, traces, logs出發,深入探討它們各自的價值與局限。接著進入OpenTelemetry的世界,不只學習怎麼用,更要理解它背後想實踐的可觀測性精神。最後,我們會討論如何選擇適合的資料儲存後端,以及如何從零開始規劃一個真正符合團隊現況的可觀測性系統架構。

參賽天數 23 天 | 共 23 篇文章 | 3 人訂閱 訂閱系列文 RSS系列文 團隊動鼠做
DAY 11

Day 11 - OpenTelemetry Signal: Traces 分散式系統的因果關係哲學

對於微服務架構來說,一個看似簡單的用戶請求,實際上可能要橫跨十幾個不同的服務才能完成。當系統出現問題時,我們很難就著單一個服務的錯誤來排查問題。這正是 Open...

2025-09-25 ‧ 由 Sophie 分享
DAY 12

Day 12 - OpenTelemetry Signal: Baggage 跨服務的上下文傳遞機制

在昨天的 Traces 介紹中,我們了解到 SpanContext 提供了追蹤關聯性,讓分散式系統中的操作能夠正確地關聯到同一個 trace。然而,在實際的業務...

2025-09-26 ‧ 由 Sophie 分享
DAY 13

Day 13 - 資料要存在哪裡?Data Lake到Data Lakehouse的技術演進

很快地第二週的學習即將告一段落!到今天為止,我們學習到 OpenTelemetry 解決了哪些可觀測性的痛點,了解了它的元件是如何各司其職,專門來生成、收集、匯...

2025-09-27 ‧ 由 Sophie 分享
DAY 14

Day 14 - Apache Iceberg:核心架構與效能優化設計

目前已經有許多發展成熟的 Data Lakehouse 解決方案,例如 Apache Hudi、Apache Iceberg、Delta Lake 等。它們都是...

2025-09-28 ‧ 由 Sophie 分享
DAY 15

Day 15 - 解構 Parquet:從檔案結構看欄式儲存設計原理(上)

在前兩篇文章中,我們探討了 Data Lakehouse 的概念演進,以及 Apache Iceberg 如何透過三層架構實現高效的 metadata 管理。但...

2025-09-29 ‧ 由 Sophie 分享
DAY 16

Day 16 - 解構 Parquet:從檔案結構看欄式儲存設計原理(下)

昨天,我們成功將 OTLP 資料轉換成 Parquet 格式。今天,讓我們接續昨天的實驗,來拆解 Parquet 內部的結構吧。 實驗工具 由於 Parquet...

2025-09-30 ‧ 由 Sophie 分享
DAY 17

Day 17 - OLAP 查詢引擎的核心技術

目前為止,我們已經深入了解 Parquet 的欄式儲存設計,看到它如何透過分層架構和壓縮技術來高效儲存資料。但是,資料儲存只是第一步,真正的價值在於如何快速查詢...

2025-10-01 ‧ 由 Sophie 分享
DAY 18

Day 18 - AWS Kinesis Data Firehose:架構選擇與設計考量(上)

前言 前面幾天,我們深入探討了 Data Lakehouse 的核心技術:從 Apache Iceberg 的 table format、Parquet 的欄式...

2025-10-02 ‧ 由 Sophie 分享
DAY 19

Day 19 - AWS Kinesis Data Firehose:架構選擇與設計考量(中)

昨天我們探討了在建立可觀測性資料管道時的考量,以及為什麼最後選擇 AWS Kinesis Data Firehose + Lambda 作為我們的即時轉換方案。...

2025-10-03 ‧ 由 Sophie 分享
DAY 20

Day 20 - S3 Table 的介紹與設計

上一篇文章中,提到 Firehose 的 recordID 會和目標寫入的資料是一比一的關係,所以必須在 Firehose 前面架設一個 Lambda 來去分割...

2025-10-04 ‧ 由 Sophie 分享