可觀測性開源工具的挑戰

在 Day16 - 可觀測性與它的工具小夥伴們 中，我們介紹了可觀測性信號 (Singls) 的概念，以及 CNCF 可觀測性推薦的 open source 工具清單，進而從不同類型的應用程式架構 (單體式或是分散式系統)、不同來源的遙測數據信號 (metrics、log、trace) 匯集到特定的資料湖 (data lake) 後，方便開發人員可以更了解系統的運作與回答相關問題。

在實際導入可觀性工具會遇到那些挑戰呢 ?

根據 2020 年 9 月 CNCF 可觀測性報告中調查所呈現的技術雷達結果

• 最常用的可觀測性工具是開源的
  • 如 Prometheus、Grafana、Elastic、Jaeger 和 OpenTelemetry。
  • 可觀測性工具的多樣性，很難一個工具滿足所有的維度
• 工具之間沒有整合
  • 一半的公司使用5種以上，三分之一的公司使用10種以上。
  • 每個工具有不同優勢，用戶傾向於使用多種工具。
  • 轉換或整合工具的成本高昂
• Prometheus 和 Grafana 同時使用
  • 三分之二的受訪者同時使用 Prometheus 和 Grafana。
  • 這兩個工具之間的高度相關性是由於它們背後的強大推動力以及大量的教程和安裝指南。

在可觀測性中 Open source 工具扮演著重要的地位，使用開源的可觀測性工具帶來的好處時，其實也應該關注開源背後所帶來的問題與挑戰

• 工具整合的挑戰
  • 不同工具帶來整合問題，如 CNCF 報告顯示，半數使用5種以上，三分之一使用10種以上工具
  • 工具的蔓延不只帶來操作上的困難，還會造成資料孤島，進一步阻礙資料分析。
• 開源軟體重新授權
  • 近年來，許多領先的開源專案進行了重新授權，可能導致使用者不得不重新評估其選擇。
  • 這些變化包括更嚴格的許可證、Copyleft 許可證（例如 GNU AGPL）或非開源許可證。
  • 有些公司甚至禁止使用某些許可證，如 AGPL，因為它們認為風險超過了收益。
• 學習與維護成本
  • 使用多種工具可能導致更高的培訓、維護和更新成本。
  • 頻繁切換工具可能中斷工作流程並增加錯誤的風險。

工具的多樣性與整合是可觀察性領域的挑戰之一。同時，此外，開源軟體的重新授權趨勢也影響了開發者的選擇和公司的策略。

解決方案 : Observability Platform ?

國際研究機構 Gartner 定期整理在可觀測性與 APM (Application Performance Monitoring and Observability)領域中解決方案的分析，每年都會整理該領域中評比後的領導者，以下是 Gartner 2023 報告列出的一些解決方案 (包含但不限於)

上述解決方案可以在 這裡 查看更多介紹與細節，這裡就不在多加說明。

在選擇可觀測性的解決方案上，可以參考 CNCF Observability 專區推薦的工具以及上面 Gartner 中整理的解決方案，在近幾年可觀測性報告中都有提到工具的整合性是首要問題 (也可能是產品銷售策略放大問題XD)

以下是實際情況遇到的問題

• 當系統異常時，開發人員為了查找 Metrics、Log 與 Trace 資訊，需要在不同工具中進行切換動作找 root cause
• 當系統維運上，開發人員要評估工具出新版本，包含安全性與升級計畫，還有平常不同工具的的維護成本
• 當人員招募時，職缺內容上需要要求熟悉滿滿的 open source 工具，這也會增加招募的困難 員工心累但員工不敢說

這些問題可能是是在實際會遭遇的問題，也是不能忽略的隱形成本。如果有一個可觀測性平台整合可觀測性信號數據，可節省更多開發人員學習及維運的成本與時間，有機會解決 CNCF 報告中提到的工具之間沒有整合問題。

接下來幾天將簡單介紹 Grafana Cloud 的可觀測性平台，兩者除了火紅之外，相關的學習資源也是豐富的，無論是想要進入可觀測性領域或是改進監控方案上，這兩個都可以幫助團隊實現更好的可觀測性，如果有任何疑問或想法，歡迎留言提出討論 !

參考連結

Extracting the Signal: Rethinking Network Observability

Open Source for Better Observability

Technology Radar, 2020.09