今天的工作 用 git 管理 Dashboard，實現 Dashboard as Code 用 RED Method 設計一張「一眼看懂該不該退版」的決策看板...
今天的工作 部署 Grafana 把 Prometheus／Tempo／Loki 接進 Grafana 成為 Datasource 今天我們把 Promet...
今天的工作 部署 Grafana Tempo，把 OTel Collector Gateway 的 Trace pipeline 從 debug export...
最後一天。今天只做兩件事：砍掉重建，然後回答第一天答不出來的那個問題。 驗收規則 先把標準訂死，免得事後幫自己找藉口： 砍掉整個 kind 叢集，不是移除...
昨天處理了 Grafana 裡面的設定，今天處理叢集裡面的東西。 前天盤點出三個洞：Loki 的設定只存在叢集裡、Tempo 全吃預設、五個 chart 的版本...
昨天盤點的結論是三個洞：Loki 的設定、Tempo 的顯式設定、五個版本號。今天先處理另一件事——Grafana 裡面的東西。 它跟前面所有東西都不一樣：儀表...
最後一個區塊。先問一個我一直不太敢問的問題： 如果我的筆電現在壞掉，我重建得出前面二十六天的環境嗎？ 我原本準備好的答案是「不行」，然後從這句話開始寫今天這...
昨天那隻 agent 跑起來了。今天把它當成第四個會壞的服務。 一般的服務出錯有明確的訊號：狀態碼 500、例外堆疊、超時。agent 不是這樣，它出錯的樣子是...
我是开源 SQL IDE LibreDB Studio 的维护者之一。它是 MIT 协议，在浏览器里使用，部署在数据旁边的 Docker 或 Kubernete...
前面二十四天蓋了一套可觀測性系統。今天開始最後一個區塊，做一隻 agent。 先講為什麼——不是因為 AI 很紅。 理由來自我自己：昨天那則 DiscountR...
告警區塊最後一天。前三天講原則、寫設定、算門檻，今天講這些東西上線之後會發生什麼事。 先講結論：它們不會照你想的跑。 我昨天那則記憶體預測告警，今天實際跑一次，...
系列開始時，我讓 SRE Agent 調查異常。Gemini 從一段混入操作指令的 Log 讀到 delete_demo_database，提出工具呼叫，Ope...
昨天寫了第一則告警，門檻是「300 毫秒內完成的比例 < 95%，撐 10 分鐘」。今天要拆掉這個設計，因為它有問題，而且問題不小。 今天的故障開關：全部...
昨天講原則，今天寫設定。 今天的故障開關：全部關閉 kubectl set env deploy/pricing BUG_SILENT_DISCOUNT=fal...
昨天把三大支柱串起來，Day 7 的四句天花板只剩最後一句：只能被動查，不會主動通知。今天開始處理它。 這個區塊我要花四天，比 metrics 和 logs 都...
假設一張值班工單只允許處理測試環境，Agent 提出的工具參數卻指向正式資料庫。使用者已登入，Gateway 也允許呼叫這個工具，請求一路正常送到後端。這時仍需...
一支 Agent 只替單一團隊查 Logs，另一支可以修改正式環境。兩者可能使用相同框架，甚至相同模型，導入時要先處理的問題卻不一樣。前者需要受限的資料權限與可...
Day 3 我給自己立了一個判準：從一張圖上的異常點出發，要幾次點擊才能看到造成它的那筆 log？如果答案是「開三個瀏覽器分頁」，那我有的是三個孤島，不是三大支...
要讓一支 SRE Agent 查 Loki，會用到身分驗證、Agent Runtime、工具介面、資料來源和觀測平台。這些系統都可能出現在架構圖裡，但光把產品名...
今天是這 30 天唯一要認真寫程式的一天。 instrumentation（埋點）的意思是在程式裡加上產生遙測資料的程式碼。它分自動和手動兩種，我兩種都會用，因...
拿到一個 Trace ID，通常可以開始回答「這次請求經過哪幾個服務，時間花在哪裡」。如果調查的是一次可疑工具操作，接下來還會有人問：使用者原本要求什麼？Age...
請 SRE Agent 調查錯誤，最有用的回答通常不只是一句「可能是服務逾時」。我們還需要知道它看了哪個服務、哪段時間、哪些 Log，以及能不能沿結果繼續查 T...
今天是這個系列第一次破案。 Day 6 埋了三個故障，第一個是「算錯價但回 200」——部分商品沒套到折扣，狀態碼正常、速度正常、錯誤率 0。Day 7 用 k...
一次 Agent 工作順利完成，背後可能已經向模型服務送了兩次請求。第一次遇到錯誤，第二次改用備援模型，使用者最後只看見一份回答。等你打開成本面板，請求數、To...
昨天講完為什麼 log 要寫成結構化的，今天把它們收起來。 要裝兩個東西：Loki（存 log 的資料庫）和 Grafana Alloy（去讀 log 再送進...
做 Agent Dashboard 時，很容易遇到這個需求：目前只能按團隊看流量，能不能再加一個成員選單？每筆請求本來就帶著登入資訊，從 JWT 取出使用者 I...
當 Agent 回覆變慢，值班的人通常會先看：只是某一筆慢，還是整個服務都慢了？如果同一個時間有很多請求一起變慢，可能先從流量和延遲趨勢下手。如果只有一筆出問題...
假設你請 Agent 查一個服務的異常，畫面一直停在「查詢中」。Gateway 的紀錄顯示請求已送出，Runtime 說自己正在等工具，工具服務卻說查詢早就完成...
昨天把 pricing 擴成兩份，發現流量全壓在同一個 Pod 上，結論是「聚合會藏東西」。而聚合藏不藏得住，取決於當初把什麼寫進標籤裡。 這是 Metrics...
假設你請 SRE Agent 調查服務異常。原本期待它讀取監控資料、整理可能原因，操作紀錄裡卻出現一個刪除資料庫的工具。這時候，你大概不會先關心這次用了多少 T...
goldmangolabs
wise4466
mikehsu0618
iThome鐵人賽
看影片追技術