iT邦幫忙

2026 iThome 鐵人賽

DAY 26
0
AI 自動化

從 Cloud 到 AI:GCP 雲端資料與 AI 實戰之路系列 第 26 篇

Day 26|資料進了 BigQuery,我如何讓儀表板上的每個數字都有定義?

  • 分享至 

  • xImage
  •  

1. 先問值班人員需要知道什麼

Day 25 把重點放在 Gemini 草稿的審核。但要安排審核與追查工作,我還需要知道:目前有哪些設備事件、哪些回報值得查看,以及哪些草稿仍待確認。資料進了 BigQuery,只是讓這些問題有機會被查詢;儀表板還必須說清楚,每個數字究竟在數什麼。

我把設備事件、操作回報與草稿審核規劃成不同頁面。設備頁看事件,回報頁看選定版本的分析結果,審核頁看處理狀態,避免用一個「總筆數」代表全部工作。以下延續設備維運的設計情境,新增頁面、指標與驗收流程尚未經真實資料驗證。

2. 一列資料,不一定是一件工作

最容易混淆的地方,是把來源列數直接當成業務數量。設備事件可能重複送達,同一則回報可能重新分析,一次模型呼叫也可能留下多筆重試紀錄。它們都會增加資料列,卻不一定增加一件待辦。

以 Q17 的設計事件來看,E501 是告警觸發、E502 是告警恢復、E503 是同一條件再次觸發。若指標叫「告警觸發事件數」,E502 就不應計入;E503 則不能只因條件相同,就被當成 E501 的重複傳送。去重需要辨認事件身分,不能只比對設備與事件類型。

回報也有另一套計數方式。N201 的分析結果,要以「回報編號、文字版本、分析設定版本」辨認,再選定報表採用的結果。重試是同一次分析的執行紀錄,重新分析則可能產生新版本,不能混在一起計數。即使事件數算對,也不能改稱通知數;目前沒有通知投遞紀錄,就沒有這個數字的依據。

3. 先把比較基準留在 SQL

要核對圖表,我先在 SQL 裡明確處理資料範圍、去重規則與事件類型。設備頁先得到去重事件,再查總體及分類數量;回報頁則先選定文字與分析設定版本,分清呼叫成功、內容有效及入表成功,再做分類統計。

BigQuery 的 COUNT(*) 計算列數,COUNT(欄位) 不計入 NULL,COUNT(DISTINCT 欄位) 計算不重複的非 NULL 值,COUNTIF(條件) 計算條件為真的列。[4] 這些差異會直接改變指標。

但加上 DISTINCT 不會自動替我選好分析版本。若同一回報的不同版本被分到不同議題,即使各類都按回報編號去重,分類合計仍可能重複計入同一回報。因此,我要先決定採用哪個結果,再統計;缺失識別碼、無效結果與未完成資料另列,不讓它們悄悄消失。

SQL 基準也需要驗收。我會保留查詢、版本、範圍及資料截止資訊,檢查去重後是否仍有重複,以及分類合計是否與同範圍總體一致。查詢成功執行,只能證明語法與執行條件成立,不能證明業務定義正確。

4. 連上資料後,還要核對欄位角色

建立 Data Studio(原 Looker Studio)來源時,我先確認資料所在的專案、資料集與資料表或檢視,再確認計費專案。官方 BigQuery 連接器支援資料表、檢視與自訂查詢;資料專案與計費專案可以不同。讀取資料與執行查詢工作也需要分別核對權限,例如 BigQuery Data Viewer 與 BigQuery Job User,並確認實際使用哪一種資料憑證。

能連線之後,還要查看日期、文字及數字的型別與預設彙總。維度用來分組,指標用來彙總;數字欄位也可以作為維度,不能看到數字就直接加總。設備識別碼即使以數字保存,也不適合用 SUM 表示設備數。

連接器提供的 Record Count 計算來源列數,不是 BigQuery 裡新增的實體欄位,也不會自動理解「一則回報」的定義。若來源仍包含重試或多個分析版本,直接把它命名為回報數,就會把來源設定上的方便,誤當成業務口徑。

5. 第一張摘要卡,只回答一個問題

第一張 scorecard,也就是單一指標摘要卡,我規劃顯示「範圍內告警觸發事件數」。名稱直接交代事件類型與範圍,避免讀者把它解讀成故障數、通知數或尚未處理的告警數。

官方摘要卡可以設定來源、主要欄位、彙總、篩選與日期範圍。我的驗收順序是:確認來源每列代表一個去重事件,只保留觸發類型,再使用相同時間及設備範圍的 SQL 比對數值。

這裡要留下兩種證據。設定畫面說明「打算怎麼算」,SQL 與摘要卡在同一資料範圍下的數值對照,才說明「這次是否算得一致」。若只有設定截圖,就不能寫成數值已通過驗收。

即使兩邊一致,解讀仍有界線。N201 提到告警反覆出現,不能直接證明感測器故障;E502 的恢復事件,也不能直接證明整個問題已解決。摘要卡回答的是觸發事件數,設備診斷仍需要其他證據。

6. 共用來源前,先寫下指標口徑

當多張圖表開始使用同一來源,單靠欄位名稱就不夠了。我需要一份指標字典,至少寫明名稱、用途、資料粒度、去重鍵、採用版本、時間欄位與範圍,以及排除資料和缺失值的處理方式。讀者才能知道,兩張圖上的同名數字是否真的可以比較。

官方資料來源承載欄位與建模設定,可重複使用的來源能供多份報表使用。但共用也擴大了修改的影響:來源層的型別或預設彙總變更,可能影響依賴它的圖表;圖表層又可能覆寫部分設定。

因此,每次修改口徑,我都要重新核對相關圖表與 SQL 基準,確認沒有同名不同義的數字。完成這一步,才有條件往下一個問題走:同一個告警觸發事件數,換成每日、每週,或切換日期與設備篩選後,還能不能維持一致的解讀?

參考資料

  1. Connect to Google BigQuery
  2. About data sources
  3. Model your data
  4. Aggregate functions
  5. Scorecard reference

上一篇
Day 25|資料能查、草稿能寫之後,我如何讓 Gemini 的回覆可審核、可持續使用?
下一篇
Day 27|同一份儀表板,為什麼換了日期與篩選就像另一個答案?
系列文
從 Cloud 到 AI:GCP 雲端資料與 AI 實戰之路 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言