現在越來越多在做數位轉型的企業會想將資料倉儲 (Data Warehouse) 建立在雲端上,因為雲端提供了更好的效能、更多的彈性以及更好的管理方式,而 Google cloud 的 BigQuery 不論是在價格、存取速度和擴充性上,無疑是許多企業作為雲端資料倉儲的最佳選擇。
網路上已經有非常多BigQuery相關的文章,且清楚好懂;本次撰寫的方向主要是自學BiguQuery之路上的知識以及操作彙整,希望能夠幫助也想了解BigQuery的人更快上手。
前言: 我們在 Day 19 和 Day 20 曾提到使用 Partitioned table 和 Clustered table 不僅能夠提升查詢效能,進而...
前言: 我們在 Day 21 講了三個概念: Partitioned table Clustered table Partitioned table + C...
前言: 資料存放在 BigQuery之後,我們後續的應用通常有兩種: BI or ML。 BI: 主要是使用 Dashboard 來呈現,我們在 Day 15...
前言: 在 Day 23 知道我們在 GCP 上 有哪些做機器學習的選擇之後,接下來要針對其中一個選擇 — BigQuery ML 做進一步的介紹。 先驗知識...
前言: 今天要在 BigQuery 這個資料倉儲的環境中,建置機器學習,並且最後存放到 Vertex AI model registry,方便我們日後做模型的...
前言: 我們在數據分析實作一操作過載入批次數據並建立儀表板,這樣的使用場景非常適合像是主管想要看每周、每月的成本報表。 但是如果我們今天想要做的是即時流量分析...
前言: 我們在這個實作要作的架構如下: 資料介紹: 因為要使用即時串流數據,GCP本身有在維護公開的串流數據集,今天使用的是 pubsub-public-d...
前言: 前面介紹了什麼是 BigQuery、為什麼要用 BigQuery、如何用 BigQuery,和 BigQuery 上的查詢優化。 當使用一陣子或是使用...
前言: 複習一下 BigQuery 中三種監控方式: cloud monitoring information schema audit log (稽核日誌...
前言: 感謝陪我一起探索 GCP BigQuery 資料倉儲的你和妳,希望這個過程大家覺得還算有趣,也希望真的有幫助大家更快手 BigQuery。 如果我們把這...