iT邦幫忙

鐵人檔案

2022 iThome 鐵人賽
回列表
AI & Data

[GCP BigQuery] - 探索資料倉儲,開啟你的數位轉型之旅 系列

現在越來越多在做數位轉型的企業會想將資料倉儲 (Data Warehouse) 建立在雲端上,因為雲端提供了更好的效能、更多的彈性以及更好的管理方式,而 Google cloud 的 BigQuery 不論是在價格、存取速度和擴充性上,無疑是許多企業作為雲端資料倉儲的最佳選擇。

網路上已經有非常多BigQuery相關的文章,且清楚好懂;本次撰寫的方向主要是自學BiguQuery之路上的知識以及操作彙整,希望能夠幫助也想了解BigQuery的人更快上手。

鐵人鍊成 | 共 30 篇文章 | 19 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day 21: 優化你的BigQuery 查詢,Partitioned 和 Clustered 的使用時機和限制

前言: 我們在 Day 19 和 Day 20 曾提到使用 Partitioned table 和 Clustered table 不僅能夠提升查詢效能,進而...

2022-10-05 ‧ 由 xscapex 分享
DAY 22

Day 22: 優化你的BigQuery 查詢,建立 Partitioned 和 Clustered table (實作)

前言: 我們在 Day 21 講了三個概念: Partitioned table Clustered table Partitioned table + C...

2022-10-06 ‧ 由 xscapex 分享
DAY 23

Day 23: Google Cloud Platform (GCP) 上的機器學習地圖,讓你知道你有什麼選擇!

前言: 資料存放在 BigQuery之後,我們後續的應用通常有兩種: BI or ML。 BI: 主要是使用 Dashboard 來呈現,我們在 Day 15...

2022-10-07 ‧ 由 xscapex 分享
DAY 24

Day 24: BigQuery ML: 圖解三種寫法 + 常用指令介紹

前言: 在 Day 23 知道我們在 GCP 上 有哪些做機器學習的選擇之後,接下來要針對其中一個選擇 — BigQuery ML 做進一步的介紹。 先驗知識...

2022-10-08 ‧ 由 xscapex 分享
DAY 25

Day 25: [機器學習實作一] 在 BigQuery 中建立心臟病發作預測模型

前言: 今天要在 BigQuery 這個資料倉儲的環境中,建置機器學習,並且最後存放到 Vertex AI model registry,方便我們日後做模型的...

2022-10-09 ‧ 由 xscapex 分享
DAY 26

Day 26: [數據分析實作二] 將串流資料(streaming data) 寫入 BigQuery 並建立 Real time Dashboard (上)

前言: 我們在數據分析實作一操作過載入批次數據並建立儀表板,這樣的使用場景非常適合像是主管想要看每周、每月的成本報表。 但是如果我們今天想要做的是即時流量分析...

2022-10-10 ‧ 由 xscapex 分享
DAY 27

Day 27: [數據分析實作二] 將串流資料(streaming data)寫入 BigQuery 並建立 Realtime Dashboard (下)

前言: 我們在這個實作要作的架構如下: 資料介紹: 因為要使用即時串流數據,GCP本身有在維護公開的串流數據集,今天使用的是 pubsub-public-d...

2022-10-11 ‧ 由 xscapex 分享
DAY 28

Day28: BigQuery中的三種監控方式

前言: 前面介紹了什麼是 BigQuery、為什麼要用 BigQuery、如何用 BigQuery,和 BigQuery 上的查詢優化。 當使用一陣子或是使用...

2022-10-12 ‧ 由 xscapex 分享
DAY 29

Day 29: BigQuery中的三種監控方式 - 匯出 cloud logging 並用 BigQuery 分析 (實作)

前言: 複習一下 BigQuery 中三種監控方式: cloud monitoring information schema audit log (稽核日誌...

2022-10-13 ‧ 由 xscapex 分享
DAY 30

Day 30: BigQuery 的下一座山頭

前言: 感謝陪我一起探索 GCP BigQuery 資料倉儲的你和妳,希望這個過程大家覺得還算有趣,也希望真的有幫助大家更快手 BigQuery。 如果我們把這...

2022-10-14 ‧ 由 xscapex 分享