iT邦幫忙

鐵人檔案

2022 iThome 鐵人賽
回列表
AI & Data

[GCP BigQuery] - 探索資料倉儲,開啟你的數位轉型之旅 系列

現在越來越多在做數位轉型的企業會想將資料倉儲 (Data Warehouse) 建立在雲端上,因為雲端提供了更好的效能、更多的彈性以及更好的管理方式,而 Google cloud 的 BigQuery 不論是在價格、存取速度和擴充性上,無疑是許多企業作為雲端資料倉儲的最佳選擇。

網路上已經有非常多BigQuery相關的文章,且清楚好懂;本次撰寫的方向主要是自學BiguQuery之路上的知識以及操作彙整,希望能夠幫助也想了解BigQuery的人更快上手。

鐵人鍊成 | 共 30 篇文章 | 19 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11: BigQuery 的四種連接方式 - 方法二:cloud SDK (實作)

前言: 今天要來介紹和 BigQuery 溝通的第二種方式 — cloud SDK,並且有兩種使用情境,一個是本地端操作,也就是在自己的電腦的環境,另一種是使...

2022-09-25 ‧ 由 xscapex 分享
DAY 12

Day 12: BigQuery 的四種連接方式 - 方法三:REST API

前言: 今天要來介紹和 BigQuery 溝通的第三種方式 — REST API,也就是使用 REST風格的方式,去呼叫API。不過我們後續主要還是會使用到...

2022-09-26 ‧ 由 xscapex 分享
DAY 13

Day 13: BigQuery 的四種連接方式 - 方法四:Client libraries (官方建議) (實作)

前言: 我們在前面介紹了 使用 Console、Cloud SDK 和 REST API 這些方法來和 BigQuery 溝通,這些方法很適合我們剛開始探索...

2022-09-27 ‧ 由 xscapex 分享
DAY 14

Day 14: BigQuery 吃什麼Data?

前言: 到目前為止,我們已經知道了四種和 BigQuery 溝通的方法,也知道如何查詢的公共數據集。 但是在我們大部分的使用情境,還是會需要上傳自己的資料。那...

2022-09-28 ‧ 由 xscapex 分享
DAY 15

Day 15: [數據分析實作一] Step 1: 建立 Cloud SQL instance,並上傳 CSV

前言: 寫到這裡的時候我覺得非常期待,前期我們前面花了一些時間介紹 BigQuery,並學會如何和他連線並做簡單的查詢。現在,我們終於可以在 GCP 操作EL...

2022-09-29 ‧ 由 xscapex 分享
DAY 16

Day 16: [數據分析實作一] Step 2: 從 Cloud SQL 傳資料到 Cloud storage

前言: 今天進到 [數據分析實作一] Step 2,今天要做的是框起來的地方,我們要把檔案從 Cloud SQL 抽取,並存放到 cloud storage。...

2022-09-30 ‧ 由 xscapex 分享
DAY 17

Day 17: [數據分析實作一] Step 3: 從 Cloud storage 傳資料到 BigQuery (使用Python client library)

前言: 進到 [數據分析實作一] Step 3,今天要做的是框起來的地方,我們要把檔案從 Cloud storage存到 BigQuery,方便後續分析使用。...

2022-10-01 ‧ 由 xscapex 分享
DAY 18

Day 18: [數據分析實作一] Step 4: BigQuery 結合 Data studio 作 Dashboard

前言: 進到 [數據分析實作一] Step 4,我們在前面幾天都已經把資料串接好了,終於可以來使用Data studio 製作儀表板了! 最後完成會長這個樣...

2022-10-02 ‧ 由 xscapex 分享
DAY 19

Day 19: 優化你的BigQuery 查詢,提高查詢效能 (上) (實作) (可選)

前言: 我們在 Day 07 曾提到,BigQuery 的基本架構可分為查詢和儲存。因此,本篇要來介紹幾個方法,不僅能夠幫助我們提升查詢的效能、降低費用,甚至...

2022-10-03 ‧ 由 xscapex 分享
DAY 20

Day 20: 優化你的BigQuery 查詢,提高查詢效能並節省費用 (下) (實作)

前言: 我們在 Day 07 曾提到,BigQuery 的基本架構可分為查詢和儲存。因此,本篇要來介紹幾個方法,不僅能夠幫助我們提升查詢的效能、降低費用,甚至...

2022-10-04 ‧ 由 xscapex 分享