技術 DAY 29 成本監控跟文件說的不一樣！成本的監控機制－BigQuery 篇

在 BigQuery 的費用監控中，其實大部分都是運算費用居多，儲存費用是占比很小的。 不過我們還是有監控資料表的靜態資訊，看看容量大、又長時間沒有人更新的資料...

技術 DAY 3 告別痛點－為何我們決定導入 dbt 優化資料轉換

如果還沒有看上一篇的讀者，歡迎先看看我們在使用 BigQuery procedure 來做資料轉換遇到了什麼痛點，本篇會針對上一篇的幾個痛點一一做討論～ 一、...

技術 DAY 2 BigQuery 無所不能？－BigQuery Procedure 的限制與挑戰

「BigQuery 是什麼？大數據時代一定要認識的最強資料分析工具」—— 搜尋 BigQuery 時的第一個網頁。 BigQuery 的功能實在強大，資料存儲、...

徵才 徵求數據工程師（資料清洗/API串接/Ragic/GCP/Bigquery/Looker Studio）

此為一次性專案，專案目標是將不同的資料來源整合、做視覺化分析。 資料來源：Google SheetsGA4Ragic 粗略架構如下（若有整合能力，並能提出更加的...

技術 bigquery 匯入 CSV 資料的各種錯誤訊息解法及 best practice

上篇介紹 bq load 或介面匯入資料的機制及參數用法，本篇介紹各種錯誤因應方式及最佳作法 最標準的 CSV 檔案匯入 bigquery 格式 編碼(enc...

技術 使用 bigquery GUI 或 bq load 匯入 CSV 檔案有什麼技巧? 每個參數的意思?

把資料匯入 bigquery 是 Data Engineer 很常做的事，而很常碰到的資料來源就是 csv 檔案。 一個使用 bq command 沒有錯誤的匯...

技術 第二十八天 Jenkins 之旅： 我的 BI 報表 Pipeline (8)

Date Parameter in Jenkins 由於此次的 Data Pipeline 有基於時間（execute_date）為條件批次執行的特性，在來源資...

技術 第二十七天 Jenkins 之旅： 我的 BI 報表 Pipeline (7)

前言 不知不覺鐵人賽好像快看到終點了 ...... 今天讓我們繼續處理 Data Pipeline 。 由於這次我們會將最終結果以 Google Data St...

技術 Firebase BigQuery學習筆記

BigQuery問世好久一直沒機會接觸，剛好碰到跟行銷相關案子就來研究一下了 正文開始 首先Firebase專案必須先關聯上BigQuery，我自己實測大約隔天...