前幾天我們看到，一段 SQL 會先被轉換成 Logical Plan，再交給 Physical Planner 產生實際執行計畫。 但在這兩個階段之間，還有一個...
先回應讀者的問題：Schema 和 Physical Plan 的關係 有讀者提問：Physical Planner 建立資料來源運算子時，Schema 到底扮...
上一篇使用 EXPLAIN 觀察了 SQL 的 Logical Plan。 Logical Plan 描述的是： 這段查詢想完成什麼？ 今天再往下一層，介紹...
上一篇介紹了 Logical Plan，知道 SQL 會被轉換成一棵由 TableScan、Filter、Aggregate 與 Projection 組成的操...
Logical Plan 是 SQL 的第一張執行藍圖。 它不會立刻讀取檔案，也不會直接產生查詢結果，而是先把 SQL 拆成一棵由多個 Logical Oper...
先來回答昨天讀者的問題 昨天有讀者問： 規劃和執行兩階段，是先規劃後執行嗎？還是獨立的兩塊？ 答案是： 先規劃，後執行。 兩者不是獨立的兩條流程，而是同一...
昨天有讀者問： DataFusion 是如何利用 Schema 產生 RecordBatch？DataFusion 和 Schema 的關係到底是什麼？ 簡...
在 Apache Arrow 中，一張資料表不是一個模糊的「表格物件」，而是由三個核心概念組成： Schema → 定義欄位名稱、資料型別與欄位順序 Arra...
前一個 Stage，我們用少量樣本進行資料剖析（Data Profiling），確認臺北捷運 OD 資料的結構、資料粒度與可能存在的品質問題。接下來要進入 St...
專案資料夾跟 Python 虛擬環境都準備好。現在要處理一件專案越做越大就會越重要的事情，版本控制。想像一下，你今天修改了一段 Code，跑得很好，明天又覺得：...
Apache Arrow 是一套跨語言的欄式記憶體格式。 它不是資料庫，也不是只用來保存資料的檔案格式；它處理的是另一個問題： 資料進入記憶體後，要如何排列，...
現在終於可以開啟 VS Code。還沒有 VS Code 的朋友可以先到官方網站下載安裝(這裡)。這裡就不另外介紹安裝流程，我們直接開始建立專案。 先建立專案架...
好，系列正式開始。不過我們還沒有要立刻寫程式。在開始寫 Python、PostgreSQL、dbt、Airflow、Docker 之前，我想先花一篇文章把這張「...
本系列主要聚焦於資料工程（Data Engineering），透過建立一條完整的資料處理 Pipeline，學習如何擷取、儲存、轉換與管理資料的相關概念。Pyt...
先說結論 分析系統偏好欄式資料（Columnar），主要是因為分析查詢常常會： 掃描大量資料。 但只使用其中少數幾個欄位。 進行篩選、分組與聚合，例如 WHE...
前幾天收到一些讀者回饋，希望文章可以更像教材：先把概念與資料處理流程說清楚，再進入程式實作。 我覺得這個建議很好，謝謝大家給我回饋～ 對資料工程來說，成功把資料...
昨天我們將 CSV 註冊成 DataFusion 中的 Table，並使用 SQL 執行欄位選擇與資料篩選。 今天換成另一種常見的資料格式：JSON。 JSON...
昨天我們建立了第一個 DataFusion 專案，並使用 SessionContext 執行一段不需要外部資料的 SQL。 今天要開始處理真正的資料檔案。 我們...
前兩天，我們先從概念上認識了 Query Engine，也知道 DataFusion 是一套使用 Rust 與 Apache Arrow 建立的查詢引擎。 今天...
大家好，我是 Cady，目前就讀資管系，也正在參與 Apache DataFusion 的開源貢獻。 發現 Day 1 忘記介紹自己，來補充一下，免得很像 AI...
前言 提到資料工程，你最先想到的可能是 ETL： 從 API、資料庫或檔案擷取資料 清理缺失值與錯誤格式 轉換欄位型別 將資料寫入 Data Warehous...
簡單的幾個操作，降低 BigQuery 大筆的存儲費用！（理想情境中可以節省九成左右） BigQuery 的表格存儲一直以來都有很多項計費的模式，而主要分成兩...
BigQuery 近年來一直不斷擴充它功能的廣度，讓他遠遠不只是 Data Warehouse 這麼簡單，而是功能強大的 Data Platform（成本也越來...
【關於工程團隊】SHOPLINE 台灣研發團隊有超過百位工程師，分為前後端、測試、數據、雲端維運等團隊，台北辦公室採混合辦公模式，目前 Backend、Fron...
在沒有行情的收盤或假日時段，也可以找點事情來做。 好比是回顧歷史，借古鑑今。 判斷一檔股票是否熱絡，可以直接從「交易量排行榜」很直觀地看出。 而去撈取交易量 “...
先前我們針對 ExamTopics 的免費 32 題進行了準備。接下來，你還可以註冊 AWS Skill Builder 去看免費的課程，做免費題庫。（雖然根據...
為什麼我們需要 dbt？我們真的需要它嗎？ 今天又在 Medium 看到這篇 No, Data Engineers Don’t NEED dbt.，在談論到底需...
題目 題庫 Questions Q33 A company has a frontend ReactJS website that uses Amazo...
前言 這是一篇關於如何取得Databricks Data Engineer Associate的備考指南,希望可以通過這一篇文章幫助大家也可以取得證照。 Pre...
題目 題庫 Questions Q30 A company is migrating a legacy application to an Amazon...
iThome鐵人賽
看影片追技術
看更多
郁庭 Cady
ylw1515
二坪山小弱砲
阿晟