簡介

在 DAY3 知識之章-Data Lake, Warehouse and Lakehouse 中，我們聊到新的儲存架構。本篇要帶大家認識 開放數據格式 (Open Data Format)，它們是建構 Lakehouse 的核心之一。

什麼是開放數據格式？

開放數據格式指的是任何人都能自由使用、修改與分享的數據存儲格式，通常具備以下特徵：

• 開放規範：規範公開透明
• 免費使用：不需授權費用
• 跨平台支援：多種工具可讀寫
• 社群驅動：由開源社群持續維護

開放 vs 專有格式

常見的開放數據格式

格式總覽

各格式詳細介紹與範例

CSV (Comma-Separated Values)

id,name,age
1,Alice,30
2,Bob,25

JSON (JavaScript Object Notation)

{
  "id": 1,
  "name": "Alice",
  "skills": ["SQL", "Python"]
}

Apache Parquet

沒辦法直接讀取檔案，要透過程式或套件讀取。

import pandas as pd

# 建立 DataFrame
df = pd.DataFrame({"id":[1,2],"name":["Alice","Bob"]})

# 存成 Parquet
df.to_parquet("data.parquet")

print("已儲存成 data.parquet")

# 從 Parquet 讀回來
df2 = pd.read_parquet("data.parquet")
print(df2)

df2 資料呈現：

   id   name
0   1  Alice
1   2    Bob

Apache ORC

Hive 建表語法

CREATE TABLE users (
  id INT,
  name STRING
) STORED AS ORC;

Apache Avro

Schema 定義

{
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "id", "type": "int"},
    {"name": "name", "type": "string"}
  ]
}

結論與建議

根據不同的需求，選擇不同的檔案格式，才是最佳的方式。

如果要簡單的做區分，可以參考以下：

• 預設：Parquet
• 串流與跨系統： Avro
• API 交換：CSV/JSON
• 需要 Hive/Presto 強統計: ORC

接著再搭配 Iceberg/Delta/Hudi 做表級治理、分區演進與小檔合併，才能真正把 Lakehouse 架構的價值展性出來。

下篇預告

在下一篇 「DAY5 知識之章 - Apache Iceberg」 中，我們將探索這個近年來最受矚目的 資料湖表格格式 (Table Format)。

它能解決傳統檔案格式的諸多限制，並帶來像資料庫一樣的操作體驗。

參考資料

[1] Apache Parquet
[2] Apache ORC
[3] Apache Avro