iT邦幫忙

2023 iThome 鐵人賽

DAY 4
0

為什麼要在 Data & AI 領域討論 Metadata 呢? 因為它是資料庫系統中的指南針。

Metadata 的中文譯名問題

元數據:中國大陸用語
詮釋資料:數發部核定「資料集詮釋資料標準規範」用語
後設資料:國科會「數位典藏國家型科技計畫」用語
本文採數發部用語「詮釋資料」。實際上 Metadata 在西方的別名也不少,包含 Schema、Schemas、Schemata、Format、Formats、Element sets、Standards、Systems、Catalogues(摘自數位典藏國家型科技計畫第二章 後設資料入門導論)。

Metadata & Data

一張照片裡的資料與詮釋資料
https://ithelp.ithome.com.tw/upload/images/20230907/20161790sHR48CaZ3l.png
圖片來源:Piotr Kononow, What is Metadata (with examples)

一本書裡的資料與詮釋資料
https://ithelp.ithome.com.tw/upload/images/20230907/201617905N0tf5w9vW.png
圖片來源:Piotr Kononow, What is Metadata (with examples)

Metadata & Databases 詮釋資料與資料庫系統間的關係

Metadata 用 Hadoop 系統來解釋是最好的。Hadoop 是用來實作資料湖泊的方案,資料湖泊如前文(Database 資料庫系統)提到是一種 “schema on read” 的資料庫系統,來源系統擷取過來的原始資料是以檔案形式儲存,能後續有需求時再賦予 metadata(The Hive Metastore),也能賦予後再解除與 metadata 之間的綁定,但是就無法用原來的 Hive Query 查詢該資料了。
https://ithelp.ithome.com.tw/upload/images/20230907/20161790TxoY8CPCuI.png
圖片來源:Hive Metastore – Why It’s Still Here and What Can Replace It?

實作面的延伸閱讀Metadata Management(企業資料架構的神經系統)


上一篇
Database 資料庫系統(vs. 資料倉儲 vs. 資料湖泊)
下一篇
Data Warehouse 資料倉儲 (營運上各種光怪陸離的現象)
系列文
吵什麼 AI 煉金術?!你家有礦嗎?(資料領域必知的 30 個詞彙)30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言