iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
AI & Data

吵什麼 AI 煉金術?!你家有礦嗎?(資料領域必知的 30 個詞彙) 系列

AI 若是黃金,資料就是礦脈。
2015 年以大數據為題創業時,當時大家只想要機器學習模型不管資料。2017年便與開源社群夥伴一起發起台灣資料工程協會,擔任常務理事至今,終於盼到資料被大家普遍重視,反應在資料工程師的短缺與節節高漲的薪資水準上,以及「資料治理」議題的崛起。
2022 年開始推廣「資料治理」框架時,赫然發現除了少數產業,大家對於資料領域常見的系統與概念詞彙定義,仍有許多混淆不清之處。於是,Anna 來了!
想跟大家叨叨資料領域必知的 30 個詞彙,希望可以幫助大家在資料專案中溝通更順暢,作為使用者需求明確,作為開發者交付準確。少點雞同鴨講,多一點雞犬升天。

鐵人鍊成 | 共 30 篇文章 | 31 人訂閱 訂閱系列文 RSS系列文
DAY 21

Data Governance (資料治理,企業資料組織、流程與技術的最高指導原則)

我們上一篇談到「資料團隊架構」時,講到近年開始往非階層式組織,去中心化的趨勢。我們稍微倒退一點,大約 2017 年 Data Infra 仍在發展中的狀態,私有...

2023-09-24 ‧ 由 Anna Yen 分享
DAY 22

Data Lifecycle Management (資料生命週期管理,DAMA DMBOK 2 Evolved Wheel)

本文內容為資料生命週期管理應備的規範或活動,非實作所用到的 IT 技術。 Data Management 資料管理,只是個概稱 其實,資料管理目前仍是個概稱,每...

2023-09-25 ‧ 由 Anna Yen 分享
DAY 23

Data Quality and Data Verification (有資料驗證才有資料品質)

Data Validation 是屬於研發階段的驗證程序。Data Verification 是屬於製造階段的驗證程序,本文先討論 Data Verificat...

2023-09-26 ‧ 由 Anna Yen 分享
DAY 24

Data Validation(資料確效與資料產品)

Data Verification 與 Data Quality 是發展十年以上的議題。Data Validation 這個詞彙,則是連美國都還在發展其定義與內...

2023-09-27 ‧ 由 Anna Yen 分享
DAY 25

Data Catalog(資料目錄,資料治理最平順的起手式)

為何選擇資料目錄當作資料治理的起點? 資料產品是讓資料價值得以「兌現」的重要手段。一套能實踐且穩定執行的資料治理框架,必須要讓不同的角色受惠,並幫助企業產生並重...

2023-09-28 ‧ 由 Anna Yen 分享
DAY 26

Metadata Management(企業資料架構的神經系統)

前情提要:Metadata 詮釋資料 (分離資料儲存與資料取用) DAMA International(國際資料管理協會)的 DAMA 的 DMBoK ,資料治...

2023-09-29 ‧ 由 Anna Yen 分享
DAY 27

Master Data Management (主資料管理究竟是仙丹還是毒藥?)

許多主資料管理解決方案會合併資料整合(或傳統ETL)、資料品質一起導入,燉成一鍋,行銷成萬靈丹。 Master Data Management 主資料管理,此解...

2023-09-30 ‧ 由 Anna Yen 分享
DAY 28

介紹 Data Management Association International(DAMA, 國際資料管理協會) 與 CDMP 證照

從 Data Management Association International (DAMA) 成立之初,資料管理應該還是附屬於資料庫管理或分析應用系統。...

2023-10-01 ‧ 由 Anna Yen 分享
DAY 29

Data Versioning 與資料領域技術發展趨勢

從 2022 年底爆發的生成式 AI 熱潮,以及它所依賴的大型語言模型(LLM),肯定會對資料工程與資料科學產生重大的影響。這幾年我們團隊看到的商用版本 MLO...

2023-10-02 ‧ 由 Anna Yen 分享
DAY 30

BizDevOps & Data (資料驅動的商業營運模式)

如果要把我這八年創業所追逐的目標濃縮成一個字,應該就是 BizDevOps。 這張圖的原作 zenexmachina.com 是用來解說 Agile + Lea...

2023-10-03 ‧ 由 Anna Yen 分享