AI 若是黃金,資料就是礦脈。
2015 年以大數據為題創業時,當時大家只想要機器學習模型不管資料。2017年便與開源社群夥伴一起發起台灣資料工程協會,擔任常務理事至今,終於盼到資料被大家普遍重視,反應在資料工程師的短缺與節節高漲的薪資水準上,以及「資料治理」議題的崛起。
2022 年開始推廣「資料治理」框架時,赫然發現除了少數產業,大家對於資料領域常見的系統與概念詞彙定義,仍有許多混淆不清之處。於是,Anna 來了!
想跟大家叨叨資料領域必知的 30 個詞彙,希望可以幫助大家在資料專案中溝通更順暢,作為使用者需求明確,作為開發者交付準確。少點雞同鴨講,多一點雞犬升天。
我們上一篇談到「資料團隊架構」時,講到近年開始往非階層式組織,去中心化的趨勢。我們稍微倒退一點,大約 2017 年 Data Infra 仍在發展中的狀態,私有...
本文內容為資料生命週期管理應備的規範或活動,非實作所用到的 IT 技術。 Data Management 資料管理,只是個概稱 其實,資料管理目前仍是個概稱,每...
Data Validation 是屬於研發階段的驗證程序。Data Verification 是屬於製造階段的驗證程序,本文先討論 Data Verificat...
Data Verification 與 Data Quality 是發展十年以上的議題。Data Validation 這個詞彙,則是連美國都還在發展其定義與內...
為何選擇資料目錄當作資料治理的起點? 資料產品是讓資料價值得以「兌現」的重要手段。一套能實踐且穩定執行的資料治理框架,必須要讓不同的角色受惠,並幫助企業產生並重...
前情提要:Metadata 詮釋資料 (分離資料儲存與資料取用) DAMA International(國際資料管理協會)的 DAMA 的 DMBoK ,資料治...
許多主資料管理解決方案會合併資料整合(或傳統ETL)、資料品質一起導入,燉成一鍋,行銷成萬靈丹。 Master Data Management 主資料管理,此解...
從 Data Management Association International (DAMA) 成立之初,資料管理應該還是附屬於資料庫管理或分析應用系統。...
從 2022 年底爆發的生成式 AI 熱潮,以及它所依賴的大型語言模型(LLM),肯定會對資料工程與資料科學產生重大的影響。這幾年我們團隊看到的商用版本 MLO...
如果要把我這八年創業所追逐的目標濃縮成一個字,應該就是 BizDevOps。 這張圖的原作 zenexmachina.com 是用來解說 Agile + Lea...