iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
AI & Data

吵什麼 AI 煉金術?!你家有礦嗎?(資料領域必知的 30 個詞彙) 系列

AI 若是黃金,資料就是礦脈。
2015 年以大數據為題創業時,當時大家只想要機器學習模型不管資料。2017年便與開源社群夥伴一起發起台灣資料工程協會,擔任常務理事至今,終於盼到資料被大家普遍重視,反應在資料工程師的短缺與節節高漲的薪資水準上,以及「資料治理」議題的崛起。
2022 年開始推廣「資料治理」框架時,赫然發現除了少數產業,大家對於資料領域常見的系統與概念詞彙定義,仍有許多混淆不清之處。於是,Anna 來了!
想跟大家叨叨資料領域必知的 30 個詞彙,希望可以幫助大家在資料專案中溝通更順暢,作為使用者需求明確,作為開發者交付準確。少點雞同鴨講,多一點雞犬升天。

鐵人鍊成 | 共 30 篇文章 | 31 人訂閱 訂閱系列文 RSS系列文
DAY 11

Data Virtualization 資料虛擬化(vs. Data Warehouse vs. Data Lake)

我第一次看到這個詞彙,就是跟 Data Visualization(資料視覺化) 放在一起,看得眼花。所以花了時間把它搞清楚,頭就不昏了。也要注意別跟 (Ser...

2023-09-14 ‧ 由 Anna Yen 分享
DAY 12

Data Pipeline 資料管線(vs. ETL/ETL Pipeline)

我發現最近幾年的比較已經變成 Data Pipeline vs. ETL Pipeline。 人外有人,天外有天 這個系列讓我有機會再次更新自己資料領域的知識庫...

2023-09-15 ‧ 由 Anna Yen 分享
DAY 13

Data Lakehouse (資料湖倉),順便淺談 Apache Iceberg

Data Lakehouse(資料湖倉)這是 2023 終於紅到台灣的新詞彙。Gartner:「資料湖倉是整合資料倉儲與資料湖泊為一體(湖倉一體),將運算配置與...

2023-09-16 ‧ 由 Anna Yen 分享
DAY 14

淺談 Data Mesh & Microservices

Data Mesh & Microservices 在國內最專業的非 Brobridge 寬橋莫屬,看看這篇貼文就知。https://www.facebook....

2023-09-17 ‧ 由 Anna Yen 分享
DAY 15

Data Fabric (& Apache Airflow, Apache Iceberg 的天作之合)

談到 Data Fabric 就是 Athemaster 炬識的主場了!(上一篇談 Data Mesh 可讓我流了很多冷汗啊) 因為 Data Fabric 是...

2023-09-18 ‧ 由 Anna Yen 分享
DAY 16

DataOps(Data is the New Infra,也需要來點 Ops)

4 年前開始研究 DataOps, 當時覺得沒什麼人討論。現在發現百家爭鳴! Digital Transformation 數位轉型的理想是轉變為 Data-D...

2023-09-19 ‧ 由 Anna Yen 分享
DAY 17

資料領域需要什麼都來點 Ops:DevOps, DataOps, MLOps, AIOps

各種 Ops 是傳統組織架構崩解的號角 傳統功能性部門的分工方式容易造成資訊孤島,卻又為了企業營運活動而必須合作。純專案組織不用跨部門合作了,不必分享資訊也不必...

2023-09-20 ‧ 由 Anna Yen 分享
DAY 18

MLOps 的困境:為高監管行業的資料科學家請命

今天不長篇大論,要幫 AI 鍊金術師 - 「資料科學家」請命!其實,還有「機器學習模型工程師」,但是在高監管行業快見不到他們的身影了,因為相關環境整備不足。 這...

2023-09-21 ‧ 由 Anna Yen 分享
DAY 19

Data Product 資料產品(AI 鍊金術的賢者之石)

我是在 2021 年經由 Bryan Yang 知道這個詞彙的,他也寫過鐵人賽專文介紹。 [Day 1] 資料產品簡介 我們是從 Simon O'Regan 這...

2023-09-22 ‧ 由 Anna Yen 分享
DAY 20

Data Project 資料專案 (再談 Data 與 IT 領域的差異)

資料專案非 IT 專案 這段話現在是我的信件簽名檔。 2015 年炬識成立的時候以大數據為主題,當時我在業界已經累積十幾年的經驗,而且選擇我熟悉的金融業作為主要...

2023-09-23 ‧ 由 Anna Yen 分享