iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

資料產品開發與專案管理 系列

資料專案的類型可以依照資料產品特性分為原始資料、加工資料、模型、輔助決策以及自動決策等五種。這五種產品在開發與設計上有各自需要注意的地方,彼此在應用上也互相關聯依賴,這種特性造成了資料產品或專案在開發以及管理上的困難。

這系列文章會將過去處理過資量產品的經驗,轉變成更有系統的管理以及開發方式,讓資料科學家、工程師、專案經理以及需求方都能夠站在相似的基礎上來討論事情,讓資料產品開發專案過程更為順利。

鐵人鍊成 | 共 30 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文
DAY 1

[Day 1] 資料產品簡介

前言 大數據、AI 是這幾年的熱門議題,不管是公司還是客戶都會開始透過資料分析或機器學習來改善自家產品或業務。但是這幾年走下來不管是自己公司還是客戶,在這個資料...

2021-09-01 ‧ 由 bryanyang0528 分享
DAY 2

[Day 2] 資料產品第一層 - 原始資料

就像稻米之於米苔目,小麥之於麵疙瘩,原始資料就是任何資料產品最基礎的存在。 在研究所修讀統計的時候,教授常常掛在嘴邊的一句話就是「garbage in, ga...

2021-09-02 ‧ 由 bryanyang0528 分享
DAY 3

[Day 3] 資料產品第一層 - 原始資料的類型

原始資料可能來自非常多不同的地方,我們可以根據資料產生的方式來加以分類 感應器資料 這邊泛指各種 Sensor 測量得到的資料。Sensor 是普遍用來將資訊資...

2021-09-03 ‧ 由 bryanyang0528 分享
DAY 4

[Day 4] 資料產品第二層 - 資料加工術 - 資料驗證與清洗

稻米就算採收,也無法直接食用,需要經過一系列的加工才能送到消費者的手裡。 (圖片來源:富里鄉農會) 這個流程跟加工資料的流程並沒有什麼太大的差異,常見的資料...

2021-09-04 ‧ 由 bryanyang0528 分享
DAY 5

[Day 5] 資料產品第二層 - 資料加工術 - 資料聚合

即便是相同原料經過不同師傅的手藝也會呈現不同的味道 (昨天吃的游壽司) 當資料經過基本篩檢後,也會根據後續使用的需求將資料聚合(資料聚合就是將資料從細的顆粒度...

2021-09-05 ‧ 由 bryanyang0528 分享
DAY 6

[Day 6] 資料產品第三層 - 描述性模型

這邊指的模型不只是最近很潮的機器學習或深度學習,而是廣泛指透過資料建立用來代表現實的抽象概念(白話來說就是一堆數學)。模型並不是資料本身,但好的模型會能表現資料...

2021-09-06 ‧ 由 bryanyang0528 分享
DAY 7

[Day 7] 資料產品第三層 - 預測模型

大部分的人對於資料開始產生興趣,不外乎就是因為想要預測未來。 (https://www.livebitcoinnews.com/bitcoin-price-a...

2021-09-07 ‧ 由 bryanyang0528 分享
DAY 8

[Day 8] 資料產品第四層 - 你會畫圖嗎?

前面我們花了好幾篇的篇幅在介紹原始資料、加工資料、資料模型,但這些都還沒有辦法讓資料真正發揮價值,要讓資料發揮價值一定是要將「資料」與「決策」相互結合。我們接下...

2021-09-08 ‧ 由 bryanyang0528 分享
DAY 9

[Day 9] 資料產品第五層 - 自動決策與 AI

資料的最終目的就是替代人力。 (https://qz.com/217199/softbanks-humanoid-robot-will-be-great-fo...

2021-09-09 ‧ 由 bryanyang0528 分享
DAY 10

[Day 10] 每家公司都有資料產品

(https://www.manmonthly.com.au/news/graphene-helps-enhance-wear-resistance-mini...

2021-09-10 ‧ 由 bryanyang0528 分享