iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

從點子構想到部署上線:機器學習專案的一生 系列

在這個系列文中,我們將探索機器學習(Machine Learning,ML)專案的完整生命週期,特別聚焦於機器學習專案的五大關鍵步驟,以及深入剖析科技巨頭如何實踐這些步驟。

本系列文將借鑒於各大科技公司的經驗,從理論到實踐,從學術到業界,提供全面的 ML 專案視角。我們將探討如何有效管理 ML 專案的各個階段,從而在這個快速發展的領域中站得更高,看得更遠。

參賽天數 13 天 | 共 13 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文
DAY 1

[Day 1] 系列文介紹和規劃大綱

前言 兩年前我也曾經參加過 iThome 舉辦的鐵人賽(當時的系列文:那些在科技公司和 app 背後的資料科學),當時的我才剛畢業,甫入職場,對機器學習專案的想...

2024-09-15 ‧ 由 min_hsu 分享
DAY 2

[Day 2] ML 系統中容易被忽略的技術債(Technical Debt)問題

機器學習模型的建立和部署,和一般的軟體專案有什麼不同嗎?為什麼需要特別拉出來討論呢?Google 在 2015 年發表的〈Hidden Technical De...

2024-09-16 ‧ 由 min_hsu 分享
DAY 3

[Day 3] ML Project Lifecycle 的五個步驟 + Netflix 的 Match Cutting 案例說明

今天,我們會介紹一個完整的機器學習專案需要包含的五個步驟。 ML Project Lifecycle 介紹 根據 Andrew Ng 的 Coursera 課程...

2024-09-17 ‧ 由 min_hsu 分享
DAY 4

[Day 4] ML Project Lifecycle 介紹 - Step 1. 定義商業指標(Define the business goal)

今天終於要來介紹 ML Project Lifecycle 的五個步驟了!讓我們來複習一下,根據 Andrew Ng,一個完整的機器學習專案分為五個主要步驟:...

2024-09-18 ‧ 由 min_hsu 分享
DAY 5

[Day 5] ML Project Lifecycle 介紹 - Step 2. 蒐集和準備資料(Collect and Prepare Data)

在明確定義出商業目標之後,接下來就可以開始著手準備資料啦!資料的準備通常分為以下幾個步驟: 蒐集資料(data collection) 標記資料(data l...

2024-09-19 ‧ 由 min_hsu 分享
DAY 6

[Day 6] ML Project Lifecycle 介紹 - Step 3. 建立模型(Build the Model)

今天我們進入 ML 專案的第三個步驟——建立模型(Build the Model)。 為了訓練出一個可以實際部署上線並解決商業需求的模型,機器學習專案往往會經...

2024-09-20 ‧ 由 min_hsu 分享
DAY 7

[Day 7] Step 4. 將模型整合到應用程式中(Integrate with Application):Data Drift vs. Concept Drift、常見的部署模式

在終於訓練出一個表現十分良好,又符合商業目標的模型之後,接下來就要將模型部署上線啦!這是一個關鍵環節,讓你的模型不只停留在個人電腦中,也可以鑲嵌在產品中,為提供...

2024-09-21 ‧ 由 min_hsu 分享
DAY 8

[Day 8] Step 5. 監控模型表現(Monitor Impact)

終於走到整個機器學習專案的最後一步啦!我們訓練出一個表現優秀的模型,也成功將模型部署上線,並實際開始運行。不過,這並不代表我們的工作已經結束了,監控模型的表現和...

2024-09-22 ‧ 由 min_hsu 分享
DAY 9

[Day 9] Model-Centric Iteration vs. Data-Centric Iteration

我們在前面五天中,介紹了機器學習生命週期的五個步驟,在 Step 5. 檢查模型表現時,如果發現模型表現退步,可以退回去 Step 2 重新蒐集資料、或是檢查資...

2024-09-23 ‧ 由 min_hsu 分享
DAY 10

[Day 10] Spotify 的 Data Platform - Part 1. 資料蒐集的舊系統和資料延遲的問題

終於把機器學習專案的生命週期介紹完畢啦!從今天開始,我們會介紹各大科技公司是如何實作之前介紹過的五個步驟,或是做了什麼事情來讓他們在建立專案的時後更加有效率又流...

2024-09-24 ‧ 由 min_hsu 分享