iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 747 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 22 篇

技術從「這次不會壞吧」到自動化的未來：22 為什麼需要資料管理工具？DagsHub 與 DVC 怎麼選？

為什麼需要資料管理工具隨著開發過程持續推進，通常會產生大量版本的程式碼，並需要使用版本控制工具追蹤這些程式碼，以利後續維護。除了程式碼，訓練資料也需要進行版本...

aif_tw ‧ 2024-11-12

0 Like 0 留言 793 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 21 篇

技術從「這次不會壞吧」到自動化的未來：21 CNN 模型訓練 MLDM + MLDE

今天我們會使用 MLDM + MLDE 來進行貓狗圖片分類的卷積神經網路（Convolutional Neural Network，CNN）模型訓練，並進行以下...

aif_tw ‧ 2024-11-08

0 Like 0 留言 792 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 20 篇

技術從「這次不會壞吧」到自動化的未來：20 從前處理到模型訓練，都在版控環境中？

過去在 DL 模型的開發過程中，要追蹤大量的資料和實驗結果可能需要結合多項工具，形成較高的學習成本；針對這些問題，HPE 推出 MLDM、MLDE 作為解決方案...

aif_tw ‧ 2024-11-08

0 Like 0 留言 1030 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 19 篇

技術從「這次不會壞吧」到自動化的未來：19 所以模型版本控制工具怎麼選？

這幾天的文章主要分享三個頗受好評的模型實驗管理工具，市面上還有很多類似的工具，這些工具各有特色與強項，團隊可視情況選擇好維護的工具。這些工具的目的都是在幫助團...

aif_tw ‧ 2024-11-01

0 Like 0 留言 912 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 18 篇

技術從「這次不會壞吧」到自動化的未來：18 模型版本控制 - MLflow

相較於 Tensorboard 與 Weight&Biases，MLflow 更著重於「公司內部的多人專案」的實驗管理上，主要讓工程師自己建立屬於公司內...

aif_tw ‧ 2024-11-01

0 Like 0 留言 721 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 17 篇

技術從「這次不會壞吧」到自動化的未來：17 模型版本控制 - Weight&Biases

大致功能與 Tensorboard 相同，但是整合了更多的深度學習(Llamaindex、Langchain、HuggingFace…)與機器學習(Sciki...

aif_tw ‧ 2024-10-25

0 Like 0 留言 656 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 16 篇

技術從「這次不會壞吧」到自動化的未來：16 模型版本控制 - Tensorboard

Tensorboard 算是深度學習早期最著名的實驗管理工具，至今依然十分熱門，它主打幾個功能：視覺化的方式呈現模型訓練的Loss曲線和評估指標視覺化的方...

aif_tw ‧ 2024-10-24

0 Like 0 留言 723 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 15 篇

技術從「這次不會壞吧」到自動化的未來：15 建模前，要思考的事

我們知道在做模型建立、模型驗證的時候需要思考以下幾個問題：多人協作如何紀錄分析每位協作者的實驗紀錄，如何從眾多的實驗紀錄中快速比較出預測效果最好的模型？當...

aif_tw ‧ 2024-10-23

0 Like 0 留言 596 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 14 篇

技術從「這次不會壞吧」到自動化的未來：14 以 HPE MLDM 實作 MLOps 資料版本控制 - 2

上傳資料到 Repository 先執行以下指令來將範例檔案 0050.csv 上傳到 Repository： (mldm) aif@aif % pachctl...

aif_tw ‧ 2024-10-21

0 Like 0 留言 643 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 13 篇

技術從「這次不會壞吧」到自動化的未來：13 以 HPE MLDM 實作 MLOps 資料版本控制 - 1

今天的文章將接續昨天的內容，說明具體來說，如何透過 HPE MLDM 讓資料前處理工作自動化，以及使用內建的版控功能，管理大量資料與前處理程式。實作接著我們...

aif_tw ‧ 2024-10-16

0 Like 0 留言 594 瀏覽

鐵人賽 AI/ ML & Data

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 12 篇

技術從「這次不會壞吧」到自動化的未來：12 為什麼我們需要資料版本控制？

為什麼我們需要資料版本控制？在開發過程中，隨著時間的推移，團隊常常因為模型效能或其他考量，不斷更新訓練資料，最後累積出大量版本。想像一個情境：在增加一些訓練資...

aif_tw ‧ 2024-10-15

0 Like 0 留言 310 瀏覽

鐵人賽生成式 AI DAY 30

生成式 AI 時代下的 Azure Machine Learning 系列第 30 篇

技術 Day30-淺談 LLMOps

鐵人賽的最後，我們再來談最近很多人關心的主題：LLMOps。過去幾年中，MLOps 已經成為顯學。MLOps 以其自動化、標準化以及對模型全生命周期管理的能力...

大魔術熊貓工程師 ‧ 2024-10-14

0 Like 0 留言 577 瀏覽

鐵人賽 AI/ ML & Data DAY 10

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 11 篇

技術從「這次不會壞吧」到自動化的未來：11 為什麼我們需要資料版本控制？

在開發過程中，隨著時間的推移，團隊常常因為模型效能或其他考量，不斷更新訓練資料，最後累積出大量版本。想像一個情境：在增加一些訓練資料後，模型就訓練不起來了，這時...

aif_tw ‧ 2024-09-26

0 Like 0 留言 288 瀏覽

鐵人賽 AI/ ML & Data DAY 9

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 9 篇

技術從「這次不會壞吧」到自動化的未來：09 MLOps 系統功能設計 - 自動化篇

自動化時會用到的功能設計在完成一個模型後，也可以選擇是否要加入自動化利用新資料定期更新的功能，如果當前的專案還不需要這項功能，想要直接將模型部署上線，那麼就可...

aif_tw ‧ 2024-09-23

0 Like 0 留言 294 瀏覽

鐵人賽 AI/ ML & Data DAY 8

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 8 篇

技術從「這次不會壞吧」到自動化的未來：08 MLOps 系統功能設計 - 開發篇

在昨天的文章中，描述了機器學習開發專案的流程，大致可分成三個部分：從資料處理到模型驗證的「開發」將開發模型訓練做排程處理的「自動化」將模型上線使用的「部...

aif_tw ‧ 2024-09-22

0 Like 0 留言 357 瀏覽

鐵人賽 AI/ ML & Data DAY 7

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 7 篇

技術從「這次不會壞吧」到自動化的未來：07 套件的選擇

其實，選擇套件並不是一件困難的事，無非就是根據需求、經費等因素考量後，按圖索驥選出適合團隊的工具而已。以下將簡單列舉挑選特定套件的原因，讀者可以根據團隊需求自由...

aif_tw ‧ 2024-09-21

0 Like 0 留言 352 瀏覽

鐵人賽 AI/ ML & Data DAY 6

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 6 篇

技術從「這次不會壞吧」到自動化的未來：06 MLOps 系統的基本功能需求

在設計 MLOps 系統時，主要會以開發團隊目前的機器學習專案開發流程為基礎，並以此設計系統。下圖是一般常見的模型開發流程，可以看到在取得原始資料後，會先做不同...

aif_tw ‧ 2024-09-20

0 Like 0 留言 376 瀏覽

鐵人賽 AI/ ML & Data DAY 5

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 5 篇

技術從「這次不會壞吧」到自動化的未來：05 MLOps 導入優缺點比較

CDF 基金會 MLOps 小組的白皮書中不斷提到，MLOps is not "putting Jupyter Notebooks into prod...

aif_tw ‧ 2024-09-19

0 Like 0 留言 428 瀏覽

鐵人賽 AI/ ML & Data DAY 4

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 4 篇

技術從「這次不會壞吧」到自動化的未來：04 導入 MLOps 的兩種場景

以昨天討論的內容為例，我們可以讓每個流程都變成自動化。以下分成兩種場景來說明有哪些部分可以利用 MLOps 的工具讓流程更快速便捷，場景為實驗階段及佈署階段：...

aif_tw ‧ 2024-09-18

0 Like 0 留言 432 瀏覽

鐵人賽 AI/ ML & Data DAY 3

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 3 篇

技術從「這次不會壞吧」到自動化的未來：03 機器學習(ML)開發流程介紹

如上圖所示，在選定一個適合以 AI 解決的題目後，我們會進行資料的前處理與模型開發。當模型完成開發後，則會進行驗證，如果模型通過驗收可上線的標準，就會進行佈署...

aif_tw ‧ 2024-09-17

0 Like 0 留言 481 瀏覽

鐵人賽 AI/ ML & Data DAY 2

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 2 篇

技術從「這次不會壞吧」到自動化的未來：02 MLOps 定義

MLOps 是 ML （Machine Learning，機器學習）加上 DevOps 的概念；DevOps 又是由 Development （開發）加上...

aif_tw ‧ 2024-09-16

0 Like 0 留言 451 瀏覽

鐵人賽 AI/ ML & Data DAY 1

從「這次不會壞吧」到自動化的未來：從 DevOps 到 MLOps，改造模型佈署之旅系列第 1 篇

技術從「這次不會壞吧」到自動化的未來：01 緣起

隨著 AI 和機器學習技術的快速發展，企業面臨的挑戰不僅僅是開發出高效的模型，還包括如何快速、安全地將這些模型部署到生產環境中並持續監控和優化。這正是 MLOp...

aif_tw ‧ 2024-09-15

0 Like 0 留言 434 瀏覽

鐵人賽 AI/ ML & Data DAY 1

從點子構想到部署上線：機器學習專案的一生系列第 1 篇

技術 [Day 1] 系列文介紹和規劃大綱

前言兩年前我也曾經參加過 iThome 舉辦的鐵人賽（當時的系列文：那些在科技公司和 app 背後的資料科學），當時的我才剛畢業，甫入職場，對機器學習專案的想...

Min ‧ 2024-09-15

4 Like 5 留言 584 瀏覽

鐵人賽 AI & Data DAY 30

Rust 加 MLOps，你說有沒有搞頭？系列第 30 篇

技術 [Day 30] - 打完收工 🫰｜Rust 加 MLOps，你說有沒有搞頭？

今日份 Ferris 今天最後一天啦，恭喜自己完賽，這 30 天就跟用 Stable diffusion 畫圖一樣，有時候很崩潰，有時候很順遂 (單押)，但無論...

chihying ‧ 2023-10-15

0 Like 0 留言 868 瀏覽

鐵人賽 AI & Data DAY 29

Rust 加 MLOps，你說有沒有搞頭？系列第 29 篇

技術 [Day 29] - 期末專欄 🎞️ | Rust 是資料分析的未來嗎？

今日份 Ferris 今天要來談未來，所以是超級未來感擬人化 Ferris，越畫越放飛自我了哈哈哈 Rust 是資料分析的未來嗎？正如在這個系列文前半段提到的...

chihying ‧ 2023-10-14

0 Like 0 留言 1668 瀏覽

鐵人賽 AI & Data DAY 28

Rust 加 MLOps，你說有沒有搞頭？系列第 28 篇

技術 [Day 28] - 預測服務 🚀 (下) | Rust x Docker 部署鋼鐵草泥馬 🦙🦀

今日份 Ferris 今天要使用 Docker 把先前的專案容器化啦，畫圖的時候畫出鯨魚 (海豚？) 螃蟹，有夠可愛哈哈哈部署機器學習應用 🏮 今天要部署的...

chihying ‧ 2023-10-13

0 Like 1 留言 412 瀏覽

鐵人賽 AI & Data DAY 27

Rust 加 MLOps，你說有沒有搞頭？系列第 27 篇

技術 [Day 27] - 預測服務 🚀 (上) | ML 系統設計 🏭

今日份 Ferris 當模型成為服務時是最讓人興奮的，就像是親手建造的火箭要升空了！部署模型與產品化從 [Day 21] - 機器學習系統設計 🏭 x Ru...

chihying ‧ 2023-10-12

0 Like 0 留言 1836 瀏覽

鐵人賽 AI & Data DAY 26

Rust 加 MLOps，你說有沒有搞頭？系列第 26 篇

技術 [Day 26] - 模型開發 🧠 (下) | Rust x PyTorch 模型訓練與輸出 🦀

今日份 Ferris 昨天以 ML 系統設計來看模型開發的各個面向，今天我們用 MNIST 來示範 Rust 怎麼訓練與輸出模型。所以今天的擬人化 Ferris...

chihying ‧ 2023-10-11

0 Like 0 留言 482 瀏覽

鐵人賽 AI & Data DAY 25

Rust 加 MLOps，你說有沒有搞頭？系列第 25 篇

技術 [Day 25] - 模型開發 🧠 (上) | ML 系統設計 🏭

今日份 Ferris 看完資料之後，我們可以開始來開發、選擇與評估模型的表現了，所以今天的主題是以 ML 系統設計的角度來看模型開發，依然是 Ferris 日本...

chihying ‧ 2023-10-10

0 Like 0 留言 548 瀏覽

鐵人賽 AI & Data DAY 24

Rust 加 MLOps，你說有沒有搞頭？系列第 24 篇

技術 [Day 24] - 資料處理和特徵工程 🔢 (下) | Rust x Jupyter 資料工程 🦀

今日份 Ferris 今天 Ferris 要大展身手了！ Rust REPL REPL（讀音：REH-ple）代表 Read-Eval-Print Loop，是...

chihying ‧ 2023-10-09

技術 從「這次不會壞吧」到自動化的未來：22 為什麼需要資料管理工具？DagsHub 與 DVC 怎麼選？

技術 從「這次不會壞吧」到自動化的未來：21 CNN 模型訓練 MLDM + MLDE

技術 從「這次不會壞吧」到自動化的未來：20 從前處理到模型訓練，都在版控環境中？

技術 從「這次不會壞吧」到自動化的未來：19 所以模型版本控制工具怎麼選？

技術 從「這次不會壞吧」到自動化的未來：18 模型版本控制 - MLflow

技術 從「這次不會壞吧」到自動化的未來：17 模型版本控制 - Weight&Biases

技術 從「這次不會壞吧」到自動化的未來：16 模型版本控制 - Tensorboard

技術 從「這次不會壞吧」到自動化的未來：15 建模前，要思考的事

技術 從「這次不會壞吧」到自動化的未來：14 以 HPE MLDM 實作 MLOps 資料版本控制 - 2

技術 從「這次不會壞吧」到自動化的未來：13 以 HPE MLDM 實作 MLOps 資料版本控制 - 1

技術 從「這次不會壞吧」到自動化的未來：12 為什麼我們需要資料版本控制？

技術 Day30-淺談 LLMOps

技術 從「這次不會壞吧」到自動化的未來：11 為什麼我們需要資料版本控制？

技術 從「這次不會壞吧」到自動化的未來：09 MLOps 系統功能設計 - 自動化篇

技術 從「這次不會壞吧」到自動化的未來：08 MLOps 系統功能設計 - 開發篇

技術 從「這次不會壞吧」到自動化的未來：07 套件的選擇

技術 從「這次不會壞吧」到自動化的未來：06 MLOps 系統的基本功能需求

技術 從「這次不會壞吧」到自動化的未來：05 MLOps 導入優缺點比較

技術 從「這次不會壞吧」到自動化的未來：04 導入 MLOps 的兩種場景

技術 從「這次不會壞吧」到自動化的未來：03 機器學習(ML)開發流程介紹

技術 從「這次不會壞吧」到自動化的未來：02 MLOps 定義

技術 從「這次不會壞吧」到自動化的未來：01 緣起

技術 [Day 1] 系列文介紹和規劃大綱

技術 [Day 30] - 打完收工 🫰｜Rust 加 MLOps，你說有沒有搞頭？

技術 [Day 29] - 期末專欄 🎞️ | Rust 是資料分析的未來嗎？

技術 [Day 28] - 預測服務 🚀 (下) | Rust x Docker 部署鋼鐵草泥馬 🦙🦀

技術 [Day 27] - 預測服務 🚀 (上) | ML 系統設計 🏭

技術 [Day 26] - 模型開發 🧠 (下) | Rust x PyTorch 模型訓練與輸出 🦀

技術 [Day 25] - 模型開發 🧠 (上) | ML 系統設計 🏭

技術 [Day 24] - 資料處理和特徵工程 🔢 (下) | Rust x Jupyter 資料工程 🦀

標記使用者

技術從「這次不會壞吧」到自動化的未來：22 為什麼需要資料管理工具？DagsHub 與 DVC 怎麼選？

技術從「這次不會壞吧」到自動化的未來：21 CNN 模型訓練 MLDM + MLDE

技術從「這次不會壞吧」到自動化的未來：20 從前處理到模型訓練，都在版控環境中？

技術從「這次不會壞吧」到自動化的未來：19 所以模型版本控制工具怎麼選？

技術從「這次不會壞吧」到自動化的未來：18 模型版本控制 - MLflow

技術從「這次不會壞吧」到自動化的未來：17 模型版本控制 - Weight&Biases

技術從「這次不會壞吧」到自動化的未來：16 模型版本控制 - Tensorboard

技術從「這次不會壞吧」到自動化的未來：15 建模前，要思考的事

技術從「這次不會壞吧」到自動化的未來：14 以 HPE MLDM 實作 MLOps 資料版本控制 - 2

技術從「這次不會壞吧」到自動化的未來：13 以 HPE MLDM 實作 MLOps 資料版本控制 - 1

技術從「這次不會壞吧」到自動化的未來：12 為什麼我們需要資料版本控制？

技術從「這次不會壞吧」到自動化的未來：11 為什麼我們需要資料版本控制？

技術從「這次不會壞吧」到自動化的未來：09 MLOps 系統功能設計 - 自動化篇

技術從「這次不會壞吧」到自動化的未來：08 MLOps 系統功能設計 - 開發篇

技術從「這次不會壞吧」到自動化的未來：07 套件的選擇

技術從「這次不會壞吧」到自動化的未來：06 MLOps 系統的基本功能需求

技術從「這次不會壞吧」到自動化的未來：05 MLOps 導入優缺點比較

技術從「這次不會壞吧」到自動化的未來：04 導入 MLOps 的兩種場景

技術從「這次不會壞吧」到自動化的未來：03 機器學習(ML)開發流程介紹

技術從「這次不會壞吧」到自動化的未來：02 MLOps 定義

技術從「這次不會壞吧」到自動化的未來：01 緣起