為什麼需要資料管理工具 隨著開發過程持續推進，通常會產生大量版本的程式碼，並需要使用版本控制工具追蹤這些程式碼，以利後續維護。除了程式碼，訓練資料也需要進行版本...
今天我們會使用 MLDM + MLDE 來進行貓狗圖片分類的卷積神經網路（Convolutional Neural Network，CNN）模型訓練，並進行以下...
過去在 DL 模型的開發過程中，要追蹤大量的資料和實驗結果可能需要結合多項工具，形成較高的學習成本；針對這些問題，HPE 推出 MLDM、MLDE 作為解決方案...
這幾天的文章主要分享三個頗受好評的模型實驗管理工具，市面上還有很多類似的工具，這些工具各有特色與強項，團隊可視情況選擇好維護的工具。 這些工具的目的都是在幫助團...
相較於 Tensorboard 與 Weight&Biases，MLflow 更著重於「公司內部的多人專案」的實驗管理上，主要讓工程師自己建立屬於公司內...
大致功能與 Tensorboard 相同，但是整合了更多的深度學習(Llamaindex、Langchain、HuggingFace…)與機器學習(Sciki...
Tensorboard 算是深度學習早期最著名的實驗管理工具，至今依然十分熱門，它主打幾個功能： 視覺化的方式呈現模型訓練的Loss曲線和評估指標 視覺化的方...
我們知道在做模型建立、模型驗證的時候需要思考以下幾個問題： 多人協作如何紀錄分析每位協作者的實驗紀錄，如何從眾多的實驗紀錄中快速比較出預測效果最好的模型？ 當...
上傳資料到 Repository 先執行以下指令來將範例檔案 0050.csv 上傳到 Repository： (mldm) aif@aif % pachctl...
今天的文章將接續昨天的內容，說明具體來說，如何透過 HPE MLDM 讓資料前處理工作自動化，以及使用內建的版控功能，管理大量資料與前處理程式。 實作 接著我們...
為什麼我們需要資料版本控制？ 在開發過程中，隨著時間的推移，團隊常常因為模型效能或其他考量，不斷更新訓練資料，最後累積出大量版本。想像一個情境：在增加一些訓練資...
最近看到一些文章討論【Math. for programmers】，談到程式設計師要具備的數學素養，尤其是AI盛行後，許多數學與統計學科開始影響我們，例如下圖：...
前言 hi~各位恭喜脫離了痛苦的前兩周 相信跟者學習的你，一定也有所收穫今天我會選標題這六大主題(excel處理、爬蟲、Powerbi整合、網頁應用程式、自動化...
在開發過程中，隨著時間的推移，團隊常常因為模型效能或其他考量，不斷更新訓練資料，最後累積出大量版本。想像一個情境：在增加一些訓練資料後，模型就訓練不起來了，這時...
部署時會用到的功能設計 部署時的功能主要就是要將模型推論的功能建立成 API 讓使用者或其他服務可以調用，這個部分與一般的 API 開發基本相同，開發團隊可以使...
自動化時會用到的功能設計 在完成一個模型後，也可以選擇是否要加入自動化利用新資料定期更新的功能，如果當前的專案還不需要這項功能，想要直接將模型部署上線，那麼就可...
在昨天的文章中，描述了機器學習開發專案的流程，大致可分成三個部分： 從資料處理到模型驗證的「開發」 將開發模型訓練做排程處理的「自動化」 將模型上線使用的「部...
其實，選擇套件並不是一件困難的事，無非就是根據需求、經費等因素考量後，按圖索驥選出適合團隊的工具而已。以下將簡單列舉挑選特定套件的原因，讀者可以根據團隊需求自由...
在設計 MLOps 系統時，主要會以開發團隊目前的機器學習專案開發流程為基礎，並以此設計系統。下圖是一般常見的模型開發流程，可以看到在取得原始資料後，會先做不同...
CDF 基金會 MLOps 小組的白皮書中不斷提到，MLOps is not "putting Jupyter Notebooks into prod...
以昨天討論的內容為例，我們可以讓每個流程都變成自動化。以下分成兩種場景來說明有哪些部分可以利用 MLOps 的工具讓流程更快速便捷，場景為實驗階段及佈署階段：...
如上圖所示，在選定一個適合以 AI 解決的題目後，我們會進行資料的前處理與模型開發。當模型完成開發後，則會進行驗證，如果模型通過驗收可上線的標準，就會進行佈署...
一個月學會Python? chatgpt是這樣跟我說的XD 以下是 ChatGPT 為此次比賽制定的時間規劃與內容安排： 主題選擇： 先確定您要撰寫的...
MLOps 是 ML （Machine Learning，機器學習） 加上 DevOps 的概念；DevOps 又是由 Development （開發） 加上...
跟著步驟走，你的chatgpt也可以一起參賽！ 1.請chatgpt扮演角色： 科技專家＋專欄作家＋比賽評審 角色定位： 科技專家：我會根據當前的 IT...
前言 day16、17我們快速的介紹Diagram as Code函式庫的API，並且介紹常見的幾個元件以及可以客製化的屬性，現在我們打算將此函式庫的API以及...
隨著 AI 和機器學習技術的快速發展，企業面臨的挑戰不僅僅是開發出高效的模型，還包括如何快速、安全地將這些模型部署到生產環境中並持續監控和優化。這正是 MLOp...
前言 兩年前我也曾經參加過 iThome 舉辦的鐵人賽（當時的系列文：那些在科技公司和 app 背後的資料科學），當時的我才剛畢業，甫入職場，對機器學習專案的想...
前言 人工智慧 (AI) 是當前科技界的熱門話題，但許多人對它的理解還存在著廣泛的誤區和模糊認知。以我的工作經驗為例，我常發現市調研究報告顯示 AI 產品的年複...
參考資料 : PDF投影片及程式碼 : 2024_iThome_DNN_Security
aif_tw
I code so I am
roni
wenting_uwu1212
jay0810
Min
籃板工程師之 AI 戰神
aeifkz
iThome鐵人賽
看影片追技術