前言 hi~各位恭喜脫離了痛苦的前兩周 相信跟者學習的你,一定也有所收穫今天我會選標題這六大主題(excel處理、爬蟲、Powerbi整合、網頁應用程式、自動化...
在開發過程中,隨著時間的推移,團隊常常因為模型效能或其他考量,不斷更新訓練資料,最後累積出大量版本。想像一個情境:在增加一些訓練資料後,模型就訓練不起來了,這時...
部署時會用到的功能設計 部署時的功能主要就是要將模型推論的功能建立成 API 讓使用者或其他服務可以調用,這個部分與一般的 API 開發基本相同,開發團隊可以使...
自動化時會用到的功能設計 在完成一個模型後,也可以選擇是否要加入自動化利用新資料定期更新的功能,如果當前的專案還不需要這項功能,想要直接將模型部署上線,那麼就可...
在昨天的文章中,描述了機器學習開發專案的流程,大致可分成三個部分: 從資料處理到模型驗證的「開發」 將開發模型訓練做排程處理的「自動化」 將模型上線使用的「部...
其實,選擇套件並不是一件困難的事,無非就是根據需求、經費等因素考量後,按圖索驥選出適合團隊的工具而已。以下將簡單列舉挑選特定套件的原因,讀者可以根據團隊需求自由...
在設計 MLOps 系統時,主要會以開發團隊目前的機器學習專案開發流程為基礎,並以此設計系統。下圖是一般常見的模型開發流程,可以看到在取得原始資料後,會先做不同...
CDF 基金會 MLOps 小組的白皮書中不斷提到,MLOps is not "putting Jupyter Notebooks into prod...
以昨天討論的內容為例,我們可以讓每個流程都變成自動化。以下分成兩種場景來說明有哪些部分可以利用 MLOps 的工具讓流程更快速便捷,場景為實驗階段及佈署階段:...
如上圖所示,在選定一個適合以 AI 解決的題目後,我們會進行資料的前處理與模型開發。當模型完成開發後,則會進行驗證,如果模型通過驗收可上線的標準,就會進行佈署...
一個月學會Python? chatgpt是這樣跟我說的XD 以下是 ChatGPT 為此次比賽制定的時間規劃與內容安排: 主題選擇: 先確定您要撰寫的...
MLOps 是 ML (Machine Learning,機器學習) 加上 DevOps 的概念;DevOps 又是由 Development (開發) 加上...
跟著步驟走,你的chatgpt也可以一起參賽! 1.請chatgpt扮演角色: 科技專家+專欄作家+比賽評審 角色定位: 科技專家:我會根據當前的 IT...
前言 day16、17我們快速的介紹Diagram as Code函式庫的API,並且介紹常見的幾個元件以及可以客製化的屬性,現在我們打算將此函式庫的API以及...
隨著 AI 和機器學習技術的快速發展,企業面臨的挑戰不僅僅是開發出高效的模型,還包括如何快速、安全地將這些模型部署到生產環境中並持續監控和優化。這正是 MLOp...
前言 兩年前我也曾經參加過 iThome 舉辦的鐵人賽(當時的系列文:那些在科技公司和 app 背後的資料科學),當時的我才剛畢業,甫入職場,對機器學習專案的想...
前言 人工智慧 (AI) 是當前科技界的熱門話題,但許多人對它的理解還存在著廣泛的誤區和模糊認知。以我的工作經驗為例,我常發現市調研究報告顯示 AI 產品的年複...
參考資料 : PDF投影片及程式碼 : 2024_iThome_DNN_Security
Install Visual Studio Coderef: https://code.visualstudio.com1 Download and Insta...
前言 今天(2023/11/18)馬英九基金會公布藍白合民意調查的統計結果,雙方未達成共識,癥結點在於統計誤差認知有不同見解,到底統計誤差應該是3%或6%,我們...
29天啦!之前實作分類器的時候有用到混淆矩陣,今天也來寫一下相關筆記 混淆矩陣(confusion matrix) 可以用來評估分類模型的準確率 混淆...
續上一篇機器學習 挑戰 - Day 8 我想使用最後一篇文章來回顧我在第0天的原始計劃以及實際所做的事情。 回報時間框架: 日內交易(每日)- 我主要關注每日...
再續昨天!今天的筆記把論文剩餘的部分整理完 Hard negative mining 難例挖掘 由於存在大量的負樣本,所以導致嚴重的類別不平衡問題,訓練時...
續上一篇機器學習 挑戰 - Day 7 scikit-learn - 用於構建分類器的最基本的機器學習算法這是 Python 中最廣為人知的機器學習模組,主要用...
接續作天,今天講訓練相關策略及方法 training Matching strategy 匹配策略 利用jaccard overlap使ground tr...
續上一篇機器學習 挑戰 - Day 6 我想要研究一下可否加入多項其他變數來預測未來價格。 在尋找資料時,意外發現有Pytrend這個API可導入。什麼是 P...
續上一篇機器學習 挑戰 - Day 5,我們今天繼續詳細研究一下如何套用 tensorflow.keras.sequential 來預測BTC的價格。 我想嘗試...
今天是大概的概念,training等細節留到明天 VGG-16 SSD的架構是使用VGG-16 13個卷積層+3個全連接層+5個池化層 其卷基層均使用...
近年來自然語言處理(NLP)領域取得了巨大的進展,主要歸功於大型語言模型(LLM)的崛起。這些模型,如 GPT、LLaMA 和 BLOOM 等,已經在多個 NL...
續上一篇機器學習 挑戰 - Day 4,我們今天繼續詳細研究一下如何套用 tensorflow.keras.sequential 來預測BTC的價格。 首先,我...