iT邦幫忙

mlops相關文章
共有 144 則文章
鐵人賽 AI & Data DAY 30

技術 [Day 30] 完賽心得 — 大家可以回家啦

完賽心得 轉眼間就過了 30 天啦,第一次參賽有夠菜沒想到還能迎來這一天。要堅持每天發文真的很考驗意志力 (也大大考驗了我的 PPT 作圖技術哈哈哈),期間還經...

鐵人賽 AI & Data DAY 28
從 AI 落地談 MLOps 系列 第 28

技術 Day 28 : 用於生產的機械學習 TensorFlow Extended (TFX) 介紹

什麼是 TensorFlow Extended (TFX) TensorFlow Extended (TFX) 是端對端平台,可部署於用於生產環境中的機器學習...

鐵人賽 AI & Data DAY 12
從 AI 落地談 MLOps 系列 第 12

技術 Day 12 : 弱監督式標註資料 Snorkel (spam 入門篇)

當您需要更高效率標註大量資料時,人工標註不符合自動化的機械學習需求,採用靠著程式寫條件就分類完成的 Snokel 就可以參考。 而且在2021年 AI 台灣人...

鐵人賽 AI & Data DAY 3
從 AI 落地談 MLOps 系列 第 3

技術 Day 03 : ML in Production 的挑戰

在 Day2 提到什麼是用於生產的機械學習 ML in Production ,今天來談用於生產的機械學習所遇到的挑戰,主要挑戰包含: 要是整合性的機械學習系...

鐵人賽 AI & Data DAY 17

技術 資料領域需要什麼都來點 Ops:DevOps, DataOps, MLOps, AIOps

各種 Ops 是傳統組織架構崩解的號角 傳統功能性部門的分工方式容易造成資訊孤島,卻又為了企業營運活動而必須合作。純專案組織不用跨部門合作了,不必分享資訊也不必...

鐵人賽 AI & Data DAY 12

技術 [Day 12] Error analysis — 錯誤中學會成長 (咩噗)

To me, error analysis is the sweet spot for improvement. — Donald A. Norman 前言...

鐵人賽 AI & Data DAY 14
從 AI 落地談 MLOps 系列 第 14

技術 Day 14 : 資料驗證 TensorFlow Data Validation (TFDV)

資料是機械學習重要的核心,用於生產的機械學習必須考量大量且快速的資料情境,使用自動化、可擴展的資料分析、驗證以及監控方法相當重要。 TensorFlow Dat...

鐵人賽 AI & Data DAY 21

技術 [Day 21] 資料標註 (2/2) — 各種標註方法

子曰:『工欲善其事,必先利其器。 前言 昨天提到依照 Ground truth 改變的速度會讓不同任務的標註有各種難易度:而依照不同的難度會有不同的標註方法...

鐵人賽 AI & Data DAY 1

技術 學習MLOps前暖身操:why, what, who?

接下來的30天,我們會一起看MLOps的更多層面。從為什麼產業開始談MLOps開始,以及其包含的技術與非技術面。今天我想談的是關於學習mlops前必備的3個背景...

鐵人賽 AI & Data DAY 29

技術 [Day 29] Final Project (5/5) — 部署 App 到 Google App Engine

前情提要 昨天我們成功將模型部署到 Google AI Platform 上,並且也處理了授權的問題,最後讓 App 成功的運作了,今天我們要完成最後一個步驟...

鐵人賽 AI & Data DAY 23
從 AI 落地談 MLOps 系列 第 23

技術 Day 23 : 模型分析 TensorFlow Model Analysis (TFMA)

模型分析 TFMA 介紹 過往我們關注模型的訓練結果,會追蹤該模型在每次 epochs 之後的 AUC 、 ACC、 loss 等指標變化,並且以視覺化繪圖...

鐵人賽 AI & Data DAY 10

技術 案例:在AWS上透過SageMaker跟CodePipeline駕馭MLOps的參考架構(上)

在經歷了幾篇的MLOps基礎概念之後,想在後面的文章帶大家看看幾個案例。透過案例來學習,會對專案在技術上的架構全貌更清楚。今天選的案例是這篇:Taming Ma...

鐵人賽 DevOps DAY 15
30 Days of MLOps 系列 第 15

技術 tf.saved_model 命名空間下的類別

文章範例是使用 Tensorflow 2.3 version 實在忍不住小小抱怨一下 Tensorflow 的文件實在太糟了,連官方 Repo 裡的範例都...

鐵人賽 DevOps DAY 3
30 Days of MLOps 系列 第 3

技術 Machine Learning 生命週期 - 30 Days of MLOps

在進行 Machine Learning 自動化架構之前,我們至少要了解整個 Machine Learning 開發週期需要做哪些事,哪些是手動處理的,是否有機...

鐵人賽 AI & Data DAY 29
從 AI 落地談 MLOps 系列 第 29

技術 Day 29 : 用於生產的 TensorFlow Extended (TFX) 實作

用於生產的機械學習系統,在 Day 28 介紹 TensorFlow Extended (TFX) 解決方案,是專門用於可擴充的高效能機器學習工作,包括建立模...

鐵人賽 DevOps DAY 4

技術 [前置]MLOps名詞解釋與架構設計

這邊要提到MLOps,是因為我們接下來要為ROS系統設計的虛實整合環境,需要一個自動化的部署流程,方便我們去做AI model的training以及訓練後資料的...

鐵人賽 AI & Data DAY 6

技術 從AWS技術白皮書看MLOps解決方案

在談過MLOps在廣泛的定義,以及拆分成團隊、技術、流程三個面向之後。想必大家也開始思考,一個好的專案和解決方案應該要長什麼樣子,有沒有哪些規範可以參考、有沒有...

鐵人賽 AI & Data DAY 11

技術 案例:在AWS上透過SageMaker跟CodePipeline駕馭MLOps的參考架構(下)

接續上一篇關於專案參加角色與pipeline的介紹,這一篇繼續談論每一區塊需要的服務以及如何依照使用情境的順序將各服務串接。 *圖片來源:使用 MLOps 在...

鐵人賽 AI & Data DAY 2

技術 3面向談ML產品與軟體產品的相異處

在過去的5-7年當中,ML已經不再只限於研究人員能夠接觸、使用,越來越多的AI/ML工具以及產品出現,使得能夠談論這個領域的人變多了,踏入ML工作的門檻也逐漸降...

鐵人賽 AI & Data DAY 27

技術 [Day 27] Final Project (3/5) — 讓 App 在本機端運行

Prerequisites 為了讓接下來的步驟可以順利進行,我們首先要完成以下的前置作業,但因為每個人的作業系統不同 (當然最好是使用 Linux) 所以這裡不...

鐵人賽 AI & Data DAY 5

技術 [Day 05] 部署模式 — 我的模型叫崔弟

常見部署情況 根據需求不同,有不一樣的部署模式,常見的情況如下: 提供新的產品/功能:常用的設計模式為先從少量的預測開始驗證,再慢慢增加流量 (trafic)...

鐵人賽 AI & Data DAY 3

技術 寫給MLOps人才培育苦手 | MLOps落地指南 - 團隊篇

當理解MLOps的定義、以及ML專案與軟體專案的差別之後,接下來我想談談如何再把MLOps往下切分成幾個面向,讓公司的決策人員能夠從大方向往下切分細節,開始落地...

鐵人賽 AI & Data DAY 28

技術 [Day 28] Final Project (4/5) — 部署模型到 Google AI Platform

前情提要 昨天我們成功的讓 App 在本機端運作,但按下 開始預測! 後卻出現了錯誤: 這意味著雖然 App 試圖使用 ironbird/app.py 與 ir...

鐵人賽 DevOps DAY 1
30 Days of MLOps 系列 第 1

技術 序 - 30 Days of MLOps

最近因為工作的關係,看了許多 MLOps 的影片,身為一個工程師,終極目標就是要把它建構起來,但是畢竟我是後端工程師,對於 AI 的部分我只能算是初學者等級,這...

鐵人賽 AI & Data DAY 9

技術 DevOps在MLOps當中的角色

我們在前面的寫給MLOps人才培育苦手談論到MLOps是一個需要大家通力合作的一項專案,除了該專案帶來資訊和商業的影響力,在技術上也屬於比較前緣、大部分的團隊都...

鐵人賽 AI & Data DAY 2

技術 [Day 02] Why MLOps — 從"地平說" 走向宇宙

Machine learning is now a product engineering discipline. — Josh Tobin 全端深度學習...

鐵人賽 AI & Data DAY 1

技術 [Day 01] 前言 — 是誰殺了模型?

緣起 不知道大家是否有這樣的經驗,買了一本標榜手把手教學的書,隨書附贈的 GitHub 頁面上有與每個章節搭配的 Jupyter Notebook,有些甚至還有...

鐵人賽 AI & Data DAY 8

技術 MLOps專案關於安全性與合規性的10件注意事項

在ML的專案中,從資料的收集、建構模型、測試到部署到產品。這個流程除了需要自動化之外,也需要保有該行業或者市場所需的規範。從企業的管理層面來說,知道要把模型的建...

鐵人賽 AI & Data DAY 9
從 AI 落地談 MLOps 系列 第 9

技術 Day 09 : 用於生產的機械學習 - 定義範疇 Scope

在 Day 05 ML 專案生命週期介紹分為 4 個階段與 7 大主題,第 1 個階段為「定義範疇 Scoping」,相較其他 3 個階段,Scoping 較...

鐵人賽 DevOps DAY 7
30 Days of MLOps 系列 第 7

技術 解析 Tensorflow Serving 的 Docker file - 30 Days of MLOps

docker hub: https://hub.docker.com/r/tensorflow/serving/tags/ git clone https://...