iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 2441 瀏覽

鐵人賽 AI & Data DAY 22

談MLOps - 模型、專案架構、產品化及維運系列第 22 篇

技術 MLOps在金融產業：模型監控(資料漂移與特徵漂移)

線上模型的偏差漂移 Amazon SageMaker Clarify 偏差監控的功能可以幫助資料科學家和機器學習工程師定期監控偏差預測。這些報告可以在SageM...

bymiachang ‧ 2021-09-22 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 4946 瀏覽

鐵人賽 AI & Data DAY 7

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ) 系列第 7 篇

技術 [Day 07] 使用 fastAPI 部署 YOLOv4 (1/2) — 以內建 Client 進行互動

前言我們花了將近一周的時間來介紹部署深度學習模型背後的概念，我想大家應該很想知道究竟該怎麼實作，所以今天就來動動手吧。這部分的程式碼主要規劃為在本機端執行，所...

chihying ‧ 2021-09-22

0 Like 0 留言 3330 瀏覽

鐵人賽 AI & Data DAY 23

從 AI 落地談 MLOps 系列第 23 篇

技術 Day 23 : 模型分析 TensorFlow Model Analysis (TFMA)

模型分析 TFMA 介紹過往我們關注模型的訓練結果，會追蹤該模型在每次 epochs 之後的 AUC 、 ACC、 loss 等指標變化，並且以視覺化繪圖...

威利斯 ‧ 2021-09-23

0 Like 0 留言 1120 瀏覽

鐵人賽 AI & Data DAY 21

談MLOps - 模型、專案架構、產品化及維運系列第 21 篇

技術 MLOps在金融產業：關於ML系統監控的why, what, how

我們常常聽到，在一個ML專案當中，會需要做各種的資料監控。這些資料監控包含哪些呢？開發流程在開發流程當中，不管是資料、程式碼、模型，都會需要透過版本控制監...

bymiachang ‧ 2021-09-21 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 1782 瀏覽

鐵人賽 AI & Data DAY 6

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ) 系列第 6 篇

技術 [Day 06] 監控、維護 — 自己開一家徵信社吧!

大家好，在開始之前先祝大家中秋節快樂~~ 監控 (Monitor) 最常見的監控方法為儀表板 (Dashboard)，依照專案可選擇適當的監控指標，而監控指標的...

chihying ‧ 2021-09-21

1 Like 0 留言 19847 瀏覽

鐵人賽 AI & Data DAY 22

從 AI 落地談 MLOps 系列第 22 篇

技術 Day 22 : 模型優化 - 知識蒸餾 Knowledge Distillation

什麼是知識蒸餾 Knowledge Distillation 知識蒸餾 Knowledge Distillation 為模型壓縮技術，其中 student 模...

威利斯 ‧ 2021-09-22

0 Like 0 留言 1974 瀏覽

鐵人賽 AI & Data DAY 20

談MLOps - 模型、專案架構、產品化及維運系列第 20 篇

技術 MLOps在金融產業：模型的可解釋性與公平性

有一些模型像是邏輯回歸和決策樹，背後運作的原因相當簡單明瞭，容易解釋模型是如何得出其輸出的。但隨著更多特徵的添加或更複雜的機器學習模型的使用，可解釋性變得更加困...

bymiachang ‧ 2021-09-20 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 1 留言 8622 瀏覽

鐵人賽 AI & Data DAY 21

從 AI 落地談 MLOps 系列第 21 篇

技術 Day 21 : 模型優化 - 剪枝 Pruning

如果說可以讓模型縮小10倍，精度還維持水準，這是什麼巫術? 延續 Day 20 的模型優化作法，本次再結合剪枝技術做到更輕量的模型效果。什麼是剪枝 Pru...

威利斯 ‧ 2021-09-21

0 Like 0 留言 2536 瀏覽

鐵人賽 AI & Data DAY 5

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ) 系列第 5 篇

技術 [Day 05] 部署模式 — 我的模型叫崔弟

常見部署情況根據需求不同，有不一樣的部署模式，常見的情況如下：提供新的產品/功能：常用的設計模式為先從少量的預測開始驗證，再慢慢增加流量 (traffic...

chihying ‧ 2021-09-20

0 Like 0 留言 1675 瀏覽

鐵人賽 AI & Data DAY 19

談MLOps - 模型、專案架構、產品化及維運系列第 19 篇

技術 MLOps在金融產業：看懂金融審計如何導入ML專案(附所需文件清單)

在algorithmia的 2021 年報告顯示，大多數組織在機器學習方面面臨一定程度的監管負擔，67% 的組織必須遵守多項法規。這些法規包含ISO, OCC,...

bymiachang ‧ 2021-09-19 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

1 Like 0 留言 4369 瀏覽

鐵人賽 AI & Data DAY 4

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ) 系列第 4 篇

技術 [Day 04] 部署模型的挑戰 — 資料也懂超級變變變!?

部署模型有兩個主要的挑戰，事實上這兩個挑戰隱含了機器學習產品生命週期裡的 "部署 (Deploy in production)" 與 &qu...

chihying ‧ 2021-09-19

0 Like 0 留言 16083 瀏覽

鐵人賽 AI & Data DAY 20

從 AI 落地談 MLOps 系列第 20 篇

技術 Day 20 : 模型優化 - 訓練後量化 Post Training Quantization

當我們訓練模型需要部署在硬體較為受限的智慧型裝置、IOT設備，模型運算在吃緊的硬體資源中顯得笨重，此時可以採取模型優化策略改進。量化 Quantizatio...

威利斯 ‧ 2021-09-20

0 Like 0 留言 1355 瀏覽

鐵人賽 AI & Data DAY 18

談MLOps - 模型、專案架構、產品化及維運系列第 18 篇

技術 MLOps在金融產業: 4個步驟建立安全ML環境

在前面的MLOps在金融產業：常見案例與工作流程文章當中，曾經提到，在金融業當中的MLOps可帶來的規範文件、常見工作流程。今天將針對提供安全的機器學習環境來...

bymiachang ‧ 2021-09-18 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 4852 瀏覽

鐵人賽 AI & Data DAY 19

從 AI 落地談 MLOps 系列第 19 篇

技術 Day 19 : 深度學習(神經網絡)自動建模術 - AutoMLs

隨著 ML/DL 模型研究屢有突破，現今模型訓練成果已經相當具有水準，但如果需要藉由手動選擇最佳的模型確實較花時間，因此已經出現取多自動化機械學習 AutoM...

威利斯 ‧ 2021-09-19

0 Like 0 留言 1409 瀏覽

鐵人賽 AI & Data DAY 17

談MLOps - 模型、專案架構、產品化及維運系列第 17 篇

技術 MLOps在金融產業：常見案例與工作流程

在金融產業的ML 在algorithmia的2021 年企業機器學習趨勢調查顯示，關於客戶體驗跟流程自動化的案例，其中幾個比較顯著的，像是改進客戶體驗、增進客戶...

bymiachang ‧ 2021-09-17 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 3103 瀏覽

鐵人賽 AI & Data DAY 3

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ) 系列第 3 篇

技術 [Day 03] 機器學習產品生命週期 — 救救我啊我救我

MLOps is an emerging discipline and comprises a set of tools and principles to ...

chihying ‧ 2021-09-18

0 Like 0 留言 7875 瀏覽

鐵人賽 AI & Data DAY 18

從 AI 落地談 MLOps 系列第 18 篇

技術 Day 18 : 深度學習(神經網絡)自動調參術 - KerasTuner

接續將關注焦點來到 Model 的主題，在您閱讀本系列文章之前，您或許已有建模經驗，在用於生產的機械學習情境，手動調參優化模型與資料是耗費人時的吃重工作，自動...

威利斯 ‧ 2021-09-18

0 Like 0 留言 2081 瀏覽

鐵人賽 AI & Data DAY 2

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ) 系列第 2 篇

技術 [Day 02] Why MLOps — 從"地平說" 走向宇宙

Machine learning is now a product engineering discipline. — Josh Tobin 全端深度學習...

chihying ‧ 2021-09-17

0 Like 0 留言 1893 瀏覽

鐵人賽 AI & Data DAY 1

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ) 系列第 1 篇

技術 [Day 01] 前言 — 是誰殺了模型?

緣起不知道大家是否有這樣的經驗，買了一本標榜手把手教學的書，隨書附贈的 GitHub 頁面上有與每個章節搭配的 Jupyter Notebook，有些甚至還有...

chihying ‧ 2021-09-16

0 Like 0 留言 15190 瀏覽

鐵人賽 AI & Data DAY 17

從 AI 落地談 MLOps 系列第 17 篇

技術 Day 17 : 用於生產的機械學習 - 特徵選擇 Feature Selection

特徵選擇是機器學習中的核心概念之一，不相關或部分相關的特徵會對模型性能產生負面影響，也會有效能的問題，適當的挑選與目標變量最相關的特徵集，有助降低模型的複雜性，...

威利斯 ‧ 2021-09-17

0 Like 0 留言 1678 瀏覽

鐵人賽 AI & Data DAY 16

談MLOps - 模型、專案架構、產品化及維運系列第 16 篇

技術案例：MLOps在醫療產業(下) - 3個局限性與4個學習要點

跟AI/ML 有關的監管考量在前一篇的文章指出，在醫療產業中的監管文獻有兩篇。然而這兩篇的內容其實都不是針對ML的案例而寫的。在MDCG的另一個規範MDR/I...

bymiachang ‧ 2021-09-16 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 1822 瀏覽

鐵人賽 AI & Data DAY 15

談MLOps - 模型、專案架構、產品化及維運系列第 15 篇

技術案例：MLOps在醫療產業(上) - 5個常見案例與3個風險來源

隨著生物醫學數據的增加，機器學習可以提供各式服務來幫助人類。常見的案例像是：診斷問題、藥物發明、虛擬醫療保健等。在醫療產業推機器學習的服務，會遇到哪些常見的監管...

bymiachang ‧ 2021-09-15 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 1822 瀏覽

鐵人賽 AI & Data DAY 16

從 AI 落地談 MLOps 系列第 16 篇

技術 Day 16 : 特徵工程 tf.Tramsform 實作

接續 Day 15 的 tf.Tramsform 介紹，今日進行實作，先以TensorFlow Transform 預處理數據的入門範例作為演示過程，官方 C...

威利斯 ‧ 2021-09-16

0 Like 0 留言 1233 瀏覽

鐵人賽 AI & Data DAY 14

談MLOps - 模型、專案架構、產品化及維運系列第 14 篇

技術案例：AWS MLOps Framework - AWS CloudFormation 模板，部署單帳號版本

此解決方案使用 AWS CloudFormation 來自動化部署。它包括以下兩個模板 — 單帳戶部署選項和多帳戶部署選項。接下來我們簡單認識一下AWS Clo...

bymiachang ‧ 2021-09-14 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 1869 瀏覽

鐵人賽 AI & Data DAY 15

從 AI 落地談 MLOps 系列第 15 篇

技術 Day 15 : 特徵工程 tf.Tramsform 介紹

特徵工程是機械學習相當重要的一環，有處理數據以及實行 ML/DL 任務經驗者對特徵工程一定不陌生，一般來說常以 Pandas 及 Sklearn 完成任務，也...

威利斯 ‧ 2021-09-15

0 Like 0 留言 1378 瀏覽

鐵人賽 AI & Data DAY 13

談MLOps - 模型、專案架構、產品化及維運系列第 13 篇

技術案例：AWS MLOps Framework - 成本、架構概覽

昨天看到了AWS MLOps Framework的兩個方案的架構圖，以及解決方案簡介之後，今天想討論的是成本(該解決方案的費用)、哪些工具可以用來估算費用、費用...

bymiachang ‧ 2021-09-13 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 3339 瀏覽

鐵人賽 AI & Data DAY 14

從 AI 落地談 MLOps 系列第 14 篇

技術 Day 14 : 資料驗證 TensorFlow Data Validation (TFDV)

資料是機械學習重要的核心，用於生產的機械學習必須考量大量且快速的資料情境，使用自動化、可擴展的資料分析、驗證以及監控方法相當重要。 TensorFlow Dat...

威利斯 ‧ 2021-09-14

0 Like 0 留言 2036 瀏覽

鐵人賽 AI & Data DAY 12

談MLOps - 模型、專案架構、產品化及維運系列第 12 篇

技術案例：AWS MLOps Framework - 解決方案介紹

在AWS solutions library你可以找到數十份各式各樣的解決方案參考文件，在這個解決方案圖書館，每一個解決方案都有提供自動部署的文件，讓你可以一鍵...

bymiachang ‧ 2021-09-12 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞

0 Like 0 留言 2010 瀏覽

鐵人賽 AI & Data DAY 13

從 AI 落地談 MLOps 系列第 13 篇

技術 Day 13 : 弱監督式標註資料 Snorkel (視覺關係偵測篇)

接續 Day 12的弱監督式 Snorkel 範例，今天再花點時間示範用 Snorkel 標註影像資料。 Snorkel 透過簡易廣泛的程式撰寫判斷邏輯後，交...

威利斯 ‧ 2021-09-13

1 Like 0 留言 2177 瀏覽

鐵人賽 AI & Data DAY 11

談MLOps - 模型、專案架構、產品化及維運系列第 11 篇

技術案例：在AWS上透過SageMaker跟CodePipeline駕馭MLOps的參考架構(下)

接續上一篇關於專案參加角色與pipeline的介紹，這一篇繼續談論每一區塊需要的服務以及如何依照使用情境的順序將各服務串接。＊圖片來源：使用 MLOps 在...

bymiachang ‧ 2021-09-11 ‧團隊能去健身房後發現硬舉退步一百公斤的五隻雞