iT邦幫忙

tensorflow相關文章
共有 240 則文章
鐵人賽 AI & Data DAY 6

技術 [Day 06] 特徵圖想讓人分群 ~模型們的遷移學習戰~ 第一季 (遷移學習)

前言 「指月錄」卷二十八有道: 「見山是山,見水是水;見山不是山,見水不是水;見山仍是山,見水仍是水。」 這乃是學習深度學習時三種不同的境界,從只看表面、看...

鐵人賽 AI & Data DAY 21
從 AI 落地談 MLOps 系列 第 21

技術 Day 21 : 模型優化 - 剪枝 Pruning

如果說可以讓模型縮小10倍,精度還維持水準,這是什麼巫術? 延續 Day 20 的模型優化作法,本次再結合剪枝技術做到更輕量的模型效果。 什麼是剪枝 Pru...

鐵人賽 AI & Data DAY 6

技術 【6】為什麼 Batch size 通常都是設成2的n次方

Colab連結 有沒有人發現幾乎每個在開源的專案上,Batch size 都是2的N次方,像32, 128, 256等,經過我在 stackoverflow 查...

鐵人賽 AI & Data DAY 20
從 AI 落地談 MLOps 系列 第 20

技術 Day 20 : 模型優化 - 訓練後量化 Post Training Quantization

當我們訓練模型需要部署在硬體較為受限的智慧型裝置、IOT設備,模型運算在吃緊的硬體資源中顯得笨重,此時可以採取模型優化策略改進。 量化 Quantizatio...

鐵人賽 AI & Data DAY 5

技術 【5】超參數 Batch size 與 Learning rate 的關係實驗

Colab連結 昨天探討了 Batch size 的問題和前天的 Warm-up 問題後,其實在我心中還是有個好奇的問題,也就是 Batch size 和 Le...

鐵人賽 AI & Data DAY 19
從 AI 落地談 MLOps 系列 第 19

技術 Day 19 : 深度學習(神經網絡)自動建模術 - AutoMLs

隨著 ML/DL 模型研究屢有突破,現今模型訓練成果已經相當具有水準,但如果需要藉由手動選擇最佳的模型確實較花時間,因此已經出現取多自動化機械學習 AutoM...

鐵人賽 AI & Data DAY 4

技術 【4】實驗 Batch size大小對訓練模型的影響

Colab連結 相信每個人在學習ML時,都會遇到超參數 Batch size 應該要設置多少才好的問題,一般大家在教科書上學到的大部分是:當 Batch siz...

鐵人賽 AI & Data DAY 18
從 AI 落地談 MLOps 系列 第 18

技術 Day 18 : 深度學習(神經網絡)自動調參術 - KerasTuner

接續將關注焦點來到 Model 的主題,在您閱讀本系列文章之前,您或許已有建模經驗,在用於生產的機械學習情境,手動調參優化模型與資料是耗費人時的吃重工作,自動...

鐵人賽 AI & Data DAY 3

技術 【3】訓練前先暖身 - 學習率 Warm-up 策略

Colab連結 Warm-up 訓練是由這篇 Paper 提出的一種方法,主要的想法是提供模型在正式訓練前,做一個類似暖機的動作,由於模型在初始狀態時,過高的學...

鐵人賽 AI & Data DAY 17
從 AI 落地談 MLOps 系列 第 17

技術 Day 17 : 用於生產的機械學習 - 特徵選擇 Feature Selection

特徵選擇是機器學習中的核心概念之一,不相關或部分相關的特徵會對模型性能產生負面影響,也會有效能的問題,適當的挑選與目標變量最相關的特徵集,有助降低模型的複雜性,...

鐵人賽 AI & Data DAY 2

技術 【2】學習率大小的影響與學習率衰減(Learning rate decay)

Colab連結 大家應該聽到爛了,學習率(Learning rate)指的是模型每做完一次 back propagation 後產生的 gradient 再乘上...

鐵人賽 AI & Data DAY 16
從 AI 落地談 MLOps 系列 第 16

技術 Day 16 : 特徵工程 tf.Tramsform 實作

接續 Day 15 的 tf.Tramsform 介紹,今日進行實作,先以TensorFlow Transform 預處理數據的入門範例 作為演示過程,官方 C...

鐵人賽 AI & Data DAY 1

技術 【1】做不做遷移式學習(Transfer Learning)的差異

關於: 本系列文將借用 Google 提供的 Colab 平台,在上面執行 30 個影像分類訓練任務,每個主題都會探討在不同的狀況或不同的超參數對於同一個任務會...

鐵人賽 AI & Data DAY 15
從 AI 落地談 MLOps 系列 第 15

技術 Day 15 : 特徵工程 tf.Tramsform 介紹

特徵工程是機械學習相當重要的一環,有處理數據以及實行 ML/DL 任務經驗者對特徵工程一定不陌生,一般來說常以 Pandas 及 Sklearn 完成任務,也...

鐵人賽 AI & Data DAY 14
從 AI 落地談 MLOps 系列 第 14

技術 Day 14 : 資料驗證 TensorFlow Data Validation (TFDV)

資料是機械學習重要的核心,用於生產的機械學習必須考量大量且快速的資料情境,使用自動化、可擴展的資料分析、驗證以及監控方法相當重要。 TensorFlow Dat...

鐵人賽 Mobile Development DAY 11

技術 在 React Native 裡實作 NSFW (Not suitable for work,工作場合不宜) 分類器

需求與場景 雖然我們的 App 為了怕麻煩,有要求 18+ 以上才能使用,但還是怕會有繞過這個限制的小孩在一對一聊天的場景,可以傳圖片。雖然大部分都非常健全,但...

鐵人賽 AI & Data DAY 11

技術 我們的基因體時代-AI, Data和生物資訊 Day11-基因療法中之腺病毒載體與機器學習

上一篇我們的基因體時代-AI, Data和生物資訊 Day10-基因療法中之腺病毒載體與機器學習分享基因治療中所使用的腺病毒相關病毒載體的改造使用機器學習的應用...

鐵人賽 AI & Data DAY 10
從 AI 落地談 MLOps 系列 第 10

技術 Day 10 : 用於生產的機械學習 - Data Define 與建立基準

接續介紹 ML 專案生命週期,本日說明第 2 階段「資料 Data」的工作流程,依其說法分為2大步驟,分別為「定義資料及建立基準」及「標註及特徵工程」。是4個...

鐵人賽 AI & Data DAY 2
從 AI 落地談 MLOps 系列 第 2

技術 Day 02 : 用於生產的機械學習 ML in Production

ML 就像孩子一樣,孩提時百般呵護,長大時不得不面對外界的殘酷。佈署到商務情境的 ML 模型,某方面像是放飛的孩子,既期待又怕受傷害,如果沒有持續的引導、學習、...

鐵人賽 AI & Data DAY 1
從 AI 落地談 MLOps 系列 第 1

技術 Day 01 : 這系列文在做什麼-緣起

前言 鐵人賽是磨練自己技術能力的指標,2020 年參加鐵人賽自我挑戰組的「用Line聊天機器人串起多媒體系統」系列文,以初學者/自學者或大學一年級選修課程的程...

技術 TensorFlow 學習地圖

前言 TensorFlow 在2.x版進行大幅度的改版,並且納入Keras後,整體的架構變得更加完整易用,但也造成學習路徑的多樣化,筆者整理一些K書心得分享如下...

技術 Day30 參加職訓(機器學習與資料分析工程師培訓班),Tensorflow.keras

今日教學CNN了解捲積層、池化層、平坦層、丟棄層各層相關係數的設定影響 捲基層: 積層是一組平行的特徵圖(feature map),它通過在輸入圖像上滑動不...

技術 Day22 參加職訓(機器學習與資料分析工程師培訓班),Python程式設計

今天教學os模組 import os filename = 'text.txt' if os.path.exists(filename): os.rem...

鐵人賽 AI & Data DAY 30

技術 Day 30:取代資料科學家 -- AutoKeras 入門

前言 AutoML 想要滿足普羅大眾的夢想,不用學習一堆的演算法,只要你指定工作類別,它就幫你找到最佳模型及最佳參數,當然包括預測結果,哇,這麼神,不一探究竟怎...

鐵人賽 DevOps DAY 15
30 Days of MLOps 系列 第 15

技術 tf.saved_model 命名空間下的類別

文章範例是使用 Tensorflow 2.3 version 實在忍不住小小抱怨一下 Tensorflow 的文件實在太糟了,連官方 Repo 裡的範例都...

鐵人賽 AI & Data DAY 29

技術 Day 29:深究強化學習

前言 前一篇介紹了強化學習初步的概念,並且採隨機策略測試一下,隨機等於沒有策略,這次我們實際擬定一些策略,說明強化學習的真正作法。之後再介紹各種演算法的進化及其...

鐵人賽 AI & Data DAY 28

技術 Day 28:從直覺的角度初探強化學習

前言 2016年AI圍棋軟體AlphaGo連續擊敗韓國及中國等世界頂尖的好手,使得它背後的演算法 -- 強化學習(Reinforcement Learning)...

鐵人賽 AI & Data DAY 27

技術 Day 27:使用Keras撰寫 生成式對抗網路(GAN)

前言 近年來,深度偽造(DeepFake)已經造成假影片氾濫,從剛開始的美國總統Obama的談話影片,到最近明星臉全部被套到各式的影片當中,真偽難辨,它根源的技...

鐵人賽 AI & Data DAY 26

技術 Day 26:Keras 自然語言處理(NLP)應用

前言 前一篇介紹了 RNN 的模型結構,接著我們來測試幾個完整的應用,藉以了解各個環節如何使用 Keras 撰寫,內容包括: 文字分類(Text Classi...

鐵人賽 AI & Data DAY 25

技術 Day 25:Keras 自然語言處理(NLP)實作

前言 自然語言處理主要是指文字(Text)相關的應用,例如: 文字分類(Text Classification):例如情緒分析(Sentiment Analy...