iT邦幫忙

第 12 屆 iT 邦幫忙鐵人賽

DAY 4
1
AI & Data

從零.4開始我的深度學習之旅:從 用tf.data處理資料 到 用tf.estimator或tf.keras 訓練模型系列 第 4

AI實習在做什麼?

文章說明

今天去參加婚禮,所以沒時間寫文章,所以我決定將我去實習時,熟悉的工具,還有每個階段在做的事情紀錄下來。一開始是處理資料,並沒有直接接觸模型的實作部分。後來接著分析資料、分析現有模型的performanc,透過分析的步驟,逐漸了解模型建構的要注意的重點。

文章分段

  1. 在實習期間熟悉的工具
  2. 第一階段:處理資料
  3. 第二階段:資料分析
  4. 第三階段:模型分析
  5. 第四階段:訓練模型

在實習期間熟悉的工具

熟悉工具:

git
docker
ssh/scp
tmux

熟悉python package:

opencv
numpy
pandas
matplotlib
tensorflow.data
tensorflow.keras
tensorflow.estimator

協作:

python code style pep 8

 
 

第一階段:處理資料

運用tf.data API

  1. 用API配合model.pb與條件過濾raw data

  2. 用API與annotataion (json格式)製作與還原dataset

 
 

第二階段:資料分析

  1. 將 markdown table 轉成 df
  2. 讀取 csv 檔轉為 df
  3. 將 整理好的 df 轉成 md table
運用pandas與matplotlib將資料(keypoints)分佈可視化
  1. bounding box width-height scatter plot
  2. bounding box ratio distribution
  3. amount of keypoints in bounding box
  4. amount of every keypoint in datasets
  5. metrics score scatter plot

 

第三階段:模型分析

  1. 用COCO的metric評估model,紀錄評分
  2. 運用適合的metric評估model,紀錄評分

 
 

第四階段:訓練模型

經過前面階段,會對資料有相當的了解程度,也會了解現行的模型的特性,還有模型的搭建方式。有了以上的先備知識,再去搭建custom的模型,就會有比較明確的思路。


上一篇
一、用skeleton code解釋tensorflow model程式執行方式(tf.keras) ep.3
下一篇
一、用skeleton code解釋tensorflow model程式執行方式(tf.keras) ep.4:用虛擬碼開始解釋囉!
系列文
從零.4開始我的深度學習之旅:從 用tf.data處理資料 到 用tf.estimator或tf.keras 訓練模型30

尚未有邦友留言

立即登入留言