iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 28
1
AI & Data

那些年我們一起學過的深度學習系列 第 28

[DAY 24] Dataset 的處理

  • 分享至 

  • xImage
  •  

前言


我們在 Training 的過程的中,一個很重要的 Part 就是如何出一個 Powerful、Useful 以及 Effcient 的 Model,但另一個很重要的 Part 就是我們對 dataset 的處理。舉個例子來說,如果我們的 dtaset不夠多,我們可以透過一些技巧來增加我們的 dataset 數量,像是一些 argumentation 的方法,而這一部份延伸出去又可以探討這些argumentation 的方法是要在 CPU 上執行還是在 GPU 上執行更有效率等等議題;又或者說,如果我們今天的 dataset 真的很大怎麼辦QQQ,可能全部 dataset 取出來的時候就已經超過 GPU 記憶體大小了QQQQQQQ 那我們可能可以考慮用 CPU 的 RAM 或者用 PICKLE 的方式去存取這個資料等等。
另外,除了如何使用 data argumentation 的技巧來增加我們 Training dataset,以及比較了一些常見的 data argumentation 在 CPU 上以及 GPU 上執行的效率差別,另一個問題是大型的 Dataset,這類的 Dataset 不是小小的像是 MNIST,而是向 ImageNet 這樣的大型 Dataset,我們也要來記須說明一些大型Dataset可以使用的處理方法


上一篇
[DAY 23] Visualize
下一篇
[DAY 29] Edge Computing v.s PC Computing
系列文
那些年我們一起學過的深度學習30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言