iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 25
0
Google Developers Machine Learning

初心者的GDC攻略系列 第 25

Day25: TensorFlow Transform

  • 分享至 

  • xImage
  •  

解法回歸TensorFlow

Google系列課程第四篇章Feature Engineering,從整體概念解說,總算回歸TensorFlow的應用回。
預處理是對於收集到的資料給予的第一步運算,少了它,對於資料整體的判讀就是少了一味。

就像是JavaFX之於Java,TensorFlow Transform之於TensorFlow我們可以想成是一個針對DataFlow的強化處理模組。
而Google對於DataFlow的規劃,以Apache Beam的形式進行完整控制流程。
因此TensorFlow Transform以tf.Transform的包裝存在了現在的TensorFlow中。

此處以tf.__version__==2.x來說明

回顧一下,以GCP上的DataFlow為例,可以執行特徵工程的部分有三個,如下圖:
https://ithelp.ithome.com.tw/upload/images/20191011/20120151vZErpJEw19.png

當在使用tf.Transform時,想辦法分成兩個階段:Analyze和Transform。

  1. 當針對training資料集時:Analyze階段 --> AnalyzeAndTransformDataset
  2. 當針對evaluation資料集時:Transform階段 --> TransformDataset

因為整體是整合Beam的結果,input_function和serving_function都要依照Beam所規範的邏輯喔。


上一篇
Day24: Feature Crosses 二訪
下一篇
Day26: 見山又是山
系列文
初心者的GDC攻略30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言