iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 4
0
Google Developers Machine Learning

透視Google Machine Learning的奧秘系列 第 4

[Day04] 機器學習流程與架構、Google產品是如何運用機器學習的?

  • 分享至 

  • xImage
  •  

前一天我們講到機器學習在GCP上運作的流程以及做了Tensorflow、Keras和Pytorch之間的比較,今天我們要來看機器學習建模型和預測的過程

機器學習建模與預測流程

Why Google Cloud?

這張圖的流程說明了做機器學習從頭到尾經歷的步驟,從一開始資料來源的收集,可能是從檔案或是完整資料集來的batch data,又或著是即時資料的stream data,導入到我們的Cloud Dataflow,這部分使用的是開源的Apache Beam專門處理資料來源,處理完後儲存在BidQuery或Bigtable中(算是資料倉儲系統),進行後續的應用,其中拿來做機器學習應用只是一種分支,我們也可以拿他來做商業智慧應用、製作視覺化圖表,或是應用程式與報表等等,資料可以拿來作的種類很多,而Cloud Dataflow提供給我們的方便性就是讓資料來源的raw data預處理後成為可使用的資料,之後再進一步進行加值。

機器學習流程金字塔

而上面這張圖又更詳細說明的機器學習的流程與它的重要性

Data pipelines

其中Data pipelines我一開始看不太懂,翻譯成數據通道、數據流水線也不太了解他的意思,查了一下之後知道他大概的意思就是,能夠自動化轉換、整合數據,Data pipelines扮演的是一個ETL的過程,目標是能夠把各種資料來源經過ETL後變成我們可用的資料(ETL這部份可以之後額外獨立出一天介紹),主要應用到跟大數據有關的情境。

google產品-1

ML in Google Products

google在四年前幾乎沒有深度學習模型,直到今天已經有4000多個模型,而幾乎所有google的產品都有用到機器學習模型建模,雖然google所開發的產品很多,但不是一種產品只用到一種模型,因為在實務上建立一個模型可能是要解決某一個環節的問題,而所有環節和服務組合起來才會是一個產品的產生,在以前機器學習還沒有發展起來時這些產品也沒有用到機器學習的技術,有些問題無法被解決,不過有了機器學習之後更能夠以更好的方式呈現在使用者面前,其實是很好的!

google產品-2

舉例來說像是:

  • 辨識Gmail收到的信件是否為垃圾信件,可以用分類問題來解決。
  • Google相簿的話根據上傳的照片利用影像辨識技術快速分辨出人臉。
  • Google地圖根據你之前去過的地方、目前定位所在位置給你旅遊景點的推薦系統。

明天我會補充一些機器學習流程有關的知識

參考資料與圖片來源


上一篇
[Day03] How Google does Machine Learning介紹
下一篇
[Day05] 適合初學者的機器學習流程入門!
系列文
透視Google Machine Learning的奧秘30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言