iT邦幫忙

2021 iThome 鐵人賽

DAY 29
0
AI & Data

Data on Air - 以AWS服務實作雲端數據分析系列 第 29

DAY 29 Big Data 5Vs – Value(價值) - AWS SageMaker & ML Family

  • 分享至 

  • xImage
  •  

資料要產生出價值就不得不提AI與機器學習,各種AI的應用已成為各大平台服務的必爭之地,透過演算法從不同的視角理解出數據資料中不同的邏輯已是近年來的趨勢。甚至因為各種深度學習的技術支持,讓原本像語音、圖片這類不能被傳統分析工具消化的資料可以被分析,豐富了整個分析生態,常聽到的影像辨識就是其中一種應用。

傳統資料分析與機器學習分析的差別有點像是統計學中 歸納法與演繹法 的差別,前面二十幾天的所建立的資料架構是透過蒐集資料後對這些歷史資料作清洗、篩選後歸納出已發生事實的可能因素,統整各個面向的歸因後提出分析報告,基本上這樣的分析結果已經具有一定的價值了。

但機器學習的技術讓我們可以從歷史資料中推導出不同的預測,清洗完的資料如果有了演算法的助力,就可以從被轉換成數字後的商業事實中找中不同的發現,有點像不只是歸納過去也用演算法的邏輯預測未來,鑑往知來,讓分析結果的附加價值大大增加。

Amazon SageMaker是AWS上提供了讓開發人員可以輕鬆建立、訓練與部署機器學習模型的託管服務。將ML運算任務搬上雲的好處除了更容易取得更多的算力之外,在雲端上建立模型可以更容易的部屬或再串接其他服務並將它轉化為行動。
進入帳號後點選下拉選單進入SageMaker服務頁面
https://ithelp.ithome.com.tw/upload/images/20211011/20140161NKub8KhAmF.jpg
右邊的SageMaker Studio是整合了資料準備與模型建置、訓練、調參到部屬的IDE服務(對應下圖)
左邊的工具欄可以按照自已需求建立SageMaker Notebook開發環境(對應下下圖)
https://ithelp.ithome.com.tw/upload/images/20211011/20140161W7MhCUxZRA.jpg
https://ithelp.ithome.com.tw/upload/images/20211011/20140161vu56SAoFGQ.jpg
Ground Truth 是可以建立前期處理貼標labeling任務

https://ithelp.ithome.com.tw/upload/images/20211011/20140161pZb70FaTt0.jpg
點選Create Notebook Instance就是在EC2上建立Jupyter Notebook的開發環境
https://ithelp.ithome.com.tw/upload/images/20211011/20140161wMvbbFxE1M.jpg
https://ithelp.ithome.com.tw/upload/images/20211011/2014016133L13Cu6TU.jpg
https://ithelp.ithome.com.tw/upload/images/20211011/20140161kKq3qeHfEl.jpg
按照開發需求設定組態
Notebook和Studio的差別是Studio可以選的硬體比較少但他開啟的時間更快
https://ithelp.ithome.com.tw/upload/images/20211011/20140161pRUddRs7cW.jpg
https://ithelp.ithome.com.tw/upload/images/20211011/20140161LyC3f7ZqF3.jpg
先建立的Instance都會有很多內建的範例可以點選來嘗試,步驟也都很詳細,使用上就是Jupyter Notebook ,在開發環境中的要用的資料或是建立好的模型都可以儲存在S3 bucket
https://ithelp.ithome.com.tw/upload/images/20211011/20140161VPOUxgv1fI.jpg

Amazon SageMaker算是PaaS服務所以是提供給有技術背景的分析人員使用,而近來低程式碼服務的流行,AWS上提供很多AI/ML的SaaS服務讓更廣泛的使用者可以感受AI的魅力。
https://ithelp.ithome.com.tw/upload/images/20211011/20140161MkWAZHXjE8.jpg
以Lookout for Vision為例,這是個可以指需要少量資料集就能快速建立圖片異常偵測模型的服務
https://ithelp.ithome.com.tw/upload/images/20211011/20140161YsWbd1x2fy.jpg
進入服務畫面後點選建立專案
https://ithelp.ithome.com.tw/upload/images/20211011/20140161pPluJZqORJ.jpg
建立專案會需要指定對應的S3 bucket存放資料
之後進在S3 服務建立另一個bucket 其中分別建立好 異常與正常的資料夾存放對應的圖片
https://ithelp.ithome.com.tw/upload/images/20211011/201401613rrykRp7VM.jpg

按照規定分別上傳照片後就可以回到Lookout for Vision導入照片
https://ithelp.ithome.com.tw/upload/images/20211011/20140161GLrPATTxtJ.jpghttps://ithelp.ithome.com.tw/upload/images/20211011/20140161nCk146o2C5.jpg

確認照片與下方標籤有正確標示就可以開始訓練模型
https://ithelp.ithome.com.tw/upload/images/20211011/20140161W7lVvx1C00.jpg
建模完成後可以點進去看模型結果,如果不理想可以調參或提供更多圖片後重新訓練
https://ithelp.ithome.com.tw/upload/images/20211011/20140161ecun4AmlPW.jpg
結果就存在S3,可以被後續inference或投入生產

*AI/ML的SaaS服務 ( https://aws.amazon.com/tw/machine-learning/ai-services/ )
*低程式碼 ( https://zh.wikipedia.org/wiki/%E4%BD%8E%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%96%8B%E7%99%BC%E5%B9%B3%E5%8F%B0 )


上一篇
DAY 28 Big Data 5Vs – Value(價值) – QuickSight(2)
下一篇
DAY 30 Big Data 5Vs – Value(價值) - AWS & YOU
系列文
Data on Air - 以AWS服務實作雲端數據分析30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言