技術 【Day 6】AWS Glue 的簡單介紹

大約在十幾年前，剛有 Big Data 的概念出現時，好多人都在講啤酒跟尿布，甚至是你各位的直銷好朋友（假面閨蜜）們。 那是一個辛苦的時代，工作站要自己組、系統...

技術 DAY 25 Big Data 5Vs – Veracity(準確性) Athena(2)

如同近年被熱烈討論的 微服務架構* 與 CQRS架構*，AWS上推廣的資料分析原則之一也是建議要將資料儲存與資料處理解耦，白話意思就是儲存資料由專門的系統負責...

技術 DAY 17 Big Data 5Vs – Variety(速度) Glue Data Brew

目前為止Glue的三個工具，可以依使用者的開發習慣與技術背景來選用，而AWS是以客戶為導向的公司，對於越來越多跨領域的人才都要希望能夠善加應用手中資料的需求下，...

技術 DAY 16 Big Data 5Vs – Variety(速度) Glue(4) Glue Studio

繼續建立昨天的資料處理任務： 昨天建立的script可以從工具欄中job分頁找到檔案本身會存在S3中，可以點選去查看 程式碼完成後到Job Detail分頁可以...

技術 DAY 15 Big Data 5Vs – Variety(速度) Glue(3) Glue Studio

在資料分析的過程中，花最多時間的事就是在理出資料處理的邏輯，要花很多時間與資料互動，就像第二天提到資料探勘流程中的三個階段：資料準備（Data Preparat...

技術 DAY 13 Big Data 5Vs – Variety(速度) Glue(1) Crawler

輕巧有彈性的Lambda能解決轉檔、壓縮等簡單的處理運算，然而在AWS上如果要建立基本完整的ETL流程更適合的服務是AWS Glue。Glue是個無伺服器的資料...