iT邦幫忙

2021 iThome 鐵人賽

DAY 26
0
AI & Data

Data on Air - 以AWS服務實作雲端數據分析系列 第 26

DAY 26 Big Data 5Vs – Veracity(準確性) AGQ

  • 分享至 

  • xImage
  •  

延伸介紹昨天的架構:

如果要對Log做視覺化的分析監控,許多人第一個想到的或許就是ELK架構*。這三個字母分別是指Elasticsearch、Logstash 和Kibana 這三個開源軟體,將這三個軟體的套件集成可以組成一套對日誌的視覺化分析架構。

而利用昨天所介紹的架構在AWS上也可以很快的李用這些無伺服器服務建立出一個實用的視覺化分析架構,方便記憶來看,個人簡稱為AGQ架構。更完整一點的話是S3+AGQ架構:
https://ithelp.ithome.com.tw/upload/images/20211008/20140161TyDhRLlJbo.jpg
ELK與AGQ架構的相似之處是都將資料流都是由三部分組成,每個階段都有專門的套件負責:
資料蒐集Data collection:Logstash之於Glue
資料治理Data curation: Elasticsearch之於Athena
資料呈現Data Visualization: Kibana之於Quicksight

將原始資料儲存於S3中,利用Glue的crawler建立data catalog做為資料骨幹供Athena查詢與建立報表使用,最後串接Amazon Quicksight將Athena的分析報表以視覺化的互動式圖表或儀表板呈現出來。實作方式與昨天相同,唯一新增的就是在最後串接Quicksight的服務。(後續介紹)

AGQ架構作方便之處就是AWS幾乎都幫使用者準備好環境,只需要於各服務中點選設定便完成了客製化分析架構!使用者幾乎只需要帶著資料來就可以做出視覺化分析。

將每個分析階段解耦的好處不只是讓每件事都能交由專業的負責,當使用者有原本就熟悉的軟體時也可以在新的架構中串接該軟體,就不用調整原先使用習慣的,比如說最後視覺化呈現可以改成PowerBI、FineReport或Tableau等時下流行的BI商業分析軟體。但不管是實際執行的軟體是甚麼,最重要的都是要在資料分析的最後階段,展現資料分析出的價值。接下來介紹資料價值相關的服務。

*ELK( https://zh.wikipedia.org/wiki/Elasticsearch )


上一篇
DAY 25 Big Data 5Vs – Veracity(準確性) Athena(2)
下一篇
DAY 27 Big Data 5Vs – Value(價值) – QuickSight(1)
系列文
Data on Air - 以AWS服務實作雲端數據分析30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言