iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Data on Air - 以AWS服務實作雲端數據分析 系列

讓"人人都是數據分析師"不再只是農場文章標題,
介紹為什麼與如何選用AWS雲端資源;
實踐利用雲端平台處理大小量資料,
體會在巨人們的肩膀上看得更廣更遠!

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文
DAY 21

DAY 21 Big Data 5Vs – Variety(速度) Kinesis (1)

串流處理的應用場景近年來越來越常見,尤其是IOT產業的蓬勃發展,加上硬體技術的發展,越來越多的即時資料能夠被蒐集下來。常見的即時串流資料有影片、語音、網站的Lo...

2021-10-03 ‧ 由 Krystal 分享
DAY 22

DAY 22 Big Data 5Vs – Variety(速度) Kinesis (2)

接續介紹Kinesis家族中其它更實用的資料分析服務: 進入Kinesis服務首頁可以看到這三個常常整合在一起的服務 Kinesis Data Stream(K...

2021-10-04 ‧ 由 Krystal 分享
DAY 23

DAY 23 Big Data 5Vs – Variety(速度) Kinesis (3)

接續串流處理相關的服務介紹: Kinesis Data Firehose(KDF):KDF是可以方便將串流資料以近乎即時(near real-time)的速度「...

2021-10-05 ‧ 由 Krystal 分享
DAY 24

DAY 24 Big Data 5Vs – Veracity(準確性) Athena(1)

第四個要討論的V是準確性Veracity,在資料處理的過程中,資料會從原本的原始資料raw data經過不同軟體的轉置、擷取、篩選等運算,處理後資料proces...

2021-10-06 ‧ 由 Krystal 分享
DAY 25

DAY 25 Big Data 5Vs – Veracity(準確性) Athena(2)

如同近年被熱烈討論的 微服務架構* 與 CQRS架構*,AWS上推廣的資料分析原則之一也是建議要將資料儲存與資料處理解耦,白話意思就是儲存資料由專門的系統負責...

2021-10-07 ‧ 由 Krystal 分享
DAY 26

DAY 26 Big Data 5Vs – Veracity(準確性) AGQ

延伸介紹昨天的架構: 如果要對Log做視覺化的分析監控,許多人第一個想到的或許就是ELK架構*。這三個字母分別是指Elasticsearch、Logstash...

2021-10-08 ‧ 由 Krystal 分享
DAY 27

DAY 27 Big Data 5Vs – Value(價值) – QuickSight(1)

最後一個「價值Value」也是資料分析最重要的階段,很重要是因為,只有在資料分析後可以產生比原始資料有更高的價值,做資料分析這件事情才有意義。所以在一系列分析處...

2021-10-09 ‧ 由 Krystal 分享
DAY 28

DAY 28 Big Data 5Vs – Value(價值) – QuickSight(2)

視覺人類理解世界很重要的感受,溝通也比文字來的有效率,近年來流行的互動式報表與視覺化儀錶板以不同於傳統只有死板板靜態報表的呈現方式,更靈活地呈現資料的價值,讓讀...

2021-10-10 ‧ 由 Krystal 分享
DAY 29

DAY 29 Big Data 5Vs – Value(價值) - AWS SageMaker & ML Family

資料要產生出價值就不得不提AI與機器學習,各種AI的應用已成為各大平台服務的必爭之地,透過演算法從不同的視角理解出數據資料中不同的邏輯已是近年來的趨勢。甚至因為...

2021-10-11 ‧ 由 Krystal 分享
DAY 30

DAY 30 Big Data 5Vs – Value(價值) - AWS & YOU

YOU不是什麼厲害服務的縮寫,就是你因為整個資料分析過程中做有價值的 — 就是使用者本人。AI 通常翻譯為 Artificial Intelligence 但個...

2021-10-12 ‧ 由 Krystal 分享