iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Data on AWS - 實作建立 Data Analytics Pipeline 系列

透過實作以下案例來介紹如何透過AWS服務建立Data Analytics Pipeline
案例如下:
1. 網站 Google Analytics 分析 on AWS
2. 伺服器效能監控 on AWS
3. 資安攻擊分析 on AWS

鐵人鍊成 | 共 30 篇文章 | 10 人訂閱 訂閱系列文 RSS系列文
DAY 11

【Day 11】 實作 - 透過 AWS 服務 - Lambda 將 JSON 格式轉換成 Parquet 格式

大家好,又到了美好的周末 在Day 8、Day 9 時,我們已經透過 Data Collection services – AWS Appflow 擷取 Go...

2021-09-25 ‧ 由 Dorothy 分享
DAY 12

【Day 12】 實作 - 透過 AWS 服務 - Athena 建立以及查詢資料表

大家午安~在第 8、9 天我們完成 Data Collection 以及 Google Analytics 原始資料儲存至 AWS S3 Bucket,第 11...

2021-09-26 ‧ 由 Dorothy 分享
DAY 13

【Day 13】 實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 1 )

大家好~憂鬱的星期一 在前幾天我們順利擷取 Google Analytics 資料到 AWS 中,並針對其原始資料透過 Lambda 進行處理,且也建立了資...

2021-09-27 ‧ 由 Dorothy 分享
DAY 14

【Day 14】 實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 2 )

大家早安 最近一直活在趕文章的生活中,終於完成快 50 % 的進度,感動想哭 前幾天我們順利擷取 Google Analytics 資料到 AWS 中,並針...

2021-09-28 ‧ 由 Dorothy 分享
DAY 15

【Day 15】 為何要進行資安攻擊的分析

大家早安~ 接下來就是到了我們實作二 - 資安攻擊分析 on AWS,在那之前想先跟大家討論 Q:『為何要進行資安攻擊的分析』? 相信大家對於 DDos (...

2021-09-29 ‧ 由 Dorothy 分享
DAY 16

【Day 16】 介紹 AWS 中資訊安全 - 流量相關日誌

大家午安~就以先前我們於 AWS 建置個人的 WordPress 網站舉例(如下圖所示),若要訪問 WordPress 網站,使用者會透過網際網路連線到 AWS...

2021-09-30 ‧ 由 Dorothy 分享
DAY 17

【Day 17】 實作 - 啟用 AWS VPC 日誌

哈囉大家好~ 美好的禮拜五終於到了.... 明後天就有更多時間可以趕鐵人賽了哈哈(嗚嗚抱佛腳活該的我) 這幾天我們會實作 -『如何啟用 VPC 日誌以及匯...

2021-10-01 ‧ 由 Dorothy 分享
DAY 18

【Day 18】 實作 - 透過 AWS 服務 Glue Crawler 自動建立 VPC Log 資料表

大家午安 ~昨天我們已經啟用 VPC Flow Log 並且存放到 S3,今天我們會設定 AWS Glue Crawler 自動建立 VPC Log 資料表,以...

2021-10-02 ‧ 由 Dorothy 分享
DAY 19

【Day 19】 實作 - 透過 AWS 服務 Glue Job 調整 Partition 以及檔案格式

昨天我們已經透過 AWS Glue Crawler 自動建立 VPC Log 資料表,並且我們也看到 AWS Glue Crawler 業已依據資料夾切立 Pa...

2021-10-03 ‧ 由 Dorothy 分享
DAY 20

【Day 20】 實作 - 於 AWS Quicksight 建立 Sankey diagram 以及設定 Action

昨天我們已經透過 AWS Glue Job 來調整 Partition 分區結構以及將此格式轉換成 Parquet以加快查詢速度。今天我們則會來使用 AWS Q...

2021-10-04 ‧ 由 Dorothy 分享