iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2 Like 0 留言 3223 瀏覽

鐵人賽 AI & Data DAY 23

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 23 篇

技術【Day 23】 AWS Kinesis - Data Streams vs Data Firehose 兩者差異

前幾天我們已經啟用 VPC Flow Log、CloudFront Log，接下來我們就是要來實作 - 『如何啟用 WAF 日誌以及匯入 BI 進行分析』，Da...

Dorothy ‧ 2021-10-07

3 Like 0 留言 2050 瀏覽

鐵人賽 AI & Data DAY 2

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 2 篇

技術【Day 02】何謂 Data Analytics Pipeline

隨著數位時代的來臨，企業內數據皆已指數級增長，而多數企業也加快數位轉型腳步並推動『以數據驅動的決策模式』，希望從大量的資料中找出有意義的資訊，協助企業做出對應的...

Dorothy ‧ 2021-09-16

3 Like 0 留言 1792 瀏覽

鐵人賽 AI & Data DAY 13

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 13 篇

技術【Day 13】實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 1 )

大家好~憂鬱的星期一在前幾天我們順利擷取 Google Analytics 資料到 AWS 中，並針對其原始資料透過 Lambda 進行處理，且也建立了資...

Dorothy ‧ 2021-09-27

2 Like 0 留言 1660 瀏覽

鐵人賽 AI & Data DAY 8

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 8 篇

技術【Day 08】實作 - 透過 AWS 服務 - AppFlow 把 Google Analytics 資料存放至 AWS 中 ( 1 )

今天我們來實作怎麼『透過 AWS 服務把 Google Analytics 資料擷取存放至 AWS 中』，流程如下所示：創建 S3 Bucket 建置 G...

Dorothy ‧ 2021-09-22

4 Like 0 留言 1637 瀏覽

鐵人賽 AI & Data DAY 1

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 1 篇

技術【Day 01】前言 - 大家好 & 目錄

HI 大家好~ 第一次參加鐵人賽的活動(非常緊張)，先簡單跟大家自我介紹，幾年前我是在事務所當個會計人，現在在資訊產業當一枚菜鳥，至於為什麼想要參加鐵人賽? 希...

Dorothy ‧ 2021-09-15

1 Like 1 留言 1632 瀏覽

鐵人賽 AI & Data DAY 29

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 29 篇

技術【Day 29】實作 - 如何設定 AWS CloudWatch Alarms

昨天我們討論到我們可以從 AWS console 的 EC2 服務查看 Instance status checks (伺服器狀態檢查)、EC2 的 Cloud...

Dorothy ‧ 2021-10-13

2 Like 0 留言 1609 瀏覽

鐵人賽 AI & Data DAY 3

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 3 篇

技術【Day 03】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 1 )

昨天我們整理出五步驟 Data Analytics Pipeline 的內容以及需要注意的細節今天我們會來簡單介紹在 Data Analytics Pipel...

Dorothy ‧ 2021-09-17

1 Like 0 留言 1485 瀏覽

鐵人賽 AI & Data DAY 24

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 24 篇

技術【Day 24】實作 - 創建 AWS Kinesis Data Firehose for WAF

今天我們要來實作 - 『如何啟用 WAF 日誌以及匯入 BI 進行分析』，Data Analytics Pipeline 如下圖所示：再做這個實作之前，大家要先...

Dorothy ‧ 2021-10-08

1 Like 0 留言 1473 瀏覽

鐵人賽 AI & Data DAY 26

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 26 篇

技術【Day 26】實作 - 於 AWS QuickSight 建立 Parameters 以及 Filter 設定

Data Analytics Pipeline 如下圖所示：目前我們已經成功將資料源 - WAF Log 透過 AWS Kinesis Data Firehos...

Dorothy ‧ 2021-10-10

1 Like 0 留言 1429 瀏覽

鐵人賽 AI & Data DAY 28

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 28 篇

技術【Day 28】伺服器監控 on AWS

那麼在先前實作中，我們業已將 WordPress 網站建築在 AWS 環境中(可以詳【Day 05】實作 - 設置初始環境於 AWS 建置個人的 WordPr...

Dorothy ‧ 2021-10-12

2 Like 0 留言 1357 瀏覽

鐵人賽 AI & Data DAY 14

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 14 篇

技術【Day 14】實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 2 )

大家早安最近一直活在趕文章的生活中，終於完成快 50 % 的進度，感動想哭前幾天我們順利擷取 Google Analytics 資料到 AWS 中，並針...

Dorothy ‧ 2021-09-28

2 Like 0 留言 1348 瀏覽

鐵人賽 AI & Data DAY 9

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 9 篇

技術【Day 09】實作 - 透過 AWS 服務 - AppFlow 把 Google Analytics 資料存放至 AWS 中 ( 2 )

大家好~昨天我們建立好 Google Analytics 與 AWS 連線，現在我們就可以透過 AWS Console 拉取 Google Analytics...

Dorothy ‧ 2021-09-23

1 Like 0 留言 1330 瀏覽

鐵人賽 AI & Data DAY 17

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 17 篇

技術【Day 17】實作 - 啟用 AWS VPC 日誌

哈囉大家好~ 美好的禮拜五終於到了.... 明後天就有更多時間可以趕鐵人賽了哈哈(嗚嗚抱佛腳活該的我) 這幾天我們會實作 -『如何啟用 VPC 日誌以及匯...

Dorothy ‧ 2021-10-01

2 Like 0 留言 1263 瀏覽

鐵人賽 AI & Data DAY 4

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 4 篇

技術【Day 04】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 2 )

今天繼續針對 Data Analytics Pipeline on AWS 中常見的 AWS 服務來做說明： Data Storage Services：...

Dorothy ‧ 2021-09-18

2 Like 0 留言 1257 瀏覽

鐵人賽 AI & Data DAY 12

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 12 篇

技術【Day 12】實作 - 透過 AWS 服務 - Athena 建立以及查詢資料表

大家午安~在第 8、9 天我們完成 Data Collection 以及 Google Analytics 原始資料儲存至 AWS S3 Bucket，第 11...

Dorothy ‧ 2021-09-26

1 Like 0 留言 1251 瀏覽

鐵人賽 AI & Data DAY 18

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 18 篇

技術【Day 18】實作 - 透過 AWS 服務 Glue Crawler 自動建立 VPC Log 資料表

大家午安 ~昨天我們已經啟用 VPC Flow Log 並且存放到 S3，今天我們會設定 AWS Glue Crawler 自動建立 VPC Log 資料表，以...

Dorothy ‧ 2021-10-02

1 Like 0 留言 1246 瀏覽

鐵人賽 AI & Data DAY 30

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 30 篇

技術【Day 30】實作 - 如何在 AWS Quicksight 設定告警以及結語

昨天我們提到 AWS CloudWatch Alarms，今天我們就來介紹 AWS QuickSight 如何設定告警吧~ 那麼我們先登入 QuickSight...

Dorothy ‧ 2021-10-14

2 Like 0 留言 1238 瀏覽

鐵人賽 AI & Data DAY 20

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 20 篇

技術【Day 20】實作 - 於 AWS Quicksight 建立 Sankey diagram 以及設定 Action

昨天我們已經透過 AWS Glue Job 來調整 Partition 分區結構以及將此格式轉換成 Parquet以加快查詢速度。今天我們則會來使用 AWS Q...

Dorothy ‧ 2021-10-04

1 Like 0 留言 1236 瀏覽

鐵人賽 AI & Data DAY 19

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 19 篇

技術【Day 19】實作 - 透過 AWS 服務 Glue Job 調整 Partition 以及檔案格式

昨天我們已經透過 AWS Glue Crawler 自動建立 VPC Log 資料表，並且我們也看到 AWS Glue Crawler 業已依據資料夾切立 Pa...

Dorothy ‧ 2021-10-03

1 Like 0 留言 1227 瀏覽

鐵人賽 AI & Data DAY 21

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 21 篇

技術【Day 21】實作 - 啟用 AWS CloudFront 日誌

前幾天我們已經將 AWS VPC 日誌啟用並將其資料轉換讓 BI 工具可以進行視覺化儀表板的建置，那 VPC 日誌可能無法包含所有你想要分析的欄位，必須『蒐集多...

Dorothy ‧ 2021-10-05

1 Like 0 留言 1204 瀏覽

鐵人賽 AI & Data DAY 25

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 25 篇

技術【Day 25】實作 - 啟用 AWS WAF 日誌

實作 -『如何啟用 WAF日誌以及匯入 BI 進行分析』，Data Analytics Pipeline 如下圖所示：那我們就開始吧 GOGO 步驟一、於 A...

Dorothy ‧ 2021-10-09

1 Like 0 留言 1136 瀏覽

鐵人賽 AI & Data DAY 16

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 16 篇

技術【Day 16】介紹 AWS 中資訊安全 - 流量相關日誌

大家午安~就以先前我們於 AWS 建置個人的 WordPress 網站舉例(如下圖所示)，若要訪問 WordPress 網站，使用者會透過網際網路連線到 AWS...

Dorothy ‧ 2021-09-30

1 Like 0 留言 1108 瀏覽

鐵人賽 AI & Data DAY 22

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 22 篇

技術【Day 22】實作 - 如何在 AWS Quicksight Join 不同資料源

大家午安 ~ 剛剛打開介面發文時，看到有 iThome 邦友訂閱文章，真的是無比開心 Q 感謝大家的不嫌棄昨天我們已經『啟用 CloudFront...

Dorothy ‧ 2021-10-06

1 Like 0 留言 1043 瀏覽

鐵人賽 AI & Data DAY 15

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 15 篇

技術【Day 15】為何要進行資安攻擊的分析

大家早安~ 接下來就是到了我們實作二 - 資安攻擊分析 on AWS，在那之前想先跟大家討論 Q：『為何要進行資安攻擊的分析』? 相信大家對於 DDos (...

Dorothy ‧ 2021-09-29

2 Like 0 留言 973 瀏覽

鐵人賽 AI & Data DAY 10

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 10 篇

技術【Day 10】討論 Data Analytics Pipeline - Google Analytics on AWS (整體)

大家好~ 昨天我們已經成功拉取 Google Analytics 資料到 AWS，可是我們發現『抓取的 Google Analytics 檔案為多行的 JS...

Dorothy ‧ 2021-09-24

1 Like 0 留言 939 瀏覽

鐵人賽 AI & Data DAY 27

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 27 篇

技術【Day 27】為何要進行伺服器效能監控

哈囉大家晚安~ 外面的風超級大的希望大家都平平安安接下來就是實作三 - 伺服器效能監控 on AWS 的階段，在實作前想先跟大家討論 Q：『為何要進行...

Dorothy ‧ 2021-10-11

技術 【Day 23】 AWS Kinesis - Data Streams vs Data Firehose 兩者差異

技術 【Day 02】 何謂 Data Analytics Pipeline

技術 【Day 13】 實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 1 )

技術 【Day 08】 實作 - 透過 AWS 服務 - AppFlow 把 Google Analytics 資料存放至 AWS 中 ( 1 )

技術 【Day 01】 前言 - 大家好 & 目錄

技術 【Day 29】實作 - 如何設定 AWS CloudWatch Alarms

技術 【Day 03】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 1 )

技術 【Day 24】 實作 - 創建 AWS Kinesis Data Firehose for WAF

技術 【Day 26】 實作 - 於 AWS QuickSight 建立 Parameters 以及 Filter 設定

技術 【Day 28】 伺服器監控 on AWS

技術 【Day 14】 實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 2 )

技術 【Day 09】 實作 - 透過 AWS 服務 - AppFlow 把 Google Analytics 資料存放至 AWS 中 ( 2 )

技術 【Day 17】 實作 - 啟用 AWS VPC 日誌

技術 【Day 04】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 2 )

技術 【Day 12】 實作 - 透過 AWS 服務 - Athena 建立以及查詢資料表

技術 【Day 18】 實作 - 透過 AWS 服務 Glue Crawler 自動建立 VPC Log 資料表

技術 【Day 30】實作 - 如何在 AWS Quicksight 設定告警以及結語

技術 【Day 20】 實作 - 於 AWS Quicksight 建立 Sankey diagram 以及設定 Action

技術 【Day 19】 實作 - 透過 AWS 服務 Glue Job 調整 Partition 以及檔案格式

技術 【Day 21】 實作 - 啟用 AWS CloudFront 日誌

技術 【Day 25】 實作 - 啟用 AWS WAF 日誌

技術 【Day 16】 介紹 AWS 中資訊安全 - 流量相關日誌

技術 【Day 22】 實作 - 如何在 AWS Quicksight Join 不同資料源

技術 【Day 15】 為何要進行資安攻擊的分析

技術 【Day 10】 討論 Data Analytics Pipeline - Google Analytics on AWS (整體)

技術 【Day 27】 為何要進行伺服器效能監控

標記使用者