iT邦幫忙

data analytics pipeline相關文章
共有 26 則文章
鐵人賽 AI & Data DAY 30

技術 【Day 30】實作 - 如何在 AWS Quicksight 設定告警以及結語

昨天我們提到 AWS CloudWatch Alarms,今天我們就來介紹 AWS QuickSight 如何設定告警吧~ 那麼我們先登入 QuickSight...

鐵人賽 AI & Data DAY 29

技術 【Day 29】實作 - 如何設定 AWS CloudWatch Alarms

昨天我們討論到我們可以從 AWS console 的 EC2 服務查看 Instance status checks (伺服器狀態檢查)、EC2 的 Cloud...

鐵人賽 AI & Data DAY 28

技術 【Day 28】 伺服器監控 on AWS

那麼在先前實作中,我們業已將 WordPress 網站建築在 AWS 環境中(可以詳【Day 05】 實作 - 設置初始環境於 AWS 建置個人的 WordPr...

鐵人賽 AI & Data DAY 27

技術 【Day 27】 為何要進行伺服器效能監控

哈囉大家晚安~ 外面的風超級大的 希望大家都平平安安 接下來就是實作三 - 伺服器效能監控 on AWS 的階段,在實作前想先跟大家討論 Q:『為何要進...

鐵人賽 AI & Data DAY 26

技術 【Day 26】 實作 - 於 AWS QuickSight 建立 Parameters 以及 Filter 設定

Data Analytics Pipeline 如下圖所示: 目前我們已經成功將資料源 - WAF Log 透過 AWS Kinesis Data Fireho...

鐵人賽 AI & Data DAY 25

技術 【Day 25】 實作 - 啟用 AWS WAF 日誌

實作 -『如何啟用 WAF日誌以及匯入 BI 進行分析』, Data Analytics Pipeline 如下圖所示: 那我們就開始吧 GOGO 步驟一、...

鐵人賽 AI & Data DAY 24

技術 【Day 24】 實作 - 創建 AWS Kinesis Data Firehose for WAF

今天我們要來實作 - 『如何啟用 WAF 日誌以及匯入 BI 進行分析』, Data Analytics Pipeline 如下圖所示: 再做這個實作之前,大...

鐵人賽 AI & Data DAY 23

技術 【Day 23】 AWS Kinesis - Data Streams vs Data Firehose 兩者差異

前幾天我們已經啟用 VPC Flow Log、CloudFront Log,接下來我們就是要來實作 - 『如何啟用 WAF 日誌以及匯入 BI 進行分析』,Da...

鐵人賽 AI & Data DAY 22

技術 【Day 22】 實作 - 如何在 AWS Quicksight Join 不同資料源

大家午安 ~ 剛剛打開介面發文時,看到有 iThome 邦友訂閱文章,真的是無比開心 Q 感謝大家的不嫌棄 昨天我們已經『啟用 CloudFront...

鐵人賽 AI & Data DAY 21

技術 【Day 21】 實作 - 啟用 AWS CloudFront 日誌

前幾天我們已經將 AWS VPC 日誌啟用並將其資料轉換讓 BI 工具可以進行視覺化儀表板的建置,那 VPC 日誌可能無法包含所有你想要分析的欄位,必須『蒐集多...

鐵人賽 AI & Data DAY 20

技術 【Day 20】 實作 - 於 AWS Quicksight 建立 Sankey diagram 以及設定 Action

昨天我們已經透過 AWS Glue Job 來調整 Partition 分區結構以及將此格式轉換成 Parquet以加快查詢速度。今天我們則會來使用 AWS Q...

鐵人賽 AI & Data DAY 19

技術 【Day 19】 實作 - 透過 AWS 服務 Glue Job 調整 Partition 以及檔案格式

昨天我們已經透過 AWS Glue Crawler 自動建立 VPC Log 資料表,並且我們也看到 AWS Glue Crawler 業已依據資料夾切立 Pa...

鐵人賽 AI & Data DAY 18

技術 【Day 18】 實作 - 透過 AWS 服務 Glue Crawler 自動建立 VPC Log 資料表

大家午安 ~ 昨天我們已經啟用 VPC Flow Log 並且存放到 S3,今天我們會設定 AWS Glue Crawler 自動建立 VPC Log 資料表,...

鐵人賽 AI & Data DAY 17

技術 【Day 17】 實作 - 啟用 AWS VPC 日誌

哈囉大家好~ 美好的禮拜五終於到了.... 明後天就有更多時間可以趕鐵人賽了哈哈 (嗚嗚抱佛腳活該的我) 這幾天我們會實作 -『如何啟用 VPC 日誌以...

鐵人賽 AI & Data DAY 16

技術 【Day 16】 介紹 AWS 中資訊安全 - 流量相關日誌

大家午安~ 就以先前我們於 AWS 建置個人的 WordPress 網站舉例(如下圖所示),若要訪問 WordPress 網站,使用者會透過網際網路連線到 AW...

鐵人賽 AI & Data DAY 15

技術 【Day 15】 為何要進行資安攻擊的分析

大家早安~ 接下來就是到了我們實作二 - 資安攻擊分析 on AWS,在那之前想先跟大家討論 Q:『為何要進行資安攻擊的分析』? 相信大家對於 DDos (...

鐵人賽 AI & Data DAY 14

技術 【Day 14】 實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 2 )

大家早安 最近一直活在趕文章的生活中,終於完成快 50 % 的進度,感動想哭 前幾天我們順利擷取 Google Analytics 資料到 AWS 中,並...

鐵人賽 AI & Data DAY 13

技術 【Day 13】 實作 - 透過 AWS 服務 - QuickSight 建立互動式儀表板 ( 1 )

大家好~憂鬱的星期一 在前幾天我們順利擷取 Google Analytics 資料到 AWS 中,並針對其原始資料透過 Lambda 進行處理,且也建立了...

鐵人賽 AI & Data DAY 12

技術 【Day 12】 實作 - 透過 AWS 服務 - Athena 建立以及查詢資料表

大家午安~ 在第 8、9 天我們完成 Data Collection 以及 Google Analytics 原始資料儲存至 AWS S3 Bucket,第 1...

鐵人賽 AI & Data DAY 10

技術 【Day 10】 討論 Data Analytics Pipeline - Google Analytics on AWS (整體)

大家好~ 昨天我們已經成功拉取 Google Analytics 資料到 AWS,可是我們發現『抓取的 Google Analytics 檔案為多行的 J...

鐵人賽 AI & Data DAY 9

技術 【Day 09】 實作 - 透過 AWS 服務 - AppFlow 把 Google Analytics 資料存放至 AWS 中 ( 2 )

大家好~昨天我們建立好 Google Analytics 與 AWS 連線,現在我們就可以透過 AWS Console 拉取 Google Analytics...

鐵人賽 AI & Data DAY 8

技術 【Day 08】 實作 - 透過 AWS 服務 - AppFlow 把 Google Analytics 資料存放至 AWS 中 ( 1 )

今天我們來實作怎麼『 透過 AWS 服務把 Google Analytics 資料擷取存放至 AWS 中』,流程如下所示: 創建 S3 Bucket 建置 G...

鐵人賽 AI & Data DAY 4

技術 【Day 04】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 2 )

今天繼續針對 Data Analytics Pipeline on AWS 中常見的 AWS 服務來做說明: Data Storage Services:...

鐵人賽 AI & Data DAY 3

技術 【Day 03】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 1 )

昨天我們整理出五步驟 Data Analytics Pipeline 的內容以及需要注意的細節 今天我們會來簡單介紹在 Data Analytics Pipe...

鐵人賽 AI & Data DAY 2

技術 【Day 02】 何謂 Data Analytics Pipeline

隨著數位時代的來臨,企業內數據皆已指數級增長,而多數企業也加快數位轉型腳步並推動『以數據驅動的決策模式』,希望從大量的資料中找出有意義的資訊,協助企業做出對應的...

鐵人賽 AI & Data DAY 1

技術 【Day 01】 前言 - 大家好 & 目錄

HI 大家好~ 第一次參加鐵人賽的活動(非常緊張),先簡單跟大家自我介紹,幾年前我是在事務所當個會計人,現在在資訊產業當一枚菜鳥,至於為什麼想要參加鐵人賽? 希...