今天我們要來實作 - 『如何啟用 WAF 日誌以及匯入 BI 進行分析』，
Data Analytics Pipeline 如下圖所示：

再做這個實作之前，大家要先部屬 AWS WAF 至 CloudFront 上喔 ~

那再啟用 WAF Log 之前，我們必須要先建立 AWS Kinesis 服務，那我們就開始吧 GOGO

建立Kinesis Data Firehose

步驟一、搜尋 AWS 服務：Kinesis

步驟二、點選 Create Delivery streams

步驟三、設定來源以及目的端

• Source：Direct PUT
• Destination：選擇 AWS S3
• Delivery stream name：務必要輸入『aws-waf-logs-』前綴詞，不然 AWS WAF 讀不到這隻 Kinesis

步驟四、資料的處理與轉換設定

• Transform source records with AWS Lambda：若啟用的話可以使用 AWS Lambda 來進行資料處理，那我們沒有要進行資料處理，所以我這邊先選擇 Disabled
• Convert record format：這邊可以設定進行資料格式轉換( JSON >> Apache Parquet、Apache ORC )，這邊選擇 Disabled 即可

步驟五、目的端設定

• S3 bucket：選擇先前創的 S3 Bucket
• Dynamic Partitioning：S3 bucket prefix：這裡存放 waf log 資料夾的地方
• S3 bucket error output prefix：這裡存放若 kinesis 擷取執行失敗，會將 Error Log 存在此資料夾

步驟六、點選 Buffer hints, compression and encryption，

Buffer size 跟 Buffer interval 就是如果當 Buffer 超過 5 MiB或者超過 300 秒後會將串流資料丟到 AWS S3上

步驟七、點選 Advanced settings

• Server-side encryption：支援使用 AWS Key Management Service 進行 Amazon S3 伺服器端加密
• Amazon CloudWatch error logging：如果有啟用資料轉換，Kinesis Data Firehose 可以將資料傳輸錯誤發送到 CloudWatch Logs，那我們沒有啟用，故選擇 Disabled
• Permissions：授予 Kinesis 可以使用的權限

接著確認無誤後按 Create delivery stream

今天我們順利建立好 AWS Kinesis Data Firehose，那大家就可以看到 AWS S3 已順利產生資料也~

明天我們就會來討論『如何啟用 WAF 日誌』，明天見囉 : D ~

如果有任何指點與建議，也歡迎留言交流，一起漫步在 Data on AWS 中。

參考&相關來源：
[1] Kinesis Data Firehose
https://docs.aws.amazon.com/firehose/latest/dev/create-configure.html