今天的內容是關於兩個 AWS 的服務。 CloudTrail 和 Athena。

簡介

CloudTrail

• 用一句話來描述這個東西： AWS 上的 Log
• 官方文件對於 CloudTrail 的描述說明，是含有三個主要的功能
  • Event History： 可以看到最多九十天內的 console management 事件，並且有些限制；看不到 Insight 和 data event。
  • CloudTrail Lake： 剛出兩年不到的功能，其實說穿了就是跟用 Athena 爬資料是一樣的。 只是整合在一起讓你少做幾個步驟而已。
    • Announcing AWS CloudTrail Lake – a managed audit and security Lake - by Andres Silva | on 05 JAN 2022
  • Trails： 俗稱的 Log，所有的行為都可以被記錄、存放在 S3 Buckets

Amazon Athena

• 用一句話解釋： 無伺服器的互動式 SQL 查詢，支援多種資料來源。
• 官方的 Quick Start 非常容易： https://docs.aws.amazon.com/athena/latest/ug/getting-started.html

Ref

• 將 VPC Flow Log 傳到 S3 內

Brief Steps

1. 啟用 AWS VPC Flow Log 並且存放到 S3 bucket 內
   
2. (承上) 如果不是自己的 VPC Flow Log 的話，也請先把他們上傳到自己的 S3 bucket 內
   
3. 打開 Athena Console 選擇 Query editor
   • 首先可以先建立一個資料庫

     CREATE database vpcflowlogs;
     

   • 接著，從建立資料表，來源選擇 S3 的檔案讀取到自己定義的 Schema 中
   • 下面這個是 自己放 Log 到 's3://mylog-cloudwatch/logs/' 的版本

     CREATE EXTERNAL TABLE IF NOT EXISTS vpc_flow_logs (
       version int,
       account string,
       interfaceid string,
       sourceaddress string,
       destinationaddress string,
       sourceport int,
       destinationport int,
       protocol int,
       numpackets int,
       numbytes bigint,
       starttime int,
       endtime int,
       action string,
       logstatus string
     )
     ROW FORMAT DELIMITED
     FIELDS TERMINATED BY ' '
     LOCATION 's3://mylog-cloudwatch/logs/'
     TBLPROPERTIES ("skip.header.line.count"="1");
     

   • 下面這個是 AWS VPC Flow Log 被放到指定路徑下的版本

     CREATE EXTERNAL TABLE IF NOT EXISTS vpc_flow_logs (
       version int,
       account string,
       interfaceid string,
       sourceaddress string,
       destinationaddress string,
       sourceport int,
       destinationport int,
       protocol int,
       numpackets int,
       numbytes bigint,
       starttime int,
       endtime int,
       action string,
       logstatus string
     )
     PARTITIONED BY (`date` date)
     ROW FORMAT DELIMITED
     FIELDS TERMINATED BY ' '
     LOCATION 's3://mylog-cloudwatch/AWSLogs/你的AWS_ID共12碼/vpcflowlogs/ap-northeast-1/'
     TBLPROPERTIES ("skip.header.line.count"="1");
     

   • 詳情可以參考 https://docs.aws.amazon.com/athena/latest/ug/vpc-flow-logs.html
   • 如此即可將資料表格建好，不過如果如果等一下撈不到資料的話，就要刪掉重建一張
   • 最後使用下列 query 查詢

     SELECT * from vpc_flow_logs;
     

結論

• 作為資料科學家，極有可能會被分派到調查 CloudTrail 的事件。 所以學習 CloudTrail Lake 是不可或缺的。
• Amazon Athena 這個功能在接下來會蠻常出現。