The importance of logs

• 事件 (Event): 是可以觀察到的網路系統或設備上發生的行為。例如：

  • 使用者登入或登出
  • 防火牆允許或拒絕流量
  • 系統啟動或關機
  • 應用程式錯誤或崩潰
  • 網路設備傳輸數據
    這些事件會被記錄到日誌中，形成一條條記錄，方便後續分析和排查問題。

• 日誌 (Log): 是記錄系統內事件Event的文本檔案，幾乎每一個設備或系統都可以生成日誌。日誌包含log entries 日誌條目，每個條目詳細記錄了設備或系統上發生的單一事件相關資訊。

• 日誌的重要性:

  • to provide a record of event details.
  • 幫助偵測可疑或惡意行為。
  • 提供具體數據（如時間、地點、行為等），協助分析事件的原因與狀況。
  • 用於系統性能排障與安全監控。

Types of logs

Log details

logs 的一般組成和功能

log management

選擇記錄的內容 What to log：

• 必須聚焦於有用的資訊來源，避免記錄過多資訊。
• 選擇要記錄的內容是日誌管理中最重要的部分，不同組織的記錄需求各異，
• 需根據事件需求挑選最有用的信息來源，並可透過減少記錄數據量來優化。
• 個人識別信息（如電話號碼、電郵地址、姓名等）需要特殊處理，有些司法管轄區甚至不允許記錄這些信息。

過度記錄的影響 The issue with overlogging：

• 提升儲存成本和維護成本。
• 負擔系統運行效率，降低搜索效率。

日誌保存 (Log Retention)：

• 根據行業法規決定保存時間。
• 不同行業法規需求舉例：
  • 公共部門Public sector industries - FISMA/Federal Information Security Modernization Act法規。
  • 醫療Healthcare行業 - HIPAA/Health Insurance Portability and Accountability Act of 1996 法規。
  • 金融Financial行業 - Payment Card Industry Data Security Standard (PCI DSS), the Gramm-Leach-Bliley Act (GLBA), and the Sarbanes-Oxley Act of 2002 (SOX)

日誌保護 (Log Protection)：

• 實現日誌完整性的方式：
  • 使用集中化的日誌伺服器 (Centralized Log Server)。
  • 阻止攻擊者修改或隱藏日誌資訊。
• 中央化存儲優勢Storing logs in a centralized log server：
  • 減少日誌散佈在多台設備上的風險，提升安全性。

Variations of logs

日誌有多種格式，通常包含時間戳、系統特徵（如IP地址）和事件描述，包括執行的動作及執行者。

logs格式及其用途

Syslog

• 定義：標準化的記錄和傳輸數據用法，可做為協議Protocol、服務Service或Log format格式。
  • Protocol: 協議用於將日誌傳輸到centralized集中式日誌伺服器，使用514埠傳輸純文字日誌，6514埠傳輸加密日誌。
  • Service是一種日誌轉發forwarding服務，可將多個來源的日誌集中consolidates到單一位置，通過接收並轉發syslog日誌條目到遠端伺服器運作。
  • Log format是最常用的日誌格式之一，也是您將專注於學習的一種。它是 Unix® 系統中使用的本地日誌格式。它由三個部分組成：標頭、結構化數據和訊息。
• 特徵：結合 header（如時間戳）、structured-data（如用戶信息）、message。
• 使用場景：Unix 系統本機或集中管理日志。
  <236>1 2022-03-21T01:11:11.003Z virtual.machine.com evntslog - ID01 [user@32473 iut="1" eventSource="Application" eventID="9999"] This is a log entry!
• Header:
  • 優先權值為 <236>。通常，優先權等級越低，事件越緊急。
  • Timestamp: Z indicates the timezone, which is Coordinated Universal Time (UTC).
  • Hostname
  • Application
  • Message ID

JSON

• 文件格式：存儲及傳輸數據，輕量易讀易寫。用於存儲和傳輸資料
• 特徵：使用 key-value pairs、逗號、雙引號、花括號與方括號。
• 使用場景：網絡技術或雲端環境 cloud environments。
  { "Alert": "Malware", "Alert code": 1090, "severity": 10 }

XML（eXtensible Markup Language）

• 文件格式：存儲與傳輸數據，常見於 Windows 系統使用的原生檔案格式
• 特徵：使用 tags（開始/結束），elements（包含tag與數據），attributes（額外信息）。
• 使用場景：需要層次化數據的存儲與交換。
  `
  4688
  JSMITH
  5

CSV（Comma Separated Value）

• 定義：用**逗號,**分隔的數據值，位置決定字段名稱。
• 特徵：簡單的數據存儲與解析，有良好的兼容性。
• 使用場景：常見於設備（如防火牆）記錄。
  2009-11-24T21:27:09.534255,ALERT,192.168.2.7,1041,x.x.250.50,80,TCP,ALLOWED,1:2001999:9,"ET MALWARE BTGrab.com Spyware Downloading Ads",1

CEF（Common Event Format）

• 定義：使用 key-value pair 的方式結構化數據。
• 特徵：字段之間以 " |（分隔符號）" 分隔。
• 使用場景：安全運維中常用的告警。
  Sep 29 08:26:10 host CEF:1|Security|threatmanager|1.0|100|worm successfully stopped|10|src=10.0.0.2 dst=2.1.2.2 spt=1232
  Here is a breakdown of the fields:
• Syslog Timestamp: Sep 29 08:26:10
• Syslog Hostname: host
• Version: CEF:1
• Device Vendor: Security
• Device Product: threatmanager
• Device Version: 1.0
• Signature ID: 100
• Name: worm successfully stopped
• Severity: 10
• Extension: This field contains data written as key-value pairs. There are two IP addresses, src=10.0.0.2 and dst=2.1.2.2, and a source port number spt=1232. Extensions are not required and are optional to add.
• 此日誌記錄顯示名為threatmanager的安全應用程式成功阻止了一隻蠕蟲從內部網路10.0.0.2通過埠1232擴散到外部網路2.1.2.2，並報告了10的高嚴重性級別。