大家好！我目前正在就讀資訊類科系，平常以接觸程式撰寫居多，對於資安領域的技術沒有太多了解因此希望藉由這30天的機會，以OWASP ZAP作為主要工具，從實際操作和分析，從環境架設、基本掃描到進階弱點發掘，一步步建立資安思維。
　　我將學習如何利用ZAP自動化及主動/被動掃描常見的資安漏洞，並理解其背後的原理，以及該如何修復，例如SQL Injection、XSS等，讓我從「資安小白」進化成具備基本滲透測試技能的「資安入門者」。

今日內容概要：

1. 什麼是爬蟲Spider？
2. 自動抓取網站連結
3. 與手動瀏覽比較

什麼是爬蟲Spider(Crawler)？

指在一定的範圍內，對目標網頁(起始URL)中的任何超連結、表單、JavaScripts產生的URL等進行深入探索、訪問。

• (Standard)Spider:速度更快，對HTML中的連結、表單進行遞迴爬取，適合用在傳統靜態或部分動態網頁。
• AJAX Spider:模擬「使用者瀏覽網頁」的動作，與網頁互動，例如點擊連結、填寫表單，並分析由其產生的DOM變化，適合大量使用JavaScript的網頁(如React、Vue、Angular等)。

實作—自動爬蟲抓取網站(AJAX Spider/Spider)

前提：Max Depth:5；Maximum Duration:5 min.
Spider
找到的URL數量：161個

AJAX Spider
找到的URL數量：520個

與被動掃描、Manual Explore比較

• 被動掃描： 不會像主動掃描一樣送出惡意請求，而是會在使用者瀏覽網頁時，分析瀏覽過程中流經的HTTP/HTTPS請求及回應。
  優點： 主要用來檢查網頁Header、Cookie、Protocol等及資料的安全性
  缺點： 掃描範圍有限(類似人工瀏覽)
• (ZAP中的)Manual Explore人工瀏覽： 是由測試人員藉由該功能開啟網頁後，手動操作網站，例如登入、點及、輸入、提交表單等，ZAP會攔截並記錄所有流量(具被動掃描部分概念)。
  優點： 可以進入網頁中需要複雜操作的頁面(例如登入、需要特殊權限的網頁)
  缺點： 需要人力瀏覽網頁，容易形成遺漏，完整性低
• Spider爬蟲： 是會自動模擬使用者瀏覽網頁，從起始網頁開始，在一定的範圍內，沿著連結、表單深入探索新的頁面。
  優點： 全自動，可以快速建立Sites Map、補足人工瀏覽遺漏的地方
  缺點： 可能因為權限限制、驗證碼或複雜表單，而搜索不到深層的頁面、對需要登入或互動操作的網頁可能無法單一使用

參考文章：

連結一：https://www.zaproxy.org/docs/desktop/addons/spider/