今天是第四天，網路爬蟲雖方便快速，但是在執行之前也有一些地方需要注意，來看看爬蟲之前要遵守哪些規則吧!

1.設置延遲時間:前面有提到如果過度使用爬蟲可能會造成伺服器的負擔，甚至可能會觸法。因此爬取資料時可以設定適合的延遲時間，降低請求的頻率，避免短時間內送出大量的請求而造成伺服器的負擔，甚至可能會觸法。

2.遵守robots.txt:再來是我們須遵守robots.txt，它會規範訪問間隔時間，如果訪問間隔時間設定 1，則表示這個網站期望每次訪問的時間間隔一秒鐘。在發送請求時，應明確設置 User-Agent 標頭，表明爬蟲的身份，並且檢查該網站允許什麼樣的User-Agent訪問，讓我們了解哪些頁面允許爬取、哪些頁面被禁止。

3.確認網站是否有提供API:如果網站有提供API供第三方直接取得資料，應優先使用 API 獲取數據，節省讀取與分析網站HTML的時間。

總結:
我們須避免過度爬蟲造成伺服器的負擔，若網站管理者請求停止爬取也要遵守，並且避免爬取道個人隱私訊息。遵循這些禮儀可以讓爬蟲的使用更為合乎倫理，也有助於促進網絡的健康發展。