iT邦幫忙

2019 iT 邦幫忙鐵人賽
DAY 10
1
Security

CTF入門學習系列 第 10 篇

[Day10] Robots.txt阻擋爬蟲和搜尋引擎

2019鐵人賽
2285 瀏覽

  • 分享至 

  • xImage
    •  

這次的題目
主要是介紹robots.txt這個檔案
在網站上
通常會有這個檔案
裡面紀錄網站內的各個頁面的存取權限
以避免爬蟲或是搜尋引擎直接去存取
大家有興趣的話可以去看看robots的各種詳細的用法

https://ithelp.ithome.com.tw/upload/images/20181025/20112085Sps700tHJ3.png

https://ithelp.ithome.com.tw/upload/images/20181025/201120852xyVc2qn3o.png

那進到題目的連結之後
我們就先去取得這個網站的robots.txt
進去之後可以發現裡面有一個限制存取的頁面
不希望讓爬蟲去存取他

https://ithelp.ithome.com.tw/upload/images/20181025/20112085RNnDNVU35M.png

連到這個限制的頁面後
就可以發現我們的答案了


上一篇
[Day9]好吃的Cookie
下一篇
[Day11] SQLinjection
系列文
CTF入門學習 共 30 篇
  1. 26
    [Day26]Hexdump檢查
  2. 27
    [Day27]IDA pro逆向工程
  3. 28
    [Day28]基礎組合語言邏輯
  4. 29
    [Day29]組合語言推理par2
  5. 30
    [Day30]檔案救援技能(?
完整目錄
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22200 篇
完賽人數
602 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙