04. where are the robots

Can you find the robots? https://2019shell1.picoctf.com/problem/49824/ (link) or http://2019shell1.picoctf.com:49824
你能找到機器人嗎，連上 https://2019shell1.picoctf.com/problem/49824/ (link) 或http://2019shell1.picoctf.com:49824

HINT:

What part of the website could tell you where the creator doesn't want you to look?

WALKTHROUGH:

Go to https://{{server}}/problem/{{port}}/robots.txt . Then go to the /webpage listed in the robots.txt to get the flag

WRITEUP:

從頁面的原始碼、開發人員工具都看不到有隱藏的資訊(cookie、session等)。只好第一次花 token 買下攻略(Walkthrough)。
原來這裡是要說明網站在建立時，可以透過特定檔案 robots.txt 給搜尋引擎遵循。也就是說像 google 在爬網頁時，”理論”上會按照 robots.txt 的內容不去爬指定的路徑。

如果要方便查看該檔案的話，可以安裝 chrome 裡的外掛 Robots Exclusion Checker。

教學文件漏掉的必要攻略資訊也很多，不過仍然建議即使已經想破頭了，也是不要直接 google 答案，像這題如果當初 gogole web robot 等題目出現的關鍵字也許就有希望了。

ANSWER:

picoCTF{ca1cu1at1ng_Mach1n3s_0194a}