Web的題目都蠻有趣的，相對其他來說也比較好入手一點
就直接來看今天的題目吧～

這一題提示說什麼東西可以讓網站不被你看到，再看到題目是Robots
有一種方式可以讓搜尋引擎找不到你的網頁，就是利用robots.txt這個檔案，存在於網站的根目錄
他可以告訴搜尋引擎哪些網站是不想被搜尋到的，可能像是還在測試中的網站、網站管理者登入的後台、存在某些特殊的檔案等等，不過這只是不讓搜尋引擎找到，若是從別的網站得到該網址還是會被訪問到唷。

所以這邊我們就進到他的robots.txt看看，直接在網址後面輸入/robots.txt就可以看到了，裡面看到他有一個目錄不想被別人看到我們就進這個目錄裡就可以得到Flag囉。

進去後點中間的Flag後他說只有admin可以看，點Sign in 也沒有用，提示有說到Cookie就打開F12試試看自己創一個cookie叫做admin讓他的值為True吧，再點選中間的Flag就可以順利拿到囉

進去後點Flag他說 You're not google
提示說要怎麼偽裝你的瀏覽器，所以我們要偽裝成google來騙他並拿到FLag，這時候一樣利用F12點開下面有三個點，選Network Condition下面有一個User agent，把勾勾取消並選 googlebot，就可以順利偽裝拿到Flag

今天的題目都是蠻實用的，很多時候可能工程師會粗心就會造成網站存在漏洞進一步被駭客利用，不過這邊只是提供一個遊戲性質的平台給大家練CTF，不要以身試法輕易的去對別人的網站做這些事情！

參考資料：
https://www.awoo.com.tw/blog/robotstxt-crawl/