今天來爬一下惜物網作為requests爬蟲的示範。

什麼是惜物網?

https://shwoo.gov.taipei/shwoo/newhome/newhome00/index <-這裡

一個神祕的地方，一個政府報廢物的快樂天堂。

總之政府各部門的報廢品都會在這邊拍賣，拍賣品從牆上的公佈欄到消防局的六輪賓士貨車都有看過。
因此就算只是看看各部門丟了什麼鬼東西上來也是不錯的娛樂，甚至可以推坑朋友去標奇怪的東西。

這次爬蟲的目標?

單純的打算在每天新增的商品中蒐集我有興趣的並輸出成列表。

雖然看一些奇葩東西拿出來拍賣很有趣，但有時只是想看有沒有自己感興趣的所以懶得一頁一頁翻。
畢竟連好幾頁都是一樣的東西也不少見，最高紀錄我看過金門酒廠丟了整整17頁的報廢陶罈。

主要是想透過物品地點、拍賣單位、關鍵字來濾。
大概的構想是拿一個json檔來儲存我常用的設定，跑程式時在透過裡面的條件來抓取符合條件的商品後再輸出成列表。

首先看一下網頁

上方搜尋的地方看來可以直接幫我們濾掉大部分東西了，所以現在的問題是搞懂他怎麼運作的。

打開你開發者工具的網路頁面，然後丟一次搜尋看看。

假設丟這樣的內容上去，可以發現我們POST了一點東西上去。

按一下請求頁面可以看到我們post這樣的內容下去。

裡面算容易判斷各個選項是什麼意思。多搜尋幾次應該就可以找到規律了

明天繼續