在這個鐵人賽中,我將利用Java技術開發一個完整的爬蟲系統,目標是自動化抓取台灣最大的租屋平台——591租屋網的房屋信息。透過這個實戰專案,我將深入探討Java在爬蟲開發中的應用,並與Python進行比較分析,討論Java在這個領域的優劣勢。除了基本的數據抓取功能,我還會整合Discord Bot,實現當符合條件的租屋信息出現時,能即時通知Discord群組成員。這將是一個全面展示Java技術應用與拓展能力的實踐挑戰。
希望能夠完成。
今天的目標是實作 !sub、!unsub 和部分 !info 指令,並且處理未知指令。這些指令的核心功能在於使用資料庫來記錄用戶的訂閱狀態,因此我們建立一個 S...
監聽器調整 DiscordBotListener 在之前的實作中,所有的指令後都沒有帶參數,因此不需要處理空白後面的內容。但現在新增了一些指令,需要將指令後面的...
監聽器調整 DiscordBotListener 在 doBotCommand 方法中,我們需要增加處理新的指令 !info 和 !reset。!info 用來...
開始之前修正之前的一些bug SubscribeUser 調整及增加預設值,預設為無訂閱。數字最大為MAX,最小為0。 private Boolean isSu...
經過了這段時間的開發,我們已經完成了租屋通知機器人。這個Discord Bot能根據使用者設定的條件,自動推播符合要求的租屋資訊到 Discord 頻道。 目前...
用網頁爬蟲時,網站通常會有一些機制來阻止大量的自動化請求,保護伺服器資源。因此,瞭解如何避開這些防爬蟲機制是我們在開發爬蟲時不可忽視的課題。 robots.tx...
昨天已經介紹過為什麼要使用Proxy了,今天就直接實作。 分析FreeProxyList https://free-proxy-list.net 要將下圖中的i...
Java 我大概寫了 4 到 5 年,Python 大約一年,其他語言的使用時間就更短了。過去如果有簡單的小程式,我常常會選擇使用 JavaScript,因為它...
這次挑戰的初衷,是因為在公司當碼農待久了,總覺得自己的成長停滯不前,因此決定找一個有意義的課題來提升自己的知識與技術。我選擇使用 Java 來開發一個租屋通知機...
選題 選題真的非常困難。網路上充滿了各種創意十足的產品和 side project,論創意,我自覺比不上那些天馬行空的想法;論技術和知識,我也差距甚遠。而且考慮...