iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
Software Development

我命由我不由語言 java爬蟲挑戰 系列

在這個鐵人賽中,我將利用Java技術開發一個完整的爬蟲系統,目標是自動化抓取台灣最大的租屋平台——591租屋網的房屋信息。透過這個實戰專案,我將深入探討Java在爬蟲開發中的應用,並與Python進行比較分析,討論Java在這個領域的優劣勢。除了基本的數據抓取功能,我還會整合Discord Bot,實現當符合條件的租屋信息出現時,能即時通知Discord群組成員。這將是一個全面展示Java技術應用與拓展能力的實踐挑戰。
希望能夠完成。

鐵人鍊成 | 共 30 篇文章 | 5 人訂閱 訂閱系列文 RSS系列文 團隊看不見未來
DAY 21

java爬蟲挑戰 Day 21 - 完成訂閱及解除訂閱的指令

今天的目標是實作 !sub、!unsub 和部分 !info 指令,並且處理未知指令。這些指令的核心功能在於使用資料庫來記錄用戶的訂閱狀態,因此我們建立一個 S...

2024-09-07 ‧ 由 小草 分享
DAY 22

java爬蟲挑戰 Day 22 - 完成設定租屋條件的指令

監聽器調整 DiscordBotListener 在之前的實作中,所有的指令後都沒有帶參數,因此不需要處理空白後面的內容。但現在新增了一些指令,需要將指令後面的...

2024-09-08 ‧ 由 小草 分享
DAY 23

java爬蟲挑戰 Day 23 - 完成重置及查看設定的指令

監聽器調整 DiscordBotListener 在 doBotCommand 方法中,我們需要增加處理新的指令 !info 和 !reset。!info 用來...

2024-09-09 ‧ 由 小草 分享
DAY 24

java爬蟲挑戰 Day 24 - 條件觸發時通知Discord Bot進行推播

開始之前修正之前的一些bug SubscribeUser 調整及增加預設值,預設為無訂閱。數字最大為MAX,最小為0。 private Boolean isSu...

2024-09-10 ‧ 由 小草 分享
DAY 25

Java爬蟲挑戰 Day 25 - 租屋通知機器人(Discord Bot)展示

經過了這段時間的開發,我們已經完成了租屋通知機器人。這個Discord Bot能根據使用者設定的條件,自動推播符合要求的租屋資訊到 Discord 頻道。 目前...

2024-09-11 ‧ 由 小草 分享
DAY 26

java爬蟲挑戰 Day 26 - 從 IP 封鎖到 Proxy 的應用

用網頁爬蟲時,網站通常會有一些機制來阻止大量的自動化請求,保護伺服器資源。因此,瞭解如何避開這些防爬蟲機制是我們在開發爬蟲時不可忽視的課題。 robots.tx...

2024-09-12 ‧ 由 小草 分享
DAY 27

java爬蟲挑戰 Day 27 - 實作爬取免費Proxy並使用

昨天已經介紹過為什麼要使用Proxy了,今天就直接實作。 分析FreeProxyList https://free-proxy-list.net 要將下圖中的i...

2024-09-13 ‧ 由 小草 分享
DAY 28

java爬蟲挑戰 Day 28 - Java 與 Python的經驗分享與語言比較

Java 我大概寫了 4 到 5 年,Python 大約一年,其他語言的使用時間就更短了。過去如果有簡單的小程式,我常常會選擇使用 JavaScript,因為它...

2024-09-14 ‧ 由 小草 分享
DAY 29

java爬蟲挑戰 Day 29 - 項目總結

這次挑戰的初衷,是因為在公司當碼農待久了,總覺得自己的成長停滯不前,因此決定找一個有意義的課題來提升自己的知識與技術。我選擇使用 Java 來開發一個租屋通知機...

2024-09-15 ‧ 由 小草 分享
DAY 30

java爬蟲挑戰 Day 30 - 完賽心得

選題 選題真的非常困難。網路上充滿了各種創意十足的產品和 side project,論創意,我自覺比不上那些天馬行空的想法;論技術和知識,我也差距甚遠。而且考慮...

2024-09-16 ‧ 由 小草 分享