iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
Software Development

我命由我不由語言 java爬蟲挑戰 系列

在這個鐵人賽中,我將利用Java技術開發一個完整的爬蟲系統,目標是自動化抓取台灣最大的租屋平台——591租屋網的房屋信息。透過這個實戰專案,我將深入探討Java在爬蟲開發中的應用,並與Python進行比較分析,討論Java在這個領域的優劣勢。除了基本的數據抓取功能,我還會整合Discord Bot,實現當符合條件的租屋信息出現時,能即時通知Discord群組成員。這將是一個全面展示Java技術應用與拓展能力的實踐挑戰。
希望能夠完成。

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文 團隊看不見未來
DAY 11

java爬蟲挑戰 Day 11 - 爬蟲模組完成

今天把剩餘的動作進行完成、收尾。 主要就剩過濾重複資料跟分頁處理。 過濾重複資料 要過濾重複資料,就需要找到這些資料的唯一值,我選用的是網址。 昨天我們安裝了H...

2024-08-28 ‧ 由 小草 分享
DAY 12

java爬蟲挑戰 Day 12 - Spring Scheduler 排程控制

在今天的文章中,我將介紹如何使用 Spring 排程功能來控制我們的爬蟲模組抓取資料。 為什麼要使用排程? 我們目前是StartupRunner 在啟動時執行一...

2024-08-29 ‧ 由 小草 分享
DAY 13

Java爬蟲挑戰 Day 13 - Discord機器人(Bot)介紹

順序進行了調整,沒有先了解Discord Bot,後面感覺不好規劃。 什麼是 Discord Bot? Discord Bot 是一種自動化的應用程序,運行在...

2024-08-30 ‧ 由 小草 分享
DAY 14

java爬蟲挑戰 Day 14 - 建立Discord Bot並加入伺服器

創建一個 Discord Bot 要開始使用 Discord Bot,首先需要在 Discord 開發者平台上創建一個 Bot。 步驟如下: 前往 Discor...

2024-08-31 ‧ 由 小草 分享
DAY 15

java爬蟲挑戰 Day 15 - Java Discord API (JDA) 導入

什麼是 JDA? JDA (Java Discord API) 是一個非官方的 Discord API 函式庫,專為 Java 開發者設計。它提供了多樣的功能,...

2024-09-01 ‧ 由 小草 分享
DAY 16

java爬蟲挑戰 Day 16 - 實作Discord Bot的基本功能 (1)

Discord bot具備豐富的功能,從音樂播放到遊戲統計追蹤,無所不包。然而,對於我們的591租屋爬蟲推播程式,僅需關注最核心的幾個功能:接收文字、取得使用者...

2024-09-02 ‧ 由 小草 分享
DAY 17

java爬蟲挑戰 Day 17 - 實作Discord Bot的基本功能 (2)

DiscordBot 傳送文字 為了方便理解,我們將程式碼寫在 DiscordBotRunner,重點是 sendMessage 方法。傳送訊息時需要 JDA、...

2024-09-03 ‧ 由 小草 分享
DAY 18

java爬蟲挑戰 Day 18 - Discord Bot增加歡迎詞 & 轉Spring Bean

開始之前先補充一下,如何讓使用者將機器人加入伺服器時先自我介紹。 讓機器人自我介紹 DiscordBotListener 當你的 Discord Bot 被加入...

2024-09-04 ‧ 由 小草 分享
DAY 19

java爬蟲挑戰 Day 19 - Discord Bot !help 指令規劃

今天我們將詳細規劃 Discord Bot 中的 !help 指令,為使用者提供一個清晰易懂的指令集,讓使用者能夠根據需求訂閱或管理他們的租屋資訊推播服務。 h...

2024-09-05 ‧ 由 小草 分享
DAY 20

java爬蟲挑戰 Day 20 - 使用EmbedBuilder呈現!help指令

開始之前,先說明今天遇到的問題 處理Spring循環依賴 先付上錯誤訊息 目前建立 Discord Bot 的Java Bean會同時進行兩個動作: 建立 J...

2024-09-06 ‧ 由 小草 分享