iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 11
0
Modern Web

寫給PHP開發者的30堂網路爬蟲開發系列 第 11

Day 11:案例研究 2-1 分析選課系統想法

  • 分享至 

  • xImage
  •  

前言

從前幾天的2個例子來看,我們可以知道訊息發怖網站的分析與擷取,學到分析網站的行為,請求網址的路徑,怎麼拿到AJAX刷新後的新訊息等。

這些都算是最基本的爬蟲開發方法。接下來,結束了學校消息網站的擷取之後,接下來還有什麼可以值得探討的案例?

在多年以前,我還是大學生的時候,看到了這篇議程,內容是在講述該如何將台科大的選課系統上的資料做二度應用,期許打造更好用的選課模擬系統,讓未來在真正的選課之前,擁有良好的資源可以做沙盤推演模擬要選課程列表與清單。

看完之後,著實讓我振奮,心裡想著,那如果開始著手開發屬於自己學校的選課模擬系統,該有多好,想必大家也有同樣的需求。後來,從剛開始碰這些爬蟲相關技術,確實讓我吃了不少的苦頭,尤其花在開發學校訊息網站就已經花了大部分的時間了。

後來,等到要做「選課模擬」這件事情的時候,就已經畢業了。也無緣做這件事情。後來,仍是把這個目標放在心中。現在,終於有了一個曙光,那就是可以在這30天中,把它放入當成其中一個探討的案例。

這樣一來也可以達成比賽的目標之外,也一圓我長久以來的心目中目標,也希望在案例研討中,至少核心雛型,也就是相關選課系統爬蟲可以在案例研討中相繼完成。這樣後面的選課模擬系統服務才有完成的契機與機會。

選課系統爬蟲規劃

由於這個主題較為複雜與龐大,需要分析與實做部份較為廣泛。因此預計在此案例研討中分成幾個部份:

  • 分析基本選課查詢系統
    • 基本上,選課模擬主要來源是在「選課查詢系統」,因此會著重在此系統上的研究與擷取。
    • 選課查詢系統上的每個欄位,包含下拉選單中的值擷取等,也需要做一個分析與擷取。
  • 分析選課查詢後的結果
    • 在基本上,選課查詢系統都會有包含「老師」,「學期年度」,「系所選擇」等複合式的查詢,因此需要做的事情是將這些綜合查詢組合作一個分析,並想辦法將所有的指定學期選課內容做有效率的擷取。

在章節安排上,預計會分成4個章節。分別是:

  • 基本分析選課查詢系統
  • 擷取選課系統上的查詢選單
  • 分析所有學期年度所有系所的課程
  • 擷取所有學期年度所有系所的課程

上述章節會依照當下難易度做一個內容的調整,有可能某個章節會多出一兩天做分析,闡述和實做也是有可能的。

所以明天,仍是會以基本分析選課查詢系統為主,敬請期待!


上一篇
Day 10:案例研究 1-2 解析所有消息為例
下一篇
Day 12:案例研究 2-1 解析與介紹選課系統
系列文
寫給PHP開發者的30堂網路爬蟲開發30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言