iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 16
0
Modern Web

寫給PHP開發者的30堂網路爬蟲開發系列 第 16

Day 16:案例研究 2-1 分析課程查詢網站

  • 分享至 

  • xImage
  •  

前言

如標題,我們在前幾天已經完成了課程綱要的網站分析,擷取與實做爬蟲等項目,接下來要到目前整個課程網站中最重頭戲的部份了。

課程查詢系統是學校網站最重要的一環,這是可以看的到全校課程的內容與一覽表。接著也可以讓我們知道,一個學校課程開了有多少。

分析網站

首先,課程查詢網站的入口在這裡,進去之後,會看到下面的截圖:

https://ithelp.ithome.com.tw/upload/images/20191001/201039758rPuAcn41F.png

算是很樸素的畫面,接著我們按下「F12」觀看這個網站內容的元素,如下圖所示:

https://ithelp.ithome.com.tw/upload/images/20191001/20103975cPNx5MVqyv.png

接著,切換到「Network」分項,點擊網頁上的「查詢」,接著就會等大約5秒,接著就會看到下面的截圖畫面了:

https://ithelp.ithome.com.tw/upload/images/20191001/20103975G5FZfuLIUB.png

接著點取「CourseListPublic.aspx」,我們可以看到下面這張截圖:

https://ithelp.ithome.com.tw/upload/images/20191001/20103975s9I5ATQ5mJ.png

往下拉之後會發現,有一長串的「Form Data」,用POST方法送到後端資料非常的長,下面是擷取一小部份的截圖:

https://ithelp.ithome.com.tw/upload/images/20191001/20103975F1phEbY4qg.png

從這裡猜測,目前可能的擷取方式如下:

  • 要拿到所有表單中的欄位值與名稱
  • 要把表單中,驗證的欄位資料一起送過去
  • 基本上有兩次發送

結論

今日,就算是一個初步的課程查詢網站分析了,明天就要將今日分析方法用來實做課程查詢爬蟲了。

敬請期待!


上一篇
Day 15:案例研究 2-1 實做指定年度課程綱要網站爬蟲
下一篇
Day 17:案例研究 2-1 實做課程查詢網站爬蟲
系列文
寫給PHP開發者的30堂網路爬蟲開發30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言