iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 1
2
Modern Web

寫給PHP開發者的30堂網路爬蟲開發系列 第 1

Day 1:導論

前言

為什麼需要有這30堂課程?我想我要在第一篇文章好好的說清楚。

我們先假設一個情況,我們已經有一個網頁應用程式或是網路服務了,並使用PHP所開發的,這時候我們發現這個應用程式服務需要與爬蟲做整合,像是自動化擷取資料讓網路應用程式服務顯示資料等服務。

或是網路應用程式可以即時的顯示擷取的資訊等等。有上述這些需求的時候,我們會怎麼做?

我們在這時候可能會想到使用「Python」來解決這類需要,並用來開發爬蟲,但是這會延伸另外一個問題,我們需要額外力量去學習「Python」來開發我們的爬蟲,抑或是我們需要額外的架構設計讓外來的「Python」爬蟲讓原本的網路應用程式服務可以整合在一起。

那為何不一開始就使用PHP來開發網路爬蟲等相關服務呢?如此一來可以讓PHP開發者比較容易維護之外,也可以減少PHP開發者的學習曲線。

以下為安排的章節:

章節

  • 導論
  • 網路爬蟲,蜘蛛以及機器人之名詞解釋
  • 建置爬蟲所需要的開發環境
  • 案例研究 1-1 擷取最新消息為例
  • 案例研究 1-1 開爬吧!擷取最新RSS消息實做
  • 案例研究 1-1 解析吧!解析最新RSS消息
  • 案例研究 1-1 解析吧!解析更多的RSS內容
  • 案例研究 1-2 擷取所有消息為例之分析方法
  • 案例研究 1-2 擷取所有消息為例之實做
  • 案例研究 1-2 解析所有消息為例
  • 案例研究 2-1 分析選課系統想法
  • 案例研究 2-1 解析與介紹選課系統
  • 案例研究 2-1 解析年度課程綱要網站
  • 案例研究 2-1 分析指定年度課程綱要網站
  • 案例研究 2-1 實做指定年度課程綱要網站爬蟲
  • 案例研究 2-1 分析課程查詢網站
  • 案例研究 2-1 實做課程查詢網站爬蟲
  • 案例研究 2-1 實做課程查詢網站爬蟲-part2
  • 案例研究 2-1 實做課程查詢網站爬蟲-part3
  • 案例研究 2-1 擷取課程查詢網站內容
  • 案例研究 2-1 擷取課程查詢網站內容-part2
  • 案例研究 3-1 分析凱基證券網站之收盤價檔案下載
  • 案例研究 3-1 分析凱基證券網站與內容擷取方法
  • 案例研究 3-1 凱基證券網站爬蟲實做
  • 案例研究 3-1 凱基證券網站內容之收盤價檔案下載擷取
  • 案例整合 1-1 排程工作整合
  • 案例整合 2-1 發信API寄送整合
  • 案例整合 2-2 寄信整合 part 2

前3個星期以基礎知識與環境的建置為重點,「工欲善其事,必先利其器」。把環境建好之後才可以迎接後面的案例研討與案例整合。

在案例的安排上,著重在「做中學」。
透過10個案例探討,在遇到需要爬一個網站的時候需要做什麼事情?
在做完了10個案例探討之後,接著將每一個案例變成一個單獨的服務,意即變成「案例整合」,整合成網路應用程式服務,或者是網路機器人,抑或是網路蜘蛛等角色。

每個案例名稱與目標並未更新上去,在日後會在當天揭曉,請各位讀者耐心期待!


下一篇
Day 2:網路爬蟲,蜘蛛以及機器人之名詞解釋
系列文
寫給PHP開發者的30堂網路爬蟲開發30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

我要留言

立即登入留言