iT邦幫忙

0

scrapy中如何設定條件使爬蟲1呼叫爬蟲2執行

如題,目前有兩隻獨立的spider,希望將他們做合併。
但是卻沒有頭緒要怎麼設定才讓爬蟲1號在未成功爬取時,執行爬蟲2號並獲得其回傳值。

還請各位大能幫幫忙,給點提示(合手)

1 個回答

1
海綿寶寶
iT邦大神 1 級 ‧ 2019-11-27 16:02:28
最佳解答

寫在Retry Middleware

選我正解

Rex Chien iT邦新手 4 級 ‧ 2019-11-27 21:16:34 檢舉

可以用 海綿寶寶 的方式,把錯誤的 URL 都保存在某個檔案或寫進資料庫中,爬蟲2號覆寫 start_requests() 方法,讓爬蟲啟動時把失敗的 URL 讀進來使用。

Huiicat iT邦新手 5 級 ‧ 2019-11-29 16:32:37 檢舉

感謝提供方法,會再嘗試!

我要發表回答

立即登入回答