分享至
如題，目前有兩隻獨立的spider，希望將他們做合併。但是卻沒有頭緒要怎麼設定才讓爬蟲1號在未成功爬取時，執行爬蟲2號並獲得其回傳值。
還請各位大能幫幫忙，給點提示（合手）
已邀請的邦友 {{ invite_list.length }}/5
寫在Retry Middleware中
選我正解
可以用 海綿寶寶 的方式，把錯誤的 URL 都保存在某個檔案或寫進資料庫中，爬蟲2號覆寫 start_requests() 方法，讓爬蟲啟動時把失敗的 URL 讀進來使用。
感謝提供方法，會再嘗試！
IT邦幫忙
iThome鐵人賽
看影片追技術