請問一下javascript 或jquery可以直接捉取別人整個網頁嗎?

javascript 網路爬蟲翻譯

jbuduoo 2022-01-27 13:52:18 ‧ 1438 瀏覽

分享至

我想要做爬蟲，輸入https://www.google.com/search?q=章魚+英文

然後瀏覽器打開網頁，我再去解析他html中的章魚的翻譯。

我用postman 去request，是有得到資料。
但用ajax，卻取不得資料。
不曉得這問題要找什麼樣的關鍵字，再請大神們給點意見。

qpalzm iT邦研究生 5 級 ‧ 2022-01-27 14:16:31 檢舉

您好 ,想請問為甚麼不直接用爬蟲去取呢?爬蟲應該最方便的

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

3 個回答

galaxian85

iT邦新手 4 級 ‧ 2022-01-27 14:37:57

如果你的程式跑在網頁上的話, 因為要遵守 CORS 的關係, 是不能隨便亂抓別人的網頁喔
細節可以參考這邊 https://shubo.io/what-is-cors/

除非你還有一個伺服器可以幫你發出請求
不然的話在瀏覽器環境通常都是沒辦法用 ajax 拿到其他網域的資源的

回應
分享
檢舉

登入發表回應

japhenchen

iT邦超人 1 級 ‧ 2022-01-28 09:48:32

PHP可以，需搭配curl 來撈取別人靜態網頁上的所有內容
但易用程度及抗反爬蟲的能力，遠遠不及Python+Selelium+BeautifulSOAP，你可以試著朝向php+ exec外部指令的方法來呼叫python來做爬蟲的事(我有例子可私下交流)

寫爬蟲，不要只拘泥於一個語言就想搞定一切的想法，一個做不到那就外掛解決吧

回應
分享
檢舉

登入發表回應

小魚

iT邦大師 1 級 ‧ 2022-01-28 13:39:30

前端應該不行,
要用後端爬蟲.

回應 2
分享
檢舉

jbuduoo iT邦新手 4 級 ‧ 2022-01-28 23:59:40 檢舉

我是在寫chrome的擴充工具。我不知道在擴充工具中放入後端的程式。https://github.com/jbuduoo/find_image

planetoid iT邦新手 1 級 ‧ 2022-02-03 07:01:43 檢舉

把後端程式架成網站 API，再讓擴充工具呼叫

登入發表回應

我要發表回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22202 篇

完賽人數

602 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙