.

iT邦幫忙

IT EXPLAINED 數位轉型攻略 VII
Cyber Talent 資安人才培訓專區
Cloud Future Built Today
.
2

python爬蟲 動態生成網頁104人力銀行

python 網路爬蟲
justin_2491 2024-12-17 15:17:29 ‧ 3442 瀏覽

  • 分享至 

  • xImage

小弟我正在做小專案 一開始想透過selenium模擬使用者 開啟104人力銀行 搜尋"各種行業"(看使用者輸入甚麼行業) 將前30筆資料的職位 薪水等等 抓取下來
但後來發現104網站是動態生成 就不知道要怎麼操作了 不太了解怎麼從Network找到我要的網址 如果找到了，那麼金融業的網址 是不是又跟科技業的網址不一樣呢?我該怎麼樣處理呢!
希望有大佬能教教我! 如果哪邊敘述的不夠清楚 我可以再補充!!

froce iT邦大師 1 級 ‧ 2024-12-17 16:22:06 檢舉
selenium就專抓動態產出的，然後學會用瀏覽器的F12。
然後你這哪是描述的不夠清楚...你這是要人從頭教吧?
justin_2491 iT邦新手 5 級 ‧ 2024-12-17 21:36:55 檢舉
好的
obarisk iT邦研究生 1 級 ‧ 2024-12-18 10:08:38 檢舉
其實 104 不需要用 selenium 也能抓個 7788...
登入發表討論
.
圖片
  直播研討會

2 個回答

1
zivzhong
iT邦研究生 4 級 ‧ 2024-12-17 18:00:54

感覺可以參考這個:
https://hoxtonhsu.com/p/selenium%E5%AD%B8%E7%BF%92%E7%AD%86%E8%A8%98-%E4%BB%A5104%E4%BA%BA%E5%8A%9B%E9%8A%80%E8%A1%8C%E7%82%BA%E4%BE%8B/

登入發表回應
不明
【＊＊此則訊息已被站方移除＊＊】
1
echochio
iT邦高手 1 級 ‧ 2024-12-24 10:07:00

用 playwright 比較快

python -m playwright install

playwright install

python -m playwright codegen --target python -o my.py -b chromium https://www.google.com

您可在 google 頁面，網頁操作一下，網頁關閉，這樣就錄製 成 my.py

那個104 您可試試。

登入發表回應

我要發表回答

立即登入回答
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22201 篇
完賽人數
600 人
iT+看影片追技術 看影片追技術 看更多
全民必懂的AI通識課
iThome鐵人賽 |
35 分
Observability with Grafana
DevOpsDays |
23 分
日立數據推動醫療現代化以實現資料價值及創新
2023 臺灣醫院資訊主管會議 |
31 分
Aruba 安全網路架構保護公共資料
2023 數位政府高峰會 |
25 分
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
.
熱門回答
熱門文章
IT邦幫忙