寫個爬104工作的爬蟲 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2023 iThome 鐵人賽

DAY 8

0

自我挑戰組

定期推送油價通知到Line上的訊息通知，並使用GitLab CI排程搭配Google Colab系列第 8 篇

寫個爬104工作的爬蟲

15th鐵人賽

2023-09-18 22:16:28

437 瀏覽

分享至

由於前面的推送油價通知的小程式已經寫完了,接下來預計再做個爬104的爬蟲的小專案來度過這30天XD

要做的104爬蟲預計功能是醬子:
1.在104網站輸入關鍵字:測試/QA+地區+職務類別後,點擊搜尋
2.下拉載入所有頁面後,將職稱/公司/地址/薪水/經歷要求/學歷/工作內容/詳情等資料存到csv/excel/資料庫中
3.在存取下來的資料中,分析經驗要求&工作內容中,QA需要用到的技能的前三名為何

分析可能需要用到的技術:

104爬蟲: selenium,requests
將資料存到資料庫/csv/excel: sqlite3/pandas/openpyxl
分析存下來的資料: matplotlib or wordcloud+jieba
有時間的話,再將以上步驟轉為使用playWright or robotFramework撰寫

寫完大綱~明天準備來研究104怎麼爬囉~

推上github 做排程以前,先寫個單元測試吧

如何爬104的職缺

系列文

定期推送油價通知到Line上的訊息通知，並使用GitLab CI排程搭配Google Colab 共 16 篇

目錄

RSS系列文訂閱系列文

0 人訂閱

完整目錄

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

尚未有邦友留言

立即登入留言

參賽組數

1064 組

團體組數

40 組

累計文章數

22202 篇

完賽人數

602 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙