iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
自我挑戰組

定期推送油價通知到Line上的訊息通知,並使用GitLab CI排程搭配Google Colab 系列

技術和工具:
Python:使用Python來編寫收集油價數據並發送Line訊息的程式碼。
GitLab CI/CD:使用GitLab CI/CD功能來定期運行Python程式碼。
Google Colab:Colab是一個免費的Jupyter筆記本環境,您可以在其中運行Python程式碼,包括爬蟲和訊息發送。
Line Bot API:使用Line Bot API來發送訊息到Line上的群組或用戶。

參賽天數 9 天 | 共 16 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 9

104網站爬蟲-搜尋結果網頁下拉

繼昨天完成輸入搜尋條件之後點搜尋,可看到目前搜尋出來的工作結果但是內容有很多,因此需要做網頁下拉的動作滑到最底頁,以便獲取全部的網頁內容而網頁下拉的javasc...

2023-09-23 ‧ 由 tester0716 分享
DAY 9

104 爬蟲-將爬回來的結果存到excel中

繼前面將網頁下拉到最後一頁,讓全部的內容都載完之後,需要做兩件事:1.得到網頁的全部內容,並從中獲取需要的部分2.將整理過的資料,存到excel/資料庫中 第一...

2023-09-26 ‧ 由 tester0716 分享
DAY 9

104 爬蟲-使用pyMySQL查詢資料庫資料-1

繼上次將資料存到excel之後,這次要來研究怎麼存到資料庫中需要的知識點有: 資料庫開發環境設定 資料庫查看&SQL語法使用 Python連接,讀取,...

2023-10-03 ‧ 由 tester0716 分享
DAY 9

104 爬蟲-使用pyMySQL查詢資料庫資料-2

今天這篇會比較主要在講sql的增刪改應用在python的部分昨天已經講過查詢的部分,如果想要知道更進階的sql語法可以查看菜鳥教程或是找牛客網的sql題目來練習...

2023-10-05 ‧ 由 tester0716 分享
DAY 9

104 爬蟲-使用pyMySQL將資料寫到資料庫

昨天已經講完資料庫的增刪改查,那接下來的部分就是要把前幾天已經抓取並寫到excel的資料內容把他再寫到資料庫中 這邊我使用的是搭配openpyxl的方法,流程...

2023-10-08 ‧ 由 tester0716 分享

104爬蟲-使用分詞工具統計工作內容中的出現詞頻率

今天要來將前面已經蒐集好的工作內容做斷詞等分析,目前規劃的流程如下: 1.從 Excel 文件中讀取工作內容欄位資料並儲存到 job_descriptions....

2023-10-18 ‧ 由 tester0716 分享