iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
自我挑戰組

定期推送油價通知到Line上的訊息通知,並使用GitLab CI排程搭配Google Colab 系列

技術和工具:
Python:使用Python來編寫收集油價數據並發送Line訊息的程式碼。
GitLab CI/CD:使用GitLab CI/CD功能來定期運行Python程式碼。
Google Colab:Colab是一個免費的Jupyter筆記本環境,您可以在其中運行Python程式碼,包括爬蟲和訊息發送。
Line Bot API:使用Line Bot API來發送訊息到Line上的群組或用戶。

參賽天數 9 天 | 共 16 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1. The Reason Why

動機:因為家人每周日都需要查看油價是否漲跌來決定是否要去加油站排隊但有時在開車中又無法及時做網頁搜尋,因此希望如果每周日line直接跳出通知就太棒啦~~ 至於l...

2023-09-11 ‧ 由 tester0716 分享
DAY 2

爬油價漲跌的爬蟲

步驟:1.資料來源:ptt省錢版,每周都會有熱心網友發文告知下周的油價會漲or跌,因此在網頁版輸入要查詢的關鍵字後抓取最新的一筆資料即可2.要查詢的關鍵字為&q...

2023-09-12 ‧ 由 tester0716 分享
DAY 3

line_notify api獲取權杖的方式

寫好爬ptt油價漲跌的爬蟲後,接下來要來處理將訊息透過line發送的這個部分首先,先查詢使用line notify api的方式: 接著,點帳號下拉選單到個人頁...

2023-09-13 ‧ 由 tester0716 分享
DAY 4

gitHub actions yaml檔設定說明-1

要啟用gitHub actions前,得先瞭解他的workflow是怎麼組成的workflow格式: .yml檔gitHub點選actions頁籤,有各種服務類...

2023-09-14 ‧ 由 tester0716 分享
DAY 5

gitHub actions yaml檔設定說明-2

查詢了網路上的colab設置搭配方式,建議最好是搭配google雲端硬碟,目前這部分還沒想到怎麼做因此先搭配使用已在repository中的Python檔案,&...

2023-09-15 ‧ 由 tester0716 分享
DAY 6

gitHub actions yaml檔-on workflow_dispatch啟用設定&jupyterbook設定方式

昨天推上github後發現actions執行一直失敗,後來才發現原來是yaml檔的資料夾設定錯誤(應該要在./github/workflows而不是/workf...

2023-09-16 ‧ 由 tester0716 分享
DAY 7

推上github 做排程以前,先寫個單元測試吧

因為這次寫的功能中有: 爬ptt資訊 推送訊息到line如果功能一多時直接上排程跑,中間有任一功能傳有誤(ex.request ptt資訊的api回傳資訊有誤...

2023-09-17 ‧ 由 tester0716 分享
DAY 8

寫個爬104工作的爬蟲

由於前面的推送油價通知的小程式已經寫完了,接下來預計再做個爬104的爬蟲的小專案來度過這30天XD 要做的104爬蟲預計功能是醬子:1.在104網站輸入關鍵字:...

2023-09-18 ‧ 由 tester0716 分享
DAY 9

如何爬104的職缺

104的爬蟲可以使用requests的套件來獲取api回傳結果,並使用BesutifulSoup, parsel等parser來將爬回來的html格式的資料解析...

2023-09-19 ‧ 由 tester0716 分享
DAY 9

104網站爬蟲-測試搜尋條件

selenium升為4之後有一些寫法與3不同,詳情可參考連結: 本文中的寫法仍是以selenium 3.14.0版本為主使用selenium爬104網站前,先試...

2023-09-22 ‧ 由 tester0716 分享