前言 這幾天一直在想要如何豐富這次的鐵人賽,畢竟寫一次很累所以想說盡量不要留下遺憾。所以剩下的鐵人賽沒意外的話,會選一個我自己覺得有趣的主題,然後在剩下的時間內...
Ithome-crawler 此次我們的爬蟲目標是將 2022 鐵人賽 DevOps 組的所有文章進行爬取。 爬蟲程式邏輯大致如下: 首先的起始畫面會定...
Pod deploy 在做 CD Pipeline 之前我們先測看看 deploy 的 command 是否可以使用。 cd deploy/kubernetes...
到昨天為止,我們已經大致完成我們的 CI/CD pipeline,接下來來說一下是如何串接他們的,這邊要再多介紹一個 Jenkins 的 Plugin Pipe...
今天開始會帶著大家一起處理 Data Pipeline 的部分,首先我們要想辦法處理 ithome-crawler 在 Monngo 儲存的爬蟲資料。 下面的範...
前言 在這次我們的 source data 為第三方來源(爬蟲),往往因為網站的變動又或是被 ban IP 而無法確定資料有被正確爬取(包含資料筆數、欄位正確性...
前言 不知不覺鐵人賽好像快看到終點了 ...... 今天讓我們繼續處理 Data Pipeline 。 由於這次我們會將最終結果以 Google Data St...
Date Parameter in Jenkins 由於此次的 Data Pipeline 有基於時間(execute_date)為條件批次執行的特性,在來源資...
OverView 終於到了 Side Project 的最後一天,我將帶著大家以不同的面向了解這此 ithome 鐵人賽 DevOps 組的戰況(?)吧~ 此...
這幾年隨著 DevOps 的盛行,Devops 相關的工具百百種且推陳出新的速度非常快,或許會讓初學者非常徬徨,不知如何學起Source: https://am...