昨天談到帶入參數執行 DAG，那如果我們那如果我們今天想要從Task 之間彼此傳遞參數呢？那就必須使用到 Airflow 中的 XCom的功能了 。今天我們就來...
在一開始學習程式的時候，覺得使用參數是件像是魔法一般的事。同樣類型的工作，編寫一次程式碼之後，就可以透過不同的參數產生不同的結果。如果有不同的維度的功能需要加入...
經過前幾天的介紹，相信大家應該都有一個基本的概念輪廓，知道如何透過 Airflow DAG 建立所需要的 Data pipeline了。今天來談談 DAG 如何...
昨天說明了 DAG 以及 Task，今天我們繼續說明另一個很重要的 Airflow 元件 -- Relationships 關聯關係。 在我們做的第一個 DAG...
昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...
安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...
剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...
今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...
迴圈 for for 跟其他程式語言比較不一樣，不用設變數遞增，並且判斷長度 可以直接走訪，因此 items 是一個可走訪(sequence)的物件，如 l...
判斷 if elif else 只有一組使用 if else，多組則中間加入 elif 跟一般程式語言比較不同，Python 的 else if 簡寫為 e...
ETL & SQL review 這個作業那時我花最多時間的是研究作業的data(restaurant_with_menu.json, users_wi...
昨天有簡單敘述一下 Autoencoder 的背後理論。 Autoencoder 是一種神經網絡架構，主要用於無監督學習和特徵提取。 它的主要目標是將輸入數據編...
Python 的標準函式「zipfile」提供可以將檔案或資料夾壓縮為 zip 壓縮檔、或將壓縮檔解壓縮的方法，這篇教學將會介紹 zipfile 的使用方法。...
Python 的標準函式「shutil」提供了一系列高階操作檔案與資料夾的方法，可以針對檔案進行複製、移動、壓縮、解壓縮等相關操作，這篇教學將會介紹 shuti...
前情提要： 接下來的四天會來講述此專案會使用到的 Flask 概念，而今天要來分享的是 Python Flask URL 的使用，把路徑的設定和應用和大家講述！...
當處理的目標是多模型組成，我們可以訓練各種模型至不同的Server 以增加執行與管理的效能: 如果這些訓練好的模型，未來要串接起來，做生成式資料產出，可能會做...
終於要進行第一個網頁的製作了，這邊會用到的概念是 view 處理請求的邏輯。當使用者輸入特定 url 時，該 url 配置的 view 便會進行邏輯處理並送出回...
昨天介紹完打擊，今天接下來介紹投球，不過其實大多數的參數都滿像的，但投手的 methods 多打者滿多的，一起來瞧瞧吧。 statcast_pitcher 跟昨...
前言 昨天我們將 Model 定義好後下了兩個指令就將資料表建立出來，但背後 Django 到底幫我們做了什麼？ 昨天最後我們下了兩個指令分別是 python...
在訓練神經網絡時，最常用的算法是反向傳播（back propagation）。在這個算法中，根據損失函數對給定參數的梯度，調整參數（模型權重）。 為了計算這些梯...
前言 由於花了三分之二的內容寫如何透過 Python 和 Asana API 去產出投影片，接下來的內容會轉向說明如何使這串程式可以自動化執行 希望在每週一...
線性迴歸模型 線性迴歸是一種統計學方法，用於建立自變數(x)和應變數(y)之間的線性關係模型。線性迴歸假設應變數是由一個或多個自變數線性組合而成的，且自變數之間...
昨天Review完Readme後，今天要來Code review，首先來看專案結構， 優點： 簡潔性：專案結構簡單，容易理解。面試官可以迅速地熟悉整個結構。...
前情提要： 在前天 Python Flask 的簡單示範中，有使用到一個很不一樣的東西，也就是 @app，而這到底又是什麼呢，今天就要來跟大家分享此概念！ 什麼...
今天是這個簡易庫存系統的最後一天，我們用 Cookies 搭配 JWT 的實作來做個收尾。每個專案對於 jwt 的做法都不同，有的專案可能會分為長時效的 ref...
dict 使用 {} 或 dict() 建立 語法：{key1:value1, key2:value2, ..} key 為唯一，若不存在則會建立新的 空...
資料搜集後常會分布在不同的檔案中，使用Pandas讀取後再將資料合併。Pandas提供了append(資料附加)、concat(資料串接)及merge(資料融...
Python 的標準函式「glob」可以使用名稱與路徑的方式，查找出匹配條件的檔案或資料夾，查找出檔案後，搭配其他函式庫 ( 例如 os 標準函式庫 ) ，就能...
Python 的標準函式「os」提供了操作系統中檔案的方法，可以針對檔案進行重新命名、編輯、刪除等相關操作，這篇教學將會介紹 os 常用的方法。 原文參考：檔...
無聊工程師 bored_engineer
hokou
Moscle.dev
whoami
oxxo
kylekao
czxdas
kk00915
lihsuanh
Arthur (拉布)
彼得叩叩
rita0124
10程式中
Nesso
kamylin
iThome鐵人賽
看影片追技術