安裝完環境之後,想必在讀本系列文章的你,對於開發 Data pipeline 必定是躍躍欲試!如果對 Airflow 有點熟悉的朋友,這幾天可以簡單瀏覽過或是當...
剛開始學習程式的時候,對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足,以及系統版本和程式版本非常的複雜,總是需要花上許多時間跟精力進行安裝及...
今天也是在日本旅遊與鐵人競賽當中交錯,實在是十分有趣的經驗!今天看到日本許多有設計感的建築,覺得令人歎為觀止,我想除了設計的靈感之外,也需要強大的工程技術能力來...
迴圈 for for 跟其他程式語言比較不一樣,不用設變數遞增,並且判斷長度 可以直接走訪,因此 items 是一個可走訪(sequence)的物件,如 l...
判斷 if elif else 只有一組使用 if else,多組則中間加入 elif 跟一般程式語言比較不同,Python 的 else if 簡寫為 e...
ETL & SQL review 這個作業那時我花最多時間的是研究作業的data(restaurant_with_menu.json, users_wi...
昨天有簡單敘述一下 Autoencoder 的背後理論。 Autoencoder 是一種神經網絡架構,主要用於無監督學習和特徵提取。 它的主要目標是將輸入數據編...
Python 的標準函式「zipfile」提供可以將檔案或資料夾壓縮為 zip 壓縮檔、或將壓縮檔解壓縮的方法,這篇教學將會介紹 zipfile 的使用方法。...
Python 的標準函式「shutil」提供了一系列高階操作檔案與資料夾的方法,可以針對檔案進行複製、移動、壓縮、解壓縮等相關操作,這篇教學將會介紹 shuti...
前情提要: 接下來的四天會來講述此專案會使用到的 Flask 概念,而今天要來分享的是 Python Flask URL 的使用,把路徑的設定和應用和大家講述!...
當處理的目標是多模型組成,我們可以訓練各種模型至不同的Server 以增加執行與管理的效能: 如果這些訓練好的模型,未來要串接起來,做生成式資料產出,可能會做...
終於要進行第一個網頁的製作了,這邊會用到的概念是 view 處理請求的邏輯。當使用者輸入特定 url 時,該 url 配置的 view 便會進行邏輯處理並送出回...
昨天介紹完打擊,今天接下來介紹投球,不過其實大多數的參數都滿像的,但投手的 methods 多打者滿多的,一起來瞧瞧吧。 statcast_pitcher 跟昨...
前言 昨天我們將 Model 定義好後下了兩個指令就將資料表建立出來,但背後 Django 到底幫我們做了什麼? 昨天最後我們下了兩個指令分別是 python...
在訓練神經網絡時,最常用的算法是反向傳播(back propagation)。在這個算法中,根據損失函數對給定參數的梯度,調整參數(模型權重)。 為了計算這些梯...
前言 由於花了三分之二的內容寫如何透過 Python 和 Asana API 去產出投影片,接下來的內容會轉向說明如何使這串程式可以自動化執行 希望在每週一...
線性迴歸模型 線性迴歸是一種統計學方法,用於建立自變數(x)和應變數(y)之間的線性關係模型。線性迴歸假設應變數是由一個或多個自變數線性組合而成的,且自變數之間...
昨天Review完Readme後,今天要來Code review,首先來看專案結構, 優點: 簡潔性:專案結構簡單,容易理解。面試官可以迅速地熟悉整個結構。...
前情提要: 在前天 Python Flask 的簡單示範中,有使用到一個很不一樣的東西,也就是 @app,而這到底又是什麼呢,今天就要來跟大家分享此概念! 什麼...
今天是這個簡易庫存系統的最後一天,我們用 Cookies 搭配 JWT 的實作來做個收尾。每個專案對於 jwt 的做法都不同,有的專案可能會分為長時效的 ref...
dict 使用 {} 或 dict() 建立 語法:{key1:value1, key2:value2, ..} key 為唯一,若不存在則會建立新的 空...
資料搜集後常會分布在不同的檔案中,使用Pandas讀取後再將資料合併。Pandas提供了append(資料附加)、concat(資料串接)及merge(資料融...
Python 的標準函式「glob」可以使用名稱與路徑的方式,查找出匹配條件的檔案或資料夾,查找出檔案後,搭配其他函式庫 ( 例如 os 標準函式庫 ) ,就能...
Python 的標準函式「os」提供了操作系統中檔案的方法,可以針對檔案進行重新命名、編輯、刪除等相關操作,這篇教學將會介紹 os 常用的方法。 原文參考:檔...
經過前20節的文章,了解模型訓練與預測相關運作後,接著實例應用並比較幾種損失函數與optimizer的搭配比較。這邊拿某集團企業的銷售資料訂單來做訓練範例。...
今天來點開胃菜提供練習~ 還有提供物件導向(OOP)的範例! 開胃菜 Bubble sort 通過反複比較相鄰的元素使其交換,使最大/最小的元素移到列表的一端...
跟 FanGraphs 一樣,Statcast 資料也有做分類,今天會先來介紹打擊相關的 methods。 statcast_batter 用來獲得單一打者的逐...
前言 昨天我們已經寫了第一個 API 了,但他只做了一件事情就是回傳一個 health 的 key 表達 API 很健康,但實際上我們應該要從資料庫裡面拿資料才...
不瞞大家,這幾天其實我在日本旅遊當中,所以鐵人賽對我來說真的是很鍛鍊啊!每天有很多行程之外,結束後還是要抓緊時間寫文章,真的是極度瘋狂!但是這過程中卻也覺得十分...