鐵人檔案
1.cloud native workflow工具: flyte
2. ray 框架
3. dask框架
4.資料庫版控 dolt工具
MLOps 一直是我想深入了解的領域，而這次的鐵人賽，成了我實際動手學習與實作的最佳機會。為了更有系統地掌握相關技術，我選擇從一個強大且活躍的開源專案 —— F...
目前我只有一台window主機，所以我先使用wsl環境介紹，當然如果你有Ubuntu環境會更好。前置安裝: kubectl安裝文檔 k9s dock...
當運行workflow後，UI顯示提交的mean_value_wf的workflow與task版本(sha)。亦可透過flytectl獲取task tag驗證。...
每個task都對應一個container，所以我們可以自行指定環境(image)。 uv環境，透過lock檔案綁定python環境與相依套件。registry...
flyte支持快取機制，當任務多次執行並且輸入大多相同時，可以使用快取機制加快時間與減少資源使用。依據augments與回傳值，如low、high、int等等參...
更新kuberay helm並安裝kuberay operator helm repo add kuberay https://ray-project.gith...
這幾天備考aws saa，所以比較少時間撰寫內容，之後會統一更新。 flyte除了使用pyflyte run 與 透過UI啟動外，也可以透過SDK啟動workf...
flyte提供使用者週期性的運行指定workflow。可以使用cronjob或是定時時間區間啟動workflow與plan。 import flytekit a...
當task已經註冊，但使用者有更新該task的設定參數需求時，可以使用override來啟用或更新task功能與設定。 GPU類型: accelerator...
今天先寫前半段產生資料並標註行的型態，並在另一個task將該序列化的資料從s3下載回來，並在拆分。 import flytekit as fl import p...
