iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
Cloud Native

新興k8s工作流flyte與MLOps。 系列

1.cloud native workflow工具: flyte
2. ray 框架
3. dask框架
4.資料庫版控 dolt工具

參賽天數 24 天 | 共 24 篇文章 | 1 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 10: 工作流獲取k8s secret

在對應project-domain的namespace中,創建工作流使用之secret。 kubectl create secret generic user-...

DAY 12

Day 12: pytorch workflow範例

import os import tempfile import torch from torch.nn import CrossEntropyLoss fr...

DAY 13

Day 13: flyte-binary部屬 part 1

前幾天bitami/minio被遺除了,由於資安原因。因此需要改設定檔。 apiVersion: v2 name: chart description: A H...

DAY 14

Day 14: 工作流條件式

可在workflow內,設定條件,並呼叫對應task進行計算。 import flytekit as fl import random @fl.task de...

DAY 15

Day 15: flyte plugin原始碼研究

今天主要在確認flyte mlflow plugin程式碼,ray mlflow整合範例https://github.com/flyteorg/flytekit...

DAY 16

Day 16: flyte mlflow驗證

更新task env 驗證 提交training metric,根據上篇追蹤,應該是不包含model註冊,需要另外手動寫。 @task(enable_deck=...

DAY 17

Day 17 : ONNX 轉換plugin example

設定ONNX規定之設定、版本、輸入輸出。 def train() -> ( Annotated[ PyTorch2ONNX,...

DAY 18

Day 18: 撰寫範例(修改中)

撰寫下載youtube影片並下載模型判斷的流程,明天會在修改。 #!/usr/bin/env python3 import yt_dlp import os i...

DAY 19

Day 19: imperative workflow

flyte 也支持透過python函數一步步定義workflow。 import flytekit as fl from typing import List...

DAY 20

Day: 20: RayJob CRD觀察

定義於此kuberay crd ActiveDeadlineSeconds: int -> 定義多久Rayjob沒起來就取消。 BackoffLimit...