1.cloud native workflow工具: flyte
2. ray 框架
3. dask框架
4.資料庫版控 dolt工具
在對應project-domain的namespace中,創建工作流使用之secret。 kubectl create secret generic user-...
import os import tempfile import torch from torch.nn import CrossEntropyLoss fr...
前幾天bitami/minio被遺除了,由於資安原因。因此需要改設定檔。 apiVersion: v2 name: chart description: A H...
可在workflow內,設定條件,並呼叫對應task進行計算。 import flytekit as fl import random @fl.task de...
今天主要在確認flyte mlflow plugin程式碼,ray mlflow整合範例https://github.com/flyteorg/flytekit...
更新task env 驗證 提交training metric,根據上篇追蹤,應該是不包含model註冊,需要另外手動寫。 @task(enable_deck=...
設定ONNX規定之設定、版本、輸入輸出。 def train() -> ( Annotated[ PyTorch2ONNX,...
撰寫下載youtube影片並下載模型判斷的流程,明天會在修改。 #!/usr/bin/env python3 import yt_dlp import os i...
flyte 也支持透過python函數一步步定義workflow。 import flytekit as fl from typing import List...
定義於此kuberay crd ActiveDeadlineSeconds: int -> 定義多久Rayjob沒起來就取消。 BackoffLimit...