鐵人檔案
- MLOps 混合雲的實踐
- LLM 簡介與 MLOps 關係
- 使用 MLOps & LLMOps 的工具與生態圈
- Databricks, Azure Machine Learning
- MLflow
Ray 提供了一個 Dashboard 來監控 Ray 的狀態，包含了 Ray 的 Cluster 狀態、Task 狀態、Actor 狀態、Resource 使...
Ray Cluster Overview Ray 可以在單機上運行，也可以在多個節點上運行，但是在多個節點上運行之前，必須先部署一個 Ray Cluster。R...
我們會透過 Fibonnaci Sequence 來說明兩者的差異。老師，程式碼請了。 import os import time import ray #...
在 ML/MLOps 的領域中，我們常常需要將訓練好的模型部署到 production 環境中，讓其他人可以透過 API 來使用這些模型。而 Ray Serve...
為何需要 Ray Tune 官方文件 列了幾點： Cutting-Edge Optimization Algorithms First-class Devel...
終於要來看有關 LLMs (Large Language Models) with Ray 這個主題，Ray Cluster 的主要開發商 Anyscale 除...
而且提供 anyscale/aviary Docker image，pip install，或是 Ray Cluster 的方式來使用。上一片介紹 LLMs o...
在 Reference 的這篇文章 提到兩個經典的 deployment patterns，在鐵人賽即將結束時，重新檢視一下。 模型是由程式碼建立的，但是產生的...
從 Ray 2.3.0 之後，開始支援 Apache Spark Cluster，也讓原本使用 Spark 進行分散式機器學習訓練的工作，可以透過 Ray 來取...
此系列想要將之前玩過的幾個 MLOps/LLMOps 技術，重新一個一個的從架構面，功能面來探討，另外也趁機玩了一下 Ray Cluster。用了幾個範例驗證整...
