技術問答
技術文章
iT 徵才
Tag
聊天室
2025 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2023 iThome 鐵人賽
DAY
18
1
AI & Data
MLOps/LLMOps - 從零開始
系列 第
18
篇
Day18 - MLOps 自架環境之二: Ray Cluster 基本觀念與架構
15th鐵人賽
jimmyliao
2023-10-03 17:23:24
1108 瀏覽
分享至
Ray Cluster
一個 Ray Cluster 需要一個 Head Node 與多個 Worker Node
Head Node 負責管理 Worker Node,透過
autoscaler
來自動調整 Worker Node 的數量
基本上就是 follow Kubernetes 的 Pod 架構
Head Node
Head Node 會有一個 Ray Cluster 的 Controller,負責管理 Worker Node
Worker Node
負責執行 Ray Task,並將結果回傳給 Head Node
Autoscaling
在 head node 上面的一個 process,如果需求的 Ray workload 超過現有的 Ray cluster 能力,則會自動增加 worker node。反之就會自動減少 worker node。
autoscaler 只會根據 task 與 actor 的需求來調整 worker node 的數量,而不是根據 application metrics 或是 physical resource utilization 來調整 worker node 的數量。
Ray Jobs
執行 Ray Job 的方式有兩種
透過 Ray Jobs API 執行 (建議方式)
在任一 node (worker node or head node) 上執行
ray start --head
執行 script
Ray Job API
Reference:
https://docs.ray.io/en/latest/cluster/key-concepts.html
https://docs.ray.io/en/latest/cluster/getting-started.html
留言
追蹤
檢舉
上一篇
Day17 - MLOps 自架環境之二: Ray Cluster 簡介
下一篇
Day19 - Ray Cluster 安裝之一: 基礎環境準備
系列文
MLOps/LLMOps - 從零開始
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day26 - LLMs on Ray
27
Day27 - LLMs on Ray (踩雷?)
28
Day28 - MLOps deployment patterns
29
Day29 - Ray on Databricks
30
Day30 - Summary: 寫在 "MLOps/LLMOps - 從零開始" 完賽後的心得
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19747
篇
完賽人數
529
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
桌機三更半夜自動開機不知在幹啥?是在下載還是在上傳資料?嚇死寶寶.去查設定我沒有設定在三更半夜更新或是掃毒呀!去查紀錄亦沒有當日凌晨的瀏覽紀錄,這到底是怎麼一回事,要如何查詢?是被安裝了病毒軟體?
碩士學歷能幫助我突破職涯天花板嗎?
群輝NAS套件Docker部署Outline
如何讓Windows 11 Professional 開啟Synology DS925+網路芳鄰的速度加快?
librenms 25.4.0 重開機都要重新設定
維護合約的合理性
熱門回答
碩士學歷能幫助我突破職涯天花板嗎?
群輝NAS套件Docker部署Outline
librenms 25.4.0 重開機都要重新設定
維護合約的合理性
桌機三更半夜自動開機不知在幹啥?是在下載還是在上傳資料?嚇死寶寶.去查設定我沒有設定在三更半夜更新或是掃毒呀!去查紀錄亦沒有當日凌晨的瀏覽紀錄,這到底是怎麼一回事,要如何查詢?是被安裝了病毒軟體?
熱門文章
D30|AI 時代的資訊判讀力:防詐、反假、識謊的新資安素養
資安入門與實務應用介紹 28:APT(高階持續性威脅)攻擊解析與防範方法
資安入門與實務應用介紹 29:智能合約漏洞與加密貨幣詐騙案例分析
Day 7:防火牆配置與流量過濾(Firewall Configuration and Traffic Filtering)
Day 25:社交工程防範訓練方法(Social Engineering Defense Training)
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}