Ray Cluster

• 一個 Ray Cluster 需要一個 Head Node 與多個 Worker Node
• Head Node 負責管理 Worker Node，透過 autoscaler 來自動調整 Worker Node 的數量
• 基本上就是 follow Kubernetes 的 Pod 架構
  

Head Node

• Head Node 會有一個 Ray Cluster 的 Controller，負責管理 Worker Node

Worker Node

• 負責執行 Ray Task，並將結果回傳給 Head Node

Autoscaling

• 在 head node 上面的一個 process，如果需求的 Ray workload 超過現有的 Ray cluster 能力，則會自動增加 worker node。反之就會自動減少 worker node。
• autoscaler 只會根據 task 與 actor 的需求來調整 worker node 的數量，而不是根據 application metrics 或是 physical resource utilization 來調整 worker node 的數量。

Ray Jobs

執行 Ray Job 的方式有兩種

• 透過 Ray Jobs API 執行 (建議方式)
• 在任一 node (worker node or head node) 上執行 ray start --head 執行 script

Ray Job API

Reference:

• https://docs.ray.io/en/latest/cluster/key-concepts.html
• https://docs.ray.io/en/latest/cluster/getting-started.html