終於要來看有關 LLMs (Large Language Models) with Ray 這個主題，Ray Cluster 的主要開發商 Anyscale 除了提出之前提到的 Ray Serve 作 Model Serving，當然也支援 LLM 的 Serving。而 RayLLM (formerly known as Aviary) 算是直接針對 LLM 的 Solution.

• 提供一系列，預先配置好的 Open source LLMs，並且預設值可以直接使用。
• 支援 Hugging Face Hub 或是本地端的 Transformer Model。
• 簡化同時佈署多個 LLMs 上線。
• 簡化加入新的 LLMs 的流程。
• 支援 autoscaling ，包含 scale-to-zero。
• 支援多 GPU 與多節點的模型部署。
• 提供高效能的特性，像是 continuous batching, quantization and streaming。
• 提供類似 OpenAI 的 REST API，讓遷移與測試更容易。

而且提供 anyscale/aviary Docker image，pip install，或是 Ray Cluster 的方式來使用。
下一篇會來 踩雷 試試看。

Reference:

• https://github.com/ray-project/ray-llm
• https://aviary.anyscale.com/
• https://www.linkedin.com/posts/waleedkadous_release-v030-ray-projectray-llm-activity-7115128956940427264-jKY8/
• https://www.slideshare.net/WaleedKadous/open-llms-viable-for-production-or-lowquality-toy
• https://www.youtube.com/watch?v=Ri_LJ_qOTPM
• https://developer.nvidia.com/blog/efficiently-scale-llm-training-across-a-large-gpu-cluster-with-alpa-and-ray/