接下來會透過兩個面向來看 Databricks:
根據官方文件說明,Databricks Runtime for Machine Learning
包含了 Hugging Face Transformers
和 LangChain
這兩個函式庫,可以讓你整合現有的預訓練模型或其他開源函式庫到你的工作流程中。Databricks MLflow integration 讓你可以很容易的使用 MLflow tracking service 來追蹤 transformer pipelines、模型和處理元件。
Databricks 可以讓你在自己的資料上訓練 LLM,並且可以透過 Hugging Face 和 DeepSpeed 這兩個開源工具來提升效率,最後可以在 Generative AI Application 上使用 Custom LLMs。
下一篇會透過一個官方的範例來看看如何使用 Databricks 做 LLMOps。
Reference: