Questa pagina fornisce una panoramica dell'operatore Ray e delle risorse personalizzate pertinenti per eseguire il deployment e gestire i cluster Ray e le applicazioni su Google Kubernetes Engine (GKE).
Ray è un framework di calcolo unificato open source per scalare le applicazioni AI/ML e Python. Ray fornisce un insieme di librerie per distribuire il runtime di calcolo per AI/ML su più nodi di calcolo.
Per scoprire come abilitare l'operatore Ray su GKE, consulta Abilitare l'operatore Ray su GKE.
Perché utilizzare l'operatore Ray su GKE
L'operatore Ray è il modo consigliato per eseguire il deployment e gestire i cluster Ray su GKE. Quando esegui l'operatore Ray su GKE, puoi usufruire del supporto di Ray per Python e dell'affidabilità, della portabilità e della scalabilità di livello enterprise di GKE.
L'operatore Ray su GKE si basa su KubeRay, che fornisce API Kubernetes dichiarative progettate specificamente per la gestione dei cluster Ray. Ciò significa che puoi eseguire il provisioning, scalare e gestire i deployment Ray con altri carichi di lavoro containerizzati su GKE.
Come funziona l'operatore Ray su GKE
Quando abiliti l'operatore Ray nei cluster GKE, GKE installa e ospita automaticamente l'operatore KubeRay.
KubeRay fornisce risorse personalizzate Kubernetes per gestire i deployment Ray su Kubernetes, tra cui:
Risorsa personalizzata RayCluster
La risorsa personalizzata RayCluster consente di specificare un cluster Ray che GKE esegue il deployment come pod Kubernetes. Un cluster Ray è in genere costituito da un singolo pod head e da più pod worker.
Risorsa personalizzata RayJob
La risorsa personalizzata RayJob consente di eseguire un singolo job Ray. KubeRay crea un RayCluster per fornire risorse di calcolo per il job, quindi crea un job Kubernetes che invia il job Ray al pod head di RayCluster.
Per una gestione efficiente delle risorse, puoi configurare KubeRay in modo che pulisca automaticamente RayCluster al termine del job.
Risorsa personalizzata RayService
La risorsa personalizzata RayService consente di configurare le applicazioni Ray Serve, ad esempio le applicazioni per la distribuzione e l'inferenza dei modelli. KubeRay crea un RayCluster per fornire le risorse di calcolo e poi esegue il deployment dell'applicazione Ray Serve come specificato dalla configurazione di Ray Serve.
Responsabilità condivisa di Ray su GKE
Quando scegli di eseguire i carichi di lavoro Ray su GKE con l'operatore Ray, è importante capire come le responsabilità sono suddivise tra Google Cloud te e Google:
Responsabilità di Google
- Mantenere l'affidabilità e l'uptime dell'operatore KubeRay.
- Gestire gli upgrade di versione per l'operatore KubeRay.
- Funzionalità specifiche di KubeRay per la gestione delle risorse personalizzate RayCluster, RayJob e RayService.
Responsabilità del cliente
- Mantenere le immagini container utilizzate per i pod head e worker Ray.
- Mantenere il controllo delle versioni e gli upgrade per i pod head e worker Ray.
- Configurare i requisiti delle risorse (CPU, GPU, TPU, memoria e così via) per i cluster Ray.
- Seguire le best practice per proteggere i cluster Ray.
- Affidabilità e monitoraggio delle applicazioni Ray.
Per saperne di più, consulta Responsabilità condivisa di GKE.
Passaggi successivi
- Scopri come abilitare l'operatore Ray su GKE.
- Esplora i tutorial sull'utilizzo delle TPU con Ray su GKE:
- Configurare KubeRay con TPU Trillium
- Addestrare un LLM utilizzando JAX, Ray Train e TPU Trillium su GKE
- Addestramento multislice ed elastico su TPU utilizzando Ray Train su GKE
- Ottimizzare l'addestramento AI su TPU con DWS e Kueue
- Gestire i modelli open di Gemma utilizzando TPU multi-host su GKE con Ray
- Gestire un LLM utilizzando TPU su GKE con KubeRay
- Eseguire il deployment di un'applicazione Ray Serve con un modello Stable Diffusion su GKE con TPU
- Visualizzare le metriche TPU nella dashboard Ray
- Esplora la documentazione di Ray su Kubernetes.