Sviluppa un'applicazione sul cluster Ray su Gemini Enterprise Agent Platform

Connettiti a un cluster Ray su Gemini Enterprise Agent Platform e sviluppa un'applicazione utilizzando i seguenti metodi:

• Connettiti al cluster Ray su Gemini Enterprise Agent Platform tramite Ray Client utilizzando la versione dell'SDK Agent Platform per Python che include la funzionalità di Ray Client. Utilizza questa opzione se preferisci un ambiente di sviluppo Python interattivo.

  • Utilizza l'SDK Agent Platform per Python all'interno del notebook Colab Enterprise nella console Google Cloud .

  • Utilizza l'SDK Agent Platform per Python in una sessione Python, una shell o un notebook Jupyter.

• Scrivi uno script Python e invialo al cluster Ray sulla Gemini Enterprise Agent Platform utilizzando l'API Ray Jobs. Se preferisci inviare i job in modo programmatico, utilizza questa opzione.

Prima di iniziare, assicurati di leggere la panoramica di Ray on Agent Platform e di configurare tutti gli strumenti prerequisiti necessari.

Connettiti a un cluster Ray tramite Ray Client

Per utilizzare il client Ray interattivo, connettiti al cluster Ray sulla piattaforma Gemini Enterprise Agent. La rete dell'ambiente di connessione dipende dalla configurazione di rete del cluster. Non si applicano limitazioni all'ambiente di connessione purché il cluster abbia accesso a internet pubblico. ovvero non hai specificato una rete VPC durante la creazione del cluster. Se, tuttavia, il cluster si trova su una rete VPC privata in peering con Gemini Enterprise Agent Platform, l'ambiente di connessione deve trovarsi sulla stessa rete VPC del cluster.

La versione di Ray sul lato client deve corrispondere alla versione di Ray del cluster. pip install "google-cloud-aiplatform[ray]" installa la versione 2.47 di Ray sul lato client per impostazione predefinita. Se la versione di Ray del cluster è precedente, ad esempio, alla 2.42, utilizza pip install ray==2.42.0 per far corrispondere la versione di Ray del lato client a quella del cluster.

Console

In conformità con il best practice OSS Ray, l'impostazione del conteggio delle CPU logiche su 0 sul nodo head di Ray viene applicata per evitare l'esecuzione di qualsiasi workload sul nodo head.

1. Nella console Google Cloud , vai alla pagina Ray on Agent Platform.

   Vai alla pagina Ray on Agent Platform

2. Nella riga corrispondente al cluster che hai creato, fai clic su Apri in Colab Enterprise.

3. Si apre il notebook di Colab Enterprise. Segui le istruzioni su come utilizzare l'SDK Agent Platform per Python per connetterti al cluster Ray su Gemini Enterprise Agent Platform.

   • Se una schermata di dialogo ti chiede di abilitare le API, fai clic su Abilita.

   • Se ti connetti al cluster per la prima volta, fai clic su Connetti. Se ti stai riconnettendo al cluster, seleziona Riconnetti. Il notebook impiega alcuni minuti per connettersi al runtime.

   • Fai clic su +CREA per creare un nuovo notebook.

   • Fai clic su per aprire il riquadro Ray su Agent Platform.
     Visualizzazione dei cluster esistenti.

   • Seleziona un cluster e fai clic su CONNETTI.
     Nel notebook aperto viene visualizzato il codice che si connette al cluster scelto.

   • Altre azioni (facoltativo): per aprire la pagina dell'elenco dei cluster Ray on Agent Platform, fai clic su Gestisci cluster nel riquadro Ray on Agent Platform.

     • Seleziona un cluster e fai clic sul menu Altre azioni.
       Vengono visualizzate altre opzioni:
       

   • Esegui la cella di codice Introduzione per importare l'SDK Agent Platform per Python e connetterti al cluster Ray su Gemini Enterprise Agent Platform.

Python

In conformità con il best practice OSS Ray, l'impostazione del conteggio delle CPU logiche su 0 sul nodo head di Ray viene applicata per evitare l'esecuzione di qualsiasi workload sul nodo head.

Da un ambiente Python interattivo:

import ray

# Necessary even if aiplatform.* symbol is not directly used in your program.
from google.cloud import aiplatform
import vertex_ray

import vertexai
vertexai.init()
# The CLUSTER_RESOURCE_NAME is the one returned from vertex_ray.create_ray_cluster.
CLUSTER_RESOURCE_NAME='projects/{}/locations/{}/persistentResources/{}'.format(PROJECT_ID, LOCATION, CLUSTER_NAME)

ray.init('vertex_ray://{}'.format(CLUSTER_RESOURCE_NAME))

Dove:

• LOCATION: la posizione specificata per il cluster Ray su Gemini Enterprise Agent Platform.

• PROJECT_ID: l'ID progetto Google Cloud . Trova l'ID progetto nella pagina Benvenuto della console Google Cloud .

• CLUSTER_NAME: il nome del tuo cluster Ray su Gemini Enterprise Agent Platform, specificato durante la creazione del cluster. Vai alla consoleGoogle Cloud per visualizzare l'elenco dei nomi dei cluster per un progetto.

Viene visualizzato un output simile al seguente:

Python version:  3.10.12
Ray version: 2.47
Vertex SDK version: 1.46.0
Dashboard: yyyy-dot-us-central1.aiplatform-training.googleusercontent.com

Utilizza l'URL Dashboard per accedere alla dashboard Ray da un browser. L'URI è nel formato https://yyyy-dot-us-central1.aiplatform-training.googleusercontent.com/. La dashboard mostra i job inviati, il numero di GPU o CPU e lo spazio su disco di ogni macchina nel cluster.

Dopo aver eseguito la connessione al cluster Ray su Gemini Enterprise Agent Platform, sviluppa un programma Ray nello stesso modo in cui ne sviluppi uno per un normale backend Ray OSS.

@ray.remote
def square(x):
  print(x)
  return x * x

# Launch four parallel square tasks.
futures = [square.remote(i) for i in range(4)]

print(ray.get(futures))
# Returns [0, 1, 4, 9]

Sviluppa un'applicazione utilizzando l'API Ray Jobs

Questa sezione descrive come inviare un programma Python al cluster Ray su Gemini Enterprise Agent Platform utilizzando l'API Ray Jobs.

Scrivere uno script Python

Sviluppa l'applicazione come script Python in qualsiasi editor di testo. Ad esempio, inserisci il seguente script in un file my_script.py:

Nota: il codice nel punto di accesso del programma viene eseguito sul nodo head. Esegui il wrapping delle funzioni con @ray.remote per una corretta parallelizzazione.

import ray
import time

@ray.remote
def hello_world():
    return "hello world"

@ray.remote
def square(x):
    print(x)
    time.sleep(100)
    return x * x

ray.init()  # No need to specify address="vertex_ray://...."
print(ray.get(hello_world.remote()))
print(ray.get([square.remote(i) for i in range(4)]))

Invia un job Ray utilizzando l'API Ray Jobs

Invia un job Ray utilizzando Python, la CLI Ray Jobs o l'indirizzo della dashboard Ray pubblica.

Nota: tutti i contenuti all'interno della directory working_dir vengono inviati al cluster Ray, il che potrebbe causare un timeout se la directory è troppo grande. Ti consigliamo di specificare una directory working_dir che contenga solo i file che vuoi inviare.

Python - cluster resource name

Invia un job Ray utilizzando un ambiente Python:

import ray
import vertex_ray
from ray.job_submission import JobSubmissionClient
from google.cloud import aiplatform  # Necessary even if aiplatform.* symbol is not directly used in your program.

CLUSTER_RESOURCE_NAME='projects/{}/locations/REGION/persistentResources/{}'.format(PROJECT_ID, CLUSTER_NAME)

client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME))

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file.
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "setuptools<70.0.0",
            "xgboost",
            "ray==CLUSTER_RAY_VERSION", # pin the Ray version to the same version as the cluster
           ]
  }
)

# Ensure that the Ray job has been created.
print(job_id)

Dove:

• REGION: la regione specificata per il cluster Ray su Gemini Enterprise Agent Platform.

• PROJECT_ID: il tuo Google Cloud numero di progetto. Trova l'ID progetto nella pagina Benvenuto della console Google Cloud .

• CLUSTER_NAME: il nome del cluster Ray su Gemini Enterprise Agent Platform, specificato durante la creazione del cluster. Vai alla consoleGoogle Cloud per visualizzare l'elenco dei nomi dei cluster per un progetto.

• CLUSTER_RAY_VERSION: blocca la versione di Ray sulla stessa versione del cluster. Ad esempio, 2.47.1.

Python - Ray dashboard

L'indirizzo della dashboard Ray è accessibile dall'esterno del VPC, inclusa la rete internet pubblica. Tieni presente che vertex_ray è necessario per ottenere l'autenticazione automaticamente.

from ray.job_submission import JobSubmissionClient
import vertex_ray

DASHBOARD_ADDRESS=DASHBOARD_ADDRESS

client = JobSubmissionClient(
  "vertex_ray://{}".format(DASHBOARD_ADDRESS),
)

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "setuptools<70.0.0",
            "xgboost",
            "ray==CLUSTER_RAY_VERSION", # pin the Ray version to the same version as the cluster
           ]
  }
)
print(job_id)

Dove:

DASHBOARD_ADDRESS: l'indirizzo del dashboard Ray per il tuo cluster. Trova l'indirizzo del dashboard utilizzando l'SDK Agent Platform per Python.

Interfaccia a riga di comando di Ray Jobs

Utilizza i comandi CLI di Ray Jobs solo all'interno della rete VPC con peering.

$ ray job submit --working-dir ./ --address vertex_ray://{CLUSTER_RESOURCE_NAME} -- python my_script.py

Dopo aver inviato un job Ray a esecuzione prolungata, se vuoi monitorare lo stato del job utilizzando client.get_job_status(job_id), istanzia nuovamente JobSubmissionClient(client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME)) ) per aggiornare il token di autenticazione.

Supporto per il peering VPC e il account di servizio personalizzato

Ray on Agent Platform supporta l'API Ray Client e Ray Jobs (JobSubmissionClient) in una rete pubblica per l'agente di servizio predefinito e i service account personalizzati.

La seguente tabella mostra il supporto di Ray su Agent Platform per il peering VPC quando crei il cluster Ray con la rete VPC:

Peering VPC	Service agent predefinito	Service account personalizzato
Ray Client (modalità interattiva)	Sì	No
Ray JobSubmissionClient	Sì	Sì

I Controlli di servizio VPC (VPC-SC) richiedono configurazioni aggiuntive. Per saperne di più, consulta la sezione Connettività privata e pubblica.

Utilizzare Network File System (NFS) nel codice Ray

Se imposti un montaggio NFS durante la creazione del cluster Ray, leggi e scrivi questi volumi NFS nel codice dell'applicazione.

RayClient

Questa sezione mostra come utilizzare il file system di rete (NFS) nel codice Ray.

1. Inizializza RayClient in un ambiente Python

   import ray
   from google.cloud import aiplatform
   import vertex_ray
   aiplatform.init(project=PROJECT_ID, location=REGION)
   ray.init(address='vertex_ray://projects/{}/locations/us-central1/persistentResources/{}'.format(PROJECT_NUMBER, PERSISTENT_RESOURCE_ID))

2. Esegui lo script del job

   import ray
   import logging
   import os
   import sys
   
   @ray.remote
   def main():
   logging.info("list all files in mounted folder")
   return os.listdir("/mnt/nfs/test")
   
   print(''.join(ray.get(main.remote())))

Invia un job Ray utilizzando Python, la CLI Ray Jobs o l'indirizzo del dashboard Ray pubblico. Per saperne di più, consulta Sviluppare un'applicazione sul cluster Ray su Gemini Enterprise Agent Platform.

Passaggi successivi

• Utilizzare Ray su Agent Platform con BigQuery

• Esegui il deployment di un modello su Gemini Enterprise Agent Platform e ottieni inferenze

• Visualizzare i log per il cluster Ray su Gemini Enterprise Agent Platform

• Eliminare un cluster Ray