Ray-Cluster auf der Gemini Enterprise Agent Platform erstellen

In diesem Dokument finden Sie eine Anleitung zum Einrichten eines Ray-Clusters auf der Gemini Enterprise Agent Platform für verschiedene Anforderungen. Informationen zum Erstellen eines Images finden Sie unter Benutzerdefiniertes Image. Einige Unternehmen können private Netzwerke verwenden. In diesem Dokument wird die Private Service Connect-Schnittstelle für Ray on Vertex AI behandelt. Ein weiterer Anwendungsfall ist der Zugriff auf Remotedateien, als wären sie lokal (siehe Ray on Agent Platform Network File System).

Übersicht

Dazu gehören:

Ray-Cluster erstellen

Sie können einen Ray-Cluster über die Google Cloud Console oder das Agent Platform SDK für Python erstellen. Ein Cluster kann bis zu 2.000 Knoten haben. Ein Worker-Pool darf maximal 1.000 Knoten enthalten. Es gibt keine Beschränkung für die Anzahl der Worker-Pools. Eine große Anzahl von Worker-Pools, z. B. 1.000 Worker-Pools mit jeweils einem Knoten, kann sich jedoch negativ auf die Clusterleistung auswirken.

Lesen Sie zuerst die Ray in Gemini Enterprise Agent Platform-Übersicht und richten Sie alle erforderlichen Tools ein.

Das Starten eines Ray-Clusters auf der Agent Platform kann nach dem Erstellen des Clusters 10 bis 20 Minuten dauern.

Console

Gemäß der Best Practice für OSS Ray wird die Festlegung der logischen CPU-Anzahl auf 0 auf dem Ray-Hauptknoten erzwungen, um zu vermeiden, dass Arbeitslasten auf dem Hauptknoten ausgeführt werden.

  1. Rufen Sie in der Google Cloud Console die Seite „Ray on Agent Platform“ auf.

    Zur Seite „Ray on Agent Platform“

  2. Klicken Sie auf Cluster erstellen, um den Bereich Cluster erstellen zu öffnen.

  3. Prüfen oder ersetzen Sie für jeden Schritt im Bereich Cluster erstellen die Standardclusterinformationen. Klicken Sie auf Weiter, um die einzelnen Schritte abzuschließen:

    1. Geben Sie unter Name und Region einen Namen an und wählen Sie einen Standort für den Cluster aus.

    2. Geben Sie für Compute-Einstellungen die Konfiguration des Hauptknotens des Ray-Clusters in der Gemini Enterprise Agent Platform an, einschließlich Maschinentyp, Beschleunigertyp und Anzahl, Laufwerkstyp und -größe und Replikatanzahl. Optional können Sie einen benutzerdefinierten Image-URI hinzufügen, um ein benutzerdefiniertes Container-Image anzugeben, um Python-Abhängigkeiten hinzuzufügen, die nicht vom Standard-Container-Image bereitgestellt werden. Weitere Informationen finden Sie unter Benutzerdefiniertes Bild.

      Unter Erweiterte Optionen haben Sie folgende Möglichkeiten:

      • Geben Sie einen eigenen Verschlüsselungsschlüssel an.
      • Geben Sie ein benutzerdefiniertes Dienstkonto an.
      • Deaktivieren Sie die Erfassung von Messwerten, wenn Sie die Ressourcenstatistiken Ihrer Arbeitslast während des Trainings nicht beobachten müssen.

    3. Optional: Wenn Sie einen privaten Endpunkt für Ihren Cluster bereitstellen möchten, empfiehlt sich die Verwendung von Private Service Connect. Weitere Informationen finden Sie unter Private Service Connect-Schnittstelle für Ray on Vertex AI.

  4. Klicken Sie auf Erstellen.

Ray on Agent Platform SDK

Gemäß der Best Practice für OSS Ray wird die Festlegung der logischen CPU-Anzahl auf 0 auf dem Ray-Hauptknoten erzwungen, um zu vermeiden, dass Arbeitslasten auf dem Hauptknoten ausgeführt werden.

Verwenden Sie in einer interaktiven Python-Umgebung Folgendes, um den Ray-Cluster auf der Gemini Enterprise Agent Platform zu erstellen:

import ray
import vertex_ray
from google.cloud import aiplatform
from vertex_ray import Resources
from vertex_ray.util.resources import NfsMount

# Define a default CPU cluster, machine_type is n1-standard-16, 1 head node and 1 worker node
head_node_type = Resources()
worker_node_types = [Resources()]

# Or define a GPU cluster.
head_node_type = Resources(
  machine_type="n1-standard-16",
  node_count=1,
  custom_image="us-docker.pkg.dev/my-project/ray-custom.2-9.py310:latest",  # Optional. When not specified, a prebuilt image is used.
)

worker_node_types = [Resources(
  machine_type="n1-standard-16",
  node_count=2,  # Must be >= 1
  accelerator_type="NVIDIA_TESLA_T4",
  accelerator_count=1,
  custom_image="us-docker.pkg.dev/my-project/ray-custom.2-9.py310:latest",  # When not specified, a prebuilt image is used.
)]
# Optional. Create cluster with Network File System (NFS) setup.
nfs_mount = NfsMount(
    server="10.10.10.10",
    path="nfs_path",
    mount_point="nfs_mount_point",
)
aiplatform.init()
# Initialize Agent Platform to retrieve projects for downstream operations.
# Create the Ray cluster on Agent Platform
CLUSTER_RESOURCE_NAME = vertex_ray.create_ray_cluster(
  head_node_type=head_node_type,
  network=NETWORK, #Optional
  worker_node_types=worker_node_types,
  python_version="3.10",  # Optional
  ray_version="2.47",  # Optional
  cluster_name=CLUSTER_NAME, # Optional
  service_account=SERVICE_ACCOUNT,  # Optional
  enable_metrics_collection=True,  # Optional. Enable metrics collection for monitoring.
  labels=LABELS,  # Optional.
  nfs_mounts=[nfs_mount],  # Optional.

)

Wobei:

  • CLUSTER_NAME: Ein Name für den Ray-Cluster auf der Gemini Enterprise Agent Platform, der in Ihrem Projekt eindeutig sein muss.

  • NETWORK: (Optional) Der vollständige Name Ihres VPC-Netzwerks im Format projects/PROJECT_ID/global/networks/VPC_NAME. Wenn Sie für Ihren Cluster einen privaten Endpunkt anstelle eines öffentlichen Endpunkts festlegen möchten, geben Sie ein VPC-Netzwerk an, das mit Ray on Agent Platform verwendet werden soll. Weitere Informationen finden Sie unter Private und öffentliche Konnektivität.

  • VPC_NAME: Optional: Die VPC, in der die VM ausgeführt wird.

  • PROJECT_ID: Ihre Google Cloud Projekt-ID. Sie finden die Projekt-ID auf der Google Cloud Console auf der Begrüßungsseite.

  • SERVICE_ACCOUNT: Optional: Das Dienstkonto, mit dem Ray-Anwendungen im Cluster ausgeführt werden sollen. Weisen Sie die erforderlichen Rollen zu.

  • LABELS: (Optional) Die Labels mit benutzerdefinierten Metadaten, die zum Organisieren von Ray-Clustern verwendet werden. Labelschlüssel und -werte dürfen maximal 64 Zeichen (Unicode-Codepunkte) haben und dürfen nur Kleinbuchstaben, Ziffern, Unterstriche und Bindestriche enthalten. Internationale Zeichen sind zulässig. Weitere Informationen und Beispiele für Labels finden Sie unter https://goo.gl/xmQnxf.

Sie sollten die folgende Ausgabe sehen, bis sich der Status in RUNNING ändert:

[Ray on Agent Platform]: Cluster State = State.PROVISIONING
Waiting for cluster provisioning; attempt 1; sleeping for 0:02:30 seconds
...
[Ray on Agent Platform]: Cluster State = State.RUNNING

Wichtige Hinweise:

  • Der erste Knoten ist der Head-Knoten.

  • TPU-Maschinentypen werden nicht unterstützt.

Verwaltung des Lebenszyklus

Während des Lebenszyklus eines Ray-Clusters auf der Gemini Enterprise Agent Platform ist jeder Aktion ein Status zugeordnet. In der folgenden Tabelle sind der Abrechnungsstatus und die Verwaltungsoption für jeden Status zusammengefasst. In der Referenzdokumentation finden Sie eine Definition für jeden dieser Status.

Aktion Status In Rechnung gestellt? Aktion löschen? Aktion abbrechen?
Der Nutzer erstellt einen Cluster BEREITSTELLUNG Nein Nein Nein
Der Nutzer skaliert manuell nach oben oder unten. Wird aktualisiert Ja, gemäß der Echtzeitgröße Ja Nein
Der Cluster wird ausgeführt WIRD AUSGEFÜHRT Ja Ja Nicht zutreffend – Sie können löschen
Der Cluster wird hoch- oder herunterskaliert. Wird aktualisiert Ja, gemäß der Echtzeitgröße Ja Nein
Der Nutzer löscht den Cluster. WIRD BEENDET Nein Nein Nicht zutreffend – wird bereits angehalten
Der Cluster wechselt in den Status „Fehler“ FEHLER Nein Ja Nicht zutreffend – Sie können löschen
Nicht zutreffend Status nicht angegeben Nein Ja Nicht zutreffend

Benutzerdefiniertes Image (optional)

Vordefinierte Images sind für die meisten Anwendungsfälle geeignet. Wenn Sie Ihr Image erstellen möchten, verwenden Sie die vorgefertigten Ray on Gemini Enterprise Agent Platform-Images als Basis-Image. In der Docker-Dokumentation erfahren Sie, wie Sie Ihre Images aus einem Basis-Image erstellen.

Diese Basis-Images enthalten eine Installation von Python, Ubuntu und Ray. Dazu gehören auch Abhängigkeiten wie:

  • python-json-logger
  • google-cloud-resource-manager
  • ca-certificates-jav
  • libatlas-base-dev
  • liblapack-dev
  • g++, libio-all-perl
  • libyaml-0-2.

Private und öffentliche Verbindungen

Standardmäßig wird mit Ray on Agent Platform ein öffentlicher, sicherer Endpunkt für die interaktive Entwicklung mit dem Ray-Client für Ray-Cluster auf der Gemini Enterprise Agent Platform erstellt. Verwenden Sie öffentliche Verbindungen für Entwicklung oder sitzungsspezifische Anwendungsfälle. Dieser öffentliche Endpunkt ist über das Internet zugänglich. Nur autorisierte Nutzer, die mindestens Berechtigungen für die Nutzerrolle der Gemini Enterprise Agent Platform für das Nutzerprojekt des Ray-Clusters haben, können auf den Cluster zugreifen.

Wenn Sie eine private Verbindung zu Ihrem Cluster benötigen oder VPC Service Controls verwenden, wird VPC-Peering für Ray-Cluster auf der Gemini Enterprise Agent Platform unterstützt. Auf Cluster mit einem privaten Endpunkt kann nur von einem Client in einem VPC-Netzwerk zugegriffen werden, das mit der Gemini Enterprise Agent Platform per Peering verbunden ist.

Wenn Sie eine private Verbindung mit VPC-Peering für Ray on Agent Platform einrichten möchten, wählen Sie beim Erstellen des Clusters ein VPC-Netzwerk aus. Für das VPC-Netzwerk ist eine Verbindung für den Zugriff auf private Dienste zwischen Ihrem VPC-Netzwerk und der Gemini Enterprise Agent Platform erforderlich. Wenn Sie Ray on Agent Platform in der Console verwenden, können Sie Ihre Verbindung für den Zugriff auf private Dienste einrichten, während Sie den Cluster erstellen.

Wenn Sie VPC Service Controls und VPC-Peering mit Ray-Clustern auf der Agent-Plattform verwenden möchten, ist eine zusätzliche Einrichtung erforderlich, um das Ray-Dashboard und die interaktive Shell zu verwenden. Folgen Sie der Anleitung unter Ray Dashboard and Interactive Shell with VPC-SC + VPC Peering, um die Einrichtung der interaktiven Shell mit VPC-SC und VPC-Peering in Ihrem Nutzerprojekt zu konfigurieren.

Nachdem Sie Ihren Ray-Cluster auf der Gemini Enterprise Agent Platform erstellt haben, können Sie mit dem Agent Platform SDK für Python eine Verbindung zum Head-Knoten herstellen. Die Verbindungsumgebung, z. B. eine Compute Engine-VM oder eine Vertex AI Workbench-Instanz, muss sich im VPC-Netzwerk befinden, das mit der Gemini Enterprise Agent Platform per Peering verbunden ist. Beachten Sie, dass eine Verbindung zu privaten Diensten eine begrenzte Anzahl von IP-Adressen hat, was zu einer Ausschöpfung von IP-Adressen führen kann. Daher empfehlen wir, für Cluster mit langer Ausführungszeit private Verbindungen zu verwenden.

Private Service Connect-Schnittstelle für Ray auf der Gemini Enterprise Agent Platform

Der Private Service Connect-Schnittstellenausgang und der Private Service Connect-Schnittstelleneingang werden in Ray-Clustern auf der Gemini Enterprise Agent Platform unterstützt.

Wenn Sie den Private Service Connect-Schnittstellenausgang verwenden möchten, folgen Sie der Anleitung im nächsten Abschnitt. Wenn VPC Service Controls nicht aktiviert ist, verwenden Cluster mit Private Service Connect-Schnittstellenausgang den sicheren öffentlichen Endpunkt für den eingehenden Traffic mit Ray Client.

Wenn VPC Service Controls aktiviert ist, wird der eingehende Traffic über die Private Service Connect-Schnittstelle standardmäßig mit dem ausgehenden Traffic über die Private Service Connect-Schnittstelle verwendet. Wenn Sie eine Verbindung mit dem Ray-Client herstellen oder Jobs über ein Notebook für einen Cluster mit Private Service Connect-Schnittstellen-Ingress senden möchten, muss sich das Notebook im VPC- und Subnetzwerk des Nutzerprojekts befinden. Weitere Informationen zum Einrichten von VPC Service Controls finden Sie unter VPC Service Controls mit der Gemini Enterprise Agent Platform.

Diagramm zum Aktivieren der Private Service Connect-Schnittstelle

Private Service Connect-Schnittstelle aktivieren

Folgen Sie der Anleitung zum Einrichten von Ressourcen, um Ihre Private Service Connect-Schnittstelle einzurichten. Nachdem Sie Ihre Ressourcen eingerichtet haben, können Sie die Private Service Connect-Schnittstelle in Ihrem Ray-Cluster auf der Gemini Enterprise Agent Platform aktivieren.

Console

  1. Beim Erstellen des Clusters wird die Option Netzwerk angezeigt, nachdem Sie Name und Region und Compute-Einstellungen angegeben haben.

    Netzwerk in der Konsole angeben

  2. Richten Sie einen Netzwerkanhang mit einer der folgenden Methoden ein:

    • Verwenden Sie den Namen NETWORK_ATTACHMENT_NAME, den Sie beim Einrichten Ihrer Ressourcen für Private Service Connect angegeben haben.
    • Klicken Sie auf die Schaltfläche Netzwerkanhang erstellen, die im Drop-down-Menü angezeigt wird, um einen neuen Netzwerkanhang zu erstellen.

    Neues Netzwerk in der Konsole erstellen

  3. Klicken Sie auf Netzwerkanhang erstellen.

  4. Geben Sie in der angezeigten Unteraufgabe einen Namen, ein Netzwerk und ein Subnetzwerk für den neuen Netzwerkanhang an.

    Netzwerkanhang

  5. Klicken Sie auf Erstellen.

Ray on Agent Platform SDK

Das Ray on Agent Platform SDK ist Teil des Agent Platform SDK für Python. Informationen zum Installieren oder Aktualisieren des Agent Platform SDK for Python finden Sie unter Agent Platform SDK for Python installieren. Weitere Informationen finden Sie in der API-Referenzdokumentation zum Agent Platform SDK für Python.

from google.cloud import aiplatform
import vertex_ray

# Initialization
aiplatform.init()

# Create a default cluster with network attachment configuration

psc_config = vertex_ray.PscIConfig(network_attachment=NETWORK_ATTACHMENT_NAME)
cluster_resource_name = vertex_ray.create_ray_cluster(
   psc_interface_config=psc_config,
)

Wobei:

  • NETWORK_ATTACHMENT_NAME: Der Name, den Sie beim Einrichten Ihrer Ressourcen für Private Service Connect in Ihrem Nutzerprojekt angegeben haben.

Ray on Agent Platform Network File System (NFS)

Wenn Sie Remotedateien für Ihren Cluster verfügbar machen möchten, stellen Sie NFS-Freigaben (Network File System) bereit. Ihre Jobs können dann auf Remotedateien zugreifen, als ob sie lokal wären, was einen hohen Durchsatz und eine niedrige Latenz ermöglicht.

VPC einrichten

Es gibt zwei Möglichkeiten, ein VPC-Netzwerk einzurichten:

  1. Private Service Connect-Schnittstellen-Netzwerkanhang erstellen (Empfohlen)
  2. VPC-Netzwerk-Peering einrichten

NFS-Instanz einrichten

Weitere Informationen zum Erstellen einer Filestore-Instanz finden Sie unter Instanz erstellen. Wenn Sie die Methode mit der Private Service Connect-Schnittstelle verwenden, müssen Sie beim Erstellen des Filestore-Speichers nicht den Modus für den Zugriff auf private Dienste auswählen.

Network File System (NFS) verwenden

Wenn Sie das Network File System verwenden möchten, geben Sie entweder ein Netzwerk oder einen Netzwerkanhang (empfohlen) an.

Console

  1. Im Schritt „Netzwerk“ der Seite zum Erstellen, nachdem Sie entweder ein Netzwerk oder einen Netzwerkanhang angegeben haben. Klicken Sie dazu im Abschnitt „Network File System (NFS)“ auf NFS-Bereitstellung hinzufügen und geben Sie eine NFS-Bereitstellung (Server, Pfad und Bereitstellungspunkt) an.

    Feld Beschreibung
    server Die IP-Adresse Ihres NFS-Servers. Dies muss eine private Adresse in Ihrer VPC sein.
    path Der NFS-Freigabepfad. Dies muss ein absoluter Pfad sein, der mit / beginnt.
    mountPoint Der lokale Bereitstellungspunkt. Dies muss ein gültiger UNIX-Verzeichnisname sein. Wenn der lokale Bereitstellungspunkt beispielsweise sourceData lautet, geben Sie den Pfad /mnt/nfs/ sourceData aus Ihrer Trainings-VM-Instanz an.

    Weitere Informationen finden Sie unter Hier geben Sie Rechenressourcen an.

  2. Geben Sie einen Server, einen Pfad und einen Bereitstellungspunkt an. NFS-Dateisystem

  3. Klicken Sie auf Erstellen. Dadurch wird der Ray-Cluster erstellt.

Ray-Dashboard und interaktive Shell mit VPC-SC + VPC-Peering

  1. Konfigurieren Sie peered-dns-domains. 

    {
  VPC_NAME=NETWORK_NAME
  REGION=LOCATION
  gcloud services peered-dns-domains create training-cloud \
  --network=$VPC_NAME \
  --dns-suffix=$REGION.aiplatform-training.cloud.google.com.

  # Verify
  gcloud beta services peered-dns-domains list --network $VPC_NAME;
}

    • NETWORK_NAME: Wechseln Sie zum Netzwerk mit Peering-Verbindung.

    • LOCATION: Gewünschter Standort (z. B. us-central1)

  2. Konfigurieren Sie DNS managed zone. 

    {
  PROJECT_ID=PROJECT_ID
  ZONE_NAME=$PROJECT_ID-aiplatform-training-cloud-google-com
  DNS_NAME=aiplatform-training.cloud.google.com
  DESCRIPTION=aiplatform-training.cloud.google.com

  gcloud dns managed-zones create $ZONE_NAME  \
  --visibility=private  \
  --networks=https://www.googleapis.com/compute/v1/projects/$PROJECT_ID/global/networks/$VPC_NAME  \
  --dns-name=$DNS_NAME  \
  --description="Training $DESCRIPTION"
}

    • PROJECT_ID: Ihre Projekt-ID. Sie finden diese IDs auf der Begrüßungsseite der Google Cloud Console.

  3. DNS-Transaktion aufzeichnen. 

    {
  gcloud dns record-sets transaction start --zone=$ZONE_NAME

  gcloud dns record-sets transaction add \
  --name=$DNS_NAME. \
  --type=A 199.36.153.4 199.36.153.5 199.36.153.6 199.36.153.7 \
  --zone=$ZONE_NAME \
  --ttl=300

  gcloud dns record-sets transaction add \
  --name=*.$DNS_NAME. \
  --type=CNAME $DNS_NAME. \
  --zone=$ZONE_NAME \
  --ttl=300

  gcloud dns record-sets transaction execute --zone=$ZONE_NAME
}

  4. Senden Sie einen Trainingsjob mit aktivierter interaktiver Shell, VPC-SC und VPC-Peering.

Geteilte Verantwortung

Die Sicherung Ihrer Arbeitslasten in Vertex AI ist eine gemeinsame Verantwortung. Vertex AI aktualisiert die Infrastrukturkonfigurationen regelmäßig, um Sicherheitslücken zu schließen. Ihre vorhandenen Ray in Vertex AI-Cluster und persistenten Ressourcen werden jedoch nicht automatisch aktualisiert, um laufende Arbeitslasten nicht zu unterbrechen. Sie sind daher für Aufgaben wie die folgenden verantwortlich:

  1. Löschen und erstellen Sie Ihre Ray on Vertex AI-Cluster und persistenten Ressourcen regelmäßig neu, um die neuesten Infrastrukturversionen zu verwenden. Vertex AI empfiehlt, Ihre Cluster und persistenten Ressourcen mindestens einmal alle 30 Tage neu zu erstellen.
  2. Konfigurieren Sie alle benutzerdefinierten Images, die Sie verwenden, richtig.

Weitere Informationen finden Sie unter Gemeinsame Verantwortung.

Nächste Schritte