Ray-Cluster auf der Gemini Enterprise Agent Platform überwachen

Auf dieser Seite wird beschrieben, wie Sie die mit Ihren Ray-Clustern verknüpften Tracking-Logs aufrufen und die Messwerte für Ray auf der Agent-Plattform überwachen. Außerdem finden Sie hier eine Anleitung zum Debuggen von Ray-Clustern.

Logs ansehen

Wenn Sie mit Ihrem Ray-Cluster in der Gemini Enterprise Agent Platform Aufgaben ausführen, werden Tracking-Logs automatisch generiert und sowohl in Cloud Logging als auch im Open-Source-Ray-Dashboard gespeichert. In diesem Abschnitt wird beschrieben, wie Sie über die Google Cloud Console auf die generierten Logs zugreifen.

Lesen Sie zuerst die Übersicht über Ray auf der Agent Platform und richten Sie alle erforderlichen Tools ein.

Ray OSS-Dashboard

Sie können die Open-Source-Ray-Logdateien über das Ray OSS-Dashboard aufrufen:

  1. Rufen Sie in der Google Cloud Console die Seite „Ray on Agent Platform“ auf.

    Zur Seite „Ray on Agent Platform“

  2. Wählen Sie in der Zeile für den von Ihnen erstellten Cluster das Menü Weitere Aktionen aus.

  3. Wählen Sie den Link zum Ray OSS-Dashboard aus. Das Dashboard wird in einem anderen Tab geöffnet.

  4. Gehen Sie oben rechts im Menü zur Ansicht Logs:

    Ray-Dashboard-Logs

  5. Klicken Sie auf die einzelnen Knoten, um die zugehörigen Logdateien aufzurufen.

Cloud Logging Console

  1. Rufen Sie in der Google Cloud Console das und die Seite Log-Explorer auf:

    Zum Log-Explorer

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Wählen Sie ein vorhandenes Projekt, einen Ordner oder eine Organisation in Google Cloud aus.

  3. Um alle Ray-Logs anzuzeigen, geben Sie die folgende Abfrage in das Feld des Abfrageeditors ein und klicken Sie dann auf Abfrage ausführen:

    resource.labels.task_name="ray-cluster-logs"

  4. Wenn Sie die Logs auf einen bestimmten Ray-Cluster beschränken möchten, fügen Sie der Abfrage die folgende Zeile hinzu und klicken Sie dann auf Abfrage ausführen:

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    Ersetzen Sie CLUSTER_NAME durch den Namen Ihres Ray-Clusters. Rufen Sie in der Google Cloud Console Gemini Enterprise Agent Platform > Ray on Agent Platform auf. Dort sehen Sie eine Liste der Clusternamen in jeder Region.

  5. Wenn Sie die Logs weiter auf eine bestimmte Logdatei wie raylet.out beschränken möchten, klicken Sie auf Logfelder -> Logname.

  6. Sie können ähnliche Logeinträge gruppieren:

    1. Klicken Sie in den Abfrageergebnissen auf einen Logeintrag, um das Log zu maximieren.

    2. Klicken Sie in jsonPayload auf den Wert tailed_path. Ein Drop-down-Menü wird angezeigt.

    3. Klicken Sie auf Übereinstimmende Einträge anzeigen.

Logs deaktivieren

Cloud Logging für Ray in Vertex AI ist standardmäßig aktiviert.

  • Wenn Sie den Export von Ray-Protokollen in Cloud Logging deaktivieren möchten, verwenden Sie den folgenden Befehl von Agent Platform SDK for Python:

    vertex_ray.create_ray_cluster(..., enable_logging=False, ...)

Sie können die Ray-Protokolldateien im Ray-Dashboard aufrufen, auch wenn die Cloud Logging-Funktion für Ray in der Agent-Plattform deaktiviert ist.

Messwerte überwachen

Mit Google Cloud Monitoring (GCM) können Sie sich die Ray-Messwerte auf der Agent-Plattform auf unterschiedliche Weise ansehen. Alternativ können Sie die Messwerte aus GCM auf Ihren eigenen Grafana-Server exportieren.

Messwerte in GCM überwachen

Es gibt zwei Möglichkeiten, sich die Ray on Agent Platform-Messwerte in GCM anzusehen.

  • Verwenden Sie die direkte Ansicht im Metrics Explorer.

  • Importieren Sie das Grafana-Dashboard.

Metrics Explorer

So verwenden Sie die Direktansicht im Metrics Explorer:

  1. Gehen Sie zur Google Cloud Monitoring-Konsole.
  2. Wählen Sie Erkunden > Metrics Explorer aus.
  3. Wählen Sie unter Aktive Ressourcen die Option Prometheus-Ziel aus. Aktive Messwertkategorien wird angezeigt.

  4. Wählen Sie Ray aus.

    Es wird eine Liste mit Messwerten angezeigt:

    Messwert auswählen
  5. Wählen Sie die Messwerte aus, die Sie im Blick behalten möchten. Beispiel:
    1. Wählen Sie den Prozentsatz der CPU-Auslastung als überwachten Messwert aus:
      Auslastungziel
    2. Filter auswählen. Wählen Sie beispielsweise Cluster aus:
      Erforderlichen Filter hinzufügen Verwenden Sie die Cluster-ID, um nur die obigen Messwerte für einen bestimmten Cluster zu überwachen. So finden Sie Ihre Cluster-ID:

      1. Rufen Sie in der Google Cloud Console die Seite Ray auf.

        Zu Ray

      2. Sie müssen sich in dem Projekt befinden, in dem Sie den Test erstellen möchten.
        Vertex AI-Projekt auswählen
      3. Unter Name wird eine Liste mit Cluster-IDs angezeigt.
      Messwert auswählen
    3. Wählen Sie die Aggregationsmethode aus, um die Messwerte anzusehen. Sie können nicht aggregierte Messwerte auswählen, die die CPU-Auslastung jedes Ray-Prozesses zeigen:
      nicht zusammengefasste Messwerte

GCM-Dashboard

Wenn Sie ein Grafana-Dashboard für Ray on Vertex AI importieren möchten, folgen Sie der Anleitung im Cloud Monitoring-Dashboard unter Eigenes Grafana-Dashboard importieren.

Monitoring-Dashboard

Sie benötigen lediglich eine JSON-Datei für das Grafana-Dashboard. OSS Ray unterstützt diese manuelle Einrichtung durch Bereitstellung der standardmäßigen Dashboard-JSON-Datei für Grafana.

Messwerte überwachen

von nutzereigenen Grafana

Wenn Sie bereits einen Grafana-Server ausführen, können Sie alle Prometheus-Messwerte für Ray-Cluster in Vertex AI auch auf Ihren vorhandenen Grafana-Server exportieren. Folgen Sie dazu der Anleitung unter Abfrage mit Grafana. So können Sie Ihrem vorhandenen Grafana-Server eine neue Grafana-Datenquelle hinzufügen und den Datenquellen-Synchronizer verwenden, um die neue Grafana-Prometheus-Datenquelle mit Ray on Vertex AI-Messwerten zu synchronisieren.

Es ist wichtig, dass Sie die neu hinzugefügte Grafana-Datenquelle mit dem Datenquellensynchronisierungsdienst konfigurieren und authentifizieren. Folgen Sie dazu der Anleitung unter Grafana-Datenquelle konfigurieren und authentifizieren.

Nach der Synchronisierung können Sie beliebige Dashboards basierend auf den Ray in Vertex AI-Messwerten erstellen und hinzufügen.

Die Erfassung von Messwerten für Ray on Vertex AI ist standardmäßig aktiviert. So deaktivieren Sie sie mit dem Agent Platform SDK für Python:

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)

Ray-Cluster debuggen

Verwenden Sie die interaktive Shell des Hauptknotens, um Ray-Cluster zu debuggen:

Google Cloud Console

So greifen Sie auf die interaktive Shell des Hauptknotens zu:

  1. Rufen Sie in der Google Cloud Console die Seite Ray in Vertex AI auf.
    Zu Ray in Vertex AI
  2. Achten Sie darauf, dass Sie sich im richtigen Projekt befinden.
    Vertex AI-Projekt auswählen
  3. Wählen Sie den Cluster aus, den Sie untersuchen möchten. Der Abschnitt Allgemeine Informationen wird angezeigt.
  4. Klicken Sie im Bereich Zugriffslinks auf den Link für die interaktive Shell des Hauptknotens. Die interaktive Shell des Hauptknotens wird angezeigt.
  5. Folgen Sie der Anleitung unter Training mit interaktiver Shell überwachen und Fehler beheben.

Nächste Schritte