Jobressourcen anhand von Messwerten überwachen und optimieren

In diesem Dokument wird beschrieben, wie Sie die Ressourcen für einen Batch-Job überwachen und optimieren können, indem Sie Messwerte in Cloud Monitoring aufrufen. Weitere Informationen zu den Ressourcen, auf denen ein Job ausgeführt wird, finden Sie unter Jobressourcen.

Für jeden Job stellt Monitoring grundlegende Messwerte wie die CPU-Auslastung und den Netzwerktraffic bereit. Einige Messwerte wie die Speicher- und Prozessauslastung können jedoch nur erfasst werden, wenn ein Job den Ops-Agent installiert. Messwerte für die Ressourcen eines Jobs helfen Ihnen, die Leistung und Nutzung der einzelnen Ressourcen zu bewerten. Anhand dieser Informationen können Sie Verbesserungen für zukünftige Iterationen des Jobs ermitteln. Sie können beispielsweise nicht genutzte Ressourcen entfernen, um die Kosten zu optimieren, oder überlastete Ressourcen verbessern oder erhöhen, um die Leistung zu steigern.

Hinweis

  1. Wenn Sie Batch noch nicht verwendet haben, lesen Sie den Artikel Erste Schritte mit Batch und aktivieren Sie Batch, indem Sie die Voraussetzungen für Projekte und Nutzererfüllen.
  2. Optional: Wenn Sie zusätzliche Messwerte für einen Job erfassen möchten, erstellen und führen Sie einen Job aus, der den Ops-Agent automatisch installiert.
  3. Wenn die Monitoring API für Ihr Projekt noch nicht aktiviert ist, aktivieren Sie sie:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Informationen zum Zuweisen von Rollen.

    API aktivieren

  4. Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle „Monitoring Metric Viewer“ (roles/monitoring.metricViewer) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Observability-Messwerten benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Messwerte für Jobressourcen aufrufen

Im Artikel VMs beobachten und überwachen in der Compute Engine-Dokumentation finden Sie relevante konzeptionelle Informationen zu VM-Messwerten. Für das Aufrufen von VM-Messwerten für Batch-Jobs werden jedoch andere Methoden empfohlen. In der Compute Engine-Dokumentation wird erläutert, wie Sie Messwerte mithilfe der vordefinierten Monitoring-Dashboards für Compute Engine oder Compute Engine-Seiten in der Google Cloud Console aufrufen. Wichtig ist jedoch, dass bei diesen Methoden keine Informationen zu gelöschten VMs angezeigt werden. Verwenden Sie diese Methoden daher nur, wenn Sie Messwerte für Batch-Jobs nur während der Ausführung aufrufen möchten.

Rufen Sie Messwerte für ausgeführte und abgeschlossene Batch-Jobs mithilfe von Metrics Explorer-Diagrammen auf, wie in diesem Abschnitt beschrieben. Diagramme sind nur temporär, es sei denn, Sie speichern sie in benutzerdefinierten Dashboards.

So erstellen Sie ein Diagramm zum Aufrufen eines oder mehrerer Messwerte:

  1. Optional: Wenn Sie das Diagramm speichern möchten, suchen Sie ein benutzerdefiniertes Dashboard für das Diagramm oder erstellen Sie eines.

  2. Erstellen Sie ein Metrics Explorer-Diagramm für einen oder mehrere Messwerte.

    Ohne Filter enthalten die einzelnen VM-Messwerte in einem Diagramm Daten von allen VMs in Ihrem Projekt. Optional können Sie das Diagramm filtern, um nur Messwerte aus allen oder bestimmten Batch-Jobs einzubeziehen. Fügen Sie dazu den folgenden Filter hinzu:

    group=RESOURCE_GROUP_NAME

    Ersetzen Sie RESOURCE_GROUP_NAME durch den Namen einer Ressourcengruppe für Batch-Jobs. Weitere Informationen finden Sie in diesem Dokument unter Ressourcengruppen zum Filtern von Messwerten erstellen.

Ressourcengruppen zum Filtern von Messwerten erstellen

Sie können Ressourcengruppen als anpassbare Filter für Metrics Explorer-Diagramme verwenden. So erstellen Sie eine Ressourcengruppe für alle oder bestimmte Batch-Jobs in Ihrem Projekt:

  1. Wählen Sie ein Label aus, das als Mitgliedschaftskriterium verwendet werden soll, basierend darauf, welche Jobs in die Gruppe aufgenommen werden sollen:

    • Alle Batch-Jobs:Verwenden Sie das vordefinierte Label batch-node, das automatisch auf alle Ressourcen für alle Batch-Jobs angewendet wird und einen Nullwert hat.

    • Bestimmte Batch-Jobs:Verwenden Sie ein Label, das nur auf die Ressourcen für bestimmte Batch-Jobs angewendet wird.

      Wenn Sie beispielsweise eine Gruppe basierend auf vollständigen oder teilweisen Jobnamen erstellen möchten, verwenden Sie den vordefinierten Labelnamen batch-job-id mit einem bestimmten Wert. Das Label batch-job-id wird automatisch auf alle Ressourcen für alle Batch-Jobs angewendet und mit dem Jobnamen definiert.

      Wenn Sie ein benutzerdefiniertes Label verwenden, müssen Sie es beim Erstellen der Jobs auf alle Ressourcen der Batch-Jobs anwenden, die in die Gruppe aufgenommen werden sollen.

  2. Achten Sie darauf, dass Ihr Projekt mindestens einen Job mit dem ausgewählten Label enthält und dass sich dieser Job im Status RUNNING befindet. Andernfalls wird dieses Label nicht als Option angezeigt, wenn Sie versuchen, die Ressourcengruppe zu erstellen.

  3. Erstellen Sie eine Ressourcengruppe. Gehen Sie beim Festlegen der Mitgliedschaftskriterien so vor:

    1. Legen Sie für Typ die Option Tag fest.

    2. Legen Sie für das Feld Tag den Namen des ausgewählten Labels fest. Legen Sie dann die folgenden Felder basierend auf den Labelwerten fest, die die Gruppe enthalten soll.

      Wenn diese Gruppe beispielsweise alle Batch-Jobs enthalten soll, legen Sie für Tag die Option batch-node und für Operator die Option Vorhanden fest. Wenn diese Gruppe stattdessen Batch-Jobs mit Namen enthalten soll, die mit test beginnen, legen Sie für Tag die Option batch-job-id, für Operator die Option Beginnt mit und für Wert die Option test fest.

Nächste Schritte