Erweiterte Pipeline-Logs in Cloud Logging ansehen

Auf dieser Seite wird beschrieben, wie Sie Cloud Logging für Ihre Cloud Data Fusion Managed Service for Apache Spark-Cluster aktivieren und auf erweiterte Pipelinelogs zugreifen.

Cloud Logging für Managed Service for Apache Spark aktivieren

Wenn Sie Pipeline- und Clusterprobleme in Cloud Logging ansehen möchten, aktivieren Sie erweiterte Logs in neuen oder vorhandenen Cloud Data Fusion-Instanzen. So aktivieren Sie erweiterte Logs in einer vorhandenen Instanz:

  1. Rufen Sie in der Google Cloud Console die Seite Instanzen von Cloud Data Fusion auf.

    Zur Seite „VM-Instanzen“

  2. Klicken Sie auf den Instanznamen.

  3. Klicken Sie im Abschnitt Erweitertes Monitoring und Logging bei Dataproc Cloud Logging auf Bearbeiten.

  4. Wählen Sie im Fenster Cloud Logging das Kästchen Cloud Logging aktivieren aus.

  5. Klicken Sie auf Speichern.

Logs ansehen

Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen. Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, suchen Sie nach der RunID. Verwenden Sie anschließend in Logging die RunID, um Ihre Pipelinelogs aufzurufen.

RunID der Pipeline abrufen

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie auf Liste.
  3. Klicken Sie auf die Pipeline, für die Sie die Ausführungs-ID abrufen möchten.
  4. Klicken Sie auf Zusammenfassung.
  5. Klicken Sie im Abschnitt Ausführungsverlauf auf Tabelle.
  6. Klicken Sie mit der rechten Maustaste auf die RunID und dann auf Kopieren , um die Ausführungs-ID zu kopieren.

Logs im Log-Explorer ansehen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Logging > Log-Explorer auf:

    Zum Log-Explorer

  2. Wählen Sie im Alle Ressourcen-Drop-down-Menü Cloud Dataproc-Cluster > cdap-PIPELINE_NAME-YOUR_RUNID aus.

Optional: Logs filtern

Verwenden Sie die Filtermenüs, um Ihre Logs zu filtern. Sie können nach verschiedenen Logschweregraden oder nach Komponenten wie datafusion-pipeline-logs filtern.

Optional: Logs herunterladen

Klicken Sie auf Logs herunterladen.

Weitere Informationen finden Sie unter Logeinträge herunterladen.

Nächste Schritte