Erweiterte Pipeline-Logs in Cloud Logging ansehen

Wenn Sie Cloud Logging für Ihre Cloud Data Fusion Managed Service for Apache Spark-Cluster aktivieren, können Sie auf detaillierte Ausführungseinträge zugreifen, die über die Standard-Pipelinemesswerte hinausgehen. Mit diesen erweiterten Logs können Sie Fehler bei Ausführungen beheben, das Verhalten von Treibern und Executors prüfen und komplexe Datentransformationen debuggen.

Managed Service for Apache Spark Cloud Logging aktivieren

Wenn Sie Pipeline- und Clusterprobleme in Cloud Logging ansehen möchten, aktivieren Sie erweiterte Logs in neuen oder vorhandenen Cloud Data Fusion-Instanzen. So aktivieren Sie erweiterte Logs in einer vorhandenen Instanz:

  1. Rufen Sie in der Google Cloud Console die Cloud Data Fusion-Seite Instanzen auf.

    Zur Seite „VM-Instanzen“

  2. Klicken Sie auf den Instanznamen.

  3. Klicken Sie im Abschnitt Erweitertes Monitoring und Logging für Dataproc Cloud Logging auf Bearbeiten.

  4. Klicken Sie im Fenster Cloud Logging das Kästchen Cloud Logging aktivieren an.

  5. Klicken Sie auf Speichern.

Logs ansehen

Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen. Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, suchen Sie nach der RunID. Verwenden Sie anschließend in Logging den RunID, um Ihre Pipelinelogs aufzurufen.

RunID der Pipeline abrufen

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie auf Liste.
  3. Klicken Sie auf die Pipeline, für die Sie die Ausführungs-ID abrufen möchten.
  4. Klicken Sie auf Zusammenfassung.
  5. Klicken Sie im Abschnitt Ausführungsverlauf auf Tabelle.
  6. Klicken Sie mit der rechten Maustaste auf die RunID und dann auf Kopieren, um die Ausführungs-ID zu kopieren.

Logs im Log-Explorer ansehen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Logging > Log-Explorer auf:

    Zum Log-Explorer

  2. Wählen Sie im Drop-down-Menü Alle Ressourcen die Option Cloud Dataproc-Cluster > cdap-PIPELINE_NAME-YOUR_RUNID aus.

Optional: Logs filtern

Verwenden Sie die Filtermenüs, um Ihre Logs zu filtern. Sie können nach verschiedenen Logschweregraden oder nach Komponenten wie datafusion-pipeline-logs filtern.

Optional: Protokolle herunterladen

Klicken Sie auf Logs herunterladen.

Weitere Informationen finden Sie unter Logeinträge herunterladen.

Nächste Schritte