Cloud Data Fusion-Logs ansehen

In diesem Dokument wird beschrieben, wie Sie auf Pipeline- und Dienstlogs für Cloud Data Fusion zugreifen und sie ansehen.

Ab Cloud Data Fusion Version 6.11 sind Pipeline- und Dienstlogs in Cloud Logging verfügbar.

Logtypen

Cloud Data Fusion generiert verschiedene Arten von Logs, um die Datenintegration zu überwachen und Fehler zu beheben:

Pipeline-Logs

Diese Logs enthalten detaillierte Informationen zu einzelnen Pipelineausführungen, einschließlich Vorschauausführungen. Sie decken alle Phasen einer Pipelineausführung ab, z. B. die Einrichtung vor der Ausführung, die Jobausführung und Aktivitäten nach der Ausführung.

Dienstlogs

Diese Logs enthalten detaillierte Informationen zu Cloud Data Fusion-Systemdiensten wie AppFabric und AppFabric-Prozessor.

Audit-Logs

Cloud Data Fusion generiert Audit-Logs, z. B. Audit-Logs zu Administratoraktivitäten. Weitere Informationen finden Sie unter Cloud Data Fusion-Audit-Logging.

Erweiterte Pipeline-Logs

Diese Logs enthalten detaillierte Informationen zu einzelnen Pipelineausführungen. Sie sind besonders nützlich bei der Fehlerbehebung bei Pipelinefehlern, da sie Informationen erfassen, noch bevor die Bereitstellung des Managed Service for Apache Spark-Clusters abgeschlossen ist. So können Clusterprobleme oder Verzögerungen erkannt werden. Weitere Informationen finden Sie unter Erweiterte Pipeline-Logs in Cloud Logging ansehen.

Preise

Für die Nutzung von Cloud Logging und Cloud Monitoring fallen Gebühren an. Weitere Informationen finden Sie unter Google Cloud Observability-Preise.

Optional: Cloud Data Fusion-Logging-Dashboard importieren

Wenn Sie Pipeline- und Dienstlogs über das Cloud Data Fusion-Logging-Dashboard ansehen möchten, importieren Sie das Dashboard:

1. Rufen Sie in der Google Cloud Console die Seite Dashboards von Cloud Monitoring auf.

   Dashboards aufrufen

2. Klicken Sie auf Dashboard-Vorlagen ansehen.

3. Suchen Sie nach Cloud Data Fusion-Logging und wählen Sie das Dashboard aus.

4. Klicken Sie auf Cloud Data Fusion-Logging-Dashboard in Liste aufnehmen.

Pipeline-Logs ansehen

Sie können Pipeline-Logs über das Cloud Data Fusion-Logging-Dashboard oder direkt im Log-Explorer ansehen.

Pipeline-Logs über das Dashboard ansehen

1. Importieren Sie das Dashboard Cloud Data Fusion-Logging , falls noch nicht geschehen.

2. Klicken Sie im Bereich Meine Dashboards auf Cloud Data Fusion-Logging.

3. Sehen Sie sich im Bereich Pipeline-Logs die Liste der Pipeline-Logs an. Sie können die Logs nach Schweregrad, Feldnamen und Werten filtern.

   Wenn Sie Ihre Suche mit Abfragen verfeinern möchten, verwenden Sie den Log-Explorer.

Pipeline-Logs im Log-Explorer ansehen

1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

   Zum Log-Explorer

2. Geben Sie die folgende Abfrage ein:

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   Daraufhin wird die Liste der Pipeline-Logs angezeigt. Sie können Filter verwenden, um die Ergebnisse zu verfeinern.

Pipeline-Logs filtern

Sie können Pipeline-Logs nach Ausführungs-ID, Instanz-ID, Pipeline-ID, Standort, Namespace oder benutzerdefinierten Labels filtern.

Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen. Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, können Sie die RunID Ihrer Pipeline ermitteln und die entsprechenden Pipeline-Logs ansehen.

So filtern Sie Pipeline-Logs nach RunID:

1. Rufen Sie die Ausführungs-ID der Pipeline ab.

2. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

3. Geben Sie die folgende Abfrage ein:

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Dienstlogs ansehen

Sie können Dienstlogs über das Cloud Data Fusion-Logging-Dashboard oder im Log-Explorer ansehen.

Dienstlogs über das Dashboard ansehen

1. Importieren Sie das Dashboard Cloud Data Fusion-Logging , falls noch nicht geschehen.

2. Klicken Sie im Bereich Meine Dashboards auf Cloud Data Fusion-Logging.

3. Sehen Sie sich im Bereich Dienstlogs die Liste der Dienstlogs an. Sie können die Logs nach Schweregrad, Feldnamen und Werten filtern.

   Wenn Sie Ihre Suche mit Abfragen verfeinern möchten, verwenden Sie den Log-Explorer.

Dienstlogs im Log-Explorer ansehen

Ab Cloud Data Fusion Version 6.11.1.1 verwenden Systemdienstlogs standardmäßig die InstanceV3 überwachte Ressource (datafusion.googleapis.com/InstanceV3) . Diese Logs verwenden das services-v3 Log-Namenssuffix und enthalten nicht die org_id oder namespace Labels aus der vorherigen Version. Die InstanceV2 Logausgabe ist für neue und aktualisierte Instanzen standardmäßig deaktiviert. Sie können die InstanceV2 Protokollierung jedoch mit der Cloud Data Fusion REST API wieder aktivieren, wenn Ihre Vorgänge von den Legacy Labels abhängen.

So rufen Sie Dienstlogs im Log-Explorer auf:

1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

   Zum Log-Explorer

2. Suchen Sie die Dienstlogs, indem Sie die spezifische Abfrage für diesen Dienst eingeben.

   Dienstname	Logabfrage für InstanceV2	Logabfrage für InstanceV3
   Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
   AppFabric-Prozessor	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
   Dataset Executor	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
   Log Saver	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
   Metadatendienst	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
   Messwerte	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
   Laufzeit	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
   Wrangler-Dienst	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

InstanceV2-Logs aktivieren

Standardmäßig ist die InstanceV2-Protokollierung für Cloud Data Fusion-Instanzen mit Version 6.11.1.1 oder höher deaktiviert. Wenn für Ihre Vorgänge das vorherige Protokollformat erforderlich ist (z. B. wenn Sie auf die Labels org_id oder namespace angewiesen sind), können Sie InstanceV2-Logs mit der Cloud Data Fusion REST API wieder aktivieren.

Verwenden Sie die instances.patch Methode mit enable_instance_v2_logs auf true gesetzt, um InstanceV2 Logs zu aktivieren. Mit dieser Einstellung werden sowohl InstanceV2- als auch InstanceV3-Logs ausgegeben.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Ersetzen Sie Folgendes:

• PROJECT_ID: die Google Cloud Projekt-ID
• LOCATION: der Standort Ihrer Instanz
• INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz

Konfigurierbares Logging in Cloud Data Fusion

Cloud Data Fusion 6.11.0 bietet konfigurierbares Logging, wobei Cloud Logging standardmäßig aktiviert ist. Es ist zwar möglich, Cloud Logging zu deaktivieren, aber es wird dringend empfohlen, es aktiviert zu lassen, damit Sie Zugriff auf wichtige Pipeline- und Instanzlogs haben.

Führen Sie den folgenden Befehl aus, um Cloud Logging zu deaktivieren:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Ersetzen Sie Folgendes:

• PROJECT_ID: die Google Cloud Projekt-ID
• LOCATION: der Standort Ihrer Instanz
• INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz

Nächste Schritte

• Weitere Informationen zu Cloud Data Fusion-Audit-Logging.
• Erweiterte Pipeline-Logs ansehen .