Knowledge Catalog-Logs überwachen

In diesem Dokument wird beschrieben, wie Sie mit Cloud Logging auf Knowledge Catalog-Logs (früher Dataplex Universal Catalog) zugreifen, sie abfragen und interpretieren. Durch den Zugriff auf Job- und Dienstprotokolle von Knowledge Catalog können Sie Probleme beheben und Datenverwaltungsaktivitäten überwachen, einschließlich KI-gestützter Datenerkennung und Datenqualitätsscans.

Durch die Zentralisierung von Logs in Logging können Sie die Jobleistung analysieren, Benachrichtigungen für Fehler oder Anomalien einrichten und Logs an andere Google Cloud-Dienste wie BigQuery zur langfristigen Aufbewahrung und Analyse weiterleiten.

Informationen zu den Kosten finden Sie unter Google Cloud Observability – Preise.

Weitere Informationen zur Aufbewahrung von Logs finden Sie unter Aufbewahrungsdauer von Logs.

Informationen zum Deaktivieren aller Protokolle oder zum Ausschließen von Protokollen aus Logging finden Sie unter „Ausschließen“-Filter.

Informationen zum Weiterleiten von Logs von Logging an Cloud Storage, BigQuery oder Pub/Sub finden Sie unter Routing und Speicher – Übersicht.

Anwendungsfälle

Das Logging im Knowledge Catalog unterstützt Anwendungsfälle in verschiedenen Branchen:

  • Fehlerbehebung bei fehlgeschlagenen Datenpipelines: Wenn eine Knowledge Catalog-Aufgabe zur Datenverarbeitung fehlschlägt, enthalten die process-Logs detaillierte Fehlermeldungen, mit denen Data Engineers Probleme in ihren Spark-Jobs oder benutzerdefinierten Aufgaben identifizieren und beheben können.
  • Datenqualität überwachen: Ein Finanzdienstleistungsunternehmen kann data_quality_scan_rule_result-Logs überwachen, um Trends bei der Datenqualität im Zeitverlauf zu verfolgen, Benachrichtigungen über Qualitätsminderungen bei kritischen Daten-Assets zu erhalten und Prüfern Nachweise über Datenqualitätsprüfungen für die Einhaltung gesetzlicher Vorschriften bereitzustellen.
  • Metadatenanreicherung verfolgen: Ein Einzelhandelsunternehmen, das Metadatenimportjobs verwendet, um seinen Katalog anzureichern, kann anhand von metadata_job-Logs prüfen, ob Importe erfolgreich abgeschlossen und alle Metadatenelemente korrekt verarbeitet werden.
  • Audit-Datenermittlung: Unternehmen können discovery-Logs verwenden, um zu überwachen, wie und wann neue Datenquellen im Knowledge Catalog ermittelt und registriert werden. So erhalten sie einen Audit-Trail für Daten-Onboarding-Prozesse.

So funktioniert das Logging im Knowledge Catalog

Knowledge Catalog sendet Logs für Dienstvorgänge und Jobausführungen an Cloud Logging. Jeder Logeintrag enthält Details zum Vorgang oder Job, z. B. Status, Start- und Endzeit, zugehörige Ressourcen (z. B. Datenscan oder Aufgabe) und Ergebnis. Verschiedene Arten von Vorgängen wie Datenscans, Erkennung, Metadatenimport und Datenverarbeitung generieren unterschiedliche Logtypen, die Sie mit logName oder der Logging-Abfragesprache in Logging abfragen können.

Sie können mit dem Log-Explorer in derGoogle Cloud Console auf diese Logs zugreifen und sie analysieren oder sie zur weiteren Analyse an andere Ziele wie Cloud Storage-Buckets oder BigQuery-Tabellen weiterleiten.

Knowledge Catalog-Logtypen

Knowledge Catalog veröffentlicht die folgenden Dienstprotokolle in Cloud Logging.

Logtyp Logname logName Abfrage Logbeschreibung
Ereignisprotokolle für Datenscans dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Ereignisprotokolle auf Jobebene für Datenscanjobs (Datenqualität, Datenprofil und Dateneinblicke), die den Jobstatus, die Ergebnisse und die Statistiken angeben
Logs zu Ergebnissen von Regeln für Datenqualitätsscans dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Detaillierte Bewertungsergebnisse auf Regelebene für jede Regel, die in einem Datenqualitätsscan-Job bewertet wurde
Logs für Erkennungsscans dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Erkennungsfortschritt und Aktualisierungen von Assets in einer Zone
Logs von Metadatenjobs dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Logs zu Metadatenimportjobs und Importelementen in der Metadatenimportdatei
Prozesslogs dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Jobausführungen, die sich aus Datenverarbeitungsaufgaben ergeben

Auf Knowledge Catalog-Dienstprotokolle zugreifen

Für den Zugriff auf Logging verwenden Sie den Log-Explorer in derGoogle Cloud Console, die gcloud logging-Befehle oder die Logging API. Mit der Logging-Abfragesprache können Sie detaillierte Abfragen erstellen.

Erforderliche IAM-Berechtigungen

Zum Aufrufen und Abfragen von Logs benötigen Sie die Rolle Loganzeige (roles/logging.viewer) oder entsprechende Berechtigungen für das Projekt.

Logs in der Google Cloud Console ansehen

  1. Rufen Sie in der Google Cloud Console die Seite Beobachtbarkeit > Logging > Log-Explorer auf.

    Zum Log-Explorer

  2. Konfigurieren Sie die Filter Ressource und Logname anhand der folgenden Tabelle:

    Logtyp Ressourcenauswahl Auswahl des Lognamens
    Datenscanereignisse Geprüfte Ressource > Dienst: Cloud Dataplex dataplex.googleapis.com/data_scan
    Ergebnisse der Regeln für Datenqualitätsscans Geprüfte Ressource > Dienst: Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    Discovery-Logs Cloud Dataplex-Zone dataplex.googleapis.com/discovery
    Metadaten-Joblogs Cloud Dataplex Metadata Job dataplex.googleapis.com/metadata_job
    Prozesslogs Cloud Dataplex-Aufgabe dataplex.googleapis.com/process

  3. (Optional) Wählen Sie bestimmte Unterfilter (z. B. eine bestimmte Aufgaben-ID) aus, um die Abfrage einzugrenzen.

  4. Klicken Sie auf Übernehmen und dann auf Abfrage ausführen.

Beispiele für die Logfilterung

Sie können die Logging-Abfragesprache im Abfrageeditor des Log-Explorers oder mit der Google Cloud CLI verwenden. In den folgenden Beispielen wird gezeigt, wie Sie Logs mit der gcloud CLI lesen.

Beispiel: Datenscan-Ereignisse lesen

Verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage, um Ereignisprotokolleinträge für Datenqualitäts- oder Datenprofilscans zu lesen:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

Beispiel: Logeinträge für Lesevorgänge

Verwenden Sie den Befehl gcloud logging read mit der folgenden Abfrage, um Prozesslogeinträge zu lesen:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

Beispiel für Log-Nutzlasten

Die folgenden Beispiele zeigen die JSON-Nutzlaststrukturen für verschiedene Arten von Knowledge Catalog-Logs. Anhand dieser Beispiele können Sie die Struktur der Logs nachvollziehen und Logfilter erstellen.

Ereignisprotokolle für Datenscans

In Knowledge Catalog umfassen Datenscans Datenqualitätsscans, Datenprofilscans und Dateneinblicksscans. Wenn Sie einen Datenscanjob ausführen, schreibt Knowledge Catalog ein data_scan-Ereignisprotokoll in Logging, das die gesamte Jobausführung zusammenfasst. Bei erfolgreichen Scans von Dateneinblicken (jsonPayload.type="DATA_DOCUMENTATION") enthält das Ereignisprotokoll auch einen billableTokenUsage-Block. Informationen zum Abfragen und Darstellen des Tokenverbrauchs für Dateneinblicke finden Sie unter Tokennutzung für Dateneinblicke überwachen.

Das folgende Beispiel zeigt eine Ereignisprotokoll-Nutzlast für einen Datenqualitätsscan:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Logs zu Ergebnissen von Regeln für Datenqualitätsscans

Wenn ein Datenqualitätsscan ausgeführt wird, generiert Knowledge Catalog ein Ereignisprotokoll für den Datenscan und ein separates Ergebnisprotokoll für die Datenqualitäts-Scanregel für jede einzelne Regel, die im Job ausgewertet wird.

Jeder data_quality_scan_rule_result-Logeintrag enthält Informationen zur jeweiligen Regel, einschließlich der Regelkonfiguration, der Bewertungsdimension, des Status und der Zeilenanzahl.

Das folgende Beispiel zeigt die Log-Nutzlast eines Ergebnisses einer Datenqualitätsscanregel:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Logs für Erkennungsscans

Das folgende Beispiel zeigt eine Discovery-Log-Nutzlast:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Logs von Metadatenjobs

Das folgende Beispiel zeigt die Nutzlast eines Metadaten-Joblogs:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Prozesslogs

Das folgende Beispiel zeigt eine Prozessprotokoll-Nutzlast:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Logbasierte Benachrichtigungen einrichten

Sie können logbasierte Benachrichtigungen einrichten, um benachrichtigt zu werden, wenn bestimmte Knowledge Catalog-Ereignisse auftreten (z. B. ein fehlgeschlagener Datenqualitätsscan).

Zum Erstellen logbasierter Benachrichtigungen benötigen Sie die Rollen Logs Configuration Writer (roles/logging.configWriter) und Monitoring AlertPolicy Editor (roles/monitoring.alertPolicyEditor) oder entsprechende Berechtigungen.

  1. Führen Sie im Log-Explorer eine Abfrage aus, die auf die Fehlerbedingung abzielt (z. B. resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. Klicken Sie über dem Bereich mit den Abfrageergebnissen auf Benachrichtigung erstellen.
  3. Geben Sie im Bereich Logbasierte Benachrichtigung erstellen einen Namen und eine Beschreibung für die Benachrichtigungsrichtlinie ein.
  4. Klicken Sie auf Weiter und konfigurieren Sie Ihre Benachrichtigungskanäle.
  5. Klicken Sie auf Speichern.

Weitere Informationen finden Sie unter Logbasierte Benachrichtigungen erstellen.

Nächste Schritte