In diesem Dokument wird erläutert, wie Sie mit Cloud Logging auf Knowledge Catalog-Logs (ehemals Dataplex Universal Catalog) zugreifen, sie abfragen und interpretieren. Der Zugriff auf Knowledge Catalog-Job- und Dienstlogs hilft Ihnen bei der Fehlerbehebung und der Überwachung von Datenverwaltungsaktivitäten, einschließlich KI-gestützter Datenerkennung und Datenqualitätsscans. Wenn Sie Logs in Logging zentralisieren, können Sie die Jobleistung analysieren, Benachrichtigungen für Fehler oder Anomalien einrichten und Logs an andere Google Cloud Dienste wie BigQuery zur langfristigen Aufbewahrung und Analyse weiterleiten.
Informationen zu den Kosten finden Sie unter Google Cloud Observability – Preise.
Weitere Informationen zur Aufbewahrung von Logs finden Sie unter Aufbewahrungsdauer von Logs.
Informationen zum Deaktivieren aller Logs oder zum Ausschließen von Logs aus Logging finden Sie unter Ausschlussfilter.
Informationen zum Weiterleiten von Logs von Logging an Cloud Storage, BigQuery oder Pub/Sub finden Sie unter Übersicht: Routing und Speicher.
Anwendungsfälle
Knowledge Catalog-Logging unterstützt Anwendungsfälle in verschiedenen Branchen:
- Fehlerbehebung bei Datenpipelinefehlern:Wenn eine Knowledge Catalog-Aufgabe zur Datenverarbeitung fehlschlägt, enthalten die
process-Logs detaillierte Fehlermeldungen, mit denen Datenanalysten Probleme in ihren Spark-Jobs oder benutzerdefinierten Aufgaben identifizieren und beheben können. - Datenqualität überwachen:Ein Finanzdienstleistungsunternehmen kann
data_quality_scan_rule_result-Logs verwenden, um Trends bei der Datenqualität im Zeitverlauf zu verfolgen, Benachrichtigungen bei Qualitätsverschlechterungen für kritische Daten-Assets zu erhalten und Prüfern Nachweise für Datenqualitätsprüfungen zur Einhaltung gesetzlicher Vorschriften vorzulegen. - Metadatenanreicherung verfolgen:Ein Einzelhandelsunternehmen, das Metadatenimportjobs verwendet, um seinen Katalog anzureichern, kann
metadata_job-Logs verwenden, um zu prüfen, ob Importe erfolgreich abgeschlossen werden und alle Metadatenelemente korrekt verarbeitet werden. - Datenerkennung prüfen:Unternehmen können
discovery-Logs verwenden, um zu überwachen, wie und wann neue Datenquellen in Knowledge Catalog erkannt und registriert werden. So erhalten sie einen Prüfpfad für Daten-Onboarding-Prozesse.
So funktioniert das Knowledge Catalog-Logging
Knowledge Catalog sendet Logs für Dienstvorgänge und Jobausführungen an Cloud Logging. Jeder Logeintrag enthält Details zum Vorgang oder Job, z. B. den Status, die Start- und Endzeit, zugehörige Ressourcen (z. B. einen Datenscan oder eine Aufgabe) und das Ergebnis. Verschiedene Arten von Vorgängen wie Datenscans,
Erkennung, Metadatenimport und Datenverarbeitung generieren unterschiedliche Logtypen,
die Sie mit logName oder der
Logging-Abfragesprache in
Logging abfragen können.
Sie können mit dem Log-Explorer in der Google Cloud Console auf diese Logs zugreifen und sie analysieren oder sie zur weiteren Analyse an andere Ziele wie Cloud Storage-Buckets oder BigQuery-Tabellen weiterleiten.
Auf Knowledge Catalog-Dienstlogs in Logging zugreifen
Knowledge Catalog veröffentlicht die folgenden Dienstlogs in Cloud Logging.
| Logtyp | Log name | logName-Abfrage |
Logbeschreibung |
|---|---|---|---|
| Ereignislogs für Datenscans | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Ereignislogs für Datenscanjobs mit Jobstatus, Ergebnissen und Statistiken |
| Logs zu Ergebnissen von Datenqualitätsregeln | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Ergebnisse von Datenqualitätsregeln in einem Datenqualitätsjob |
| Erkennungslogs | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Erkennungsfortschritt und Updates zu Assets in einer Zone |
| Logs zu Metadatenjobs | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
Logs zu Metadatenimportjobs und Importelementen in der Metadatenimportdatei |
| Prozesslogs | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Jobausführungen, die aus Datenverarbeitungsaufgaben resultieren |
Sie können mit dem
Log-Explorer in der
Google Cloud Console, den
gcloud logging Befehlen oder
der Logging API auf Logging zugreifen. Mit der
Logging-Abfragesprache können Sie
detaillierte Abfragen erstellen.
Ereignislogs für Datenscans abfragen
Console
Rufen Sie in der Google Cloud Console die Seite Observability > Logging > Log-Explorer auf.
Klicken Sie auf Alle Ressourcen.
Klicken Sie in der Liste Ressource auswählen auf Überprüfte Ressource und wählen Sie dann Cloud Dataplex aus. Optional: Wenn Sie die Logs nach einer bestimmten Methode filtern möchten, wählen Sie die Methode unter Methode aus. Klicken Sie auf Anwenden.
Klicken Sie auf Alle Log-Namen.
Geben Sie in der Liste Log-Namen auswählen
dataplex.googleapis.com%2Fdata_scanein. Wählen Sie data_scan aus, um die Logs nach Ereignislogs für Datenscans zu filtern, und klicken Sie auf Anwenden.Optional: Für eine erweiterte Filterung können Sie mit der Logging-Abfragesprache Filter in die Logabfrage einfügen. Wenn Sie beispielsweise nach einer bestimmten Datenscan-ID oder einem bestimmten Standort filtern möchten, fügen Sie die folgenden Filter in das Abfragefeld ein und klicken Sie auf Abfrage ausführen:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
gcloud
Verwenden Sie den
gcloud logging read Befehl
mit der folgenden Abfrage, um die Logeinträge für Datenscanereignisse zu lesen:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Verwenden Sie die
entries.list Methode, um Logeinträge aufzulisten.
Logs zu Ergebnissen von Datenqualitätsregeln abfragen
Wenn Sie mit Knowledge Catalog einen Datenqualitätsscan erstellen und ausführen, wird in Logging ein Log zu Ergebnissen von Datenqualitätsregeln für den resultierenden Job erstellt.
Console
Rufen Sie in der Google Cloud Console die Seite Observability > Logging > Log-Explorer auf.
Klicken Sie auf Alle Ressourcen.
Klicken Sie in der Liste Ressource auswählen auf Überprüfte Ressource und wählen Sie dann Cloud Dataplex aus. Optional: Wenn Sie die Logs nach einer bestimmten Methode filtern möchten, wählen Sie die Methode unter Methode aus. Klicken Sie auf Anwenden.
Klicken Sie auf Alle Log-Namen.
Geben Sie in der Liste Log-Namen auswählen
dataplex.googleapis.com%2Fdata_quality_scan_rule_resultein. Wählen Sie data_quality_scan_rule_result aus, um die Logs nach Logs zu Ergebnissen von Datenqualitätsregeln zu filtern, und klicken Sie auf Anwenden.Optional: Für eine erweiterte Filterung können Sie mit der Logging-Abfragesprache Filter in die Logabfrage einfügen. Wenn Sie beispielsweise nach einer bestimmten Datenscan-ID oder einem bestimmten Standort filtern möchten, fügen Sie die folgenden Filter in das Abfragefeld ein und klicken Sie auf Abfrage ausführen:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
gcloud
Verwenden Sie den
gcloud logging read Befehl
mit der folgenden Abfrage, um die Logeinträge zu Ergebnissen von Datenqualitätsregeln zu lesen:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Verwenden Sie die
entries.list Methode, um Logeinträge aufzulisten.
Erkennungslogs abfragen
Wenn Sie mit Knowledge Catalog Daten in Assets erkennen, wird in Logging ein Erkennungslog erstellt.
Console
Rufen Sie in der Google Cloud Console die Seite Observability > Logging > Log-Explorer auf.
Klicken Sie auf Alle Ressourcen.
Klicken Sie in der Liste Ressource auswählen auf Cloud Dataplex-Zone, um die Logs nach Knowledge Catalog-Zonenressourcen zu filtern. Optional: Wenn Sie die Logs nach einem bestimmten Asset filtern möchten, wählen Sie den Standort, den Data Lake und die Zone aus. Klicken Sie auf Anwenden.
Klicken Sie auf Alle Log-Namen.
Geben Sie in der Liste Log-Namen auswählen
dataplex.googleapis.com%2Fdiscoveryein. Wählen Sie discovery aus, um die Logs nach Erkennungslogs zu filtern, und klicken Sie auf Anwenden.Optional: Für eine erweiterte Filterung können Sie mit der Logging-Abfragesprache Filter in die Logabfrage einfügen. Wenn Sie beispielsweise nach einem bestimmten Asset filtern möchten, fügen Sie die folgenden Filter in das Abfragefeld ein und klicken Sie auf Abfrage ausführen:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
gcloud
Verwenden Sie den
gcloud logging read Befehl
mit der folgenden Abfrage, um die Erkennungslogeinträge zu lesen:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
Verwenden Sie die
entries.list Methode, um Logeinträge aufzulisten.
Logs zu Metadatenjobs abfragen
Wenn Sie einen Metadatenimportjob ausführen, werden in Logging Logs zu Metadatenjobs erstellt.
Console
Rufen Sie in der Google Cloud Console die Seite Observability > Logging > Log-Explorer auf.
Klicken Sie auf Alle Ressourcen.
Klicken Sie in der Liste Ressource auswählen auf Cloud Dataplex-Metadatenjob, um die Logs nach Ressourcen für Metadatenjobs zu filtern. Optional: Wenn Sie die Logs nach einem bestimmten Standort oder einer bestimmten Metadatenjob-ID filtern möchten, wählen Sie den Standort und die Metadatenjob-ID aus. Klicken Sie auf Anwenden.
Klicken Sie auf Alle Log-Namen.
Geben Sie in der Liste Log-Namen auswählen
dataplex.googleapis.com%2Fmetadata_jobein. Wählen Sie metadata_job aus, um die Logs nach Logs zu Metadatenjobs zu filtern, und klicken Sie auf Anwenden.Optional: Für eine erweiterte Filterung können Sie mit der Logging-Abfragesprache Filter in die Logabfrage einfügen. Weitere Informationen finden Sie unter Joblogs ansehen und Fehler beheben.
gcloud
Verwenden Sie den
gcloud logging read Befehl
mit der folgenden Abfrage, um die Logeinträge zu Metadatenjobs zu lesen:
gcloud logging read \
'resource.type="dataplex.googleapis.com/MetadataJob" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
resource.labels.location=LOCATION AND
resource.labels.metadata_job_id=METADATA_JOB_ID'
--limit 10
REST
Verwenden Sie die
entries.list Methode, um Logeinträge aufzulisten.
Prozesslogs abfragen
Wenn Sie mit Knowledge Catalog Aufgaben planen und ausführen, wird in Logging ein Prozess log für den resultierenden Job erstellt.
Console
Rufen Sie in der Google Cloud Console die Seite Observability > Logging > Log-Explorer auf.
Klicken Sie auf Alle Ressourcen.
Klicken Sie in der Liste Ressource auswählen auf Cloud Dataplex-Aufgabe, um die Logs nach Aufgabenressourcen zu filtern. Optional: Wenn Sie die Logs nach einer bestimmten Aufgabe oder einem bestimmten Standort filtern möchten, wählen Sie den Standort, den Data Lake und die Aufgabe aus. Klicken Sie auf Anwenden.
Klicken Sie auf Alle Log-Namen.
Geben Sie in der Liste Log-Namen auswählen
dataplex.googleapis.com%2Fprocessein. Wählen Sie process aus, um die Logs nach Prozesslogs zu filtern, und klicken Sie auf Anwenden.Optional: Für eine erweiterte Filterung können Sie mit der Logging-Abfragesprache Filter in die Logabfrage einfügen. Wenn Sie beispielsweise nach einer bestimmten Aufgabe filtern möchten, fügen Sie die folgenden Filter in das Abfragefeld ein und klicken Sie auf Abfrage ausführen:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
gcloud
Verwenden Sie den
gcloud logging read Befehl
mit der folgenden Abfrage, um die Prozesslogeinträge zu lesen:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
Verwenden Sie die
entries.list Methode, um Logeinträge aufzulisten.
Nächste Schritte
- Weitere Informationen zu Cloud Logging.
- Informationen zur Überwachung von Knowledge Catalog