Monitorare i log di Knowledge Catalog

Questo documento spiega come accedere ai log di Knowledge Catalog (in precedenza Dataplex Universal Catalog), eseguirne query e interpretarli utilizzando Cloud Logging. L'accesso ai log dei job e dei servizi di Knowledge Catalog ti aiuta a risolvere i problemi e a monitorare le attività di gestione dei dati, inclusi il rilevamento dei dati basato sull'AI e la scansione della qualità dei dati. Centralizzando i log in Logging, puoi analizzare le prestazioni dei job, configurare avvisi per errori o anomalie e instradare i log ad altri Google Cloud servizi come BigQuery per la conservazione e l'analisi a lungo termine.

Per comprendere i costi, consulta la pagina Prezzi di Google Cloud Observability.

Per ulteriori informazioni sulla conservazione dei log, consulta Periodi di conservazione dei log.

Per disattivare tutti i log o escluderli da Logging, consulta Filtri di esclusione.

Per instradare i log da Logging a Cloud Storage, BigQuery o Pub/Sub, consulta la panoramica su routing e archiviazione.

Casi d'uso

Il logging di Knowledge Catalog supporta i casi d'uso in diversi settori:

  • Risoluzione dei problemi relativi agli errori della pipeline di dati: quando un'attività di Knowledge Catalog per il trattamento dei dati non riesce, i log process forniscono messaggi di errore dettagliati che aiutano i data engineer a identificare e risolvere i problemi nei job Spark o nelle attività personalizzate.
  • Monitoraggio della qualità dei dati: una società di servizi finanziari può monitorare i log data_quality_scan_rule_result per monitorare le tendenze della qualità dei dati nel tempo, ricevere avvisi in caso di peggioramento della qualità per gli asset di dati critici e fornire ai revisori prove dei controlli di qualità dei dati per la conformità legale.
  • Monitoraggio dell'arricchimento dei metadati: una società di vendita al dettaglio che utilizza i job di importazione dei metadati per arricchire il proprio catalogo può utilizzare i log metadata_job per verificare che le importazioni vengano completate correttamente e che tutti gli elementi dei metadati vengano elaborati correttamente.
  • Audit del rilevamento dei dati: le organizzazioni possono utilizzare i log discovery per monitorare come e quando vengono rilevate e registrate nuove origini dati in Knowledge Catalog, fornendo un audit trail per i processi di onboarding dei dati.

Come funziona il logging di Knowledge Catalog

Knowledge Catalog invia i log per le operazioni di servizio e le esecuzioni dei job a Cloud Logging. Ogni voce di log contiene dettagli sull'operazione o sul job, come lo stato, l'ora di inizio e di fine, le risorse associate (ad esempio una scansione dei dati o un'attività) e il risultato. Diversi tipi di operazioni, come la scansione dei dati, il rilevamento, l'importazione dei metadati e il trattamento dei dati, generano diversi tipi di log, che puoi interrogare utilizzando logName o il linguaggio di query di Logging in Logging.

Puoi accedere a questi log e analizzarli utilizzando Esplora log nella Google Cloud console o instradandoli ad altre destinazioni, come i bucket Cloud Storage o le tabelle BigQuery, per ulteriori analisi.

Accedere ai log dei servizi di Knowledge Catalog in Logging

Knowledge Catalog pubblica i seguenti log dei servizi in Cloud Logging.

Tipo di log Nome log Query logName Descrizione del log
Log degli eventi di scansione dei dati dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Log degli eventi per i job di scansione dei dati che indicano lo stato, i risultati e le statistiche dei job
Log dei risultati delle regole di scansione della qualità dei dati dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Risultati delle regole di scansione della qualità dei dati in un job di qualità dei dati
Log di rilevamento dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Avanzamento e aggiornamenti del rilevamento sugli asset in una zona
Log dei job di metadati dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Log relativi ai job di importazione dei metadati e agli elementi di importazione nel file di importazione dei metadati
Log di processo dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Esecuzioni di job risultanti da attività di trattamento dei dati

Per accedere a Logging, puoi utilizzare l' Esplora log nella Google Cloud console, i gcloud logging comandi o l'API Logging. Puoi utilizzare il linguaggio di query di Logging per creare query dettagliate.

Eseguire query sui log degli eventi di scansione dei dati

Quando utilizzi Knowledge Catalog per creare ed eseguire una scansione dei dati, in Logging viene generato un log degli eventi di scansione dei dati per il job risultante.

Console

  1. Nella Google Cloud console, vai alla pagina Osservabilità > Logging > Esplora log.

    Vai a Esplora log

  2. Fai clic su Tutte le risorse.

  3. Nell'elenco Seleziona risorsa , fai clic su Risorsa sottoposta ad audit e poi seleziona Cloud Dataplex. (Facoltativo) Per filtrare i log in base a un metodo specifico, seleziona il metodo in Metodo. Fai clic su Applica.

  4. Fai clic su Tutti i nomi dei log.

  5. Nell'elenco Seleziona nomi dei log, inserisci dataplex.googleapis.com%2Fdata_scan. Seleziona data_scan per filtrare i log in base ai log degli eventi di scansione dei dati e fai clic su Applica.

  6. (Facoltativo) Per un filtro più avanzato, utilizza il linguaggio di query di Logging per aggiungere filtri alla query di log. Ad esempio, per filtrare in base a un ID o a una località di scansione dei dati specifici, aggiungi i seguenti filtri nel campo della query, e fai clic su Esegui query:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

gcloud

Per leggere le voci dei log degli eventi di scansione dei dati, utilizza il gcloud logging read comando con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il entries.list metodo.

Eseguire query sui log dei risultati delle regole di scansione della qualità dei dati

Quando utilizzi Knowledge Catalog per creare ed eseguire una scansione della qualità dei dati, in Logging viene generato un log dei risultati delle regole di scansione della qualità dei dati per il job risultante.

Console

  1. Nella Google Cloud console, vai alla pagina Osservabilità > Logging > Esplora log.

    Vai a Esplora log

  2. Fai clic su Tutte le risorse.

  3. Nell'elenco Seleziona risorsa , fai clic su Risorsa sottoposta ad audit e poi seleziona Cloud Dataplex. (Facoltativo) Per filtrare i log in base a un metodo specifico, seleziona il metodo in Metodo. Fai clic su Applica.

  4. Fai clic su Tutti i nomi dei log.

  5. Nell'elenco Seleziona nomi dei log, inserisci dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Seleziona data_quality_scan_rule_result per filtrare i log in base ai log dei risultati delle regole di scansione della qualità dei dati e fai clic su Applica.

  6. (Facoltativo) Per un filtro più avanzato, utilizza il linguaggio di query di Logging per aggiungere filtri alla query di log. Ad esempio, per filtrare in base a un ID o a una località di scansione dei dati specifici, aggiungi i seguenti filtri nel campo della query, e fai clic su Esegui query:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

gcloud

Per leggere le voci dei log dei risultati delle regole di scansione della qualità dei dati, utilizza il gcloud logging read comando con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il entries.list metodo.

Eseguire query sui log di rilevamento

Quando utilizzi Knowledge Catalog per rilevare i dati negli asset, in Logging viene generato un log di rilevamento.

Console

  1. Nella Google Cloud console, vai alla pagina Osservabilità > Logging > Esplora log.

    Vai a Esplora log

  2. Fai clic su Tutte le risorse.

  3. Nell'elenco Seleziona risorsa, fai clic su Zona Cloud Dataplex per filtrare i log in base alle risorse della zona di Knowledge Catalog. (Facoltativo) Per filtrare i log in base a un asset specifico, seleziona la località, il lake e la zona. Fai clic su Applica.

  4. Fai clic su Tutti i nomi dei log.

  5. Nell'elenco Seleziona nomi dei log, inserisci dataplex.googleapis.com%2Fdiscovery. Seleziona discovery per filtrare i log in base ai log di rilevamento e fai clic su Applica.

  6. (Facoltativo) Per un filtro più avanzato, utilizza il linguaggio di query di Logging per aggiungere filtri alla query di log. Ad esempio, per filtrare in base a un asset specifico , aggiungi i seguenti filtri nel campo della query e fai clic su Esegui query:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

gcloud

Per leggere le voci dei log di rilevamento, utilizza il gcloud logging read comando con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il entries.list metodo.

Eseguire query sui log dei job di metadati

Quando esegui un job di importazione dei metadati, in Logging vengono generati i log dei job di metadati.

Console

  1. Nella Google Cloud console, vai alla pagina Osservabilità > Logging > Esplora log.

    Vai a Esplora log

  2. Fai clic su Tutte le risorse.

  3. Nell'elenco Seleziona risorsa, fai clic su Job di metadati di Cloud Dataplex per filtrare i log in base alle risorse dei job di metadati. (Facoltativo) Per filtrare i log in base a una località o a un ID job di metadati specifici, seleziona la località e l'ID job di metadati. Fai clic su Applica.

  4. Fai clic su Tutti i nomi dei log.

  5. Nell'elenco Seleziona nomi dei log, inserisci dataplex.googleapis.com%2Fmetadata_job. Seleziona metadata_job per filtrare i log in base ai log dei job di metadati e fai clic su Applica.

  6. (Facoltativo) Per un filtro più avanzato, utilizza il linguaggio di query di Logging per aggiungere filtri alla query di log. Per ulteriori informazioni, consulta Visualizzare i log dei job e risolvere i problemi.

gcloud

Per leggere le voci dei log dei job di metadati, utilizza il gcloud logging read comando con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il entries.list metodo.

Eseguire query sui log di processo

Quando utilizzi Knowledge Catalog per pianificare ed eseguire attività, in Logging viene generato un log di processo per il job risultante.

Console

  1. Nella Google Cloud console, vai alla pagina Osservabilità > Logging > Esplora log.

    Vai a Esplora log

  2. Fai clic su Tutte le risorse.

  3. Nell'elenco Seleziona risorsa, fai clic su Attività Cloud Dataplex per filtrare i log in base alle risorse delle attività. (Facoltativo) Per filtrare i log in base a un'attività o a una località specifica, seleziona la località, il lake e l'attività. Fai clic su Applica.

  4. Fai clic su Tutti i nomi dei log.

  5. Nell'elenco Seleziona nomi dei log, inserisci dataplex.googleapis.com%2Fprocess. Seleziona process per filtrare i log in base ai log di processo e fai clic su Applica.

  6. (Facoltativo) Per un filtro più avanzato, utilizza il linguaggio di query di Logging per aggiungere filtri alla query di log. Ad esempio, per filtrare in base a un'attività specifica , aggiungi i seguenti filtri nel campo della query e fai clic su Esegui query:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

gcloud

Per leggere le voci dei log di processo, utilizza il gcloud logging read comando con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il entries.list metodo.

Passaggi successivi