Surveiller les journaux Knowledge Catalog

Ce document explique comment accéder aux journaux Knowledge Catalog (anciennement Dataplex Universal Catalog), les interroger et les interpréter à l'aide de Cloud Logging. L'accès aux journaux de job et de service Knowledge Catalog vous permet de résoudre les problèmes et de surveiller les activités de gestion des données, y compris la découverte de données basée sur l'IA et l'analyse de la qualité des données.

En centralisant les journaux dans Logging, vous pouvez analyser les performances des jobs, configurer des alertes en cas d'échec ou d'anomalie, et acheminer les journaux vers d'autres Google Cloud services tels que BigQuery pour une conservation et une analyse à long terme.

Pour comprendre les coûts, consultez la page Tarifs de Google Cloud Observability.

Pour en savoir plus sur la conservation des journaux, consultez Durée de conservation des journaux.

Pour désactiver tous les journaux ou en exclure de Logging, consultez la section Filtres d'exclusion.

Pour acheminer des journaux de Logging vers Cloud Storage, BigQuery ou Pub/Sub, consultez la présentation du routage et du stockage.

Cas d'utilisation

La journalisation de Knowledge Catalog prend en charge des cas d'utilisation dans différents secteurs :

  • Résoudre les échecs de pipeline de données : lorsqu'une tâche Knowledge Catalog de traitement des données échoue, les journaux process fournissent des messages d'erreur détaillés qui aident les ingénieurs de données à identifier et à résoudre les problèmes dans leurs jobs Spark ou leurs tâches personnalisées.
  • Surveiller la qualité des données : une entreprise de services financiers peut surveiller les journaux data_quality_scan_rule_result pour suivre les tendances de la qualité des données au fil du temps, recevoir des alertes en cas de dégradation de la qualité des éléments de données critiques et fournir aux auditeurs des preuves des contrôles de qualité des données pour la conformité réglementaire.
  • Suivre l'enrichissement des métadonnées : une entreprise de vente au détail qui utilise des jobs d'importation de métadonnées pour enrichir son catalogue peut utiliser les journaux metadata_job pour vérifier que les importations sont effectuées correctement et que tous les éléments de métadonnées sont traités correctement.
  • Auditer la découverte de données : les organisations peuvent utiliser les journaux discovery pour surveiller comment et quand de nouvelles sources de données sont découvertes et enregistrées dans Knowledge Catalog, ce qui fournit une piste d'audit pour les processus d'intégration des données.

Fonctionnement de la journalisation de Knowledge Catalog

Knowledge Catalog envoie les journaux des opérations de service et des exécutions de jobs à Cloud Logging. Chaque entrée de journal contient des informations sur l'opération ou le job, telles que son état, son heure de début et de fin, les ressources associées (comme une analyse de données ou une tâche) et le résultat. Différents types d'opérations, tels que l'analyse de données, la découverte, l'importation de métadonnées et le traitement des données, génèrent différents types de journaux, que vous pouvez interroger à l'aide de logName ou du langage de requête Logging dans Logging.

Vous pouvez accéder à ces journaux et les analyser à l'aide de l'explorateur de journaux dans la Google Cloud console ou en les acheminant vers d'autres destinations, telles que des buckets Cloud Storage ou des tables BigQuery, pour une analyse plus approfondie.

Types de journaux Knowledge Catalog

Knowledge Catalog publie les journaux de service suivants dans Cloud Logging.

Type de journal Nom du journal Requête logName Description du journal
Journaux des événements d'analyse des données dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Journaux d'événements au niveau du job pour les jobs d'analyse de données (qualité des données, profil de données et insights sur les données) indiquant l'état, les résultats et les statistiques des jobs
Journaux des résultats des règles d'analyse de la qualité des données dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Résultats d'évaluation détaillés au niveau des règles pour chaque règle évaluée dans un job d'analyse de la qualité des données
Journaux de découverte dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progression de la découverte et mises à jour des éléments d'une zone
Journaux sur les jobs de métadonnées dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Journaux sur les jobs d'importation de métadonnées et les éléments d'importation dans le fichier d'importation de métadonnées
Journaux de traitement dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Exécutions de jobs résultant de tâches de traitement de données

Accéder aux journaux de service Knowledge Catalog

Pour accéder à Logging, utilisez l' explorateur de journaux dans la Google Cloud console, les gcloud logging commandes, ou l'API Logging. Vous pouvez utiliser le langage de requête Logging pour créer des requêtes détaillées.

Autorisations IAM requises

Pour afficher et interroger les journaux, vous devez disposer du rôle Visionneuse de journaux (roles/logging.viewer) ou d'autorisations équivalentes sur le projet.

Afficher les journaux dans la Google Cloud console

  1. Dans la Google Cloud console, accédez à la page Observabilité > Logging > Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Configurez les filtres Ressource et Nom du journal en fonction du tableau suivant :

    Type de journal Sélection de la ressource Sélection du nom du journal
    Événements d'analyse des données Ressource auditée > Service : Cloud Dataplex dataplex.googleapis.com/data_scan
    Résultats des règles d'analyse de la qualité des données Ressource auditée > Service : Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    Journaux de découverte Zone Cloud Dataplex dataplex.googleapis.com/discovery
    Journaux sur les jobs de métadonnées Job de métadonnées Cloud Dataplex dataplex.googleapis.com/metadata_job
    Journaux de traitement Tâche Cloud Dataplex dataplex.googleapis.com/process

  3. (Facultatif) Sélectionnez des sous-filtres spécifiques (tels qu'un ID de tâche spécifique) pour affiner votre requête.

  4. Cliquez sur Appliquer, puis sur Exécuter la requête.

Exemples de filtrage des journaux

Vous pouvez utiliser le langage de requête Logging dans l'éditeur de requêtes de l'explorateur de journaux ou avec Google Cloud CLI. Les exemples suivants montrent comment lire les journaux à l'aide de gcloud CLI.

Exemple : Lire les événements d'analyse des données

Pour lire les entrées de journal des événements pour les analyses de la qualité des données ou les analyses de profilage des données, utilisez la gcloud logging read commande avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

Exemple : Lire les entrées de journaux de processus

Pour lire les entrées de journaux de processus, utilisez la gcloud logging read commande avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

Exemples de charges utiles de journaux

Les exemples suivants montrent les structures de charge utile JSON pour différents types de journaux Knowledge Catalog. Vous pouvez utiliser ces exemples pour comprendre la structure des journaux et créer des filtres de journaux.

Journaux des événements d'analyse des données

Dans Knowledge Catalog, les analyses de données englobent les analyses de la qualité des données, les analyses de profil de données, et les analyses d'insights sur les données. Lorsque vous exécutez un job d'analyse de données, Knowledge Catalog génère un journal d'événements data_scan dans Logging qui récapitule l'exécution globale du job. Pour les analyses d'insights sur les données réussies (jsonPayload.type="DATA_DOCUMENTATION"), le journal des événements inclut également un billableTokenUsage bloc. Pour en savoir plus sur l' interrogation et la représentation graphique de la consommation de jetons d'insights sur les données, consultez Surveiller l'utilisation des jetons d'insights sur les données.

L'exemple suivant montre une charge utile de journal d'événements pour une analyse de la qualité des données :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux des résultats des règles d'analyse de la qualité des données

Lorsqu'une analyse de la qualité des données est exécutée, Knowledge Catalog génère un journal d'événements d'analyse de données et un journal distinct des résultats des règles d'analyse de la qualité des données pour chaque règle évaluée dans le job.

Chaque entrée de journal data_quality_scan_rule_result contient des informations sur la règle spécifique, y compris la configuration de la règle, la dimension d'évaluation, l'état et le nombre de lignes.

L'exemple suivant montre une charge utile de journal des résultats des règles d'analyse de la qualité des données :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux de découverte

L'exemple suivant montre une charge utile de journal de découverte :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux sur les jobs de métadonnées

L'exemple suivant montre une charge utile de journal de job de métadonnées :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux de traitement

L'exemple suivant montre une charge utile de journal de traitement :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Configurer des alertes basées sur les journaux

Vous pouvez configurer des alertes basées sur les journaux pour être averti lorsque des événements Knowledge Catalog spécifiques se produisent (par exemple, une analyse de la qualité des données ayant échoué).

Pour créer des alertes basées sur les journaux, vous devez disposer des rôles Rédacteur de configuration des journaux (roles/logging.configWriter) et Éditeur de règles d'alerte Monitoring (roles/monitoring.alertPolicyEditor), ou d'autorisations équivalentes.

  1. Exécutez une requête dans l'explorateur de journaux qui cible la condition d'échec (par exemple : resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. Au-dessus du volet des résultats de la requête, cliquez sur Créer une alerte.
  3. Dans le panneau Créer une alerte basée sur les journaux, saisissez un nom et une description pour la règle d'alerte.
  4. Cliquez sur Suivant , puis configurez vos canaux de notification.
  5. Cliquez sur Enregistrer.

Pour en savoir plus, consultez Créer des alertes basées sur les journaux.

Étape suivante