Surveiller les journaux Knowledge Catalog

Ce document explique comment accéder aux journaux Knowledge Catalog (anciennement Dataplex Universal Catalog), les interroger et les interpréter à l'aide de Cloud Logging. L'accès aux journaux des jobs et des services Knowledge Catalog vous permet de résoudre les problèmes et de surveiller les activités de gestion des données, y compris la découverte de données et l'analyse de la qualité des données optimisées par l'IA.

En centralisant les journaux dans Logging, vous pouvez analyser les performances des jobs, configurer des alertes en cas d'échec ou d'anomalie, et acheminer les journaux vers d'autres services Google Cloudtels que BigQuery pour une conservation et une analyse à long terme.

Pour comprendre les coûts, consultez la page Tarifs de Google Cloud Observability.

Pour en savoir plus sur la conservation des journaux, consultez Durée de conservation des journaux.

Pour désactiver tous les journaux ou en exclure de Logging, consultez la section Filtres d'exclusion.

Pour acheminer des journaux de Logging vers Cloud Storage, BigQuery ou Pub/Sub, consultez la présentation du routage et du stockage.

Cas d'utilisation

La journalisation Knowledge Catalog est compatible avec des cas d'utilisation dans différents secteurs :

  • Résoudre les problèmes d'échec des pipelines de données : lorsqu'une tâche Knowledge Catalog de traitement des données échoue, les journaux process fournissent des messages d'erreur détaillés qui aident les ingénieurs de données à identifier et à résoudre les problèmes dans leurs jobs Spark ou leurs tâches personnalisées.
  • Surveiller la qualité des données : une entreprise de services financiers peut surveiller les journaux data_quality_scan_rule_result pour suivre l'évolution de la qualité des données au fil du temps, recevoir des alertes en cas de dégradation de la qualité des éléments de données critiques et fournir aux auditeurs des preuves de contrôles de la qualité des données pour la conformité réglementaire.
  • Suivre l'enrichissement des métadonnées : une entreprise de vente au détail qui utilise des jobs d'importation de métadonnées pour enrichir son catalogue peut utiliser les journaux metadata_job pour vérifier que les importations se terminent correctement et que tous les éléments de métadonnées sont traités correctement.
  • Auditer la découverte de données : les organisations peuvent utiliser les journaux discovery pour surveiller comment et quand de nouvelles sources de données sont découvertes et enregistrées dans Knowledge Catalog, ce qui fournit une piste d'audit pour les processus d'intégration des données.

Fonctionnement de la journalisation Knowledge Catalog

Knowledge Catalog envoie les journaux des opérations de service et des exécutions de jobs à Cloud Logging. Chaque entrée de journal contient des détails sur l'opération ou le job, tels que son état, son heure de début et de fin, les ressources associées (comme une analyse de données ou une tâche) et son résultat. Différents types d'opérations, tels que l'analyse des données, la découverte, l'importation de métadonnées et le traitement des données, génèrent différents types de journaux, que vous pouvez interroger à l'aide de logName ou du langage de requête Logging dans Logging.

Vous pouvez accéder à ces journaux et les analyser à l'aide de l'explorateur de journaux de la consoleGoogle Cloud ou en les acheminant vers d'autres destinations, comme des buckets Cloud Storage ou des tables BigQuery, pour une analyse plus approfondie.

Types de journaux Knowledge Catalog

Knowledge Catalog publie les journaux de service suivants dans Cloud Logging.

Type de journal Nom du journal Requête logName Description du journal
Journaux des événements d'analyse des données dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Journaux d'événements au niveau du job pour les jobs d'analyse de données (analyses de la qualité des données, du profilage des données et des insights sur les données) indiquant l'état, les résultats et les statistiques des jobs
Journaux des résultats des règles d'analyse de la qualité des données dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Résultats détaillés de l'évaluation au niveau des règles pour chaque règle évaluée dans un job d'analyse de la qualité des données
Journaux de découverte dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progression de la découverte et mises à jour des éléments d'une zone
Journaux sur les jobs de métadonnées dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Journaux sur les jobs d'importation de métadonnées et les éléments d'importation dans le fichier d'importation de métadonnées
Journaux de traitement dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Exécutions de jobs résultant de tâches de traitement de données

Accéder aux journaux de service Knowledge Catalog

Pour accéder à Logging, utilisez l'explorateur de journaux dans la consoleGoogle Cloud , les commandes gcloud logging ou l'API Logging. Vous pouvez utiliser le langage de requête Logging pour créer des requêtes détaillées.

Autorisations IAM requises

Pour afficher et interroger les journaux, vous devez disposer du rôle Visionneuse de journaux (roles/logging.viewer) ou d'autorisations équivalentes sur le projet.

Afficher les journaux dans la console Google Cloud

  1. Dans la console Google Cloud , accédez à la page Observabilité > Journalisation > Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Configurez les filtres Ressource et Nom du journal en fonction du tableau suivant :

    Type de journal Sélection des ressources Sélection du nom du journal
    Événements d'analyse des données Ressource auditée > Service : Cloud Dataplex dataplex.googleapis.com/data_scan
    Résultats des règles d'analyse de la qualité des données Ressource auditée > Service : Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    Journaux de découverte Zone Cloud Dataplex dataplex.googleapis.com/discovery
    Journaux sur les jobs de métadonnées Job de métadonnées Cloud Dataplex dataplex.googleapis.com/metadata_job
    Journaux de traitement Tâche Cloud Dataplex dataplex.googleapis.com/process

  3. (Facultatif) Sélectionnez des sous-filtres spécifiques (par exemple, un ID de tâche spécifique) pour affiner votre requête.

  4. Cliquez sur Appliquer, puis sur Exécuter la requête.

Exemples de filtrage des journaux

Vous pouvez utiliser le langage de requête Logging dans l'éditeur de requête de l'explorateur de journaux ou avec la Google Cloud CLI. Les exemples suivants montrent comment lire des journaux à l'aide de la gcloud CLI.

Exemple : Lire les événements d'analyse de données

Pour lire les entrées de journal des événements pour les analyses de la qualité des données ou les analyses de profilage des données, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

Exemple : Lire les entrées de journal du processus

Pour lire les entrées de journaux de processus, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

Exemples de charges utiles de journaux

Les exemples suivants montrent les structures de charge utile JSON pour différents types de journaux Knowledge Catalog. Vous pouvez utiliser ces exemples pour comprendre la structure des journaux et créer des filtres de journaux.

Journaux des événements d'analyse des données

Dans Knowledge Catalog, les analyses de données englobent les analyses de la qualité des données, les analyses de profilage des données et les analyses d'insights sur les données. Lorsque vous exécutez un job d'analyse de données, Knowledge Catalog écrit un journal des événements data_scan dans Logging qui résume l'exécution globale du job. Pour les analyses d'insights sur les données réussies (jsonPayload.type="DATA_DOCUMENTATION"), le journal des événements inclut également un bloc billableTokenUsage. Pour en savoir plus sur l'interrogation et la représentation graphique de la consommation de jetons d'insights sur les données, consultez Surveiller l'utilisation des jetons d'insights sur les données.

L'exemple suivant montre une charge utile de journal d'événements pour une analyse de la qualité des données :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux des résultats des règles d'analyse de la qualité des données

Lorsqu'une analyse de la qualité des données est exécutée, Knowledge Catalog génère un journal des événements d'analyse de données et un journal des résultats des règles d'analyse de la qualité des données distinct pour chaque règle évaluée dans le job.

Chaque entrée de journal data_quality_scan_rule_result contient des informations sur la règle spécifique, y compris la configuration de la règle, la dimension d'évaluation, l'état et le nombre de lignes.

L'exemple suivant montre une charge utile de journal des résultats d'une règle d'analyse de la qualité des données :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux de découverte

L'exemple suivant montre une charge utile de journal de découverte :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux sur les jobs de métadonnées

L'exemple suivant montre une charge utile de journal de job de métadonnées :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Journaux de traitement

L'exemple suivant montre une charge utile de journal de processus :

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Configurer des alertes basées sur les journaux

Vous pouvez configurer des alertes basées sur les journaux pour recevoir une notification chaque fois que des événements Knowledge Catalog spécifiques se produisent (par exemple, l'échec d'une analyse de la qualité des données).

Pour créer des alertes basées sur les journaux, vous devez disposer des rôles Rédacteur de configuration des journaux (roles/logging.configWriter) et Éditeur de règles d'alerte Monitoring (roles/monitoring.alertPolicyEditor), ou d'autorisations équivalentes.

  1. Exécutez une requête dans l'explorateur de journaux qui cible la condition d'échec (par exemple : resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. Au-dessus du volet des résultats de la requête, cliquez sur Créer une alerte.
  3. Dans le panneau Créer une alerte basée sur les journaux, saisissez un nom et une description pour la règle d'alerte.
  4. Cliquez sur Suivant et configurez vos canaux de notification.
  5. Cliquez sur Enregistrer.

Pour en savoir plus, consultez Créer des alertes basées sur les journaux.

Étapes suivantes