Ce document explique comment inspecter une table BigQuery à la recherche de données sensibles et envoyer les résultats de l'inspection à Knowledge Catalog. Cette action ajoute automatiquement un aspect à l'entrée Knowledge Catalog associée à votre table BigQuery.
Ce document fournit également des exemples de requêtes que vous pouvez utiliser pour rechercher des données dans votre organisation et vos projets avec des valeurs d'aspect spécifiques.
Cette fonctionnalité est utile si vous souhaitez enrichir vos métadonnées dans Knowledge Catalog avec des classifications de données sensibles provenant de tâches d'inspection Sensitive Data Protection.
Les aspects générés incluent les détails suivants :
- Nom de la tâche d'inspection
- Types d'informations (infoTypes) détectés dans la table
À propos de Knowledge Catalog
Knowledge Catalog fournit un inventaire unifié des Google Cloud ressources.
Knowledge Catalog vous permet d'utiliser des aspects pour ajouter des métadonnées métier et techniques à vos données afin de capturer le contexte et les connaissances sur vos ressources. Vous pouvez ensuite rechercher et découvrir des données dans votre organisation, et activer la gouvernance des données sur vos ressources de données. Pour en savoir plus, consultez Aspects.
Fonctionnement
Pour créer automatiquement des aspects Knowledge Catalog en fonction des résultats des tâches d'inspection, suivez ce workflow de haut niveau :
Créez ou modifiez une tâche d'inspection qui inspecte une table BigQuery. Pour obtenir des instructions, consultez Inspecter une table BigQuery.
À l'étape Ajouter des actions, activez Publier dans Dataplex Universal Catalog.
Sensitive Data Protection adds or updates the
Sensitive Data Protection job result aspect of the Knowledge Catalog
entry associated with the
table BigQuery. Vous pouvez ensuite rechercher dans Knowledge Catalog toutes les données de votre organisation ou de votre projet avec des valeurs d'aspect spécifiques. Pour obtenir des exemples de requêtes, consultez Exemples de requêtes de recherche dans ce document.
L'aspect Knowledge Catalog résultant est stocké dans le même projet et la même région que la table BigQuery.
Champs d'aspect
L'aspect Sensitive Data Protection job result comporte les champs suivants :
- Nom de la tâche
- Nom complet de la ressource de la tâche d'inspection, par exemple,
projects/example-project/locations/us/dlpJobs/i-8992079400000000000. - Nombre d'infoTypes
- Noms des infoTypes recherchés par la tâche d'inspection (tels que spécifiés dans la configuration de l'inspection) et nombre de résultats pour chaque infoType.
Un infoType sans résultat a un nombre de
0. - Heure de fin
- Date et heure de fin de la tâche d'inspection.
- Est une analyse complète
- Indique si la tâche d'inspection a analysé toutes les lignes de la table. Si l'échantillonnage est activé dans la tâche d'inspection, par exemple, la valeur de ce champ est
False. - A des résultats
- Indique si la tâche d'inspection a détecté l'un des infoTypes qu'elle a analysés.
Activer l'API Dataplex
L'API Dataplex doit être activée dans chaque projet contenant des données pour lesquelles vous souhaitez ajouter des aspects. Cette section explique comment activer l'API Dataplex dans un seul projet ou dans tous les projets d'une organisation ou d'un dossier.
Activer l'API Dataplex dans un seul projet
Sélectionnez le projet dans lequel vous souhaitez activer l'API Dataplex.
-
Activez l'API Dataplex.
Rôles requis pour activer les API
Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (
roles/serviceusage.serviceUsageAdmin), qui contient l'autorisationserviceusage.services.enable. Découvrez comment attribuer des rôles.
Activer l'API Dataplex dans tous les projets d'une organisation ou d'un dossier
Cette section fournit un script qui recherche tous les projets d'une organisation ou d'un dossier et active l'API Dataplex dans chacun d'eux.
Pour obtenir les autorisations nécessaires pour activer l'API Dataplex dans tous les projets d'une organisation ou d'un dossier, demandez à votre administrateur de vous accorder les rôles IAM suivants :
- Lecteur de ressources Cloud Asset (
roles/cloudasset.viewer) sur l'organisation ou le dossier - Utilisateur DLP (
roles/dlp.user) sur chaque projet dans lequel vous souhaitez activer l'API Dataplex
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Ces rôles prédéfinis contiennent les autorisations requises pour activer l'API Dataplex dans tous les projets d'une organisation ou d'un dossier. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour activer l'API Dataplex dans tous les projets d'une organisation ou d'un dossier :
-
Pour rechercher tous les projets d'une organisation ou d'un dossier:
cloudasset.assets.searchAllResourcessur l'organisation ou le dossier -
Pour activer l'API Dataplex :
serviceusage.services.usesur chaque projet dans lequel vous souhaitez activer l'API Dataplex
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour activer l'API Dataplex dans tous les projets d'une organisation ou d'un dossier, procédez comme suit :
-
Dans la Google Cloud console, activez Cloud Shell.
En bas de la fenêtre de la console, une session Cloud Shell démarre et affiche une invite de ligne de commande. Google Cloud Cloud Shell est un environnement de shell dans lequel Google Cloud CLI est déjà installé, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.
Exécutez le script suivant :
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" doneRemplacez les éléments suivants :
RESOURCE_ID: numéro d'organisation ou de dossier de la ressource contenant les projetsRESOURCE_TYPE: type de ressource contenant les projets (organizationsoufolders)
Rôles et autorisations pour afficher les aspects
Pour obtenir les autorisations nécessaires pour rechercher les aspects associés à votre table BigQuery, demandez à votre administrateur de vous accorder les rôles IAM suivants sur la table :
- Lecteur de catalogue Dataplex (
roles/dataplex.catalogViewer) - Lecteur de données BigQuery (
roles/bigquery.dataViewer)
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Ces rôles prédéfinis contiennent les autorisations requises pour rechercher les aspects associés à votre table BigQuery. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour rechercher les aspects associés à votre table BigQuery :
-
Afficher les entrées Knowledge Catalog :
-
dataplex.entries.list -
dataplex.entries.get
-
-
Afficher les ensembles de données et les tables BigQuery :
-
bigquery.datasets.get -
bigquery.tables.get
-
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus sur les autorisations requises pour utiliser Knowledge Catalog, consultez Autorisations IAM Knowledge Catalog.
Configurer et exécuter une tâche d'inspection Sensitive Data Protection
Vous pouvez configurer et exécuter une tâche d'inspection Sensitive Data Protection à l'aide de la Google Cloud console ou de l'API DLP.
Console
-
Dans la Google Cloud console, accédez à la page **Créer un job ou un déclencheur de jobs**.
- Sélectionnez votre projet.
- Saisissez les détails requis pour la tâche d'inspection et ceux de la table BigQuery que vous souhaitez inspecter. Pour obtenir des instructions, consultez Inspecter une table BigQuery. Pour obtenir la liste complète des types d'informations que Sensitive Data Protection peut inspecter, consultez la documentation de référence sur les détecteurs d'infoTypes.
- Pour Ajouter des actions, activez Publier dans Dataplex Universal Catalog.
- Cliquez sur Créer. La tâche s'exécute immédiatement.
REST
L'exemple suivant envoie une
projects.locations.dlpJobs.create
requête pour inspecter une table BigQuery et envoyer les résultats à
Knowledge Catalog.
Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :
-
PROJECT_ID: ID de votre Google Cloud projet. Les ID de projet sont des chaînes alphanumériques. -
LOCATION: région ou multirégion dans laquelle vous souhaitez traiter la requête (par exemple,europe-west1ouus). Pour connaître les emplacements disponibles, consultez Emplacements Sensitive Data Protection. -
BIGQUERY_DATASET_NAME: nom de l'ensemble de données BigQuery contenant la table à inspecter -
BIGQUERY_TABLE_NAME: nom de la table BigQuery à inspecter
Méthode HTTP et URL :
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs
Corps JSON de la requête :
{
"inspectJob":
{
"storageConfig":
{
"bigQueryOptions":
{
"tableReference":
{
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig":
{
"infoTypes":
[
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"includeQuote": true,
"minLikelihood": "UNLIKELY",
"limits":
{
"maxFindingsPerRequest": 100
}
},
"actions":
[
{
"publishFindingsToDataplexCatalog": {}
}
]
}
}
Pour envoyer votre requête, développez l'une des options suivantes :
Vous devriez recevoir une réponse JSON de ce type :
{
"name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"minLikelihood": "UNLIKELY",
"limits": {
"maxFindingsPerRequest": 100
},
"includeQuote": true
},
"actions": [
{
"publishFindingsToDataplexCatalog": {}
}
]
}
},
"result": {}
},
"createTime": "2025-09-09T00:29:55.951374Z",
"lastModified": "2025-09-09T00:29:58.022967Z"
}
Pour savoir comment obtenir les résultats de la tâche d'inspection à l'aide de l' API DLP, consultez Obtenir une tâche.
Exemples de requêtes de recherche
Cette section fournit des exemples de requêtes de recherche que vous pouvez utiliser dans Knowledge Catalog pour trouver des données dans votre organisation ou votre projet avec des valeurs d'aspect spécifiques.
Vous ne pouvez trouver que les données auxquelles vous avez accès. L'accès aux données est contrôlé par les autorisations IAM. Pour en savoir plus, consultez Rôles et autorisations pour afficher les aspects dans ce document.
Vous pouvez saisir ces exemples de requêtes dans le champ Rechercher de la page Rechercher de Knowledge Catalog.
Pour savoir comment formuler les requêtes, consultez Syntaxe de recherche pour Knowledge Catalog.
Rechercher les entrées de toutes les tables qui comportent l'aspect "Résultat de la tâche Sensitive Data Protection"
aspect:sensitive-data-protection-job-result
Rechercher les entrées des tables inspectées qui comportent des résultats
aspect:sensitive-data-protection-job-result.hasFindings=True
Rechercher les entrées des tables inspectées qui ne comportent aucun résultat
aspect:sensitive-data-protection-job-result.hasFindings=False
Rechercher les entrées des tables qui ont été entièrement inspectées
La requête suivante renvoie les entrées des tables que Sensitive Data Protection a inspectées ligne par ligne.
aspect:sensitive-data-protection-job-result.isFullScan=True
Rechercher les entrées des tables qui n'ont pas été entièrement inspectées
La requête suivante renvoie les entrées des tables que Sensitive Data Protection a inspectées par échantillonnage.
aspect:sensitive-data-protection-job-result.isFullScan=False
Migrer vers l'action "Publier dans Dataplex Universal Catalog"
Pour migrer un déclencheur de tâche configuré pour utiliser l'action obsolète Publier dans Data Catalog, procédez comme suit :
- Modifiez le déclencheur de tâche configuré pour publier les résultats d'inspection dans Data Catalog. Pour savoir comment ouvrir et modifier un déclencheur de tâche, consultez Mettre à jour un déclencheur de tâche existant.
- Dans la section Actions, désactivez Publier dans Data Catalog.
- Activez Publier dans Dataplex Universal Catalog.
- Cliquez sur Enregistrer.