Estimer le coût du profilage des données BigQuery dans un seul projet

Cette page explique comment estimer le coût du profilage des données BigQuery dans un projet. Si vous souhaitez créer une estimation pour une organisation ou un dossier, consultez Estimer le coût du profilage des données pour une organisation ou un dossier.

Pour en savoir plus sur le profilage des données BigQuery, consultez Profils de données pour les données BigQuery.

Présentation

Avant de commencer à générer des profils de données, vous pouvez effectuer une estimation pour déterminer le volume de données BigQuery dont vous disposez et le coût de leur profilage. Pour effectuer une estimation, vous devez en créer une.

Lorsque vous créez une estimation, vous spécifiez la ressource (organisation, dossier ou projet) contenant les données que vous souhaitez profiler. Vous pouvez définir des filtres pour affiner la sélection des données. Vous pouvez également définir des conditions qui doivent être remplies pour que la protection des données sensibles profile une table. La protection des données sensibles base l'estimation sur la forme, la taille et le type des données au moment où vous créez l'estimation.

Chaque estimation inclut des détails tels que le nombre de tables correspondantes trouvées dans la ressource, la taille totale de toutes ces tables et le coût estimé du profilage de la ressource une fois et sur une base mensuelle.

Pour en savoir plus sur le calcul des tarifs, consultez Tarifs du profilage de données.

Tarifs de l'estimation

La création d'une estimation est sans frais.

Fidélisation

Chaque estimation est automatiquement supprimée au bout de 28 jours.

Avant de commencer

Pour obtenir les autorisations nécessaires pour créer et gérer des estimations de coûts de profilage des données, demandez à votre administrateur de vous accorder le rôle IAM Administrateur DLP (roles/dlp.admin) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

  1. Assurez-vous que l'API Cloud Data Loss Prevention est activée dans votre projet :

    1. Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    3. Verify that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    6. Verify that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

      8.

  2. Pour obtenir les autorisations nécessaires pour créer et gérer des estimations de coûts de profilage des données, demandez à votre administrateur de vous accorder le rôle IAM Administrateur DLP (roles/dlp.admin) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une estimation

  1. Accédez à la page Créer une estimation du profil de données.

    Accéder à la page "Créer une estimation du profil de données"

  2. Sélectionnez votre projet.

Les sections suivantes fournissent plus d'informations sur les étapes de la page Créer une estimation du profil de données. À la fin de chaque section, cliquez sur Continuer.

Sélectionner la ressource à analyser

Assurez-vous que l'option Analyser l'ensemble du projet est sélectionnée.

Renseigner les filtres et conditions

Vous pouvez ignorer cette section si vous souhaitez inclure toutes les tables BigQuery du projet dans votre estimation.

Dans cette section, vous créez des filtres pour spécifier certains sous-ensembles de vos données que vous souhaitez inclure dans l'estimation ou en exclure. Pour les sous-ensembles que vous incluez dans l'estimation, vous spécifiez également les conditions qu'une table du sous-ensemble doit remplir pour être incluse dans l'estimation.

Pour définir des filtres et des conditions, procédez comme suit :

  1. Cliquez sur Ajouter des filtres et des conditions.

  2. Dans la section Filtres, vous définissez un ou plusieurs filtres qui spécifient les tables incluses dans le champ d'application de l'estimation.

    Indiquez au moins l'un des éléments suivants :

    • Un ID de projet ou une expression régulière qui spécifie un ou plusieurs projets.
    • Un ID d'ensemble de données ou une expression régulière qui spécifie un ou plusieurs ensembles de données.
    • Un ID de table ou une expression régulière qui spécifie une ou plusieurs tables.

    Les expressions régulières doivent suivre la syntaxe RE2.

    Par exemple, si vous souhaitez que toutes les tables d'un ensemble de données soient incluses dans le filtre, spécifiez l'ID de cet ensemble de données et laissez les deux autres champs vides.

    Si vous souhaitez ajouter d'autres filtres, cliquez sur Ajouter un filtre , puis répétez cette étape.

  3. Si les sous-ensembles de données définis par vos filtres doivent être exclus de l'estimation, désactivez l'option Inclure les tables correspondantes dans mon estimation. Si vous désactivez cette option, les conditions décrites dans le reste de cette section sont masquées.

  4. Facultatif : dans la section Conditions, spécifiez les conditions que les tables correspondantes doivent remplir pour être incluses dans l'estimation. Si vous ignorez cette étape, la protection des données sensibles inclut toutes les tables compatibles qui correspondent à vos filtres, quels que soient leur taille et leur âge.

    Configurez les options suivantes :

    • Conditions minimales : pour exclure les tables petites ou nouvelles de l'estimation, définissez un nombre minimal de lignes ou un âge minimal pour la table.

    • Condition temporelle : pour exclure les anciennes tables, activez la condition temporelle. Sélectionnez ensuite une date et une heure. Toute table créée à cette date ou avant est exclue de l'estimation.

      Par exemple, si vous définissez la condition temporelle sur 04/05/2022, 23:59, la protection des données sensibles exclut de l'estimation toutes les tables créées le 4 mai 2022 à 23h59 ou avant.

    • Tables à profiler : pour spécifier les types de tables à inclure dans l'estimation, sélectionnez Inclure uniquement les tables d'un ou de plusieurs types spécifiés. Sélectionnez ensuite les types de tables que vous souhaitez inclure.

      Si vous n'activez pas cette condition ou si vous ne sélectionnez aucun type de table, la protection des données sensibles inclut toutes les tables compatibles dans l'estimation.

    Supposons que vous ayez la configuration suivante :

    • Conditions minimales

      • Nombre minimal de lignes : 10 lignes
      • Durée minimale : 24 heures

    • Condition temporelle

      • Timestamp : 04/05/2022, 23:59

    • Tables à profiler

      L'option Inclure uniquement les tables d'un ou de plusieurs types spécifiés est sélectionnée. Dans la liste des types de tables, seule l'option Profiler les tables BigLake est sélectionnée.

    Dans ce cas, la protection des données sensibles exclut toutes les tables créées le 4 mai 2022 à 23h59 ou avant. Parmi les tables créées après cette date et heure, la protection des données sensibles ne profile que les tables BigLake qui comportent 10 lignes ou qui ont au moins 24 heures.

  5. Cliquez sur OK.

  6. Si vous souhaitez ajouter d'autres filtres et conditions, cliquez sur Ajouter des filtres et des conditions , puis répétez les étapes précédentes.

    Le dernier élément de la liste des filtres et conditions est toujours celui intitulé Filtres et conditions par défaut. Ce paramètre par défaut est appliqué aux tables de votre projet qui ne correspondent à aucun des filtres et conditions que vous avez créés.

    Filtres et conditions par défaut

  7. Si vous souhaitez ajuster les filtres et conditions par défaut, cliquez sur Modifier les filtres et conditions, puis ajustez les paramètres si nécessaire.

Définir l'emplacement de stockage de l'estimation

  1. Dans la liste Emplacement de la ressource, sélectionnez la région dans laquelle vous souhaitez stocker cette estimation.

    L'emplacement où vous choisissez de stocker votre estimation n'affecte pas les données à analyser. De plus, l'emplacement de stockage des profils de données n'est pas affecté. Vos données sont analysées dans la région dans laquelle elles sont stockées (telles que définies dans BigQuery). Pour en savoir plus, consultez la section Considérations relatives à la résidence des données.

  2. Vérifiez vos paramètres, puis cliquez sur Créer.

La protection des données sensibles crée l'estimation et l'ajoute à la liste des estimations. Elle exécute ensuite l'estimation.

Selon la quantité de données contenues dans la ressource, une estimation peut prendre jusqu'à 24 heures. En attendant, vous pouvez fermer la page de la protection des données sensibles et revenir plus tard. Une notification s'affiche dans la Google Cloud console lorsque l'estimation est prête.

Afficher une estimation

  1. Accédez à la liste des estimations.

    Accéder aux estimations

  2. Cliquez sur l'estimation que vous souhaitez afficher. L'estimation contient les éléments suivants :

    • Le nombre de tables dans la ressource, moins les tables que vous avez exclues à l'aide de filtres et de conditions.
    • La quantité totale de données correspondant aux tables.
    • Le nombre d'unités d'abonnement nécessaires pour profiler cette quantité de données chaque mois.
    • Le coût de la découverte initiale, qui correspond au coût approximatif du profilage des tables trouvées. Cette estimation est basée uniquement sur un instantané des données actuelles et ne tient pas compte de la croissance de vos données sur une période donnée.
    • Des estimations de coûts supplémentaires pour le profilage des tables datant de moins de 6, 12 ou 24 mois. Ces estimations supplémentaires sont fournies pour vous montrer comment limiter davantage la couverture de vos données peut vous aider à contrôler le coût du profilage de vos données.
    • Le coût mensuel estimé du profilage de vos données, en supposant que votre utilisation de BigQuery chaque mois est la même que celle de ce mois-ci.
    • Un graphique qui montre la croissance de votre BigQuery au fil du temps.
    • Les détails de configuration que vous avez définis.

Graphique d'estimation

Chaque estimation inclut un graphique qui montre l'historique de croissance de vos données BigQuery. Vous pouvez utiliser ces informations pour estimer votre coût mensuel de profilage des données.

Graphique montrant la croissance des données BigQuery

Étape suivante