Configurer l'exportation des données FOCUS Cloud Billing vers BigQuery

Ce document fournit toutes les étapes requises pour configurer l'exportation des données Cloud Billing vers BigQuery concernant les coûts d'utilisation FOCUS. L'exportation des coûts d'utilisation FOCUS est un ensemble de données BigQuery immuable (ensemble de données associé) qui contient vos données détaillées sur les coûts d'utilisation normalisées selon les normes FinOps Open Cost and Usage Specification (FOCUS).

Pour activer l'exportation des données Cloud Billing sur le coût d'utilisation FOCUS vers BigQuery, procédez comme suit :

  • Créez un projet dans lequel les données Cloud Billing exportées seront stockées, et activez la facturation sur le projet (si ce n'est pas déjà fait).
  • Configurer les autorisations sur le projet et sur le compte de facturation Cloud
  • Activez l'exportation des données de facturation Coût d'utilisation FOCUS.

Ce document vous explique en détail chacune de ces étapes.

Coûts d'utilisation de BigQuery avec FOCUS Export

Des frais d'utilisation de BigQuery vous sont facturés lorsque vous utilisez BigQuery pour stocker et analyser vos données d'utilisation et de coûts de facturation. Les principaux coûts dans BigQuery sont le stockage (pour les données stockées dans BigQuery) et le calcul (utilisé pour le traitement des requêtes).

Étant donné que l'exportation des données de facturation FOCUS est fournie en tant qu'exportation immuable gérée par Google (à l'aide d'un ensemble de données associé), vous n'êtes pas facturé pour le stockage de vos données FOCUS. Toutefois, vous êtes facturé lorsque vous interrogez les données FOCUS. Pour en savoir plus, consultez Coûts d'utilisation de BigQuery.

À propos de la console Google Cloud

La console Google Cloud (accéder à la documentation, ouvrir la console) est une interface utilisateur Web permettant de provisionner, configurer, gérer et surveiller les systèmes qui utilisent des produitsGoogle Cloud . Vous utilisez la console Google Cloud pour configurer et gérer les ressources Google Cloud et Cloud Billing.

Autorisations requises pour cette tâche

Pour activer et configurer l'exportation FOCUS des données sur le coût d'utilisation de Google Cloud facturation, vous devez disposer des autorisations suivantes :

Vous devrez peut-être également disposer d'autres autorisations de projet. Si vous êtes membre d'une organisationGoogle Cloud , pour créer un projet, vous devez avoir le rôle Créateur de projet au niveau de l'organisation ou du dossier. Plus précisément, pour créer un projet, vous devez disposer des autorisations suivantes :

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Pour en savoir plus sur les autorisations Google Cloud , consultez les pages suivantes :

Activer l'exportation des données Cloud Billing vers BigQuery

Suivez les trois étapes de cette section pour activer l'exportation des coûts d'utilisation de FOCUS vers BigQuery.

1. Sélectionner ou créer un projet

Les données Cloud Billing exportées vers BigQuery sont contenues dans un ensemble de données BigQuery. Un ensemble de données est contenu dans un projetGoogle Cloud que vous spécifiez.

Nous vous recommandons de créer et d'utiliser un projet Google Cloud distinct pour contenir tous vos besoins d'administration FinOps et de facturation pour un compte de facturation Cloud, y compris vos données Cloud Billing exportées. Découvrez les avantages d'un projet axé sur FinOps pour vos propres cas d'administration de la facturation.

Dans la console Google Cloud , sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud .

Rôles requis pour sélectionner ou créer un projet

  • Sélectionnez un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
  • Créer un projet : pour créer un projet, vous devez disposer du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

Accéder au sélecteur de projet

Découvrez comment créer et gérer des projets.

2. Vérifier que la facturation est activée

Vous devez vous assurer que la facturation est activée sur le projet Google Cloud que vous sélectionnez pour contenir votre ensemble de données, et que ce projet Google Cloud est associé au même compte de facturation Cloud que celui qui contient les données que vous prévoyez d'exporter vers l'ensemble de données BigQuery. Google Cloud

3. Activer l'exportation des coûts d'utilisation de FOCUS vers BigQuery

Vous pouvez activer l'exportation des données Cloud Billing dans la section "Facturation" de la consoleGoogle Cloud .

L'exportation des coûts d'utilisation FOCUS utilise un ensemble de données BigQuery immuable fourni par Google pour contenir vos données détaillées sur les coûts d'utilisation normalisées à l'aide des normes FinOps Open Cost and Usage Specification (FOCUS). FOCUS est une spécification ouverte qui définit des exigences claires pour les générateurs de données de facturation technologiques afin de produire des ensembles de données cohérents sur les coûts et l'utilisation. Les colonnes de l'exportation FOCUS correspondent généralement aux champs de l'exportation détaillée des coûts d'utilisation.

Pour activer l'exportation de vos données Cloud Billing vers l'ensemble de données FOCUS BigQuery, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Exportation de la facturation.

    Accéder à la page Exportation de la facturation

  2. Lorsque vous y êtes invité, choisissez le compte de facturation Cloud pour lequel vous souhaitez exporter les données de facturation. La page Exportation de la facturation s'ouvre pour le compte de facturation sélectionné.

  3. Dans l'onglet BigQuery Export, cliquez sur Activer l'exportation FOCUS pour configurer l'exportation FOCUS.

  4. Dans la liste Projets, sélectionnez le projet que vous avez configuré pour contenir l'ensemble de données BigQuery.

    Dans BigQuery, le projet que vous sélectionnez sert à stocker les données exportées dans l'ensemble de données FOCUS immuable fourni par Google.

    Pour l'exportation des coûts d'utilisation FOCUS, les données Cloud Billing incluent les données d'utilisation et de coût de tous les Google Cloud projets payés par le même compte de facturation Cloud.

  5. L'API BigQuery est requise pour exporter des données vers BigQuery. Si l'API BigQuery n'est pas activée pour le projet que vous avez sélectionné, vous êtes invité à l'activer. Si nécessaire, cliquez sur Activer l'API BigQuery pour activer l'API.

  6. Sélectionnez un emplacement des données pour votre ensemble de données FOCUS. L'emplacement des données indique l'emplacement multirégional ou la région dans laquelle vos données sont stockées. Toutes les tables de l'ensemble de données partagent cet emplacement.

    1. Sélectionnez le type d'emplacement : "Multirégional" (recommandé) ou "Régional".

    2. Choisissez l'emplacement pour le type d'emplacement spécifié.

      Nous vous recommandons de sélectionner un emplacement multirégional (UE ou États-Unis) pour votre exportation des coûts d'utilisation FOCUS (ainsi que pour les exportations des données de coût d'utilisation standard et détaillé). L'exportation Cloud Billing est compatible avec tous les emplacements multirégionaux (UE ou États-Unis). Toutefois, seul un sous-ensemble des emplacements de région d'ensemble de données est accepté pour l'exportation Cloud Billing vers BigQuery.

      L'emplacement que vous sélectionnez peut avoir une incidence sur l'ajout rétroactif des données du mois précédent à l'ensemble de données. Pour en savoir plus sur les emplacements des ensembles de données et la disponibilité des données, consultez les limites.

      Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié. En savoir plus sur les adresses

  7. Cliquez sur Enregistrer.

Ensemble de données et tableau de données FOCUS

Peu de temps après l'activation de l'exportation des coûts d'utilisation FOCUS, BigQuery Export crée un ensemble de données et une table contenant vos données de facturation dans le nouvel ensemble de données, en fonction de vos paramètres d'exportation FOCUS :

  • Un ensemble de données immuable est créé dans le projet Google Cloud que vous avez spécifié lorsque vous avez activé l'exportation FOCUS, en utilisant le modèle de dénomination suivant :

    gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>

    Le nom de l'ensemble de données se compose de trois éléments :

    1. gcp_billing_immutable : nom de l'ensemble de données pour l'exportation FOCUS.
    2. Billing_account_ID : ID du compte de facturation Cloud pour lequel l'exportation FOCUS est activée.
    3. Location : emplacement régional ou multirégional spécifique que vous avez sélectionné lorsque vous avez activé l'exportation FOCUS.

    Exemple de nom d'ensemble de données : gcp_billing_immutable_010101_F0FFF0_61C528_us

  • Une table de données de facturation FOCUS est créée dans l'ensemble de données FOCUS, nommée :

    gcp_billing_export_focus_<BILLING_ACCOUNT_ID>

    Exemple de nom de table : gcp_billing_export_focus_010101_F0FFF0_61C528

Mettre à jour les paramètres d'exportation des coûts d'utilisation FOCUS

Après avoir activé l'exportation des coûts d'utilisation de FOCUS vers BigQuery, vous pouvez modifier différents paramètres d'exportation de données, par exemple :

  • Modifiez le projet dans lequel votre ensemble de données FOCUS est stocké.
  • Modifiez le paramètre de région de votre ensemble de données FOCUS. Si vous modifiez les paramètres régionaux, un nouvel ensemble de données immuable sera créé.
  • Désactivez l'exportation des coûts d'utilisation FOCUS.

Avant de mettre à jour le projet ou l'ensemble de données dans lesquels vos données de facturation sont stockées, ou de désactiver l'exportation FOCUS, consultez les limites et les consignes de disponibilité des données pour mesurer l'impact que ces modifications pourraient avoir sur vos données de facturation FOCUS exportées vers BigQuery.

Désactiver l'exportation des coûts d'utilisation FOCUS

Pour désactiver un type de données Cloud Billing exporté vers BigQuery, procédez comme suit :

  1. Sélectionnez Désactiver l'exportation FOCUS.
  2. Sélectionnez Confirmer pour enregistrer votre sélection.

Si vous réactivez ultérieurement l'exportation des coûts d'utilisation FOCUS, vous devrez sélectionner à nouveau les mêmes paramètres de projet et d'emplacement pour utiliser le même ensemble de données immuable qui a été créé lorsque vous avez activé l'exportation FOCUS pour la première fois. Nous ne prenons pas en charge la reconstitution des données qui n'ont pas été exportées pendant la période où l'exportation FOCUS était désactivée.

Réactiver l'exportation des coûts d'utilisation FOCUS

Pour réactiver une exportation FOCUS précédemment désactivée, consultez Activer l'exportation des données Cloud Billing vers BigQuery.

  • Pour utiliser le même ensemble de données immuable qui a été créé lorsque vous avez activé l'exportation FOCUS pour la première fois, sélectionnez à nouveau les mêmes paramètres de projet et de région que ceux que vous avez utilisés à l'origine.
  • Si vous choisissez un autre paramètre de projet ou de région, un nouvel ensemble de données immuable est créé pour vous, et vos données FOCUS y sont exportées à partir de la date à laquelle vous avez réactivé l'exportation FOCUS.

Modifier le projet ou l'ensemble de données de l'exportation des coûts d'utilisation FOCUS

Pour modifier le projet ou l'ensemble de données dans lesquels vos données de facturation FOCUS sont stockées, procédez comme suit :

  1. FOCUS utilise un ensemble de données immuable qui est créé pour vous lorsque vous activez l'exportation des coûts d'utilisation FOCUS. Avant de pouvoir modifier les paramètres d'exportation FOCUS, vous devez d'abord désactiver l'exportation FOCUS.
  2. Sélectionnez ensuite Activer l'exportation FOCUS, puis choisissez les paramètres de projet et d'emplacement pour l'exportation FOCUS.

  3. Sélectionnez Enregistrer pour confirmer les paramètres d'exportation FOCUS.

    Lors du processus d'activation, si vous sélectionnez un projet ou une région différents de votre configuration précédente, un nouvel ensemble de données immuable est créé pour vous dans le projet sélectionné.

À propos des autorisations liées aux ensembles de données

L'exportation Cloud Billing vers BigQuery utilise un compte de service pour gérer les autorisations de l'ensemble de données.

Une fois que vous avez activé l'exportation FOCUS vers BigQuery, Google ajoute automatiquement un compte de service en tant que propriétaire de l'ensemble de données immuable qu'il fournit. Les comptes de service se présentent comme suit :

billing-export-bigquery@system.gserviceaccount.com

Ce compte de service est détenu et géré par Google. Il fournit les autorisations nécessaires à notre processus hors connexion permettant de créer l'ensemble de données et la table FOCUS, et d'y écrire des enregistrements Cloud Billing.

Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.

Tableau des données de coût d'utilisation FOCUS

Peu de temps après l'activation de l'exportation des coûts d'utilisation FOCUS, BigQuery crée un ensemble de données immuable et une table de données FOCUS dans cet ensemble. Pour en savoir plus sur le schéma de la table FOCUS, consultez Structure de l'exportation de données FOCUS.

Fréquence des chargements de données

Lorsque vous activez pour la première fois l'exportation des coûts d'utilisation FOCUS vers BigQuery, la propagation des données de coût Google Cloud dans votre ensemble de données BigQuery peut prendre quelques heures. Les données sont exportées dans l'ordre chronologique. Si votre exportation est configurée pour inclure les données de manière rétroactive pour le mois en cours et le mois précédent, la récupération des données d'utilisation actuelles peut prendre jusqu'à cinq jours.

Apprenez-en plus sur la fréquence des chargements de données dans vos tables BigQuery.

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

Schéma des tables pour les exportations de données Cloud Billing

Le schéma des tables pour toutes les exportations de données Cloud Billing peut changer.

Lorsque le schéma de table change, par exemple lorsque de nouveaux champs sont ajoutés à un schéma de table BigQuery pour une exportation de données Cloud Billing, toutes les requêtes qui référencent directement les colonnes exportées peuvent échouer. Pour résoudre ce problème, nous vous recommandons de créer des vues BigQuery qui interrogent les tables exportées et présentent les informations dans la structure de votre choix.

Vous pouvez ensuite ajuster les requêtes qui alimentent vos rapports et tableaux de bord afin d'extraire les données des vues, et non les tables exportées. Les vues vous permettent de standardiser la structure des données utilisées dans vos requêtes et vos tableaux de bord.

Les vues que vous créez doivent normaliser les données de sorte que toutes les tables pertinentes présentent le même schéma à vos requêtes. Cela vous protège des modifications de schéma futures en vous permettant de modifier la requête sous-jacente à la vue en cas de modifications du schéma de données.

Exportation et conservation des données FOCUS

Les données de facturation exportées vers l'exportation FOCUS BigQuery fournie par Google sont soumises à une règle de valeur TTL (Time To Live) de deux ans. Les données datant de plus de deux ans sont automatiquement supprimées de la table d'exportation FOCUS fournie dans l'ensemble de données BigQuery. Si vous devez conserver l'historique de vos données de facturation FOCUS au-delà de deux ans, copiez les données FOCUS dans une table de stockage à long terme qui vous appartient.

Emplacements des ensembles de données BigQuery et disponibilité des données

Emplacements des ensembles de données BigQuery compatibles avec les données Cloud Billing :

Les ensembles de données BigQuery sont configurés pour utiliser un emplacement, c'est-à-dire un emplacement multirégional (UE ou États-Unis) ou un emplacement régional. L'emplacement de l'ensemble de données est défini au moment de la création. Une fois l'ensemble de données créé, son emplacement ne peut plus être modifié.

L'exportation des données Cloud Billing accepte tous les emplacements multirégionaux (UE ou États-Unis), mais uniquement un sous-ensemble des emplacements régionaux. Lorsque vous configurez vos paramètres d'exportation Cloud Billing, si vous créez ou sélectionnez un ensemble de données configuré pour utiliser un emplacement régional non compatible, lorsque vous tentez d'enregistrer vos paramètres d'exportation, un message d'erreur Région de l'ensemble de données non valide s'affiche.

Le tableau suivant répertorie les emplacements multirégionaux et les emplacements régionaux compatibles avec les ensembles de données BigQuery contenant des données Cloud Billing.

Amériques Asie-Pacifique Europe Moyen-Orient

Multirégional : États-Unis

Régions :

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (Caroline du Sud)
  • us-east4 (Virginie du Nord)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Régions :

  • asia-east1 (Taïwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Séoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapour)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multirégional : UE

Régions :

  • europe-central2 (Varsovie)
  • europe-north1 (Finlande)
  • europe-west1 (Belgique)
  • europe-west2 (Londres)
  • europe-west3 (Francfort)
  • europe-west4 (Pays-Bas)
  • europe-west6 (Zurich)

Régions :

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Emplacements et disponibilité des données :

  • Pour vos ensembles de données BigQuery contenant les données de coût d'utilisation FOCUS, les données de coût d'utilisation standard ou les données de coût d'utilisation détaillé, le type d'emplacement que vous configurez sur l'ensemble de données a une incidence sur la durée d'exportation de vos données de facturation Google Cloud  :

    • Si vous configurez l'ensemble de données pour utiliser un emplacement multirégional (UE ou États-Unis), celui-ci inclut les données de facturation Google Cloud générées depuis le début du mois précédent à compter de la première activation de l'exportation, sauf si vous la réactivez. Autrement dit, les données de facturationGoogle Cloud sont ajoutées rétroactivement pour le mois en cours et le mois précédent. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant que vous puissiez commencer à voir vos données d'utilisation actuelles.

    • Si votre ensemble de données est configuré pour utiliser un emplacement régional compatible, vos données de coût d'utilisation FOCUS, vos données de coût d'utilisation standard et vos données de coût d'utilisation détaillé ne reflètent que les données de facturation Google Cloud générées à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit,les données de facturation ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux. Par conséquent, vous ne verrez pas les données Cloud Billing avant l'activation de l'exportation. Google Cloud

    • Pour en savoir plus, consultez la section Disponibilité des données.

  • Vos ensembles de données BigQuery contenant les données de tarification ne collectent que les données de facturation Google Cloud générées à compter de la date de configuration de l'exportation Cloud Billing. Autrement dit, les données tarifairesGoogle Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données tarifaires Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez Disponibilité des données.

Désactiver, réactiver ou modifier les paramètres d'exportation

Si vous désactivez, réactivez ou modifiez vos paramètres d'exportation pour mettre à jour le projet ou l'ensemble de données dans lequel vos données de facturation exportées sont stockées, les données de facturation exportées précédemment ne sont pas réinjectées dans votre nouvel ensemble de données. Pour inclure les informations de facturation exportées avant de passer à un autre projet ou ensemble de données, vous devez joindre manuellement le nouvel ensemble de données à l'ensemble de données précédent. Pour en savoir plus, consultez Opérations de jointure.

Chiffrement des ensembles de données

Les ensembles de données BigQuery sont configurés pour utiliser le chiffrement au repos en définissant une option de clé de chiffrement lorsque vous créez l'ensemble de données ( Google-owned and Google-managed encryption keyou une clé de chiffrement gérée par le client (CMEK)). L'option de chiffrement de l'ensemble de données ne peut être définie qu'au moment de la création. Une fois l'ensemble de données créé, son paramètre de chiffrement ne peut plus être modifié.

Si vous avez déjà activé l'exportation des données Cloud Billing vers BigQuery et que votre ensemble de données est configuré pour utiliser unGoogle-managed encryption key, vous pouvez utiliser l'outil en ligne de commande bq pour activer CMEK sur chaque table de l'ensemble de données. BigQuery utilisera automatiquement la clé par défaut de l'ensemble de données pour protéger les tables d'exportation, sauf si vous configurez une autre clé.

Découvrez comment activer CMEK pour les tables BigQuery.

Sécurité au niveau des lignes

Si vous souhaitez utiliser la sécurité au niveau des lignes de BigQuery sur la table contenant vos données exportées, vous devez accorder au compte de service d'exportation Cloud Billing billing-export-bigquery@system.gserviceaccount.com un accès complet à la table à l'aide du filtre BigQuery TRUE. La commande suivante accorde l'accès au compte de service Cloud Billing :

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Données de coût d'utilisation FOCUS ou détaillées et GKE

Lorsque vous exportez des données de coût d'utilisation FOCUS ou des données de coût d'utilisation détaillées, l'exportation inclut automatiquement des informations au niveau des ressources concernant Compute Engine et d'autres services. Toutefois, pour les données Google Kubernetes Engine (GKE), vous devez également activer la répartition des coûts pour GKE afin d'afficher la répartition des coûts de cluster GKE dans une exportation de données FOCUS ou détaillée.

Tags au niveau des ressources

La propagation des tags au niveau des ressources vers les exportations BigQuery peut prendre jusqu'à une heure. Si un tag a été ajouté ou supprimé il y a une heure, ou si une ressource existe depuis moins d'une heure, il est possible qu'elle n'apparaisse pas dans l'exportation.

Les tags au niveau des ressources sont disponibles pour plusieurs ressources dans l'exportation des coûts d'utilisation standards et l'exportation des coûts d'utilisation détaillés.

Précédent
Configurer l'exportation des données de facturation vers BigQuery
Suivant
Comprendre les tables de données de facturation dans BigQuery