Comprendre les tables de données Cloud Billing dans BigQuery

Ce document fournit des informations de référence pour le schéma des données Cloud Billing exportées vers chaque table dans BigQuery.

Tables de données de facturation

Peu de temps après l'activation de l'exportation Cloud Billing vers BigQuery, les tables de données de facturation sont automatiquement créées dans l'ensemble de données BigQuery.

  • Tableau des coûts d'utilisation de FOCUS (Aperçu) – Google fournit un ensemble de données BigQuery immuable nommé gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> et un tableau de données FOCUS nommé gcp_billing_export_focus_<BILLING_ACCOUNT_ID>.
  • Table de coût d'utilisation standard : dans votre ensemble de données BigQuery, cette table est nommée gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Table de coût d'utilisation détaillé : inclut tous les champs de données présentes dans la table de coût d'utilisation standard, ainsi que des champs supplémentaires qui fournissent des données de coût au niveau des ressources, comme une machine virtuelle ou un disque SSD qui génère une utilisation du service. Dans votre ensemble de données BigQuery, cette table est nommée gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Table de données tarifaires : dans votre ensemble de données BigQuery, cette table est nommée cloud_pricing_export.
  • Métadonnées des remises sur engagement d'utilisation (preview) : incluent les métadonnées des remises sur engagement d'utilisation, telles que l'ID du compte de facturation, l'ID du produit, l'ID du modèle de consommation, les unités et les valeurs du montant de l'engagement, etc. Dans votre ensemble de données BigQuery, cette table est nommée cud_subscriptions_export.

Fréquence des chargements de données

Exportation des coûts d'utilisation FOCUS, standards et détaillés

  • Lorsque vous activez pour la première fois l'exportation du coût d'utilisation FOCUS, standard ou détaillé vers BigQuery, la propagation des données de coûtGoogle Cloud dans votre ensemble de données BigQuery peut prendre quelques heures. Les données sont exportées dans l'ordre chronologique. Si votre exportation est configurée pour inclure les données de manière rétroactive pour le mois en cours et le mois précédent, la récupération des données d'utilisation actuelles peut prendre jusqu'à cinq jours.
  • Les servicesGoogle Cloud transmettent les données d'utilisation et de coût aux processus Cloud Billing à des intervalles variables.
  • Cloud Billing exporte les données d'utilisation et de coût vers votre ensemble de données BigQuery à intervalles réguliers (il n'existe aucune garantie de diffusion ou de latence pour l'exportation vers BigQuery).
  • Étant donné que la fréquence des rapports d'utilisation varie selon le service Google Cloud , il est possible que les données d'utilisation et de coût Cloud Billing ne s'affichent pas immédiatement pour tous les services Google Cloud récemment utilisés.

Exportation des métadonnées de tarification et de CUD

  • Lorsque vous activez l'exportation des données de tarification vers BigQuery pour la première fois, l'affichage de vos données de tarification Google Cloud peut prendre jusqu'à 48 heures.
  • Une fois l'exportation des tarifs activée, les données de tarification applicables à votre compte de facturation Cloud sont exportées quotidiennement vers BigQuery.

Disponibilité des données

  • Pour les clients qui activent l'exportation des données de coût d'utilisation FOCUS, standard ou détaillé pour la première fois :

    • Si vous configurez votre ensemble de données BigQuery pour utiliser un emplacement multirégional (UE ou États-Unis), les données Cloud Billing sont exportées rétroactivement à partir du début du mois précédent. Par exemple, si vous activez l'exportation des données de coût d'utilisation FOCUS, de coût d'utilisation standard ou de coût d'utilisation détaillé le 23 septembre, votre exportation inclura les données à compter du 1er août.

      Les données sont exportées dans l'ordre chronologique, jour par jour. Les données du premier jour du mois précédent sont donc renseignées en premier. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant de commencer à afficher vos données d'utilisation les plus récentes.

    • Si vous configurez vos ensembles de données BigQuery pour utiliser un emplacement régional, les données sur votre coût d'utilisation FOCUS, votre coût d'utilisation standard ou votre coût d'utilisation détaillé sont disponibles à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, Google Cloud les données de facturation ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux. Par conséquent, vous ne verrez pas les données Cloud Billing datant d'avant l'activation de l'exportation.

    • Pour les clients ayant activé, désactivé, puis réactivé l'exportation des données de coût d'utilisation FOCUS, de coût d'utilisation standard ou de coût d'utilisation détaillé, il est possible que les données Cloud Billing ne soient pas disponibles pour la période pendant laquelle l'exportation a été explicitement désactivée.

  • Si vous activez l'exportation des données de tarification, votre ensemble de données BigQuery ne va refléter que les données Cloud Billing générées à compter de la date à laquelle vous avez activé l'exportation des tarifs. Les données tarifaires de Cloud Billing ne sont pas ajoutées rétroactivement. Par conséquent, les données de tarification ne s'affichent pas avant les dates antérieures à l'activation de l'exportation.

  • Les données des ensembles de données BigQuery reflètent l'état de vos ressources au moment où l'utilisation a été enregistrée. Si vous apportez des modifications à vos ressources, telles que l'ajout de libellés à un projet ou la modification de la hiérarchie d'un projet (qui modifierait project.ancestors), ces modifications ne s'affichent que dans les exportations futures des données d'utilisation. Les enregistrements exportés précédemment ne sont pas modifiés.

  • Si vous supprimez des données exportées, telles que des enregistrements d'exportation BigQuery, nous ne pouvons pas les remplacer.

  • Si vous modifiez les paramètres d'une exportation pour mettre à jour le projet ou l'ensemble de données dans lequel vos données de facturation exportées sont stockées, les données de l'ensemble de données précédent ne sont pas automatiquement reportées dans le nouvel ensemble de données. Le nouvel ensemble de données BigQuery ne reflète que les données Cloud Billing générées à compter de la date à laquelle vous avez modifié les paramètres d'exportation. Pour inclure l'enregistrement complet des données de facturation exportées, vous devez joindre manuellement le nouvel ensemble de données à l'ensemble de données précédent. Pour en savoir plus, consultez Opération de jointure.

  • Notez que les tâches de chargement BigQuery sont conformes aux normes ACID et que les données ne seront donc que partiellement chargées si vous envoyez une requête à l'ensemble de données d'exportation BigQuery Cloud Billing pendant que des données sont en train d'y être chargées.

  • Consultez les autres limites susceptibles de compromettre l'exportation de vos données de facturation vers BigQuery, telles que les ensembles de données avec des clés de chiffrement gérées par le client (CMEK).

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

Schéma de table pour les exportations de données Cloud Billing

Le schéma des tables de n'importe quelle exportation de données Cloud Billing peut changer.

Lorsque le schéma de table change, par exemple lorsque de nouveaux champs sont ajoutés à un schéma de table BigQuery pour une exportation de données Cloud Billing, toutes les requêtes qui font directement référence aux colonnes exportées peuvent échouer. Pour résoudre ce problème, nous vous recommandons de créer des vues BigQuery qui interrogent les tables exportées et présentent les informations dans la structure de votre choix.

Vous pouvez ensuite ajuster les requêtes qui alimentent vos rapports et tableaux de bord pour qu'elles extraient les données des vues au lieu des tables exportées. En utilisant des vues, vous pouvez standardiser la structure des données utilisées dans vos requêtes et vos tableaux de bord.

Les vues que vous créez doivent normaliser les données de sorte que toutes les tables pertinentes présentent le même schéma à vos requêtes. Cela vous protège des futures modifications de schéma, ce qui vous permet de modifier la requête sous-jacente de la vue lorsque le schéma de données change.

Exportation et conservation des données FOCUS

Les données de facturation exportées vers l'exportation FOCUS BigQuery fournie par Google sont soumises à une règle de valeur TTL (Time To Live) de deux ans. Les données datant de plus de deux ans sont automatiquement supprimées de la table d'exportation FOCUS fournie dans l'ensemble de données BigQuery. Si vous devez conserver l'historique de vos données de facturation FOCUS au-delà de deux ans, copiez les données FOCUS dans une table de stockage à long terme qui vous appartient.

Emplacements des ensembles de données BigQuery et disponibilité des données

Emplacements des ensembles de données BigQuery compatibles avec les données Cloud Billing :

Les ensembles de données BigQuery sont configurés pour utiliser un emplacement, c'est-à-dire un emplacement multirégional (UE ou États-Unis) ou un emplacement régional. L'emplacement de l'ensemble de données est défini au moment de la création. Une fois l'ensemble de données créé, son emplacement ne peut plus être modifié.

L'exportation des données Cloud Billing accepte tous les emplacements multirégionaux (UE ou États-Unis), mais uniquement un sous-ensemble des emplacements régionaux. Lorsque vous configurez vos paramètres d'exportation Cloud Billing, si vous créez ou sélectionnez un ensemble de données configuré pour utiliser un emplacement régional non compatible, lorsque vous tentez d'enregistrer vos paramètres d'exportation, une erreur Région de l'ensemble de données non valide s'affiche.

Le tableau suivant répertorie les emplacements multirégionaux et les emplacements régionaux compatibles avec les ensembles de données BigQuery contenant des données Cloud Billing.

Amériques Asie-Pacifique Europe Moyen-Orient

Multirégional : États-Unis

Régions :

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (Caroline du Sud)
  • us-east4 (Virginie du Nord)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Régions :

  • asia-east1 (Taïwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Séoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapour)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multirégional : UE

Régions :

  • europe-central2 (Varsovie)
  • europe-north1 (Finlande)
  • europe-west1 (Belgique)
  • europe-west2 (Londres)
  • europe-west3 (Francfort)
  • europe-west4 (Pays-Bas)
  • europe-west6 (Zurich)

Régions :

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Emplacements et disponibilité des données :

  • Pour vos ensembles de données BigQuery contenant les données de coût d'utilisation FOCUS, les données de coût d'utilisation standard ou les données de coût d'utilisation détaillé, le type d'emplacement que vous configurez sur l'ensemble de données a une incidence sur la durée d'exportation de vos données de facturation Google Cloud vers l'ensemble de données :

    • Si vous configurez l'ensemble de données pour utiliser un emplacement multirégional (UE ou États-Unis), celui-ci inclut les données de facturation Google Cloud générées depuis le début du mois précédent à compter de la première activation de l'exportation, sauf si vous la réactivez. Autrement dit, les données de facturationGoogle Cloud sont ajoutées rétroactivement pour le mois en cours et le mois précédent. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant que vous puissiez commencer à voir vos données d'utilisation actuelles.

    • Si votre ensemble de données est configuré pour utiliser un emplacement régional compatible, vos données de coût d'utilisation FOCUS, vos données de coût d'utilisation standard et vos données de coût d'utilisation détaillé ne reflètent que les données de facturation Google Cloud générées à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, Google Cloud les données de facturation ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux. Par conséquent, vous ne verrez pas les données Cloud Billing datant d'avant l'activation de l'exportation.

    • Pour en savoir plus, consultez la section Disponibilité des données.

  • Vos ensembles de données BigQuery contenant les données de tarification ne collectent que les données de facturation Google Cloud générées à compter de la date de configuration de l'exportation Cloud Billing. Autrement dit, les données tarifairesGoogle Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données tarifaires Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.

Désactiver, réactiver ou modifier les paramètres d'exportation

Si vous désactivez, réactivez ou modifiez vos paramètres d'exportation pour mettre à jour le projet ou l'ensemble de données dans lequel vos données de facturation exportées sont stockées, les données de facturation exportées précédemment ne sont pas réinjectées dans votre nouvel ensemble de données. Pour inclure les informations de facturation exportées avant le passage à un autre projet ou ensemble de données, vous devez joindre manuellement le nouvel ensemble de données à l'ensemble de données précédent. Pour en savoir plus, consultez la section Opérations de jointure.

Chiffrement des ensembles de données

Les ensembles de données BigQuery sont configurés pour utiliser le chiffrement au repos en définissant une option de clé de chiffrement lorsque vous créez l'ensemble de données ( Google-owned and Google-managed encryption keyou une clé de chiffrement gérée par le client (CMEK)). Vous pouvez modifier le paramètre de chiffrement après avoir créé un ensemble de données.

Si vous avez déjà activé l'exportation des données Cloud Billing vers BigQuery et que votre ensemble de données est configuré pour utiliser unGoogle-managed encryption key, vous pouvez mettre à jour l'ensemble de données et ses tables pour utiliser une clé CMEK. Pour mettre à jour l'ensemble de données et ses tables, procédez comme suit :

  1. Définissez une clé par défaut pour l'ensemble de données. Définir une clé par défaut permet de s'assurer que toutes les nouvelles tables créées dans l'ensemble de données sont automatiquement protégées avec la clé CMEK.
  2. Utilisez l'outil de ligne de commande bq pour activer le chiffrement CMEK sur chaque table existante de l'ensemble de données. La modification de la clé par défaut de l'ensemble de données n'entraîne pas le rechiffrement automatique des tables existantes.

Découvrez comment activer CMEK pour les tables BigQuery.

Règles d'administration CMEK

Vous pouvez utiliser les règles d'administration CMEK pour appliquer l'utilisation de CMEK pour vos ressources BigQuery, y compris les exportations de données de facturation, ou pour exiger que la clé CMEK réside dans un projet approuvé. Toutefois, l'application des règles d'administration CMEK peut avoir les effets inattendus suivants :

  • Le processus d'exportation peut échouer pour les ensembles de données préexistants : lorsque vous activez une nouvelle contrainte de règle d'organisation, elle n'est pas appliquée aux ensembles de données existants. Cela signifie que vous pouvez avoir des ensembles de données qui existent toujours, même s'ils ne sont plus autorisés. Toutefois, la prochaine fois que vous tenterez d'exporter des données vers cet ensemble de données, le processus d'exportation échouera s'il ne peut pas créer de tables en raison d'une nouvelle règle d'organisation.

    Pour éviter cette situation, examinez de manière proactive vos configurations d'exportation des données de facturation existantes chaque fois que vous mettez à jour les règles de votre organisation. Mettez à jour la configuration de l'ensemble de données si nécessaire pour respecter les contraintes restrictNonCmekServices et restrictCmekCryptoKeyProjects.

  • Application incohérente des règles d'administration : les règles d'administration ne sont pas appliquées lorsque vous créez un ensemble de données vide. Cela signifie que vous pouvez appliquer la contrainte restrictNonCmekServices pour exiger que les ressources BigQuery utilisent une clé CMEK pour leur chiffrement, mais créer ensuite un ensemble de données BigQuery configuré pour utiliser Google-owned and Google-managed encryption keys. Toutefois, l'exportation des données de facturation qui utilise cet ensemble de données échouera, car la règle d'organisation ne vous permettra pas de créer une table non protégée par CMEK alors que la contrainte restrictNonCmekServices est appliquée à BigQuery.

    Pour résoudre ce problème, mettez à jour le chiffrement de votre ensemble de données afin de définir une clé par défaut qui respecte vos contraintes restrictNonCmekServices et restrictCmekCryptoKeyProjects.

Sécurité au niveau des lignes

Si vous souhaitez utiliser la sécurité au niveau des lignes de BigQuery sur la table contenant vos données exportées, vous devez accorder au compte de service d'exportation Cloud Billing billing-export-bigquery@system.gserviceaccount.com un accès complet à la table à l'aide du filtre BigQuery TRUE. La commande suivante accorde l'accès au compte de service Cloud Billing :

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Données de coût d'utilisation FOCUS ou détaillées et GKE

Lorsque vous exportez des données de coût d'utilisation FOCUS ou des données de coût d'utilisation détaillées, l'exportation inclut automatiquement des informations au niveau des ressources concernant Compute Engine et d'autres services. Toutefois, pour les données Google Kubernetes Engine (GKE), vous devez également activer la répartition des coûts pour GKE afin d'afficher la répartition des coûts de cluster GKE dans une exportation de données FOCUS ou détaillée.

Tags au niveau des ressources

La propagation des tags au niveau des ressources vers les exportations BigQuery peut prendre jusqu'à une heure. Si un tag a été ajouté ou supprimé il y a une heure, ou si une ressource existe depuis moins d'une heure, il est possible qu'elle n'apparaisse pas dans l'exportation.

Les tags au niveau des ressources sont disponibles pour plusieurs ressources dans l'exportation standard des coûts d'utilisation et l'exportation détaillée des coûts d'utilisation.

Précédent
Configurer l'exportation FOCUS vers BigQuery
Suivant
Structure de l'exportation des données FOCUS