Comprendre les tables de données Cloud Billing dans BigQuery

Ce document fournit des informations de référence pour le schéma des données Cloud Billing exportées vers chaque table dans BigQuery.

Tables de données de facturation

Peu de temps après l'activation de l'exportation Cloud Billing vers BigQuery, les tables de données de facturation sont automatiquement créées dans l'ensemble de données BigQuery.

  • Table de coût d'utilisation standard : dans votre ensemble de données BigQuery, cette table est nommée gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Table de coût d'utilisation détaillé : inclut tous les champs de données présentes dans la table de coût d'utilisation standard, ainsi que des champs supplémentaires qui fournissent des données de coût au niveau des ressources, comme une machine virtuelle ou un disque SSD qui génère une utilisation du service. Dans votre ensemble de données BigQuery, cette table est nommée gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tableau des données de tarification – Dans votre ensemble de données BigQuery, cette table est nommée cloud_pricing_export.
  • Métadonnées des remises sur engagement d'utilisation (CUD) (aperçu) : incluent les métadonnées des CUD, telles que l'ID de compte de facturation, l'ID de produit, l'ID de modèle de consommation, les unités et les valeurs du montant de l'engagement, etc. Dans votre ensemble de données BigQuery, cette table est nommée cud_subscriptions_export.

Fréquence des chargements de données

Exportation des coûts d'utilisation standards et détaillés

  • Lorsque vous activez pour la première fois l'exportation du coût d'utilisation standard ou détaillé vers BigQuery, la propagation des données de coût dans votre ensemble de données BigQuery peut prendre quelques heures.Google Cloud Les données sont exportées dans l'ordre chronologique. Si votre exportation est configurée pour inclure les données de manière rétroactive pour le mois en cours et le mois précédent, la récupération des données d'utilisation actuelles peut prendre jusqu'à cinq jours.
  • Google Cloud Les services transmettent les données d'utilisation et de coût aux processus de facturation Cloud Billing à des intervalles variables.
  • Cloud Billing exporte les données d'utilisation et de coût vers votre ensemble de données BigQuery à intervalles réguliers (il n'existe aucune garantie de diffusion ou de latence pour l'exportation vers BigQuery).
  • Étant donné que la fréquence des rapports d'utilisation varie selon le Google Cloud service, il est possible que vous ne voyiez pas immédiatement les données d'utilisation et les données de coût de Cloud Billing pour tous les services Google Cloud récemment utilisés.

Exportation des métadonnées de tarification et de CUD

  • Lorsque vous activez l'exportation des tarifs vers BigQuery pour la première fois, il peut falloir jusqu'à 48 heures pour commencer à voir vos Google Cloud données de tarification.
  • Une fois l'exportation des tarifs activée, les données de tarification applicables à votre compte de facturation Cloud sont exportées quotidiennement vers BigQuery.

Disponibilité des données

  • Pour les clients qui activent l'exportation des données de coût d'utilisation standard ou de coût d'utilisation détaillé pour la première fois :

    • Si vous configurez votre ensemble de données BigQuery pour utiliser un emplacement multirégional (UE ou États-Unis), les données Cloud Billing sont exportées rétroactivement à partir du début du mois précédent. Par exemple, si vous activez l'exportation des données des coûts d'utilisation standards ou détaillés le 23 septembre, votre exportation inclura les données à compter du 1er août.

      Les données sont exportées dans l'ordre chronologique, jour par jour. Les données du premier jour du mois précédent sont donc renseignées en premier. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant que puissiez commencer à voir vos données d'utilisation les plus récentes.

    • Si vous configurez vos ensembles de données BigQuery pour utiliser un emplacement régional, les données sur votre coût d'utilisation standard ou votre coût d'utilisation détaillé sont disponibles à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, Google Cloud les données de facturation ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux, vous ne verrez donc pas les données Cloud Billing datant d'avant l'activation de l'exportation.

    • Pour les clients ayant activé, désactivé, puis réactivé l'exportation des données de coût d'utilisation standard ou de coût d'utilisation détaillé, il est possible que les données Cloud Billing ne soient pas disponibles pour la période pendant laquelle l'exportation de données a été explicitement désactivée.

  • Si vous activez l'exportation des données de tarification , votre ensemble de données BigQuery ne va refléter que les données Cloud Billing générées à compter de la date à laquelle vous avez activé l'exportation des tarifs. Les données tarifaires de Cloud Billing ne sont pas ajoutées rétroactivement. Par conséquent, les données de tarification ne s'affichent pas avant les dates antérieures à l'activation de l'exportation.

  • Les données des ensembles de données BigQuery reflètent l'état de vos ressources au moment où l'utilisation a été enregistrée. Si vous apportez des modifications à vos ressources, telles que l'ajout de libellés à un projet ou la modification de la hiérarchie d'un projet (qui modifierait project.ancestors), ces modifications ne s'affichent que dans les exportations futures des données d'utilisation. Les enregistrements exportés précédemment ne sont pas modifiés.

  • Si vous supprimez des données exportées, telles que des enregistrements d'exportation BigQuery, nous ne pouvons pas les remplacer.

  • Si vous modifiez les paramètres d'une exportation pour mettre à jour le projet ou l'ensemble de données dans lequel vos données de facturation exportées sont stockées, les données de l'ensemble de données précédent ne sont pas automatiquement remplies dans le nouvel ensemble de données. Le nouvel ensemble de données BigQuery ne reflète que les données Cloud Billing générées à compter de la date à laquelle vous avez modifié les paramètres d'exportation . Pour inclure l'enregistrement complet des données de facturation exportées, vous devez joindre manuellement le nouvel ensemble de données à l'ensemble de données précédent. Pour en savoir plus, consultez la section Opération de jointure.

  • Notez que les tâches de chargement BigQuery sont conformes aux normes ACID, et que les données ne seront donc que partiellement chargées si vous envoyez une requête à l'ensemble de données d'exportation BigQuery Cloud Billing pendant que des données sont en train d'y être chargées.

  • Consultez les autres limites susceptibles de compromettre l'exportation de vos données de facturation vers BigQuery, telles que les ensembles de données avec des clés de chiffrement gérées par le client (CMEK).

Limites

L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.

  • Le schéma de table de l'une des exportations de données Cloud Billing peut changer

    Lorsque le schéma de table change, par exemple lorsque de nouveaux champs sont ajoutés à un schéma de table BigQuery pour une exportation de données Cloud Billing, toutes les requêtes qui référencent directement les colonnes exportées peuvent échouer. Pour résoudre ce problème, nous vous recommandons de créer des vues BigQuery qui interrogent les tables exportées et présentent les informations dans la structure de votre choix.

    Vous pouvez ensuite ajuster les requêtes qui alimentent vos rapports et tableaux de bord pour qu'ils extraient les données des vues, au lieu des tables exportées. Les vues vous permettent de standardiser la structure des données utilisées dans vos requêtes et vos tableaux de bord.

    Les vues que vous créez doivent normaliser les données de sorte que toutes les tables pertinentes présentent le même schéma à vos requêtes. Cela vous protège des modifications de schéma futures en vous permettant de modifier la requête sous-jacente à la vue en cas de modifications du schéma de données.

  • Emplacements des ensembles de données BigQuery compatibles avec les données Cloud Billing

    Les ensembles de données BigQuery sont configurés pour utiliser un emplacement ; c'est-à-dire un emplacement multirégional (UE ou États-Unis) ou un emplacement régional. L'emplacement de l'ensemble de données est défini au moment de la création. Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié.

    L'exportation des données Cloud Billing accepte tous les emplacements multirégionaux (UE ou États-Unis), mais uniquement un sous-ensemble des emplacements régionaux. Lorsque vous configurez vos paramètres d'exportation Cloud Billing, si vous créez ou sélectionnez un ensemble de données configuré pour utiliser un emplacement régional non compatible, lorsque vous tentez d'enregistrer vos paramètres d'exportation, un message d'erreur Région de l'ensemble de données non valide.

    Le tableau suivant répertorie les emplacements multirégionaux et les emplacements régionaux compatibles avec les ensembles de données BigQuery utilisés pour contenir les données Cloud Billing.

    Amériques Asie-Pacifique Europe Moyen-Orient

    Multirégional : États-Unis

    Régions :

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (Caroline du Sud)
    • us-east4 (Virginie du Nord)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Régions :

    • asia-east1 (Taïwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Séoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapour)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multirégional : UE

    Régions :

    • europe-central2 (Varsovie)
    • europe-north1 (Finlande)
    • europe-west1 (Belgique)
    • europe-west2 (Londres)
    • europe-west3 (Francfort)
    • europe-west4 (Pays-Bas)
    • europe-west6 (Zurich)

    Régions :

    • me-central1 (Doha)
    • me-central2 (Dammam)
    • me-west1 (Tel Aviv)

  • Si vous modifiez vos paramètres d'exportation pour mettre à jour le projet ou l'ensemble de données dans lequel vos données de facturation exportées sont stockées, les données de facturation précédemment exportées ne sont pas remplies dans votre nouvel ensemble de données. Pour inclure les informations de facturation exportées avant le changement, vous devez joindre manuellement le nouvel ensemble de données à l'ensemble de données précédent. Pour en savoir plus, consultez la section Opération de jointure.

  • Pour vos ensembles de données BigQuery contenant les données de coût d'utilisation standard ou les données de coût d'utilisation détaillé, le type d'emplacement que vous configurez sur l'ensemble de données a une incidence sur la durée d'exportation de vos Google Cloud données de facturation :

    • Si vous configurez l'ensemble de données pour utiliser un emplacement multirégional (UE ou États-Unis), celui-ci reflète les données de facturation générées Google Cloud depuis le début du mois précédent à compter de la première activation de l' exportation, sauf si vous la réactivez. Autrement dit, Google Cloud les données de facturation sont ajoutées rétroactivement pour le mois en cours et le mois précédent. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant que puissiez commencer à voir vos données d'utilisation actuelles.

    • Si votre ensemble de données est configuré pour utiliser un emplacement régional compatible, vos données de coût d'utilisation standard et vos données de coût d'utilisation détaillées ne reflètent Google Cloud que les données de facturation générées à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, Google Cloud les données de facturation ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux, vous ne verrez donc pas les données Cloud Billing datant d'avant l'activation de l'exportation.

    • Pour en savoir plus, consultez la section Disponibilité des données.

  • Vos ensembles de données BigQuery contenant les données de tarification ne collectent que les Google Cloud données de facturation générées à compter de la date de configuration de l'exportation Cloud Billing. Autrement dit, Google Cloud les données de tarification ne sont pas ajoutées rétroactivement. Par conséquent, les données de tarification Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.

  • Lorsque vous exportez des données de coût d'utilisation détaillées, l'exportation détaillée inclut automatiquement des informations au niveau des ressources concernant Compute Engine. Pour afficher la répartition des coûts de cluster Google Kubernetes Engine (GKE) dans une exportation de données détaillée, vous devez également activer l'allocation des coûts pour GKE.

  • Chiffrement des ensembles de données

    Les ensembles de données BigQuery sont configurés pour utiliser le chiffrement au repos en définissant une option de clé de chiffrement lorsque vous créez l'ensemble de données, soit une clé de chiffrement gérée par Google Google-owned and Google-managed encryption key, soit une clé de chiffrement gérée par le client (CMEK). L'option de chiffrement de l'ensemble de données ne peut être définie qu'au moment de la création. Une fois l'ensemble de données créé, son paramètre de chiffrement ne peut plus être modifié.

    Si vous avez déjà activé l'exportation des données Cloud Billing vers BigQuery et que votre ensemble de données est configuré pour utiliser une Google-managed encryption key, vous pouvez utiliser l'outil de ligne de commande bqpour activer CMEK sur chaque table de l'ensemble de données. BigQuery utilisera automatiquement la clé par défaut de l'ensemble de données pour protéger les tables d'exportation, sauf si vous la configurez autrement.

    Découvrez comment activer CMEK pour les tables BigQuery.

  • Si vous souhaitez utiliser la sécurité au niveau des lignes de BigQuery sur la table contenant vos données exportées, vous devez accorder au compte de service d'exportation Cloud Billing billing-export-bigquery@system.gserviceaccount.com un accès complet à la table à l'aide du filtre BigQuery TRUE. La commande suivante accorde l'accès au compte de service Cloud Billing :

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • La propagation des tags au niveau des ressources vers les exportations BigQuery peut prendre jusqu'à une heure. Si un tag a été ajouté ou supprimé dans l'heure, ou si une ressource existe depuis moins d'une heure, il est possible qu'il n'apparaisse pas dans l'exportation.

    Les tags au niveau des ressources sont disponibles pour les ressources suivantes :

    • Instances Compute Engine
    • Instances Spanner
    • Services Cloud Run
    • Dépôts Artifact Registry

Rapports sur les coûts et la tarification disponibles dans la Google Cloud console

Précédent
Configurer l'exportation des données de facturation vers BigQuery
Suivant
Structure de l'exportation des données standard