L'exportation Cloud Billing vers BigQuery vous permet d'exporter automatiquement des données de facturation Google Cloud détaillées (telles que des données d'utilisation, d'estimation de coûts et de tarification) tout au long de la journée vers un ensemble de données BigQuery. Vous pouvez ensuite accéder à vos données Cloud Billing depuis BigQuery pour une analyse détaillée. Cette fonctionnalité vous permet aussi d'exporter des données vers un fichier JSON.
Il est important d'activer l'exportation au bon moment. Pour accéder à un ensemble plus complet de données de facturationGoogle Cloud pour vos besoins d'analyse, nous vous recommandons d'activer l'exportation de données Cloud Billing vers BigQuery et de créer un compte Cloud Billing en même temps.
Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.
Étapes suivantes
La gestion des coûts et la création de rapports efficaces constituent un élément essentiel de la gestion financière, que vous gériez les activités d'une entreprise de plusieurs milliards de dollars ou un modeste budget familial. Pour prendre des décisions basées sur les données concernant vos coûts et votre utilisation deGoogle Cloud , vous devez commencer par collecter les données dont vous avez besoin.
Reportez-vous aux guides de cette section pour en savoir plus sur les tâches suivantes :
- Configurer l'exportation des données Cloud Billing vers BigQuery
- Comprendre les tables de données Cloud Billing
- Rechercher des exemples de requêtes associées à l'exportation de données Cloud Billing
Configurer l'exportation des données Cloud Billing vers BigQuery
Pour commencer à collecter vos données Cloud Billing, vous devez activer l'exportation des données Cloud Billing vers BigQuery pour chaque type d'exportation de facturation dont vous avez besoin.
Vous pouvez activer les types de données Cloud Billing suivants pour l'exportation :
| Type d'exportation | Description |
|---|---|
| Coût d'utilisation FOCUS (Preview) | L' exportation des coûts d'utilisation FOCUS est un ensemble de données BigQuery immuable qui contient vos données détaillées sur les coûts d'utilisation normalisées à l'aide des normes FinOps Open Cost and Usage Specification (FOCUS). FOCUS est une spécification ouverte qui définit des exigences claires pour les générateurs de données de facturation technologiques afin de produire des ensembles de données cohérents sur les coûts et l'utilisation. Les colonnes de l'exportation FOCUS correspondent généralement aux champs de l' exportation détaillée des coûts d'utilisation. Découvrez comment activer l'exportation de facturation des coûts d'utilisation FOCUS. |
| Coût d'utilisation standard | L' exportation des données de coût d'utilisation standard contient des informations d'ordre général concernant l'utilisation et les coûts liés au compte de facturation Cloud, telles que l'ID du compte, la date de facturation, les services, les SKU, les projets, les libellés, les emplacements, le coût, l'utilisation, les crédits, les ajustements et la devise. Utilisez l'exportation du coût d'utilisation standard pour analyser les tendances générales dans vos données de coût. Découvrez comment activer l'exportation de facturation des coûts d'utilisation standards. |
| Coût d'utilisation détaillé | L' exportation des données de coût d'utilisation détaillé contient des informations détaillées sur l'utilisation et les coûts de votre compte de facturation Cloud. Le schéma d'exportation détaillé inclut toutes les données présentes dans les données de coût d'utilisation standard, plus les données de coût au niveau des ressources, comme les machines virtuelles ou les disques SSD qui génèrent une utilisation du service. Utilisez l'exportation détaillée des coûts d'utilisation pour analyser les coûts au niveau des ressources et identifier les ressources spécifiques qui pourraient entraîner des coûts supplémentaires. L'exportation détaillée comprend des informations précises sur les coûts liés à plusieurs services. Pour afficher les informations concernant GKE, vous devez également activer la répartition des coûts dans les exportations détaillées. Consultez le schéma des données de coût d'utilisation détaillé pour obtenir d'autres recommandations et limites. Découvrez comment activer l'exportation de facturation des coûts d'utilisation détaillés. |
| Données de tarification | L' exportation des données tarifaires contient des informations sur les tarifs du compte de facturation Cloud, telles que l'ID de compte de facturation, les services, les SKU, les produits, les métadonnées géographiques, les unités tarifaires, la devise, l'agrégation et les niveaux. Découvrez comment activer l'exportation des tarifs. Vous pouvez également obtenir les données de tarification de votre compte de facturation Cloud de différentes manières : |
| Exportation des remises sur engagement d'utilisation (preview) | Pour les clients qui achètent des remises sur engagement d'utilisation, l' exportation des métadonnées des remises sur engagement d'utilisation fournit une exportation quotidienne des métadonnées des remises sur engagement d'utilisation vers une table BigQuery. Vous pouvez les associer à d'autres exportations de données de facturation pour mieux gérer et générer des rapports sur les remises sur engagement d'utilisation. Les métadonnées CUD incluent des informations telles que l'ID du compte de facturation, l'ID du produit, l'ID du modèle de consommation, les unités et les valeurs du montant de l'engagement, etc. |
| (Revendeurs uniquement) Exportation des données de refacturation | Pour les revendeurs uniquement, l' exportation des données de refacturation contient des informations détaillées sur l'utilisation et les coûts de votre compte de facturation Cloud pour tous vos comptes de facturation revendeur annotés avec des attributs spécifiques au partenaire. Utilisez l'exportation de données de refacturation pour gérer les opérations de facturation de vos clients Google Cloud . Découvrez les configurations de refacturation qui vous permettent de générer des coûts pour le client final. |
Des frais d'utilisation de BigQuery vous sont facturés lorsque vous l'utilisez pour stocker et analyser vos données d'utilisation et de coût de facturation. Pour en savoir plus, consultez Coûts d'utilisation de BigQuery.
Consultez les limites susceptibles d'avoir un impact sur l'exportation de vos données de facturation vers BigQuery.
Comprendre les tables de données Cloud Billing
Une fois que vous avez activé l'exportation Cloud Billing vers BigQuery, les tables de données Cloud Billing sont automatiquement créées dans l'ensemble de données BigQuery
Pour comprendre le schéma de données de votre contenu exporté, consultez les informations de référence sur le contenu des données Cloud Billing exportées vers chaque table de l'ensemble de données BigQuery.
- Tableau des coûts d'utilisation de FOCUS (aperçu)
- Tableau des coûts d'utilisation standards
- Tableau des coûts d'utilisation détaillés
- Grille tarifaire
- Exporter les métadonnées des CUD (aperçu)
Rechercher des exemples de requêtes associées à l'exportation de données Cloud Billing
Des exemples de requêtes sont disponibles pour différents types de données de facturation exportées.
Coût d'utilisation FOCUS
Pour les données de facturation FOCUS, consultez les exemples de requêtes FOCUS disponibles sur le site Principes de base de FinOps.
Exportations des coûts d'utilisation standards, des coûts d'utilisation détaillés et des tarifs
Pour obtenir des conseils et des instructions sur l'utilisation de SQL pour exécuter des requêtes sur vos données Cloud Billing pour les exportations de coût d'utilisation standard, de coût d'utilisation détaillé et de tarification, consultez les exemples de requêtes.
La page des exemples de requêtes présente plusieurs exemples SQL, y compris les exemples suivants :
- Afficher les coûts totaux sur une facture
- Interroger vos données à l'aide de libellés
- Renvoyer des données sur vos remises sur engagement d'utilisation
- Exécuter des requêtes sur les coûts et crédits par projet pour un mois de facturation spécifié
- Associer les données tarifaires aux données de coût d'utilisation détaillé
Coûts d'utilisation de BigQuery
Des frais d'utilisation de BigQuery vous sont facturés lorsque vous l'utilisez pour stocker et analyser vos données d'utilisation et de coût de facturation. Les principaux coûts dans BigQuery concernent le stockage des données et le calcul utilisé pour le traitement des requêtes.
Vos coûts BigQuery dépendent de la quantité de données que vous stockez et interrogez. En général, les coûts de stockage sont inférieurs aux coûts des requêtes.
Pour en savoir plus sur les coûts de BigQuery, consultez Estimer et contrôler les coûts dans BigQuery.
Coûts de stockage
Les coûts de stockage incluent le coût de stockage des données que vous chargez dans BigQuery. Ils dépendent de votre modèle de facturation du stockage.
- Le chargement de données dans l'ensemble de données désigné est sans frais. Cette action utilise le pool de ressources partagées de BigQuery pour charger les données par lots.
- De nombreuses opérations sur les tables partitionnées sont sans frais, y compris le chargement de données dans des partitions, la copie de partitions et l'exportation de données à partir de partitions. Bien que sans frais, ces opérations sont soumises aux quotas et limites propres à BigQuery.
- L'exportation FOCUS est fournie en tant qu'exportation immuable, à l'aide d'un ensemble de données associé que Google paie. Vous n'avez pas de frais de stockage pour les données de coût d'utilisation FOCUS des deux dernières années, sauf si vous copiez et stockez les données FOCUS dans une table de stockage à long terme qui vous appartient.
Pour en savoir plus sur les bonnes pratiques d'optimisation des coûts de stockage BigQuery, consultez Contrôler les coûts de stockage. Vous pouvez également optimiser le stockage pour améliorer les performances des requêtes.
Coût des requêtes
Lorsque vous analysez vos données, toutes les données lues à chaque exécution de la requête vous sont facturées. L'exécution de requêtes peut entraîner un pic de coûts.
- Avant d'exécuter une requête, vous pouvez la prévisualiser pour vérifier les coûts estimés.
- Pour les données de facturation, l'interrogation de l'exportation détaillée des coûts peut coûter plus cher que l'interrogation de l'exportation standard. Pour optimiser vos coûts, nous vous recommandons d'utiliser l'exportation standard pour analyser les tendances de vos coûts, et d'utiliser l'exportation détaillée pour suivre les coûts au niveau des ressources et identifier les ressources spécifiques qui pourraient entraîner des coûts.
- En savoir plus sur le contrôle des coûts des requêtes individuelles et le contrôle des coûts dans une charge de travail
Pour en savoir plus sur les bonnes pratiques d'optimisation des coûts lors de l'exécution de requêtes dans BigQuery, consultez Optimiser le calcul des requêtes.
Pour connaître les tarifs détaillés, consultez la page Tarifs de BigQuery.
Limites
L'exportation de données Cloud Billing vers BigQuery est soumise aux limitations suivantes.
Schéma de table pour les exportations de données Cloud Billing
Le schéma des tables de n'importe quelle exportation de données Cloud Billing peut changer.
Lorsque le schéma de table change, par exemple lorsque de nouveaux champs sont ajoutés à un schéma de table BigQuery pour une exportation de données Cloud Billing, toutes les requêtes qui font directement référence aux colonnes exportées peuvent échouer. Pour résoudre ce problème, nous vous recommandons de créer des vues BigQuery qui interrogent les tables exportées et présentent les informations dans la structure de votre choix.
Vous pouvez ensuite ajuster les requêtes qui alimentent vos rapports et tableaux de bord pour qu'elles extraient les données des vues au lieu des tables exportées. En utilisant des vues, vous pouvez standardiser la structure des données utilisées dans vos requêtes et vos tableaux de bord.
Les vues que vous créez doivent normaliser les données de sorte que toutes les tables pertinentes présentent le même schéma à vos requêtes. Cela vous protège des futures modifications de schéma, ce qui vous permet de modifier la requête sous-jacente de la vue lorsque le schéma de données change.
Exportation et conservation des données FOCUS
Les données de facturation exportées vers l'exportation FOCUS BigQuery fournie par Google sont soumises à une règle de valeur TTL (Time To Live) de deux ans. Les données datant de plus de deux ans sont automatiquement supprimées de la table d'exportation FOCUS fournie dans l'ensemble de données BigQuery. Si vous devez conserver l'historique de vos données de facturation FOCUS au-delà de deux ans, copiez les données FOCUS dans une table de stockage à long terme qui vous appartient.
Emplacements des ensembles de données BigQuery et disponibilité des données
Emplacements des ensembles de données BigQuery compatibles avec les données Cloud Billing :
Les ensembles de données BigQuery sont configurés pour utiliser un emplacement, c'est-à-dire un emplacement multirégional (UE ou États-Unis) ou un emplacement régional. L'emplacement de l'ensemble de données est défini au moment de la création. Une fois l'ensemble de données créé, son emplacement ne peut plus être modifié.
L'exportation des données Cloud Billing accepte tous les emplacements multirégionaux (UE ou États-Unis), mais uniquement un sous-ensemble des emplacements régionaux. Lorsque vous configurez vos paramètres d'exportation Cloud Billing, si vous créez ou sélectionnez un ensemble de données configuré pour utiliser un emplacement régional non compatible, lorsque vous tentez d'enregistrer vos paramètres d'exportation, une erreur Région de l'ensemble de données non valide s'affiche.
Le tableau suivant répertorie les emplacements multirégionaux et les emplacements régionaux compatibles avec les ensembles de données BigQuery contenant des données Cloud Billing.
| Amériques | Asie-Pacifique | Europe | Moyen-Orient |
|---|---|---|---|
|
Multirégional : États-Unis Régions :
|
Régions :
|
Multirégional : UE Régions :
|
Régions :
|
Emplacements et disponibilité des données :
Pour vos ensembles de données BigQuery contenant les données de coût d'utilisation FOCUS, les données de coût d'utilisation standard ou les données de coût d'utilisation détaillé, le type d'emplacement que vous configurez sur l'ensemble de données a une incidence sur la durée d'exportation de vos données de facturation Google Cloud vers l'ensemble de données :
- Si vous configurez l'ensemble de données pour utiliser un emplacement multirégional (UE ou États-Unis), celui-ci inclut les données de facturation Google Cloud générées depuis le début du mois précédent à compter de la première activation de l'exportation, sauf si vous la réactivez. Autrement dit, les données de facturationGoogle Cloud sont ajoutées rétroactivement pour le mois en cours et le mois précédent. Pour le remplissage initial des données exportées, l'exportation de vos données Cloud Billing rétroactives peut prendre jusqu'à cinq jours avant que vous puissiez commencer à voir vos données d'utilisation actuelles.
Si votre ensemble de données est configuré pour utiliser un emplacement régional compatible, vos données de coût d'utilisation FOCUS, vos données de coût d'utilisation standard et vos données de coût d'utilisation détaillé ne reflètent que les données de facturation Google Cloud générées à compter de la date d'activation de l'exportation Cloud Billing. Autrement dit, Google Cloud les données de facturation ne sont pas ajoutées rétroactivement pour les emplacements d'ensembles de données non multirégionaux. Par conséquent, vous ne verrez pas les données Cloud Billing datant d'avant l'activation de l'exportation.
Pour en savoir plus, consultez la section Disponibilité des données.
Vos ensembles de données BigQuery contenant les données de tarification ne collectent que les données de facturation Google Cloud générées à compter de la date de configuration de l'exportation Cloud Billing. Autrement dit, les données tarifairesGoogle Cloud ne sont pas ajoutées rétroactivement. Par conséquent, les données tarifaires Cloud Billing antérieures à l'activation de l'exportation n'apparaissent pas. Pour en savoir plus, consultez la section Disponibilité des données.
Désactiver, réactiver ou modifier les paramètres d'exportation
Si vous désactivez, réactivez ou modifiez vos paramètres d'exportation pour mettre à jour le projet ou l'ensemble de données dans lequel vos données de facturation exportées sont stockées, les données de facturation exportées précédemment ne sont pas réinjectées dans votre nouvel ensemble de données. Pour inclure les informations de facturation exportées avant le passage à un autre projet ou ensemble de données, vous devez joindre manuellement le nouvel ensemble de données à l'ensemble de données précédent. Pour en savoir plus, consultez la section Opérations de jointure.
Chiffrement des ensembles de données
Les ensembles de données BigQuery sont configurés pour utiliser le chiffrement au repos en définissant une option de clé de chiffrement lorsque vous créez l'ensemble de données ( Google-owned and Google-managed encryption keyou une clé de chiffrement gérée par le client (CMEK)). Vous pouvez modifier le paramètre de chiffrement après avoir créé un ensemble de données.
Si vous avez déjà activé l'exportation des données Cloud Billing vers BigQuery et que votre ensemble de données est configuré pour utiliser unGoogle-managed encryption key, vous pouvez mettre à jour l'ensemble de données et ses tables pour utiliser une clé CMEK. Pour mettre à jour l'ensemble de données et ses tables, procédez comme suit :
- Définissez une clé par défaut pour l'ensemble de données. Définir une clé par défaut permet de s'assurer que toutes les nouvelles tables créées dans l'ensemble de données sont automatiquement protégées avec la clé CMEK.
- Utilisez l'outil de ligne de commande
bqpour activer le chiffrement CMEK sur chaque table existante de l'ensemble de données. La modification de la clé par défaut de l'ensemble de données n'entraîne pas le rechiffrement automatique des tables existantes.
Découvrez comment activer CMEK pour les tables BigQuery.
Règles d'administration CMEK
Vous pouvez utiliser les règles d'administration CMEK pour appliquer l'utilisation de CMEK pour vos ressources BigQuery, y compris les exportations de données de facturation, ou pour exiger que la clé CMEK réside dans un projet approuvé. Toutefois, l'application des règles d'administration CMEK peut avoir les effets inattendus suivants :
Le processus d'exportation peut échouer pour les ensembles de données préexistants : lorsque vous activez une nouvelle contrainte de règle d'organisation, elle n'est pas appliquée aux ensembles de données existants. Cela signifie que vous pouvez avoir des ensembles de données qui existent toujours, même s'ils ne sont plus autorisés. Toutefois, la prochaine fois que vous tenterez d'exporter des données vers cet ensemble de données, le processus d'exportation échouera s'il ne peut pas créer de tables en raison d'une nouvelle règle d'organisation.
Pour éviter cette situation, examinez de manière proactive vos configurations d'exportation des données de facturation existantes chaque fois que vous mettez à jour les règles de votre organisation. Mettez à jour la configuration de l'ensemble de données si nécessaire pour respecter les contraintes
restrictNonCmekServicesetrestrictCmekCryptoKeyProjects.Application incohérente des règles d'administration : les règles d'administration ne sont pas appliquées lorsque vous créez un ensemble de données vide. Cela signifie que vous pouvez appliquer la contrainte
restrictNonCmekServicespour exiger que les ressources BigQuery utilisent une clé CMEK pour leur chiffrement, mais créer ensuite un ensemble de données BigQuery configuré pour utiliser Google-owned and Google-managed encryption keys. Toutefois, l'exportation des données de facturation qui utilise cet ensemble de données échouera, car la règle d'organisation ne vous permettra pas de créer une table non protégée par CMEK alors que la contrainterestrictNonCmekServicesest appliquée à BigQuery.Pour résoudre ce problème, mettez à jour le chiffrement de votre ensemble de données afin de définir une clé par défaut qui respecte vos contraintes
restrictNonCmekServicesetrestrictCmekCryptoKeyProjects.
Sécurité au niveau des lignes
Si vous souhaitez utiliser la sécurité au niveau des lignes de BigQuery sur la table contenant vos données exportées, vous devez accorder au compte de service d'exportation Cloud Billing billing-export-bigquery@system.gserviceaccount.com un accès complet à la table à l'aide du filtre BigQuery TRUE.
La commande suivante accorde l'accès au compte de service Cloud Billing :
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);
Données de coût d'utilisation FOCUS ou détaillées et GKE
Lorsque vous exportez des données de coût d'utilisation FOCUS ou des données de coût d'utilisation détaillées, l'exportation inclut automatiquement des informations au niveau des ressources concernant Compute Engine et d'autres services. Toutefois, pour les données Google Kubernetes Engine (GKE), vous devez également activer la répartition des coûts pour GKE afin d'afficher la répartition des coûts de cluster GKE dans une exportation de données FOCUS ou détaillée.
Tags au niveau des ressources
La propagation des tags au niveau des ressources vers les exportations BigQuery peut prendre jusqu'à une heure. Si un tag a été ajouté ou supprimé il y a une heure, ou si une ressource existe depuis moins d'une heure, il est possible qu'elle n'apparaisse pas dans l'exportation.
Les tags au niveau des ressources sont disponibles pour plusieurs ressources dans l'exportation standard des coûts d'utilisation et l'exportation détaillée des coûts d'utilisation.