Exporter votre empreinte carbone

Vous pouvez exporter vos données Empreinte Carbone vers BigQuery afin d'effectuer une analyse de données ou de créer des rapports et des tableaux de bord personnalisés.

L'exportation de l'empreinte carbone capture les estimations des émissions de gaz à effet de serre associées à l'utilisation des services Google Cloud couverts pour le compte de facturation sélectionné.

Une fois l'exportation configurée, vous êtes facturé pour les BigQuery utilisées pour stocker et interroger les données exportées.

Avant de commencer

Pour créer une exportation de l'empreinte carbone, nous vous recommandons de disposer des rôles IAM suivants :

• Propriétaire du projet ou Éditeur de projet sur le Google Cloud projet vers lequel exporter.
• Lecteur de l'empreinte carbone ou Lecteur de compte de facturation sur le compte de facturation dont les données carbone seront exportées.

Plus précisément, vous devez disposer des autorisations IAM suivantes sur le Google Cloud projet :

• resourcemanager.projects.update
• serviceusage.services.enable
• bigquery.transfers.update

Et de l'autorisation IAM suivante sur le compte de facturation :

• billing.accounts.getCarbonInformation

Si vous utilisez VPC Service Controls

Si votre organisation utilise VPC Service Controls, une règle d'entrée doit être définie pour l'API BigQuery et l'API du service de transfert de données BigQuery.

Pour votre règle de stratégie d'Ingress :

• Définissez la source sur "Toutes les sources autorisées" dans la section "De".
• Accordez l'autorisation à l'identité [e-mail].

Configurer une exportation de l'empreinte carbone vers BigQuery

Les données Empreinte carbone sont exportées via le service de transfert de données BigQuery. Le transfert de données crée une table partitionnée mensuelle appelée carbon_footprint dans l'ensemble de données BigQuery de votre choix.

Les exportations de l'empreinte carbone sont effectuées le 15e jour du mois suivant. Par exemple, les données carbone de septembre 2022 seront exportées le 15 octobre 2022.

Une fois qu'une configuration de transfert de l'empreinte carbone a été créée, elle exporte automatiquement les futurs rapports carbone le 15 de chaque mois. Vous pourrez également exécuter un remplissage pour demander des données historiques remontant jusqu'en janvier 2021.

Console

Pour lancer l'exportation, procédez comme suit :

1. Accédez à Empreinte carbone.
2. Sélectionnez le compte de facturation Cloud à partir duquel vous souhaitez exporter les données dans le menu Compte de facturation.
3. Cliquez sur Exportation de données pour ouvrir le panneau latéral permettant de configurer l'exportation.
4. Sélectionnez un projet pour l'exportation de vos données d'empreinte carbone, puis cliquez sur Créer une exportation.
5. Sur la page du service de transfert de données BigQuery :
   1. Assurez-vous que le champ Source est défini sur "Google Cloud Empreinte carbone Exportations".
   2. Dans Nom de la configuration de transfert, saisissez un nom à afficher.
   3. Dans Paramètres de destination, cliquez sur le champ ID de l'ensemble de données, puis sélectionnez Créer un ensemble de données si vous souhaitez créer un nouvel ensemble de données BigQuery pour héberger la table exportée. Vous pouvez également sélectionner un ensemble de données BigQuery existant.
   4. Dans Détails de la source de données, confirmez l'ID du compte de facturation Cloud à exporter. Vous pouvez également ajouter d'autres ID de compte sous la forme d'une liste d'éléments séparés par une virgule. Tous les ID de compte de facturation doivent être au format XXXXXX-XXXXXX-XXXXXX.
6. Cliquez sur Enregistrer.
7. Dans la fenêtre de demande d'accès, cliquez sur Autoriser.

bq

Utilisez la bq mk --transfer_config commande pour lancer l'exportation :

bq mk \
--transfer_config \
--target_dataset=DATASET \
--display_name=NAME \
--params='{"billing_accounts":"BILLING_ACCOUNT_IDS"}' \
--data_source='61cede5a-0000-2440-ad42-883d24f8f7b8'

Où :

• DATASET est l'ensemble de données cible de la configuration de transfert.
• NAME est le nom à afficher pour la configuration de transfert. Exemple : "Rapport carbone de l'entreprise".
• BILLING_ACCOUNT_IDS correspond à l'ID de votre compte de facturation ou à une liste d'ID de compte de facturation séparés par une virgule. Exemple : XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX

Terraform

Utilisez la ressource Terraform bigquery_data_transfer_config pour créer une exportation :

resource "google_bigquery_data_transfer_config" "RESOURCE_NAME" {
  display_name           = "NAME"
  data_source_id         = "61cede5a-0000-2440-ad42-883d24f8f7b8"
  destination_dataset_id = google_bigquery_dataset.DATASET.dataset_id
  params = {
    billing_accounts     = "BILLING_ACCOUNT_IDS"
  }
}

Où :

• RESOURCE_NAME est le nom de la ressource Terraform. Exemple : carbon_export.
• NAME est le nom à afficher pour la configuration de transfert. Exemple : "Rapport carbone de l'entreprise".

• DATASET est le nom de la ressource Terraform google_bigquery_dataset à utiliser comme ensemble de données cible pour l'exportation.

• BILLING_ACCOUNT_IDS correspond à l'ID de votre compte de facturation ou à une liste d'ID de compte de facturation séparés par une virgule. Exemple : XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX

La configuration de transfert a été créée et exportera les données le 15 de chaque mois à venir.

Remarque : Si vous utilisez une méthode autre que la console pour exporter les données, la source de données ne sera pas automatiquement enregistrée dans votre projet. Veuillez donc utiliser l'API Enregistrer des sources de données pour enregistrer la source de données dans votre projet avant d'exécuter l'opération d'exportation.

La configuration de transfert n'exporte pas automatiquement les données historiques. Pour demander des données historiques remontant jusqu'en janvier 2021, planifiez un remplissage des données en procédant comme suit.

Console

Pour planifier le remplissage des données, procédez comme suit :

1. Accédez aux détails du transfert que vous venez de créer.
2. Cliquez sur Schedule Backfill (Programmer un remplissage).
3. Sélectionnez Exécuter pour une plage de dates.
4. Sélectionnez le 15 février 2021 comme date de début et la date du jour comme date de fin. Notez que l'exportation du 15 février 2021 contient les données de janvier 2021 et constitue donc le premier mois disponible pour la demande.
5. Cliquez sur OK pour demander le remplissage des données.

Des remplissages de données seront créés pour la période sélectionnée, exportant les données mensuelles historiques vers l'ensemble de données de destination.

bq

Utilisez la bq mk --transfer_run commande pour créer un remplissage :

bq mk \
--transfer_run \
--start_time=START_TIME \
--end_time=END_TIME \
CONFIG

Où :

• START_TIME est un horodatage qui spécifie l'heure de début de la plage à remplir. Exemple : 2021-02-15T00:00:00Z. Notez que le 15 février 2021 est la date la plus ancienne que vous pouvez spécifier ici, car elle contient les données de janvier 2021.
• END_TIME est un horodatage qui spécifie l'heure de fin de la plage à remplir. Exemple : 2022-09-15T00:00:00Z. Vous pouvez utiliser la date actuelle.
• TRANSFER_CONFIG est l'identifiant du transfert créé à l'étape précédente. Exemple : projects/0000000000000/locations/us/transferConfigs/00000000-0000-0000-0000-000000000000.

Une fois les données exportées, vous pouvez utiliser BigQuery pour les afficher et les interroger. En savoir plus sur le schéma de données.

Vous pouvez partager les données exportées avec d'autres membres de votre organisation en leur accordant le rôle IAM Utilisateur BigQuery sur le projet sélectionné précédemment. Vous pouvez également accorder un accès précis au niveau de l'ensemble de données ou de la table à l'aide du rôle IAM Lecteur de données BigQuery.

Gérer les exportations de l'empreinte carbone

Vous pouvez afficher toutes les exportations de l'empreinte carbone existantes en cliquant sur Exportation de données et en ouvrant le panneau latéral.

Vous pouvez ensuite gérer chaque exportation de l'empreinte carbone en cliquant sur le nom du transfert pour accéder au service de transfert de données BigQuery ou sur le nom de l'ensemble de données pour afficher l'ensemble de données de destination. En savoir plus sur l'utilisation des transferts.

Remarque : Dans certains cas, la liste des exportations peut être incomplète pour les raisons suivantes :

• Autorisations : l'exportation a été configurée dans un projet que vous n'êtes pas autorisé à afficher.
• Optimisation des performances : pour optimiser les performances et éviter la latence lorsque vous avez accès à un très grand nombre de projets, la recherche peut ne pas afficher les exportations dans tous les projets.

Exporter vers Google Sheets ou CSV

Une fois que vous avez configuré l'exportation de votre empreinte carbone vers BigQuery et que l'exportation programmée est terminée, vous pouvez exporter ces données de BigQuery vers Google Sheets ou CSV.

1. Accéder à BigQuery
2. Dans le panneau Explorateur, développez votre projet et votre ensemble de données, puis sélectionnez la table contenant les données d'empreinte carbone exportées.
3. Cliquez sur Requête.
4. Saisissez une requête pour renvoyer les données que vous souhaitez exporter. Un exemple est donné ci-dessous.
5. Une fois la requête exécutée, sous Résultats de la requête, cliquez sur Enregistrer les résultats.
6. Sélectionnez le format souhaité, puis cliquez sur Enregistrer.

La requête suivante vous permet d'enregistrer l'intégralité du contenu de la table exportée :

SELECT
  usage_month,
  billing_account_id,
  project.number AS project_number,
  project.id AS project_id,
  service.id AS service_id,
  service.description AS service_description,
  location.location AS location,
  location.region AS region,
  carbon_model_version,
  carbon_footprint_kgCO2e.scope1 AS carbon_footprint_scope1,
  carbon_footprint_kgCO2e.scope2.location_based AS carbon_footprint_scope2_location_based,
  carbon_footprint_kgCO2e.scope3 AS carbon_footprint_scope3,
  carbon_footprint_total_kgCO2e.location_based AS carbon_footprint_total_location_based
FROM
  `PROJECT.DATASET.carbon_footprint`
ORDER BY
  usage_month DESC,
  carbon_footprint_total_location_based DESC

Étape suivante

• Découvrez le schéma de données utilisé dans l'exportation.
• Consultez votre empreinte carbone brute dans la Google Cloud console.
• Créez des tableaux de bord personnalisés avec les données exportées.
• Comprenez la méthodologie utilisée par Empreinte carbone.