Charger des données Google Analytics 4 dans BigQuery

Vous pouvez charger des données Google Analytics 4 dans BigQuery à l'aide du connecteur Service de transfert de données BigQuery pour Google Analytics 4. Le service de transfert de données BigQuery vous permet de planifier des tâches de transfert récurrentes qui ajoutent vos dernières données Google Analytics 4 à BigQuery.

Présentation des connecteurs

Le service de transfert de données BigQuery pour le connecteur Google Analytics accepte les options de transfert de données suivantes.

Options de transfert de données Assistance
Rapports acceptés Le connecteur Google Analytics permet de transférer les données de rapport de l'API Google Analytics Data v1.

Pour en savoir plus sur la transformation des rapports Google Analytics en tables et vues BigQuery, consultez Transformer des rapports Google Analytics.
Fréquence de répétition Le connecteur Google Analytics est compatible avec les transferts de données quotidiens.

Par défaut, les transferts de données sont planifiés à l'heure à laquelle ils sont créés. Vous pouvez configurer l'heure du transfert de données lorsque vous configurez votre transfert de données.
Intervalle d'actualisation Vous pouvez planifier vos transferts de données pour récupérer les données Google Analytics des 30 derniers jours au moment de l'exécution du transfert de données. Vous pouvez configurer la durée de la fenêtre d'actualisation lorsque vous configurez votre transfert de données.

Par défaut, le connecteur Google Analytics dispose d'une fenêtre d'actualisation de quatre jours.

Pour en savoir plus, consultez Actualiser les fenêtres.
Disponibilité des données de remplissage Exécutez un remplissage de données pour récupérer des données en dehors de votre transfert de données planifié. Vous pouvez récupérer des données aussi loin que le permettent les règles de conservation des données de votre source de données.

Pour en savoir plus sur le règlement concernant la conservation des données dans Google Analytics, consultez Règlement de Google Analytics sur la conservation des données.

Ingestion de données à partir de transferts Google Analytics 4

Lorsque vous transférez des données Google Analytics 4 vers BigQuery, elles sont chargées dans des tables BigQuery partitionnées par date. La partition de la table dans laquelle les données sont chargées correspond à la date de la source de données. Si vous planifiez plusieurs transferts pour la même date, le service de transfert de données BigQuery remplace la partition de cette date spécifique par les données les plus récentes. Plusieurs transferts le même jour ou l'exécution de remplissages n'entraînent pas de données en double, et les partitions des autres dates ne sont pas affectées.

Actualiser les fenêtres

Un intervalle d'actualisation correspond au nombre de jours pendant lesquels un transfert de données récupère des données lors d'un transfert de données. Par exemple, si la fenêtre d'actualisation est de trois jours et qu'un transfert quotidien a lieu, le service de transfert de données BigQuery récupère toutes les données de votre table source des trois derniers jours. Dans cet exemple, lorsqu'un transfert quotidien a lieu, le service de transfert de données BigQuery crée une partition de table de destination BigQuery avec une copie des données de votre table source du jour, puis déclenche automatiquement des exécutions de remplissage pour mettre à jour les partitions de table de destination BigQuery avec les données de votre table source des deux jours précédents. Les opérations de remplissage déclenchées automatiquement écrasent ou mettent à jour de manière incrémentielle votre table de destination BigQuery, selon que les mises à jour incrémentielles sont ou non compatibles avec le connecteur du service de transfert de données BigQuery.

Lorsque vous exécutez un transfert de données pour la première fois, celui-ci récupère toutes les données sources disponibles pendant l'intervalle d'actualisation. Par exemple, si la fenêtre d'actualisation est de trois jours et que vous exécutez le transfert de données pour la première fois, le service de transfert de données BigQuery récupère toutes les données sources dans un délai de trois jours.

Pour récupérer des données en dehors de la période d'actualisation, telles que des données historiques, ou pour récupérer des données en cas d'indisponibilité ou d'écarts de transfert, vous pouvez lancer ou planifier une exécution de remplissage.

Avant de commencer

Avant de créer un transfert de données Google Analytics 4, consultez les conditions préalables et les informations suivantes.

Prérequis

Rôles BigQuery requis

Pour obtenir les autorisations nécessaires pour créer un transfert de données Service de transfert de données BigQuery, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer un transfert de données du service de transfert de données BigQuery. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer un transfert de données du service de transfert de données BigQuery :

  • Autorisations du service de transfert de données BigQuery :
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Autorisations BigQuery :
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez Accorder l'accès bigquery.admin.

Rapports personnalisés

Le connecteur du service de transfert de données BigQuery pour Google Analytics permet d'utiliser des rapports personnalisés en spécifiant des dimensions et des métriques dans la configuration du transfert Google Analytics. Ces rapports personnalisés ingèrent les données de la version de l'API Google Analytics Data compatible avec le service de transfert de données BigQuery.

Vous pouvez spécifier un rapport personnalisé lorsque vous créez un transfert Google Analytics.

Limites des rapports personnalisés

  • Une seule configuration de transfert est acceptée par rapport personnalisé.
  • Chaque rapport personnalisé peut contenir jusqu'à neuf dimensions et 10 métriques.
  • Les dimensions et les métriques ne sont pas toutes compatibles entre elles. Utilisez l'outil Explorateur de dimensions et de métriques GA4 pour valider les dimensions et les métriques de votre rapport personnalisé avant de créer le transfert.

Configurer un transfert de données Google Analytics 4

Sélectionnez l'une des options suivantes :

Console

  1. Accédez à la page Transferts de données dans la console Google Cloud .

    Accéder à la page Transferts de données

  2. Cliquez sur Créer un transfert.

  3. Sur la page Créer un transfert, procédez comme suit :

    • Dans la section Type de source, choisissez Google Analytics 4 comme Source.

  4. Dans la section Data source details (Détails de la source de données) :

    • Dans le champ ID de propriété, saisissez un ID de propriété.
    • Facultatif : dans le champ Filtre de table, saisissez une liste des tables à inclure (séparées par une virgule), par exemple Audiences, Events. Ajoutez le préfixe - à cette liste pour exclure certaines tables, par exemple -Audiences, Events. Toutes les tables sont incluses par défaut.
    • Facultatif : Pour ingérer des rapports personnalisés au lieu des rapports standards, procédez comme suit :
      • Dans le champ Nom de la table du rapport personnalisé, saisissez le nom de la table de sortie pour le rapport personnalisé. Pour en savoir plus sur les noms de tables valides, consultez Nommer les tables.
      • Dans le champ Dimensions du rapport personnalisé, saisissez les dimensions du rapport personnalisé. Pour en savoir plus, consultez Rapports personnalisés.
      • Dans le champ Métriques du rapport personnalisé, saisissez les métriques du rapport personnalisé. Pour en savoir plus, consultez Rapports personnalisés.
    • Facultatif : dans le champ Intervalle d'actualisation, saisissez la durée de votre intervalle d'actualisation en jours. La fenêtre d'actualisation est définie par défaut sur quatre jours, mais peut durer jusqu'à 30 jours.

  5. Dans le menu Ensemble de données de destination de la section Paramètres de destination, sélectionnez l'ensemble de données que vous avez créé pour stocker vos données.

  6. Dans la section Nom de la configuration de transfert, sous Nom à afficher, saisissez le nom du transfert de données. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.

  7. Dans la section Schedule options (Options de programmation) :

    • Sélectionnez Commencer ou Commencer à l'heure définie, puis indiquez une date de début et une heure d'exécution.
    • Dans le champ Périodicité, choisissez une option pour la fréquence d'exécution du transfert de données. Si vous sélectionnez Jours, indiquez une heure valide au format UTC.

  8. Facultatif : Dans le menu Compte de service, sélectionnez un compte de service parmi ceux associés à votre projet Google Cloud . Le compte de service sélectionné doit disposer des rôles requis pour exécuter ce transfert de données.

    Si vous vous êtes connecté avec une identité fédérée, vous devez disposer d'un compte de service pour créer un transfert de données. Si vous vous êtes connecté avec un compte Google, un compte de service pour le transfert de données est facultatif. Pour en savoir plus sur l'utilisation des comptes de service avec des transferts de données, consultez Utiliser des comptes de service.

  9. Facultatif : dans la section Notification options (Options de notification) :

    • Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail si l'exécution du transfert échoue.
    • Cliquez sur le bouton pour activer les notifications Pub/Sub. Sous Sélectionner un sujet Cloud Pub/Sub, choisissez le nom de votre sujet ou cliquez sur Créer un sujet. Cette option permet de configurer les notifications d'exécution Pub/Sub pour votre transfert.

  10. Facultatif : Si vous utilisez des CMEK, dans la section Options avancées, sélectionnez Clé gérée par le client. La liste des CMEK disponibles s'affiche. Pour en savoir plus sur le fonctionnement des CMEK avec le Service de transfert de données BigQuery, consultez Spécifier une clé de chiffrement avec les transferts.

  11. Cliquez sur Enregistrer.

bq

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config. Les options suivantes sont obligatoires :

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Où :

  • PROJECT_ID : ID de votre projet. Si --project_id n'est pas spécifié, le projet par défaut est utilisé.
  • DATASET : ensemble de données cible de la configuration de transfert de données.
  • NAME : nom à afficher de la configuration de transfert de données. Ce nom peut correspondre à toute valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.
  • PARAMETERS : paramètres de la configuration de transfert de données créée au format JSON (par exemple, --params='{"param":"param_value"}'). Pour les transferts Google Analytics 4, le paramètre property_id est obligatoire.
  • DATA_SOURCE. La source de données – ga4.

Par exemple, la commande suivante crée un transfert de données Google Analytics 4 nommé My Transfer utilisant l'ID de propriété 468039345, avec l'ensemble de données cible mydataset.

Le transfert de données est créé dans le projet par défaut :

  bq mk --transfer_config
  --project_id=your_project
  --target_dataset=mydataset
  --display_name=My Transfer
  --params='{"property_id":"468039345"}'
  --data_source=ga4

API

Utilisez la méthode projects.locations.transferConfigs.create et fournissez une instance de la ressource TransferConfig.

Limites

  • Les totaux agrégés pour les métriques sur les utilisateurs uniques et les sessions peuvent ne pas être exacts et ne pas correspondre aux valeurs de Google Analytics.

Spécifier une clé de chiffrement avec les transferts

Vous pouvez spécifier des clés de chiffrement gérées par le client (CMEK) pour chiffrer les données d'une exécution de transfert. Vous pouvez utiliser une clé CMEK pour accepter les transferts provenant de Google Analytics 4.

Lorsque vous spécifiez une clé CMEK avec un transfert, le service de transfert de données BigQuery l'applique à tous les caches sur disque intermédiaires des données ingérées afin que l'intégralité du workflow de transfert de données soit compatible avec CMEK.

Vous ne pouvez pas mettre à jour un transfert existant pour ajouter une clé CMEK si le transfert n'a pas été initialement créé avec une clé CMEK. Par exemple, vous ne pouvez pas modifier une table de destination initialement chiffrée par défaut pour être chiffrée avec des clés CMEK. À l'inverse, vous ne pouvez pas modifier une table de destination chiffrée par CMEK pour obtenir un type de chiffrement différent.

Vous pouvez mettre à jour une clé CMEK pour un transfert si la configuration de celui-ci a été initialement créée avec un chiffrement CMEK. Lorsque vous mettez à jour une clé CMEK pour une configuration de transfert, le service de transfert de données BigQuery propage cette clé aux tables de destination à la prochaine exécution du transfert, où le service de transfert de données BigQuery remplace toutes les clés CMEK obsolètes par la nouvelle clé lors de l'exécution du transfert. Pour en savoir plus, consultez Mettre à jour un transfert.

Vous pouvez également utiliser les clés par défaut d'un projet. Lorsque vous spécifiez une clé de projet par défaut avec un transfert, le service de transfert de données BigQuery utilise cette clé pour toutes les nouvelles configurations de transfert.

Tarifs

Le transfert vers Google Analytics 4 est gratuit.

Une fois les données transférées vers BigQuery, les tarifs standards pour le stockage et les requêtes BigQuery s'appliquent.

Quota

Les transferts Google Analytics 4 sont soumis aux quotas de propriétés Analytics appliqués par Google Analytics 4. Pour augmenter le quota par propriété, vous pouvez passer à Google Analytics 360.