Utiliser les transferts tiers
Les transferts tiers pour le service de transfert de données BigQuery vous permettent de planifier et de gérer automatiquement les tâches de chargement récurrentes de sources de données externes telles que Salesforce CRM, Adobe Analytics et Facebook Ads.
Avant de commencer
Avant de créer un transfert de données tiers :
- Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
- Créez un ensemble de données BigQuery pour stocker les données.
- Consultez la documentation d'Amazon S3 pour vous assurer que vous avez configuré toutes les autorisations nécessaires pour activer le transfert.
- Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, vous devez disposer des autorisations
pubsub.topics.setIamPolicy. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour plus d'informations, consultez la page Notifications d'exécution du service de transfert de données BigQuery.
Rôles BigQuery requis
Pour obtenir les autorisations nécessaires pour créer un transfert de données Service de transfert de données BigQuery, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin) sur votre projet.
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Ce rôle prédéfini contient les autorisations requises pour créer un transfert de données du service de transfert de données BigQuery. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour créer un transfert de données du service de transfert de données BigQuery :
-
Autorisations du service de transfert de données BigQuery :
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
Autorisations BigQuery :
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus, consultez Accorder l'accès bigquery.admin.
Limites
Les transferts tiers sont soumis aux limitations suivantes :
- Vous devez créer ou mettre à jour un transfert tiers à l'aide de la consoleGoogle Cloud .
- Vous ne pouvez pas configurer ni mettre à jour de transferts tiers à l'aide de l'outil de ligne de commande bq.
Configurer un transfert de données tiers
Pour créer un transfert de données tiers à l'aide de la console Google Cloud :
Accédez à Google Cloud Marketplace.
Cliquez sur le fournisseur tiers approprié.
Sur la page de documentation du fournisseur tiers, cliquez sur Ajouter. Le processus d'inscription peut prendre un moment.
Une fois l'ajout terminé, cliquez sur Configurer le transfert.
Sur la page Créer un transfert :
Dans le champ Source, choisissez la source de données tierce appropriée. Vous pouvez cliquer sur Explore Data Sources (Explorer les sources de données) pour voir la liste des fournisseurs tiers dans Google Cloud Marketplace.
Pour le champ Display name (Nom à afficher), saisissez le nom du transfert, par exemple
My Transfer. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.
Pour Programmation, laissez la valeur par défaut (Démarrer maintenant) ou cliquez sur Démarrer à l'heure définie.
Pour le champ Repeats (Périodicité), choisissez une option pour la fréquence d'exécution du transfert. Plusieurs options sont disponibles :
- Daily (Tous les jours) (par défaut)
- Toutes les semaines
- Tous les mois
- Personnalisé
- À la demande
Si vous choisissez une option autre que Daily (Tous les jours), des options supplémentaires sont disponibles. Par exemple, si vous choisissez Toutes les semaines, une option vous permet de sélectionner le jour de la semaine.
Pour Start date and run time (Date de début et heure d'exécution), saisissez la date et l'heure de début du transfert. Cette option est désactivée si vous choisissez Start now (Commencer).
Pour Destination dataset (Ensemble de données de destination), choisissez l'ensemble de données que vous avez créé pour stocker vos données.
(Facultatif) Dans la section Notification options (Options de notification) :
- Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
- Pour Select a Cloud Pub/Sub topic (Sélectionnez un sujet Cloud Pub/Sub), choisissez le nom de votre sujet ou cliquez sur Create a topic (Créer un sujet) pour en créer un. Cette option configure les notifications d'exécution Cloud Pub/Sub pour votre transfert.
Cliquez sur Connecter une source.
Lorsque vous y êtes invité, cliquez sur Accepter pour donner au service de transfert de données BigQuery le droit de se connecter à la source de données et de gérer vos données dans BigQuery.
Suivez les instructions données dans les pages suivantes pour configurer la connexion à votre source de données externe.
Une fois les étapes de configuration terminées, cliquez sur Enregistrer.
Résoudre les problèmes de configuration d'un transfert tiers
Si vous rencontrez des problèmes lors de la configuration de votre transfert, consultez le fournisseur tiers approprié. Les coordonnées sont disponibles sur la page de documentation du transfert dans Google Cloud Marketplace.
Interroger les données
Lorsque les données sont transférées vers BigQuery, elles sont écrites dans des tables partitionnées avec date d'ingestion. Pour plus d'informations, consultez la page Présentation des tables partitionnées.
Si vous interrogez directement les tables au lieu d'utiliser les vues générées automatiquement, vous devez utiliser la pseudo-colonne _PARTITIONTIME dans votre requête. Pour en savoir plus, consultez la page Interroger des tables partitionnées.
Étape suivante
- Pour une vue d'ensemble du service de transfert de données BigQuery, consultez la page Présentation du service de transfert de données BigQuery.
- Pour en savoir plus sur l'utilisation des transferts, y compris l'obtention d'informations sur une configuration de transfert, la liste des configurations de transfert et l'affichage de l'historique d'exécution d'un transfert, consultez la page Utiliser les transferts.