Qu'est-ce que le service de transfert de données BigQuery ?
Le Service de transfert de données BigQuery automatise le transfert de données vers BigQuery de manière programmée et gérée. Votre équipe d'analyse peut poser les bases d'un entrepôt de données sans écrire une seule ligne de code.
Vous pouvez accéder au service de transfert de données BigQuery via :
- Google Cloud Console
- Outil de ligne de commande bq
- L'API du service de transfert de données BigQuery
Une fois qu'un transfert de données est configuré, les données sont automatiquement chargées dans BigQuery par le Service de transfert de données BigQuery. Il est également possible de lancer des remplissages de données pour la récupération en cas de panne ou pour combler des écarts. Le service de transfert de données BigQuery ne permet pas de transférer des données hors de BigQuery.
En plus de charger des données dans BigQuery, le service de transfert de données BigQuery est utilisé pour deux opérations BigQuery : les copies d'ensembles de données et les requêtes programmées.
Sources de données prises en charge
Le service de transfert de données BigQuery permet le chargement de données à partir des sources de données suivantes :
- Plates-formes SaaS :
- Plates-formes marketing :
- Plates-formes de paiement :
- Bases de données et entrepôts de données :
- Amazon Redshift
- Apache Hive Metastore
- Microsoft SQL Server (bêta)
- MySQL
- Oracle
- PostgreSQL
- Snowflake (bêta)
- Teradata
- Stockage cloud :
- Services Google :
- Campaign Manager
- Comparison Shopping Service (CSS) Center (bêta)
- Display &Video 360
- Google Ads
- Google Ad Manager
- Google Analytics 4
- Google Merchant Center (bêta)
- Search Ads 360
- Google Play
- Chaîne YouTube
- Propriétaire de contenu YouTube
- Tâches de requête utilisant
QUERY - Tâches de chargement utilisant
PIPELINE
Points à prendre en compte concernant le SLO de diffusion des données
Le SLO de diffusion des données s'applique aux transferts de données programmés automatiquement à l'aide du service de transfert de données BigQuery à partir de sources dans Google Cloud.
Pour les transferts de données impliquant des sources tierces ou non-Google Cloud sources, les pannes de service de ces sources peuvent avoir un impact sur les performances du service de transfert de données BigQuery. Par conséquent, le SLO de diffusion des données ne s'applique pas aux transferts de données du service de transfert de données BigQuery à partir de sources non-Google Cloud .
Régions où le service est disponible
Tout comme BigQuery, le service de transfert de données BigQuery est une ressource multirégionale disposant de nombreuses régions uniques supplémentaires.
La localité d'un ensemble de données BigQuery est spécifiée lorsque vous créez un ensemble de données de destination pour stocker les données transférées par le service de transfert de données BigQuery. Lorsque vous configurez un transfert, la configuration elle-même est définie sur le même emplacement que l'ensemble de données de destination. Le service de transfert de données BigQuery traite et classe les données au même emplacement que l'ensemble de données de destination.
Le service de transfert de données BigQuery accepte les transferts de données depuis n'importe quelle région où vos données sont stockées vers n'importe quel emplacement où se trouve votre ensemble de données de destination.
Pour en savoir plus sur les transferts et la compatibilité des régions pour le service de transfert de données BigQuery, consultez la page Emplacement des données et transferts. Pour connaître les régions compatibles avec BigQuery, consultez la section Emplacements des ensembles de données.
Utiliser des emplacements de réservation avec des transferts de données
Les tâches déclenchées par le service de transfert de données BigQuery n'utilisent des emplacements de réservation que si le projet, le dossier ou l'organisation est attribué à une réservation avec l'un des types de tâches suivants :
Tarifs
Pour plus d'informations sur la tarification du service de transfert de données BigQuery, consultez la page Tarifs.
Une fois les données transférées vers BigQuery, les tarifs standards pour le stockage et les requêtes BigQuery s'appliquent.
Quotas
Pour en savoir plus sur les quotas appliqués au service de transfert de données BigQuery, consultez la page Quotas et limites.
Étapes suivantes
Consultez la documentation correspondant à votre source de données pour savoir comment créer un transfert.