Présentation du service de transfert de données BigQuery
Le service de transfert de données BigQuery vous permet d'automatiser les transferts de données planifiés et gérés vers BigQuery. Une fois qu'un transfert de données est configuré, les données sont automatiquement chargées dans BigQuery par le service de transfert de données BigQuery. Vous pouvez également lancer des remplissages de données pour la récupération en cas d'indisponibilité ou pour combler des écarts, effectuer des copies d'ensembles de données et exécuter des requêtes programmées. Le service de transfert de données BigQuery ne permet pas de transférer des données hors de BigQuery.
Pour configurer et gérer les transferts, vous pouvez utiliser la consoleGoogle Cloud , l'outil de ligne de commande bq ou l'API du service de transfert de données BigQuery. La page Pipelines et connexions fournit également un workflow simplifié (preview) pour créer des transferts. Pour recevoir des informations sur les mises à jour du service, abonnez-vous au groupe d'annonces du service de transfert de données BigQuery.
Sources de données prises en charge
Le service de transfert de données BigQuery permet le chargement de données à partir des sources de données suivantes :
- Plates-formes SaaS :
- Plates-formes marketing :
- Plates-formes de paiement :
- Bases de données et entrepôts de données :
- Amazon Redshift
- Métastore Apache Hive
- Microsoft SQL Server (preview)
- MySQL
- Oracle
- PostgreSQL
- Snowflake
- Teradata
- Stockage cloud :
- Services Google :
- Campaign Manager
- Service de comparateur de prix (CSS) Center (Preview)
- Display & Video 360
- Google Ads
- Google Ad Manager
- Google Analytics 4
- Google Merchant Center (preview)
- Search Ads 360
- Google Play
- Chaîne YouTube
- Propriétaire de contenu YouTube
- Interroger des jobs à l'aide de
QUERY - Charger des jobs à l'aide de
PIPELINE - Consultez la documentation correspondant à votre source de données pour savoir comment créer un transfert.
Points à prendre en compte concernant le SLO de diffusion des données
Le SLO de livraison des données s'applique aux transferts de données programmés automatiquement à l'aide du service de transfert de données BigQuery à partir de sources dans Google Cloud.
Pour les transferts de données impliquant des sources tierces ou non-Google Cloud , les interruptions de service de ces sources peuvent avoir un impact sur les performances du service de transfert de données BigQuery. Par conséquent, le SLO de livraison des données ne s'applique pas aux transferts de données du service de transfert de données BigQuery à partir de sources non-Google Cloud .
Régions où le service est disponible
Tout comme BigQuery, le service de transfert de données BigQuery est une ressource multirégionale disposant de nombreuses régions uniques supplémentaires.
La localité d'un ensemble de données BigQuery est spécifiée lorsque vous créez un ensemble de données de destination pour stocker les données transférées par le service de transfert de données BigQuery. Lorsque vous configurez un transfert, la configuration de transfert elle-même est définie sur le même emplacement que l'ensemble de données de destination. Le service de transfert de données BigQuery traite et classe les données au même emplacement que l'ensemble de données de destination.
Le service de transfert de données BigQuery accepte les transferts de données depuis n'importe quelle région où vos données sont stockées vers n'importe quel emplacement où se trouve votre ensemble de données de destination.
Pour en savoir plus sur les transferts et la compatibilité des régions pour le Service de transfert de données BigQuery, consultez la page Emplacement des ensembles de données et transferts. Pour connaître les régions compatibles avec BigQuery, consultez la section Emplacements des ensembles de données.
Utiliser des emplacements de réservation avec des transferts de données
Les jobs déclenchés par le service de transfert de données BigQuery n'utilisent des emplacements de réservation que si le projet, le dossier ou l'organisation est attribué à une réservation avec l'un des types de jobs suivants :
Tarifs
Pour plus d'informations sur la tarification du service de transfert de données BigQuery, consultez la page Tarifs.
Une fois les données transférées vers BigQuery, les tarifs standards pour le stockage et les requêtes BigQuery s'appliquent.
Quotas
Pour en savoir plus sur les quotas appliqués au service de transfert de données BigQuery, consultez la page Quotas et limites.
Résoudre les problèmes liés aux configurations de transfert
Pour en savoir plus sur la résolution des problèmes liés au service de transfert de données BigQuery, consultez Résoudre les problèmes liés aux configurations de transfert.