Présentation du chargement des données

Ce document explique comment charger des données dans BigQuery. Les deux approches courantes d'intégration des données consistent à extraire, charger et transformer (ELT) ou à extraire, transformer et charger (ETL) les données.

Pour obtenir une présentation des approches ELT et ETL, consultez Présentation du chargement, de la transformation et de l'exportation de données.

Méthodes de chargement ou d'accès à des données externes

Sur la page BigQuery, dans la boîte de dialogue Ajouter des données, vous pouvez afficher toutes les méthodes disponibles pour charger des données dans BigQuery ou y accéder à partir de BigQuery. Choisissez l'une des options suivantes en fonction de votre cas d'utilisation et de vos sources de données :

Méthode de chargement Description
Chargement par lot Cette méthode est adaptée au chargement par lot de volumes importants de données provenant d'une variété de sources.

Pour le chargement par lot ou incrémentiel de données à partir de Cloud Storage et d'autres sources de données compatibles, nous vous recommandons d'utiliser le service de transfert de données BigQuery.

Avec le service de transfert de données BigQuery, vous pouvez planifier des tâches de chargement pour automatiser les pipelines de chargement de données dans BigQuery. Vous pouvez planifier des transferts de données ponctuels ou par lot à intervalles réguliers (par exemple, quotidiennement ou mensuellement). Pour vous assurer que vos données BigQuery sont toujours à jour, vous pouvez surveiller et enregistrer vos transferts.

Pour obtenir la liste des sources de données compatibles avec le service de transfert de données BigQuery, consultez Sources de données compatibles.
Chargement par flux Cette méthode permet de charger des données en temps quasi réel à partir de systèmes de messagerie.

Pour diffuser des données en flux continu dans BigQuery, vous pouvez utiliser un abonnement BigQuery dans Pub/Sub. Pub/Sub peut gérer un débit élevé de chargements de données dans BigQuery. Il est compatible avec la diffusion de données en temps réel, en chargeant les données au fur et à mesure de leur génération. Pour en savoir plus, consultez Abonnements BigQuery.
Capture de données modifiées (CDC) Cette méthode permet de répliquer des données de bases de données vers BigQuery en temps quasi réel.

Datastream peut diffuser des données de bases de données vers des données BigQuery avec une réplication en temps quasi réel. Datastream exploite les fonctionnalités CDC pour suivre et répliquer les modifications au niveau des lignes à partir de vos sources de données.

Pour obtenir la liste des sources de données compatibles avec Datastream, consultez Sources.
Fédération vers des sources de données externes Cette méthode permet d'accéder à des données externes sans les charger dans BigQuery.

BigQuery permet d'accéder à certaines sources de données externes via Cloud Storage et des requêtes fédérées. L'avantage de cette méthode est que vous n'avez pas besoin de charger les données avant de les transformer pour une utilisation ultérieure. Vous pouvez effectuer la transformation en exécutant SELECT instructions sur les données externes.

Vous pouvez également utiliser les méthodes programmatiques suivantes pour charger les données :

Méthode de chargement Description
Chargement par lot Vous pouvez charger des données à partir de Cloud Storage ou d'un fichier local en créant une tâche de chargement.

Si vos données sources changent rarement ou si vous n'avez pas besoin de résultats mis à jour en continu, les tâches de chargement peuvent être un moyen moins coûteux et moins gourmand en ressources de charger vos données dans BigQuery.

Les données chargées peuvent être au format Avro, CSV, JSON, ORC ou Parquet. Pour créer la tâche de chargement, vous pouvez également utiliser l' LOAD DATA instruction SQL.

Les systèmes Open Source courants, tels que Spark et divers partenaires ETL, sont également compatibles avec le chargement par lot de données dans BigQuery.

Pour optimiser le chargement par lot dans les tables afin d'éviter d'atteindre la limite de chargement quotidienne, consultez Optimiser les tâches de chargement.
Chargement par flux Si vous devez prendre en charge des sources de données de streaming personnalisées ou prétraiter les données avant de les diffuser en flux continu avec un débit élevé dans BigQuery, utilisez Dataflow.

Pour en savoir plus sur le chargement de données de Dataflow vers BigQuery, consultez Écrire des données depuis Dataflow vers BigQuery.

Vous pouvez également utiliser directement l'API BigQuery Storage Write (gRPC).

Pour optimiser le streaming dans les tables afin d'éviter d'atteindre la limite de chargement quotidienne, consultez Optimiser les tâches de chargement.

Cloud Data Fusion peut vous aider à faciliter votre processus ETL. BigQuery fonctionne également avec des partenaires tiers qui transforment et chargent des données dans BigQuery.

BigQuery vous permet de créer des connexions externes pour interroger des données stockées en dehors de BigQuery dans Google Cloud des services tels que Cloud Storage ou Spanner, ou dans des sources tierces telles qu'Amazon Web Services (AWS) ou Microsoft Azure. Ces connexions externes utilisent l'API BigQuery Connection. Pour en savoir plus, consultez Présentation des connexions.

Autres façons d'acquérir des données

Vous pouvez exécuter des requêtes sur des données sans les charger vous-même dans BigQuery. Les sections suivantes décrivent quelques alternatives.

La liste suivante décrit quelques-unes des alternatives :

Exécuter des requêtes sur des données publiques

Les ensembles de données publics sont des ensembles de données stockés dans BigQuery et partagés avec le public. Pour plus d'informations, consultez Ensembles de données publics BigQuery.

Exécuter des requêtes sur des données partagées

Pour exécuter des requêtes sur un ensemble de données BigQuery qu'une personne a partagé avec vous, consultez Présentation du partage BigQuery (anciennement Analytics Hub). Le partage est une plate-forme d'échange de données qui permet le partage de données.

Exécuter des requêtes avec des données de journal

Vous pouvez exécuter des requêtes sur des journaux sans créer de tâches de chargement supplémentaires :

Étape suivante