Présentation du chargement des données

Ce document explique comment charger des données dans BigQuery. Les deux approches courantes de l'intégration des données sont l'extraction, le chargement et la transformation (ELT) ou l'extraction, la transformation et le chargement (ETL) des données.

Pour en savoir plus sur les approches ELT et ETL, consultez Présentation du chargement, de la transformation et de l'exportation des données.

Méthodes de chargement ou d'accès aux données externes

Sur la page BigQuery, dans la boîte de dialogue Ajouter des données, vous pouvez afficher toutes les méthodes disponibles pour charger des données dans BigQuery ou accéder aux données depuis BigQuery. Choisissez l'une des options suivantes en fonction de votre cas d'utilisation et de vos sources de données :

Méthode de chargement Description
Chargement par lot Cette méthode est adaptée au chargement par lot de grands volumes de données provenant de diverses sources.

Pour le chargement par lot ou incrémentiel de données à partir de Cloud Storage et d'autres sources de données compatibles, nous vous recommandons d'utiliser le service de transfert de données BigQuery.

Le service de transfert de données BigQuery vous permet de planifier des jobs de chargement afin d'automatiser les pipelines de chargement de données dans BigQuery. Vous pouvez planifier des transferts de données ponctuels ou par lot à intervalles réguliers (par exemple, tous les jours ou tous les mois). Pour vous assurer que vos données BigQuery sont toujours à jour, vous pouvez surveiller et consigner vos transferts.

Pour obtenir la liste des sources de données compatibles avec le service de transfert de données BigQuery, consultez Sources de données compatibles.
Charge d'entraînement Cette méthode permet de charger des données en temps quasi réel à partir de systèmes de messagerie.

Pour diffuser des données dans BigQuery, vous pouvez utiliser un abonnement BigQuery dans Pub/Sub. Pub/Sub peut gérer un débit élevé de chargements de données dans BigQuery. Il permet de charger les données en flux continu en temps réel, à mesure qu'elles sont générées. Pour en savoir plus, consultez Abonnements BigQuery.
Capture de données modifiées (CDC) Cette méthode permet de répliquer des données de bases de données vers BigQuery en temps quasi réel.

Datastream peut diffuser des données de bases de données vers BigQuery avec une réplication en temps quasi réel. Datastream exploite les fonctionnalités de CDC pour suivre et répliquer les modifications au niveau des lignes à partir de vos sources de données.

Pour obtenir la liste des sources de données compatibles avec Datastream, consultez Sources.
Fédération vers des sources de données externes Cette méthode permet d'accéder à des données externes sans les charger dans BigQuery.

BigQuery permet d'accéder à certaines sources de données externes via Cloud Storage et des requêtes fédérées. L'avantage de cette méthode est que vous n'avez pas besoin de charger les données avant de les transformer pour une utilisation ultérieure. Vous pouvez effectuer la transformation en exécutant des instructions SELECT sur les données externes.

Vous pouvez également utiliser les méthodes programmatiques suivantes pour charger les données :

Méthode de chargement Description
Chargement par lot Vous pouvez charger des données à partir de Cloud Storage ou d'un fichier local en créant un job de chargement.

Si vos données sources changent rarement ou si vous n'avez pas besoin de résultats mis à jour en continu, les jobs de chargement peuvent être un moyen moins coûteux et moins gourmand en ressources pour charger vos données dans BigQuery.

Les données chargées peuvent être au format Avro, CSV, JSON, ORC ou Parquet. Pour créer le job de chargement, vous pouvez également utiliser l'instruction SQL LOAD DATA.

Les systèmes Open Source populaires, tels que Spark et divers partenaires ETL, sont également compatibles avec le chargement de données par lot dans BigQuery.

Pour optimiser le chargement par lot dans les tables afin d'éviter d'atteindre la limite de chargement quotidienne, consultez Optimiser les jobs de chargement.
Charge d'entraînement Si vous devez accepter des sources de données en streaming personnalisées ou prétraiter des données avant de les diffuser avec un débit élevé dans BigQuery, utilisez Dataflow.

Pour en savoir plus sur le chargement de données de Dataflow vers BigQuery, consultez Écrire des données depuis Dataflow vers BigQuery.

Vous pouvez également utiliser directement l'API BigQuery Storage Write (gRPC).

Pour optimiser le flux de données dans les tables afin d'éviter d'atteindre la limite de chargement quotidienne, consultez Optimiser les jobs de chargement.

Cloud Data Fusion peut vous aider à faciliter votre processus ETL. BigQuery fonctionne également avec des partenaires tiers qui transforment et chargent des données dans BigQuery.

BigQuery vous permet de créer des connexions externes pour interroger des données stockées en dehors de BigQuery dans des services Google Cloud tels que Cloud Storage ou Spanner, ou dans des sources tierces telles qu'Amazon Web Services (AWS) ou Microsoft Azure. Ces connexions externes utilisent l'API BigQuery Connection. Pour en savoir plus, consultez Présentation des connexions.

Autres façons d'acquérir des données

Vous pouvez exécuter des requêtes sur des données sans les charger vous-même dans BigQuery. Les sections suivantes décrivent certaines alternatives.

La liste suivante décrit certaines de ces alternatives :

Exécuter des requêtes sur des données publiques

Les ensembles de données publics sont des ensembles de données stockés dans BigQuery et partagés avec le public. Pour plus d'informations, consultez Ensembles de données publics BigQuery.

Exécuter des requêtes sur des données partagées

Pour exécuter des requêtes sur un ensemble de données BigQuery qu'un utilisateur a partagé avec vous, consultez Présentation de BigQuery Sharing (anciennement Analytics Hub). Sharing est une plate-forme d'échange de données qui permet de partager des données.

Exécuter des requêtes avec des données de journaux

Vous pouvez exécuter des requêtes sur les journaux sans créer de jobs de chargement supplémentaires :

Étapes suivantes