Présentation de l'exportation de données

Ce document décrit les différentes manières d'exporter des données depuis BigQuery.

Pour en savoir plus sur les intégrations de données, consultez Introduction au chargement, à la transformation et à l'exportation de données.

Exporter des résultats de requête

Vous pouvez exporter les résultats de requêtes vers un fichier local (au format CSV ou JSON), Google Drive ou Google Sheets. Pour en savoir plus, consultez la page Exporter des résultats de requête vers un fichier.

Exporter des tables

Vous pouvez exporter vos tables BigQuery dans les formats de données suivants :

Format des données Types de compression acceptés Méthodes d'exportation compatibles
CSV GZIP Exporter vers Cloud Storage
JSON GZIP Exporter vers Cloud Storage
Lire des données depuis BigQuery à l'aide de Dataflow
Avro DEFLATE, SNAPPY Exporter vers Cloud Storage
Lire des données depuis BigQuery à l'aide de Dataflow
Parquet GZIP, SNAPPY, ZSTD Exporter vers Cloud Storage

Vous pouvez également exporter vos tables BigQuery en tant que colonnes Protobuf lorsque vous travaillez avec des structures de données imbriquées qui nécessitent la sécurité du typage d'objets ou si vous avez besoin d'une compatibilité linguistique plus large.

Points à prendre en compte pour l'exportation de grandes tables

Lorsque vous exportez des volumes importants de données depuis BigQuery, tenez compte des points suivants :

  • Volume et format des données :
    • Calculez le volume de données à exporter. Les exportations peuvent entraîner des coûts importants en fonction de la taille, du format et de la méthode d'exportation des données, ainsi que de l'emplacement géographique. Certaines ressources sont facturées par Gio, tandis que d'autres le sont par Tio.
    • Choisissez un format compatible avec les outils d'analyse et la structure de vos données. Par exemple, le format CSV ne gère pas les champs imbriqués ni répétés. Vérifiez la compatibilité des types de données.
    • Envisagez d'utiliser des formats de compression pour réduire la taille et les coûts.
  • Coût de l'exportation :
    • Certaines méthodes d'exportation sont sans frais jusqu'à une certaine limite, tandis que d'autres entraînent toujours des frais. Pour en savoir plus, consultez la page Tarifs de l'extraction des données.
    • Des coûts peuvent s'appliquer si votre table BigQuery et votre destination, comme un bucket Cloud Storage, se trouvent à des emplacements différents.
  • Quotas : certaines méthodes d'exportation sont soumises à des limites quotidiennes. Pour en savoir plus, consultez Tâches d'extraction.
  • Plusieurs fichiers : les exportations volumineuses sont divisées en plusieurs fichiers. Réfléchissez à la façon dont vous gérerez ces fichiers en aval.
  • Automatisation : pour les exportations récurrentes, utilisez les requêtes planifiées BigQuery ou Dataflow.
  • Règles de conservation : déterminez les périodes de conservation dans votre ensemble de données de destination et implémentez des règles de cycle de vie pour optimiser les coûts de stockage.
  • Sécurité et contrôle des accès : implémentez les autorisations IAM et le chiffrement appropriés.

Lorsque vous prenez en compte ces facteurs, nous vous recommandons d'effectuer un test d'exportation sur un sous-ensemble de données pour évaluer les coûts, la taille des fichiers, les nombres et le temps. Vous pouvez utiliser une clause WHERE dans votre instruction SQL EXPORT DATA pour limiter l'exportation des tests.

Exporter des éléments de code BigQuery

Vous pouvez télécharger des éléments de code BigQuery Studio, tels que des requêtes enregistrées ou des notebooks, pour conserver une copie locale de vos éléments. Pour plus d'informations sur le téléchargement de vos éléments de code BigQuery, consultez les pages suivantes:

Exporter à l'aide d'un processus ETL inversé

Vous pouvez configurer des workflows ETL inversés (RETL) pour déplacer des données de BigQuery vers les bases de données suivantes :

Étapes suivantes