Einführung in den Datenexport

In diesem Dokument werden die verschiedenen Möglichkeiten zum Exportieren von Daten aus BigQuery beschrieben.

Weitere Informationen zu Datenintegrationen finden Sie unter Einführung in das Laden, Transformieren und Exportieren von Daten.

Abfrageergebnisse exportieren

Sie können Abfrageergebnisse in eine lokale Datei (als CSV- oder JSON-Datei), nach Google Drive oder nach Google Sheets exportieren. Weitere Informationen finden Sie unter Abfrageergebnisse in eine Datei exportieren.

Tabellen exportieren

Sie können Ihre BigQuery-Tabellen in den folgenden Datenformaten exportieren:

Datenformat Unterstützte Komprimierungstypen Unterstützte Exportmethoden
CSV GZIP Nach Cloud Storage exportieren
JSON GZIP Nach Cloud Storage exportieren
Mit Dataflow aus BigQuery lesen
Avro DEFLATE, SNAPPY Nach Cloud Storage exportieren
Mit Dataflow aus BigQuery lesen
Parquet GZIP, SNAPPY, ZSTD Nach Cloud Storage exportieren

Sie können Ihre BigQuery-Tabellen auch als Protobuf-Spalten exportieren, wenn Sie mit verschachtelten Datenstrukturen arbeiten, die Objekttyp-Sicherheit erfordern, oder wenn Sie eine breitere Sprachunterstützung benötigen.

Überlegungen zum Export großer Tabellen

Wenn Sie umfangreiche Daten aus BigQuery exportieren, sollten Sie Folgendes beachten:

  • Datenvolumen und ‑format:
    • Berechnen Sie das Volumen der zu exportierenden Daten. Exporte können je nach Datengröße, Format, Methode und geografischem Standort erhebliche Kosten verursachen. Einige Ressourcen werden pro GiB, andere pro TiB abgerechnet.
    • Wählen Sie ein Format aus, das mit Analysetools und der Struktur Ihrer Daten kompatibel ist. CSV unterstützt beispielsweise keine verschachtelten oder wiederholten Felder. Kompatibilität des Datentyps prüfen
    • Erwägen Sie Komprimierungsformate, um die Größe und die Kosten zu reduzieren.
  • Exportkosten:
    • Einige Exportmethoden sind bis zu einem bestimmten Limit kostenlos, bei anderen fallen immer Kosten an. Weitere Informationen finden Sie unter Preise für die Datenextraktion.
    • Kosten können anfallen, wenn sich Ihre BigQuery-Tabelle und Ihr Ziel, z. B. ein Cloud Storage-Bucket, an verschiedenen Standorten befinden.
  • Kontingente: Für einige Exportmethoden gelten Tageslimits. Weitere Informationen finden Sie unter Jobs extrahieren.
  • Mehrere Dateien: Große Exporte werden in mehrere Dateien aufgeteilt. Überlegen Sie, wie Sie diese Dateien weiter verarbeiten möchten.
  • Automatisierung: Verwenden Sie für wiederkehrende Exporte geplante BigQuery-Abfragen oder Dataflow.
  • Aufbewahrungsrichtlinien: Legen Sie Aufbewahrungszeiträume in Ihrem Zieldatensatz fest und implementieren Sie Lebenszyklusregeln, um die Speicherkosten zu optimieren.
  • Sicherheit und Zugriffssteuerung: Implementieren Sie geeignete IAM-Berechtigungen und Verschlüsselung.

Wir empfehlen, einen Testexport für eine Teilmenge der Daten durchzuführen, um Kosten, Dateigrößen, Anzahl und Zeit zu ermitteln. Sie können eine WHERE-Klausel in Ihrer EXPORT DATA-SQL-Anweisung verwenden, um den Testexport einzuschränken.

BigQuery-Code-Assets exportieren

Sie können BigQuery Studio-Code-Assets wie gespeicherte Abfragen oder Notebooks herunterladen, um eine lokale Kopie Ihrer Assets zu erstellen. Weitere Informationen zum Herunterladen Ihrer BigQuery-Code-Assets finden Sie unter:

Mit Reverse ETL exportieren

Sie können Reverse-ETL-Workflows (RETL) einrichten, um Daten aus BigQuery in die folgenden Datenbanken zu verschieben:

Nächste Schritte