Pengantar ekspor data

Dokumen ini menjelaskan berbagai cara mengekspor data dari BigQuery.

Untuk mengetahui informasi selengkapnya tentang integrasi data, lihat Pengantar pemuatan, transformasi, dan pengeksporan data.

Mengekspor hasil kueri

Anda dapat mengekspor hasil kueri ke file lokal (sebagai file CSV atau JSON), Google Drive, atau Google Spreadsheet. Untuk mengetahui informasi selengkapnya, lihat Mengekspor hasil kueri ke file.

Mengekspor tabel

Anda dapat mengekspor tabel BigQuery dalam format data berikut:

Format data Jenis kompresi yang didukung Metode ekspor yang didukung
CSV GZIP Mengekspor ke Cloud Storage
JSON GZIP Mengekspor ke Cloud Storage
Membaca dari BigQuery menggunakan Dataflow
Avro DEFLATE, SNAPPY Mengekspor ke Cloud Storage
Membaca dari BigQuery menggunakan Dataflow
Parquet GZIP, SNAPPY, ZSTD Mengekspor ke Cloud Storage

Anda juga dapat mengekspor tabel BigQuery sebagai kolom Protobuf saat menggunakan struktur data bertingkat yang memerlukan keamanan jenis objek, atau jika Anda memerlukan dukungan bahasa yang lebih luas.

Pertimbangan ekspor tabel besar

Saat mengekspor data yang besar dari BigQuery, pertimbangkan hal-hal berikut:

  • Volume dan format data:
    • Hitung volume data yang akan diekspor. Ekspor dapat menimbulkan biaya yang cukup besar berdasarkan ukuran, format, metode, dan lokasi geografis data. Beberapa resource dikenai biaya per GiB, sementara yang lain dikenai biaya per TiB.
    • Pilih format yang kompatibel dengan alat analisis dan struktur data Anda. Misalnya, CSV tidak menangani kolom bertingkat atau berulang. Periksa kompatibilitas jenis data.
    • Pertimbangkan format kompresi untuk mengurangi ukuran dan biaya.
  • Biaya ekspor:
    • Beberapa metode ekspor gratis hingga batas tertentu, sementara metode lainnya selalu menimbulkan biaya. Untuk mengetahui informasi selengkapnya, lihat Harga ekstraksi data.
    • Biaya dapat berlaku jika tabel dan tujuan BigQuery Anda, seperti bucket Cloud Storage, berada di lokasi yang berbeda.
  • Kuota: beberapa metode ekspor memiliki batas harian. Untuk mengetahui informasi selengkapnya, lihat Tugas ekstraksi.
  • Beberapa file: ekspor besar dibagi menjadi beberapa file. Pertimbangkan cara Anda akan mengelola file ini di hilir.
  • Otomatisasi: untuk ekspor berulang, gunakan kueri terjadwal BigQuery atau Dataflow.
  • Kebijakan retensi: menentukan periode retensi di set data tujuan Anda dan menerapkan aturan siklus proses untuk mengoptimalkan biaya penyimpanan.
  • Keamanan dan kontrol akses: terapkan izin IAM dan enkripsi yang sesuai.

Saat mempertimbangkan faktor-faktor ini, sebaiknya lakukan ekspor pengujian pada subset data untuk menilai biaya, ukuran file, jumlah, dan waktu. Anda dapat menggunakan klausa WHERE dalam pernyataan SQL EXPORT DATA untuk membatasi ekspor pengujian.

Mengekspor aset kode BigQuery

Anda dapat mendownload aset kode BigQuery Studio, seperti kueri tersimpan atau notebook untuk menyimpan salinan lokal aset Anda. Untuk mengetahui informasi selengkapnya tentang cara mendownload aset kode BigQuery, lihat artikel berikut:

Mengekspor menggunakan ETL terbalik

Anda dapat menyiapkan alur kerja ETL terbalik (RETL) untuk memindahkan data dari BigQuery ke database berikut:

Langkah berikutnya