Pengantar pemuatan data

Dokumen ini menjelaskan cara memuat data ke BigQuery. Dua pendekatan umum untuk integrasi data adalah mengekstrak, memuat, dan mentransformasi (ELT) atau mengekstrak, mentransformasi, memuat (ETL) data.

Untuk ringkasan pendekatan ELT dan ETL, lihat Pengantar pemuatan, transformasi, dan ekspor data.

Metode pemuatan atau pengaksesan data eksternal

Di halaman BigQuery, dalam dialog Add data, Anda dapat melihat semua metode yang tersedia untuk memuat data ke BigQuery atau mengakses data dari BigQuery. Pilih salah satu opsi berikut berdasarkan kasus penggunaan dan sumber data Anda:

Metode pemuatan Deskripsi
Pemuatan batch Metode ini cocok untuk pemuatan batch data bervolume besar dari berbagai sumber.

Untuk pemuatan data batch atau inkremental dari Cloud Storage dan sumber data lain yang didukung, sebaiknya gunakan BigQuery Data Transfer Service.

Dengan BigQuery Data Transfer Service, untuk mengotomatiskan pipeline pemuatan data ke BigQuery, Anda dapat menjadwalkan tugas pemuatan. Anda dapat menjadwalkan transfer data satu kali atau batch secara berkala (misalnya, harian atau bulanan). Untuk memastikan data BigQuery Anda selalu terbaru, Anda dapat memantau dan mencatat transfer Anda ke dalam log.

Untuk mengetahui daftar sumber data yang didukung oleh BigQuery Data Transfer Service, lihat Sumber data yang didukung.
Pemuatan streaming Metode ini memungkinkan pemuatan data hampir real-time dari sistem pesan.

Untuk melakukan streaming data ke BigQuery, Anda dapat menggunakan langganan BigQuery di Pub/Sub. Pub/Sub dapat menangani throughput tinggi pemuatan data ke BigQuery. Layanan ini mendukung streaming data real-time, yang memuat data saat data tersebut dibuat. Untuk mengetahui informasi selengkapnya, lihat Langganan BigQuery.
Pengambilan Data Perubahan (CDC) Metode ini memungkinkan replikasi data dari database ke BigQuery dalam waktu yang hampir real-time.

Datastream dapat melakukan streaming data dari database ke data BigQuery dengan replikasi hampir real-time. Datastream memanfaatkan kemampuan CDC untuk melacak dan mereplikasi perubahan tingkat baris dari sumber data Anda.

Untuk mengetahui daftar sumber data yang didukung oleh Datastream, lihat Sumber.
Federasi ke sumber data eksternal Metode ini memungkinkan akses ke data eksternal tanpa memuatnya ke BigQuery.

BigQuery mendukung akses ke sumber data eksternal tertentu melalui Cloud Storage dan kueri gabungan. Keuntungan dari metode ini adalah Anda tidak perlu memuat data sebelum mengubahnya untuk penggunaan berikutnya. Anda dapat melakukan transformasi dengan menjalankan pernyataan SELECT pada data eksternal.

Anda juga dapat menggunakan metode terprogram berikut untuk memuat data:

Metode pemuatan Deskripsi
Pemuatan batch Anda dapat memuat data dari Cloud Storage atau dari file lokal dengan membuat tugas pemuatan.

Jika data sumber Anda jarang berubah, atau Anda tidak memerlukan hasil yang terus diperbarui, tugas pemuatan dapat menjadi cara yang lebih murah dan tidak terlalu memerlukan banyak resource untuk memuat data ke BigQuery.

Data yang dimuat dapat dalam format Avro, CSV, JSON, ORC, atau Parquet. Untuk membuat tugas pemuatan, Anda juga dapat menggunakan pernyataan SQL LOAD DATA.

Sistem open source populer, seperti Spark dan berbagai partner ETL, juga mendukung pemuatan data batch ke BigQuery.

Untuk mengoptimalkan pemuatan batch ke dalam tabel agar tidak mencapai batas pemuatan harian, lihat Mengoptimalkan tugas pemuatan.
Pemuatan streaming Jika Anda harus mendukung sumber data streaming kustom, atau melakukan pra-pemrosesan data sebelum melakukan streaming dengan throughput besar ke BigQuery, gunakan Dataflow.

Untuk mengetahui informasi selengkapnya tentang pemuatan dari Dataflow ke BigQuery, lihat Menulis dari Dataflow ke BigQuery.

Anda juga dapat langsung menggunakan BigQuery Storage Write API (gRPC).

Untuk mengoptimalkan streaming ke dalam tabel agar tidak mencapai batas pemuatan harian, lihat Mengoptimalkan tugas pemuatan.

Cloud Data Fusion dapat membantu memfasilitasi proses ETL Anda. BigQuery juga bekerja sama dengan partner pihak ketiga yang mentransformasi dan memuat data ke BigQuery.

Dengan BigQuery, Anda dapat membuat koneksi eksternal untuk mengkueri data yang disimpan di luar BigQuery di layanan Google Cloud seperti Cloud Storage atau Spanner, atau di sumber pihak ketiga seperti Amazon Web Services (AWS) atau Microsoft Azure. Koneksi eksternal ini menggunakan BigQuery Connection API. Untuk informasi selengkapnya, lihat Pengantar koneksi.

Cara lain untuk memperoleh data

Anda dapat menjalankan kueri pada data tanpa memuatnya ke BigQuery sendiri. Bagian berikut menjelaskan beberapa alternatif.

Daftar berikut menjelaskan beberapa alternatif:

Menjalankan kueri pada data publik

Set data publik adalah set data yang disimpan di BigQuery dan dibagikan kepada publik. Untuk informasi lebih lanjut, baca Set data publik BigQuery.

Menjalankan kueri pada data yang dibagikan

Untuk menjalankan kueri pada set data BigQuery yang telah dibagikan seseorang kepada Anda, lihat Pengantar berbagi BigQuery (sebelumnya Analytics Hub). Sharing adalah platform pertukaran data yang memungkinkan berbagi data.

Menjalankan kueri dengan data log

Anda dapat menjalankan kueri pada log tanpa membuat tugas pemuatan tambahan:

Langkah berikutnya