Pengantar pipeline BigQuery

Anda dapat menggunakan pipeline BigQuery untuk mengotomatiskan dan menyederhanakan proses data BigQuery. Dengan pipeline, Anda dapat menjadwalkan dan menjalankan aset kode secara berurutan untuk meningkatkan efisiensi dan mengurangi upaya manual.

Ringkasan

Pipeline didukung oleh Dataform.

Pipeline terdiri dari satu atau beberapa aset kode berikut:

• Notebooks
• Kueri SQL
• Persiapan data

Anda dapat menggunakan pipeline untuk menjadwalkan eksekusi aset kode. Misalnya, Anda dapat menjadwalkan kueri SQL untuk dijalankan setiap hari dan memperbarui tabel dengan data sumber terbaru, yang kemudian dapat mendukung dasbor.

Dalam pipeline dengan beberapa aset kode, Anda menentukan urutan eksekusi. Misalnya, untuk melatih model machine learning, Anda dapat membuat alur kerja yang menjalankan kueri SQL untuk menyiapkan data, lalu notebook berikutnya melatih model menggunakan data tersebut.

Kemampuan

Anda dapat melakukan hal berikut dalam pipeline:

• Membuat kueri SQL atau notebook baru atau mengimpor kueri SQL atau notebook yang sudah ada ke dalam pipeline.
• Menjadwalkan pipeline untuk otomatis berjalan pada waktu dan frekuensi yang ditentukan.
• Membagikan pipeline kepada pengguna atau grup yang Anda tentukan.
• Membagikan link ke pipeline.

Batasan

Pipeline tunduk pada batasan berikut:

• Pipeline hanya tersedia di Google Cloud konsol.
• Anda tidak dapat mengubah region untuk menyimpan pipeline setelah dibuat.
• Anda dapat memberikan akses kepada pengguna atau grup ke pipeline yang dipilih, tetapi Anda tidak dapat memberikan akses ke setiap tugas dalam pipeline.
• Jika proses pipeline terjadwal tidak selesai sebelum awal proses terjadwal berikutnya, proses terjadwal berikutnya akan dilewati dan ditandai dengan error.

Menetapkan region default untuk aset kode

Semua aset kode baru di project Anda menggunakan region default. Google Cloud Setelah aset dibuat, Anda tidak dapat mengubah regionnya.

Penting: Jika Anda mengubah region saat membuat aset kode, region tersebut akan menjadi default untuk semua aset kode berikutnya. Aset kode yang ada tidak terpengaruh.

Untuk menetapkan region default untuk aset kode baru, lakukan hal berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Files untuk membuka browser file:

   

3. Di samping nama project, klik View files panel actions > Switch code region.

4. Pilih region kode yang ingin Anda gunakan sebagai default.

5. Klik Save.

Untuk mengetahui daftar region yang didukung, lihat Lokasi BigQuery Studio.

Semua aset kode disimpan di region default untuk aset kode. Mengupdate region default akan mengubah region untuk semua aset kode yang dibuat setelah waktu tersebut.

Kuota dan batas

Pipeline BigQuery tunduk pada kuota dan batas Dataform.

Harga

Eksekusi tugas pipeline BigQuery dikenai biaya komputasi dan penyimpanan di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Harga BigQuery.

Pipeline yang berisi notebook dikenai biaya runtime Colab Enterprise berdasarkan jenis mesin default. Untuk mengetahui detail harga, lihat Harga Colab Enterprise.

Setiap proses pipeline BigQuery dicatat menggunakan Cloud Logging. Pencatatan log otomatis diaktifkan untuk proses pipeline BigQuery, yang dapat dikenai biaya penagihan Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat Harga Cloud Logging.

Langkah berikutnya

• Pelajari cara membuat pipeline.
• Pelajari cara mengelola pipeline.
• Pelajari cara menjadwalkan pipeline.