Pengantar pipeline BigQuery

Anda dapat menggunakan pipeline BigQuery untuk mengotomatiskan dan menyederhanakan proses data BigQuery. Dengan pipeline, Anda dapat menjadwalkan dan menjalankan aset kode secara berurutan untuk meningkatkan efisiensi dan mengurangi upaya manual.

Ringkasan

Pipeline didukung oleh Dataform. Selain menjalankan aset kode, Dataform otomatis memperbarui metadata di Knowledge Catalog untuk tabel yang dibuat dalam pipeline.

Pipeline terdiri dari satu atau beberapa aset kode berikut:

Anda dapat menggunakan pipeline untuk menjadwalkan eksekusi aset kode. Misalnya, Anda dapat menjadwalkan kueri SQL untuk dijalankan setiap hari dan memperbarui tabel dengan data sumber terbaru, yang kemudian dapat mendukung dasbor.

Dalam pipeline dengan beberapa aset kode, Anda menentukan urutan eksekusi. Misalnya, untuk melatih model machine learning, Anda dapat membuat alur kerja yang menyiapkan data kueri SQL, lalu notebook berikutnya melatih model menggunakan data tersebut.

Saat Anda memicu eksekusi pipeline, BigQuery akan menjalankan tindakan dalam urutan yang ditentukan oleh dependensinya. Untuk setiap tindakan, BigQuery akan melakukan langkah-langkah berikut:

  1. Menjalankan SQL yang dikompilasi di BigQuery.
  2. Memperbarui status tindakan dalam log eksekusi.
  3. Setelah tindakan berhasil diselesaikan, Dataform akan otomatis memulai sinkronisasi metadata ke Knowledge Catalog (Pratinjau). Proses pengayaan ini memperbarui Knowledge Catalog dengan metadata semantik yang ditentukan dalam konfigurasi SQLX Anda. Sinkronisasi terjadi secara asinkron dan menggunakan mekanisme coba lagi, sehingga pembaruan metadata tidak memengaruhi latensi pipeline atau menyebabkan kegagalan alur kerja jika Dataplex API tidak tersedia untuk sementara.

Kemampuan

Anda dapat melakukan hal berikut dalam pipeline:

Batasan

Pipeline tunduk pada batasan berikut:

  • Pipeline hanya tersedia di Google Cloud konsol.
  • Anda tidak dapat mengubah region untuk menyimpan pipeline setelah dibuat.
  • Anda dapat memberikan akses kepada pengguna atau grup ke pipeline yang dipilih, tetapi Anda tidak dapat memberikan akses ke setiap tugas dalam pipeline.
  • Jika eksekusi pipeline terjadwal tidak selesai sebelum awal eksekusi terjadwal berikutnya, eksekusi terjadwal berikutnya akan dilewati dan ditandai dengan error.

Menetapkan region default untuk aset kode

Semua aset kode baru di project Google Cloud Anda menggunakan region default. Setelah aset dibuat, Anda tidak dapat mengubah regionnya.

Untuk menetapkan region default untuk aset kode baru, lakukan hal berikut:

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di panel kiri, klik Files untuk membuka browser file:

    Klik **File** untuk membuka browser file.

  3. Di samping nama project, klik View files panel actions > Switch code region.

  4. Pilih region kode yang ingin Anda gunakan sebagai default.

  5. Klik Save.

Untuk mengetahui daftar region yang didukung, lihat Lokasi BigQuery Studio.

Semua aset kode disimpan di region default untuk aset kode. Mengupdate region default akan mengubah region untuk semua aset kode yang dibuat setelah waktu tersebut.

Kuota dan batas

Pipeline BigQuery tunduk pada kuota dan batas Dataform.

Harga

Eksekusi tugas pipeline BigQuery dikenai biaya komputasi dan penyimpanan di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Harga BigQuery.

Pipeline yang berisi notebook dikenai biaya runtime Colab Enterprise berdasarkan jenis mesin default. Untuk mengetahui detail harga, lihat Harga Colab Enterprise.

Setiap eksekusi pipeline BigQuery dicatat menggunakan Cloud Logging. Logging otomatis diaktifkan untuk eksekusi pipeline BigQuery, yang dapat dikenai biaya penagihan Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat Harga Cloud Logging.

Langkah berikutnya