Pengantar pipeline BigQuery

Anda dapat menggunakan pipeline BigQuery untuk mengotomatiskan dan menyederhanakan proses data BigQuery. Dengan pipeline, Anda dapat menjadwalkan dan mengeksekusi aset kode secara berurutan untuk meningkatkan efisiensi dan mengurangi upaya manual.

Ringkasan

Pipeline didukung oleh Dataform. Selain mengeksekusi aset kode, Dataform secara otomatis memperbarui metadata di Knowledge Catalog untuk tabel yang dibuat dalam pipeline.

Pipeline terdiri dari satu atau beberapa aset kode berikut:

Anda dapat menggunakan pipeline untuk menjadwalkan eksekusi aset kode. Misalnya, Anda dapat menjadwalkan kueri SQL untuk dijalankan setiap hari dan memperbarui tabel dengan data sumber terbaru, yang kemudian dapat mendukung dasbor.

Dalam pipeline dengan beberapa aset kode, Anda menentukan urutan eksekusi. Misalnya, untuk melatih model machine learning, Anda dapat membuat alur kerja yang diawali dengan kueri SQL untuk menyiapkan data, lalu diikuti dengan notebook yang melatih model menggunakan data tersebut.

Saat Anda memicu eksekusi pipeline, BigQuery akan menjalankan tindakan dalam urutan yang ditentukan oleh dependensinya. Untuk setiap tindakan, BigQuery melakukan langkah-langkah berikut:

  1. Menjalankan SQL yang dikompilasi di BigQuery.
  2. Memperbarui status tindakan di log eksekusi.
  3. Setelah berhasil menyelesaikan tindakan, Dataform akan otomatis memulai sinkronisasi metadata ke Knowledge Catalog. Proses pengayaan ini memperbarui Knowledge Catalog dengan metadata semantik yang ditentukan dalam konfigurasi SQLX Anda. Sinkronisasi terjadi secara asinkron dan menggunakan mekanisme percobaan ulang, sehingga memastikan bahwa update metadata tidak memengaruhi latensi pipeline atau menyebabkan kegagalan alur kerja jika Dataplex API tidak tersedia untuk sementara.

Kemampuan

Anda dapat melakukan hal berikut dalam pipeline:

Batasan

Pipeline tunduk pada batasan berikut:

  • Pipeline hanya tersedia di konsol Google Cloud .
  • Anda tidak dapat mengubah region untuk menyimpan pipeline setelah dibuat.
  • Anda dapat memberikan akses kepada pengguna atau grup ke pipeline yang dipilih, tetapi Anda tidak dapat memberikan akses ke setiap tugas dalam pipeline.
  • Jika proses pipeline terjadwal tidak selesai sebelum dimulainya proses terjadwal berikutnya, proses terjadwal berikutnya akan dilewati dan ditandai dengan error.

Menetapkan region default untuk aset kode

Semua aset kode baru di project Google Cloud Anda menggunakan region default. Setelah aset dibuat, Anda tidak dapat mengubah regionnya.

Untuk menetapkan region default untuk aset kode baru, lakukan hal berikut:

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di panel kiri, klik File untuk membuka penjelajah file:

    Klik **File** untuk membuka browser file.

  3. Di samping nama project, klik View files panel actions > Switch code region.

  4. Pilih region kode yang ingin Anda gunakan sebagai default.

  5. Klik Simpan.

Untuk mengetahui daftar wilayah yang didukung, lihat Lokasi BigQuery Studio.

Semua aset kode disimpan di region default untuk aset kode. Mengupdate region default akan mengubah region untuk semua aset kode yang dibuat setelah waktu tersebut.

Kuota dan batas

Pipeline BigQuery tunduk pada kuota dan batas Dataform.

Harga

Eksekusi tugas pipeline BigQuery menimbulkan biaya komputasi dan penyimpanan di BigQuery. Untuk informasi lebih lanjut, lihat Harga BigQuery.

Pipeline yang berisi notebook dikenai biaya runtime Colab Enterprise berdasarkan jenis mesin default. Untuk mengetahui detail harga, lihat Harga Colab Enterprise.

Setiap operasi pipeline BigQuery dicatat menggunakan Cloud Logging. Logging otomatis diaktifkan untuk proses pipeline BigQuery, yang dapat menimbulkan biaya penagihan Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat harga Cloud Logging.

Langkah berikutnya