Mengelola pipeline

Dokumen ini menjelaskan cara mengelola pipeline BigQuery, termasuk cara melihat, menjadwalkan, men-deploy, dan menghapus pipeline.

Dokumen ini juga menjelaskan cara melihat dan mengelola metadata pipeline di Knowledge Catalog.

Pipeline didukung oleh Dataform. Anda dapat mengatur dan mengelola pipeline yang disimpan di File dan Folder (folder pengguna dan folder tim) atau di repositori Git BigQuery Studio (Folder Git) (Pratinjau).

Sebelum memulai

1. Buat pipeline BigQuery.
2. Untuk mengelola metadata pipeline di Knowledge Catalog, pastikan Dataplex API diaktifkan di project Google Cloud Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengelola pipeline, minta administrator untuk memberi Anda peran IAM berikut:

• Untuk melihat dan menjalankan pipeline:
  • Dataform Viewer (roles/dataform.Viewer) di project
  • BigQuery Job User (roles/bigquery.jobUser) di project
• Untuk menjalankan pipeline dengan kredensial pengguna untuk Akun Google: BigQuery Data Editor (roles/bigquery.dataEditor) di project atau set data BigQuery tertentu
• Untuk menghapus pipeline: Dataform Admin (roles/dataform.Admin) di pipeline
• Untuk mengelola pipeline di folder pengguna:
  • Code Owner (roles/dataform.codeOwner) di folder
  • Code Editor (roles/dataform.codeEditor) di folder
  • Code Viewer (roles/dataform.codeViewer) di folder
• Untuk mengelola pipeline di folder tim:
  • Pemilik Folder Tim (roles/dataform.teamFolderOwner) di folder tim
  • Kontributor Folder Tim (roles/dataform.teamFolderContributor) di folder tim
  • Team Folder Viewer (roles/dataform.teamFolderViewer) di folder tim
• Untuk mengelola pipeline di repositori Git: Developer Connect OAuth User (roles/developerconnect.oauthUser) di project
• Untuk melihat dan mengelola metadata di Knowledge Catalog: Dataplex Catalog Editor (roles/dataplex.catalogEditor) di project atau grup entri @bigquery

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang Dataform IAM, lihat Mengontrol akses dengan IAM. Untuk mengetahui informasi selengkapnya tentang peran untuk folder, lihat Membuat dan mengelola folder. Untuk mengetahui informasi selengkapnya tentang peran untuk repositori Git, lihat Mengelola kode dengan repositori Git BigQuery Studio.

Catatan: Saat Anda membuat pipeline, BigQuery akan memberi Anda peran Dataform Admin (roles/dataform.admin) di pipeline tersebut. Semua pengguna dengan peran Dataform Admin yang diberikan di Google Cloud project memiliki akses pemilik ke semua pipeline yang dibuat di project.

Jika Anda menggunakan akun layanan kustom untuk menjalankan pipeline, Anda harus memberikan peran berikut ke akun layanan tersebut:

• BigQuery Job User (roles/bigquery.jobUser) di project
• BigQuery Data Editor (roles/bigquery.dataEditor) di project atau set data BigQuery tertentu
• Dataplex Catalog Editor (roles/dataplex.catalogEditor) di project atau grup entri @bigquery

Melihat pipeline

Anda dapat melihat dan memeriksa pipeline yang disimpan di folder atau folder Git di panel File. Anda dapat melihat pipeline mandiri dan pipeline yang disimpan di folder di panel Explorer. Pipeline yang disimpan di folder Git tidak ditampilkan di panel Explorer.

Melihat pipeline di panel File

Pipeline yang disimpan di folder atau di folder Git akan muncul langsung di panel File.

Untuk melihat pipeline yang disimpan di folder atau folder Git, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik File untuk membuka browser file.

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Luaskan folder Pengguna, Folder tim, atau folder repositori Git yang terhubung.

   Pipeline ditampilkan dengan ikon Pipeline , bukan ikon folder standar.

4. Klik folder pipeline untuk membuka Penampil Pipeline.

   Penampil Pipeline menampilkan Directed Acyclic Graph (DAG) tugas pipeline yang dikompilasi, status eksekusi, dan tab konfigurasi.

5. Luaskan direktori pipeline di browser file untuk menjelajahi direktori bertingkat (seperti definitions/) dan file tugas individual.

Catatan: Jika repositori Git yang terhubung berisi workflow_settings.yaml di direktori root-nya, BigQuery Studio akan mengenalinya sebagai pipeline tingkat root. Folder repositori Git itu sendiri menampilkan ikon Pipeline. Saat Anda mengklik folder repositori Git, Penampil Pipeline akan terbuka, menampilkan DAG yang dikompilasi untuk seluruh repositori.

Melihat pipeline di panel Explorer

Untuk melihat daftar pipeline mandiri dan pipeline yang disimpan di folder, lakukan hal berikut:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer , luaskan project Anda, lalu klik Pipelines.

4. Pilih pipeline untuk membukanya di Penampil Pipeline.

Melihat operasi manual sebelumnya

Untuk melihat operasi manual sebelumnya dari pipeline yang dipilih, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik Executions.

5. Opsional: Untuk memuat ulang daftar operasi sebelumnya, klik Refresh.

Mengonfigurasi pemberitahuan untuk operasi pipeline yang gagal

Setiap pipeline memiliki ID repositori Dataform yang sesuai. Setiap operasi pipeline BigQuery dicatat di Cloud Logging menggunakan ID repositori Dataform yang sesuai. Anda dapat menggunakan Cloud Monitoring untuk mengamati tren dalam log Cloud Logging untuk operasi pipeline BigQuery dan untuk memberi tahu Anda saat kondisi yang Anda jelaskan terjadi.

Untuk menerima pemberitahuan saat operasi pipeline BigQuery gagal, Anda dapat membuat kebijakan pemberitahuan berbasis log untuk ID repositori Dataform yang sesuai. Untuk mengetahui petunjuknya, lihat Mengonfigurasi pemberitahuan untuk pemanggilan alur kerja yang gagal.

Untuk menemukan ID repositori Dataform pipeline Anda, lakukan hal berikut:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik Settings.

   ID repositori Dataform pipeline Anda ditampilkan di bagian bawah tab Settings.

Menghapus pipeline

Untuk menghapus pipeline secara permanen, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman BigQuery. Buka BigQuery

• Untuk menghapus pipeline yang disimpan di folder atau folder Git, lakukan hal berikut:

  1. Di panel kiri, klik File.

  2. Di pohon file, temukan folder pipeline yang ingin Anda hapus.

  3. Klik Lihat tindakan di samping folder pipeline, lalu klik Hapus.

  4. Pada dialog konfirmasi, klik Hapus.

     Folder pipeline dan semua tugas serta file yang ada di dalamnya akan dihapus dari ruang kerja Anda.

• Untuk menghapus pipeline yang tercantum di panel Explorer, lakukan hal berikut:

  1. Di panel kiri, klik Explorer:

     

  2. Di panel Explorer , luaskan project Anda, lalu klik Pipelines.

  3. Temukan pipeline yang ingin Anda hapus.

  4. Klik Lihat tindakan di samping pipeline, lalu klik Hapus.

  5. Klik Hapus.

Mengelola metadata di Knowledge Catalog

Knowledge Catalog memungkinkan Anda menyimpan dan mengelola metadata untuk pipeline. Pipeline tersedia di Knowledge Catalog secara default, tanpa konfigurasi tambahan.

Anda dapat menggunakan Knowledge Catalog untuk mengelola pipelines di semua lokasi pipeline. Pengelolaan pipeline di Knowledge Catalog tunduk pada kuota dan batas Knowledge Catalog serta harga Knowledge Catalog.

Knowledge Catalog secara otomatis mengambil metadata berikut dari pipeline:

• Nama aset data
• Parent aset data
• Lokasi aset data
• Jenis aset data
• Project yang sesuai Google Cloud

Knowledge Catalog mencatat pipeline sebagai entri dengan nilai entri berikut:

Grup entri sistem

Grup entri sistem untuk pipeline adalah @dataform. Untuk melihat detail entri pipeline di Knowledge Catalog, Anda harus melihat grup entri sistem dataform. Untuk mengetahui petunjuk tentang cara melihat daftar semua entri dalam grup entri, lihat Melihat detail grup entri dalam dokumentasi Knowledge Catalog.

Jenis entri sistem

Jenis entri sistem untuk pipeline adalah dataform-code-asset. Untuk melihat detail pipeline,Anda harus melihat jenis entri sistem dataform-code-asset, memfilter hasil dengan filter berbasis aspek, dan menetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Kemudian, pilih entri pipeline yang dipilih. Untuk mengetahui petunjuk tentang cara melihat detail jenis entri yang dipilih, lihat Melihat detail jenis entri dalam dokumentasi Knowledge Catalog. Untuk mengetahui petunjuk tentang cara melihat detail entri yang dipilih, lihat Melihat detail entri dalam dokumentasi Knowledge Catalog.

Jenis aspek sistem

Jenis aspek sistem untuk pipeline adalah dataform-code-asset. Untuk memberikan konteks tambahan ke pipeline di Knowledge Catalog dengan memberi anotasi pada entri pipeline data dengan aspek, lihat jenis aspek dataform-code-asset, filter hasil dengan filter berbasis aspek, dan tetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Untuk mengetahui petunjuk tentang cara memberi anotasi pada entri dengan aspek, lihat Mengelola aspek dan memperkaya metadata dalam dokumentasi Knowledge Catalog.

Jenis

Jenis untuk kanvas data adalah WORKFLOW. Jenis ini memungkinkan Anda memfilter pipeline dalam jenis entri sistem dataform-code-asset dan jenis aspek dataform-code-asset menggunakan kueri aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW dalam filter berbasis aspek.

Untuk mengetahui petunjuk tentang cara menelusuri aset di Knowledge Catalog, lihat Menelusuri aset data di Knowledge Catalog dalam dokumentasi Knowledge Catalog.

Integrasi scorecard kualitas data dan pengayaan metadata

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke [e-mail].

Dataform dapat memublikasikan metadata berikut ke Knowledge Catalog:

• Jenis aspek ringkasan
• Jenis aspek generik
• Jenis aspek scorecard kualitas data

Pernyataan Dataform otomatis terintegrasi dengan scorecard kualitas data Knowledge Catalog. Selama eksekusi pipeline, hasil pernyataan Dataform apa pun akan otomatis dipublikasikan ke Knowledge Catalog. Hasil ini mengisi scorecard kualitas data Knowledge Catalog dengan status lulus atau gagal.

Catatan: Setiap eksekusi akan menimpa scorecard kualitas data yang ada yang dipublikasikan oleh operasi Dataform sebelumnya, tetapi tidak memengaruhi scorecard yang dibuat oleh pemindaian data Knowledge Catalog.

Untuk memeriksa status update metadata, ikuti petunjuk di Melihat operasi manual sebelumnya.

Setelah metadata disinkronkan, Anda dapat menelusuri dan melihat entri di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource.

Langkah berikutnya

• Pelajari pipeline BigQuery lebih lanjut.
• Pelajari cara membuat pipeline.
• Pelajari cara menjadwalkan pipeline.
• Pelajari cara mengelola kode dengan repositori Git BigQuery Studio.
• Pelajari cara mengatur aset kode dengan folder.
• Pelajari Deployment Dataform lebih lanjut.