Memicu eksekusi secara manual

Dokumen ini menunjukkan cara memicu proses secara manual untuk seluruh alur kerja atau hanya elemen tertentu dalam alur kerja.

Anda dapat memicu proses untuk elemen alur kerja berikut:

• Semua tindakan dalam alur kerja
• Tindakan yang dipilih
• Tindakan dengan tag yang dipilih

Sebelum memulai

1. Di Google Cloud konsol, buka halaman Dataform.

   Buka halaman Dataform

2. Pilih atau buat repositori.

3. Pilih atau buat ruang kerja pengembangan.

4. Kembangkan alur kerja Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk memicu proses secara manual, minta administrator untuk memberi Anda peran IAM berikut:

• Editor Dataform (roles/dataform.editor) di repositori Dataform
• Pengguna Tugas BigQuery (roles/bigquery.jobUser) di project
• Pengguna Akun Layanan (roles/iam.serviceAccountUser) di akun layanan kustom

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Menjalankan semua tindakan dalam alur kerja secara manual

Untuk memicu proses semua tindakan dalam alur kerja secara manual, ikuti langkah-langkah berikut:

1. Buka ruang kerja pengembangan.
2. Klik Start execution.
3. Klik Actions > Multiple actions.

4. Di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Execute with user credentials.

   • Untuk menggunakan akun layanan kustom, pilih Execute with selected service account, lalu pilih akun layanan kustom.

     Catatan: Untuk melihat akun layanan di menu, Anda harus memiliki izin iam.serviceAccounts.list di tingkat project, yang tersedia dalam peran Lihat Akun Layanan (roles/iam.serviceAccountViewer). Jika tidak memiliki izin ini, Anda dapat memilih akun layanan dengan mengklik Enter manually dan memasukkan ID akun layanan.

5. Pilih All actions.

6. Opsional: Untuk membangun ulang semua tabel dari awal, pilih opsi Run with full refresh. Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangunnya kembali dari awal.

7. Opsional: Tetapkan prioritas tugas kueri BigQuery dengan opsi Execute as interactive job with high priority (default). Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Membatalkan pilihan ini akan menjalankan kueri sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

8. Klik Start execution. Jika memilih Execute with user credentials untuk metode autentikasi, Anda harus memberi otorisasi Akun Google Anda (Pratinjau).

Menjalankan tindakan yang dipilih secara manual

Untuk memicu proses tindakan yang dipilih secara manual, ikuti langkah-langkah berikut:

1. Buka ruang kerja pengembangan Anda.

2. Klik Start execution, lalu lakukan salah satu hal berikut:

   • Klik Actions, lalu pilih tindakan yang ingin Anda jalankan.
   • Klik Actions > Multiple actions.

3. Di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Execute with user credentials.

   • Untuk menggunakan akun layanan kustom, pilih Execute with selected service account, lalu pilih akun layanan kustom.

     Catatan: Untuk melihat akun layanan di menu, Anda harus memiliki izin iam.serviceAccounts.list di tingkat project, yang tersedia dalam peran Lihat Akun Layanan (roles/iam.serviceAccountViewer). Jika tidak memiliki izin ini, Anda dapat memilih akun layanan dengan mengklik Enter manually dan memasukkan ID akun layanan.

4. Pastikan Selection of actions dipilih.

5. Di menu Select actions to execute, pilih tindakan yang ingin Anda jalankan.

6. Opsional: Untuk menjalankan tindakan yang dipilih dan dependensinya, pilih opsi Include dependencies.

7. Opsional: Untuk menjalankan tindakan yang dipilih dan tindakan yang bergantung padanya, pilih opsi Include dependents.

8. Opsional: Untuk membangun ulang semua tabel dari awal, pilih opsi Run with full refresh.

9. Opsional: Tetapkan prioritas tugas kueri BigQuery dengan opsi Execute as interactive job with high priority (default). Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Membatalkan pilihan ini akan menjalankan kueri sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

10. Klik Start execution. Jika memilih Execute with my user credentials untuk metode autentikasi, Anda harus memberi otorisasi Akun Google Anda (Pratinjau).

Menjalankan tindakan dengan tag yang dipilih secara manual

Untuk memicu proses tindakan dengan tag yang dipilih secara manual, ikuti langkah-langkah berikut:

1. Buka ruang kerja pengembangan Anda.

2. Klik Start execution, lalu lakukan salah satu hal berikut:

   • Klik Tags, lalu pilih tag yang ingin Anda jalankan.
   • Klik Tags > Multiple tags.

3. Di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Execute with user credentials.

   • Untuk menggunakan akun layanan kustom, pilih Execute with selected service account, lalu pilih akun layanan kustom.

     Catatan: Untuk melihat akun layanan di menu, Anda harus memiliki izin iam.serviceAccounts.list di tingkat project, yang tersedia dalam peran Lihat Akun Layanan (roles/iam.serviceAccountViewer). Jika tidak memiliki izin ini, Anda dapat memilih akun layanan dengan mengklik Enter manually dan memasukkan ID akun layanan.

4. Pastikan Selection of tags dipilih.

5. Di menu Select tags to execute, pilih tag yang ingin Anda jalankan.

6. Opsional: Untuk menjalankan tindakan dengan tag yang dipilih dan dependensinya, pilih opsi Include dependencies.

7. Opsional: Untuk menjalankan tindakan dengan tag yang dipilih dan tindakan yang bergantung padanya, pilih opsi Include dependents.

8. Opsional: Untuk membangun ulang semua tabel dari awal, pilih opsi Run with full refresh. Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangunnya kembali dari awal.

9. Opsional: Tetapkan prioritas tugas kueri BigQuery dengan opsi Execute as interactive job with high priority (default). Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Membatalkan pilihan ini akan menjalankan kueri sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

10. Klik Start execution. Jika memilih Execute with my user credentials untuk metode autentikasi, Anda harus memberi otorisasi Akun Google Anda (Pratinjau).

Memberi otorisasi pada Akun Google Anda

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk meminta dukungan atau memberikan masukan terkait fitur ini, hubungi [e-mail].

Untuk mengautentikasi resource dengan Akun Google kredensial pengguna Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth.

Catatan: Kebijakan Akses Kontekstual (CAA)—termasuk kebijakan berbasis IP, berbasis geolokasi, dan kepatuhan perangkat—tidak didukung saat menjalankan atau menjadwalkan alur kerja dengan kredensial pengguna untuk Akun Google, karena permintaan token berasal dari infrastruktur Google. Kebijakan CAA memblokir eksekusi ini kecuali jika ID klien OAuth Dataform dikecualikan dari kebijakan tersebut.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Remove access.

Peringatan: Mencabut izin akses akan mencegah proses pipeline di masa mendatang yang dimiliki Akun Google ini di semua region.

Langkah berikutnya

• Untuk mempelajari cara Dataform menjalankan tabel inkremental dan cara mengonfigurasi tabel inkremental, lihat Mengonfigurasi tabel inkremental.
• Untuk mempelajari cara melihat log eksekusi, lihat Memantau log eksekusi.
• Untuk mempelajari cara menjadwalkan proses dengan Workflows dan Cloud Scheduler, lihat Menjadwalkan proses dengan Workflows dan Cloud Scheduler.
• Untuk mempelajari cara menjadwalkan proses dengan Managed Service untuk Apache Airflow, lihat Menjadwalkan proses dengan Managed Service untuk Apache Airflow.