Menjadwalkan operasi produksi

Menjadwalkan operasi produksi

Panduan memulai ini akan memandu Anda melalui langkah-langkah berikut untuk menjadwalkan eksekusi produksi di Dataform:

• Buat repositori Dataform.
• Berikan peran yang diperlukan.

• Buat konfigurasi rilis dan konfigurasi alur kerja.

  Buat konfigurasi rilis production dan tetapkan frekuensi pembuatan hasil kompilasi production. Kemudian, buat production konfigurasi alur kerja, pilih konfigurasi rilis production, dan tetapkan jadwal untuk menjalankan hasil kompilasi production.

• Melihat hasil kompilasi sebelumnya.

• Melihat proses sebelumnya.

• Bersihkan aset yang dibuat.

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Selain itu, pilih atau buat akun layanan kustom untuk menjalankan alur kerja di BigQuery.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna melakukan semua tugas dalam tutorial ini, minta administrator Anda untuk memberi Anda peran IAM berikut:

• Admin Dataform (roles/dataform.admin) di repositori
• Dataform Editor (roles/dataform.editor) di ruang kerja dan pemanggilan alur kerja
• Pengguna Akun Layanan (roles/iam.serviceAccountUser) di akun layanan kustom
• Project IAM Admin (roles/resourcemanager.projectIamAdmin) pada project

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Memberikan peran yang diperlukan

Untuk menjalankan alur kerja di BigQuery, Anda dapat menggunakan akun layanan kustom atau Akun Google Anda (Pratinjau). Namun, kredensial akun layanan kustom adalah opsi default untuk jalankan terjadwal. Penggunaan kredensial akun pengguna Akun Google tidak disarankan untuk menjalankan tugas terjadwal.

Untuk menjalankan alur kerja di BigQuery, akun layanan kustom Anda harus memiliki peran wajib berikut:

• BigQuery Data Editor (roles/bigquery.dataEditor) di project yang memerlukan akses baca dan tulis Dataform, yang biasanya mencakup project yang menghosting repositori Dataform Anda.
• BigQuery Data Viewer (roles/bigquery.dataViewer) di project yang memerlukan akses hanya baca Dataform.
• Pengguna Tugas BigQuery (roles/bigquery.jobUser) di project yang menghosting repositori Dataform Anda.

Agar Dataform dapat menggunakan akun layanan kustom Anda, agen layanan Dataform default harus memiliki peran berikut pada resource akun layanan kustom:

• Service Account Token Creator (roles/iam.serviceAccountTokenCreator)
• Service Account User (roles/iam.serviceAccountUser)

Untuk memberikan peran ini, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman IAM.

   Buka IAM

2. Klik Grant access.

3. Di kolom New principals, masukkan ID akun layanan kustom Anda.

4. Di menu Pilih peran, pilih peran berikut satu per satu, menggunakan Tambahkan peran lain untuk setiap peran tambahan:

   • BigQuery Data Editor
   • BigQuery Data Viewer
   • BigQuery Job User

5. Klik Simpan.

6. Di konsol Google Cloud , buka halaman Service accounts.

   Buka halaman Service accounts

7. Pilih akun layanan kustom Anda.

8. Buka Penerima akses, lalu klik Berikan akses.

9. Di kolom New principals, masukkan ID agen layanan Dataform default Anda.

   ID agen layanan Dataform default Anda menggunakan format berikut:

   [e-mail]
   

10. Di daftar Pilih peran, tambahkan peran berikut:

    • Pengguna Akun Layanan
    • Service Account Token Creator

11. Klik Simpan.

Membuat repositori Dataform

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Klik Buat repositori.

3. Di halaman Create repository, lakukan hal berikut:

   1. Di kolom Repository ID, masukkan quickstart-production.

   2. Di daftar Region, pilih europe-west4.

   3. Di kolom Akun layanan, klik Masukkan secara manual, lalu masukkan nama akun layanan kustom Anda. Pastikan Anda memasukkan akun layanan kustom di kolom ini.

   4. Klik Buat.

4. Klik Go to repositories.

Membuat konfigurasi rilis dan konfigurasi alur kerja

Untuk membuat hasil kompilasi produksi repositori quickstart-production dan menjadwalkan eksekusi tabel production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Rilis & penjadwalan, lalu klik Buat rilis produksi.

4. Di panel Create release configuration, konfigurasi setelan berikut:

   1. Di kolom Release ID, masukkan production.
   2. Di kolom Git commitish, gunakan nilai default main .
   3. Di bagian Frekuensi jadwal, di menu Berulang, pilih Kustom.
   4. Di kolom Jadwal kustom, masukkan 0 16 * * *.

   5. Di menu Timezone, pilih zona waktu UTC+1, misalnya, Central European Standard Time (CET).

      Setiap hari pukul 16.00 UTC+1, Dataform mengompilasi repositori quickstart-production dan menerapkan setelan kompilasi yang dikonfigurasi dalam konfigurasi rilis ini untuk membuat hasil kompilasi production.

5. Klik Buat.

   Konfigurasi rilis production membuat hasil kompilasi seluruh repositori quickstart-production setiap hari pada pukul 16.00 UTC+1.

6. Pastikan Anda berada di tab Rilis & penjadwalan. Buka bagian Konfigurasi alur kerja, lalu klik Buat.

7. Di panel Create workflow configuration, konfigurasi setelan berikut:

   1. Di kolom Configuration ID, masukkan production.
   2. Di menu Konfigurasi rilis, pilih production.
   3. Di bagian Frekuensi jadwal, di menu Berulang, pilih Kustom.
   4. Di kolom Jadwal kustom, masukkan 0 17 * * *.

   5. Di menu Timezone, pilih zona waktu UTC+1, misalnya, Central European Standard Time (CET).

      Setiap hari pada pukul 17.00 UTC+1, Dataform menjalankan hasil kompilasi production terbaru dari repositori quickstart-production.

      Penting: Untuk memastikan Dataform menjalankan hasil kompilasi terbaru dalam konfigurasi rilis yang sesuai, pertahankan jeda minimal 1 jam antara waktu pembuatan hasil kompilasi dan waktu berjalan yang dijadwalkan.

   6. Klik Semua tindakan.

      Dataform menjalankan semua tindakan alur kerja dalam hasil kompilasi production.

8. Klik Buat.

   Konfigurasi alur kerja production menjalankan seluruh hasil kompilasi terbaru yang dibuat oleh konfigurasi rilis produksi setiap hari pada pukul 17.00 UTC+1.

Melihat hasil kompilasi production sebelumnya

Untuk melihat hasil kompilasi terjadwal production sebelumnya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Pilih repositori quickstart-production.

3. Klik Rilis & penjadwalan.

4. Di bagian Konfigurasi rilis, klik production.

Melihat eksekusi alur kerja production sebelumnya

Untuk melihat eksekusi alur kerja production sebelumnya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Pilih repositori quickstart-production.

3. Klik Workflow Execution Logs.

4. Pilih eksekusi alur kerja untuk melihat informasi yang lebih mendetail, termasuk status setiap tindakan dan log apa pun.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Hapus set data yang dibuat di BigQuery

Untuk menghindari biaya aset BigQuery, ikuti langkah-langkah berikut untuk menghapus set data yang disebut dataform_production:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan pilih dataform_production.

3. Klik menu Tindakan , lalu pilih Hapus.

4. Pada dialog Hapus set data, masukkan delete, lalu klik Hapus.

Hapus konfigurasi rilis Dataform

Tidak ada biaya yang terkait dengan pembuatan konfigurasi rilis Dataform. Namun, jika Anda ingin menghapus konfigurasi rilis production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Rilis & penjadwalan, lalu buka bagian Konfigurasi rilis.

4. Dengan konfigurasi rilis production, klik menu Lainnya, lalu klik Hapus.

5. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Menghapus konfigurasi alur kerja Dataform

Untuk menghindari biaya aset BigQuery, ikuti langkah-langkah berikut untuk menghapus konfigurasi alur kerja production Dataform:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Rilis & penjadwalan, lalu buka bagian Konfigurasi alur kerja.

4. Dengan konfigurasi alur kerja production, klik menu Lainnya, lalu klik Hapus.

5. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Menghapus repositori Dataform

Tidak ada biaya yang terkait dengan pembuatan repositori Dataform. Namun, jika Anda ingin menghapus repositori dan semua isinya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Dengan quickstart-production, klik menu Lainnya, lalu pilih Hapus.

3. Di jendela Hapus repositori, masukkan nama repositori untuk mengonfirmasi penghapusan.

4. Untuk mengonfirmasi, klik Hapus.

Langkah berikutnya

• Untuk mempelajari akun layanan lebih lanjut, lihat Tentang akun layanan kustom dan agen layanan Dataform.
• Untuk mempelajari lebih lanjut siklus proses kode di Dataform, lihat Pengantar siklus proses kode di Dataform.
• Untuk mempelajari lebih lanjut praktik terbaik untuk siklus proses alur kerja di Dataform, lihat Praktik terbaik untuk siklus proses alur kerja.
• Untuk mempelajari lebih lanjut konfigurasi rilis di Dataform, lihat Membuat konfigurasi rilis.
• Untuk mempelajari lebih lanjut konfigurasi alur kerja di Dataform, lihat Menjadwalkan eksekusi dengan konfigurasi alur kerja.