Membuat lingkungan pengembangan

Membuat lingkungan pengembangan

Panduan memulai ini akan memandu Anda melalui langkah-langkah untuk membuat lingkungan pengembangan individual di Dataform, sehingga setiap developer dapat bekerja di lingkungan pengembangannya sendiri:

• Buat repositori Dataform.
• Berikan peran yang diperlukan.

• Konfigurasi penggantian kompilasi ruang kerja.

  Konfigurasi penggantian kompilasi yang diterapkan Dataform ke semua ruang kerja di repositori Anda, yang mengubah ruang kerja menjadi lingkungan pengembangan yang terisolasi.

• Bersihkan aset yang dibuat.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Selain itu, jika Anda ingin menggunakan akun layanan kustom untuk menjalankan alur kerja di BigQuery, pilih atau buat akun layanan kustom.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan semua tugas dalam panduan memulai ini, minta administrator Anda untuk memberikan peran IAM berikut:

• Admin Dataform (roles/dataform.admin) di repositori
• Pengguna Akun Layanan (roles/iam.serviceAccountUser) di akun layanan kustom
• Project IAM Admin (roles/resourcemanager.projectIamAdmin) pada project

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Memberikan peran yang diperlukan

Untuk menjalankan alur kerja di BigQuery, Anda dapat menggunakan akun layanan kustom atau Akun Google Anda.

Akun layanan kustom Anda harus memiliki peran wajib berikut:

• BigQuery Data Editor (roles/bigquery.dataEditor) di project atau set data BigQuery tertentu yang memerlukan akses baca dan tulis Dataform. Hal ini biasanya mencakup project yang menghosting repositori Dataform Anda.
• BigQuery Data Viewer (roles/bigquery.dataViewer) di project atau set data BigQuery tertentu yang memerlukan akses hanya baca Dataform.
• BigQuery Job User (roles/bigquery.jobUser) di project yang menghosting repositori Dataform Anda.

Agar Dataform dapat menggunakan akun layanan kustom Anda, agen layanan Dataform default harus memiliki peran berikut pada resource akun layanan kustom:

• Service Account Token Creator (roles/iam.serviceAccountTokenCreator)
• Service Account User (roles/iam.serviceAccountUser)

Untuk memberikan peran ini, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman IAM.

   Buka IAM

2. Klik Grant access.

3. Di kolom New principals, masukkan ID akun layanan kustom Anda.

4. Di menu Pilih peran, pilih peran berikut satu per satu, menggunakan Tambahkan peran lain untuk setiap peran tambahan:

   • BigQuery Data Editor
   • BigQuery Data Viewer
   • BigQuery Job User

5. Klik Simpan.

6. Di konsol Google Cloud , buka halaman Service accounts.

   Buka halaman Service accounts

7. Pilih akun layanan kustom Anda.

8. Buka Principals with access, lalu klik Grant access.

9. Di kolom New principals, masukkan ID agen layanan Dataform default Anda.

   ID agen layanan Dataform default Anda memiliki format berikut:

   [e-mail]
   

   Ganti PROJECT_NUMBER dengan ID angka project Google Cloud Anda. Anda dapat menemukan Google Cloud project ID di dasbor konsolGoogle Cloud . Untuk mengetahui informasi selengkapnya, lihat Mengidentifikasi project.

10. Di daftar Pilih peran, tambahkan peran berikut:

    • Pengguna Akun Layanan
    • Service Account Token Creator

11. Klik Simpan.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Memberi Dataform akses yang diperlukan.

Membuat repositori Dataform

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Klik Buat repositori.

3. Di halaman Create repository, lakukan hal berikut:

   1. Di kolom Repository ID, masukkan quickstart-dev.

   2. Di daftar Region, pilih europe-west4.

   3. Dalam daftar Service account, pilih akun layanan kustom untuk repositori.

      Catatan: Jika akun layanan Anda tidak muncul dalam daftar, Anda mungkin tidak memiliki izin iam.serviceAccounts.list di tingkat project. Untuk memilih akun layanan, klik Masukkan secara manual, lalu masukkan ID akun layanan.

   4. Di bagian pemeriksaan izin actAs, terapkan pemeriksaan izin pada tindakan pengguna di repositori.

   5. Klik Create.

4. Klik Go to repositories.

Mengonfigurasi penggantian kompilasi ruang kerja

Untuk membuat lingkungan pengembangan terisolasi dengan penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-dev.

3. Klik Setelan, lalu klik Edit.

4. Di panel Penggantian kompilasi ruang kerja, di kolom Sufiks skema, masukkan ${workspaceName}.

   Saat Anda memicu eksekusi di ruang kerja, Dataform akan menambahkan nama ruang kerja sebagai akhiran ke skema default yang ditetapkan di setelan alur kerja. Panduan memulai ini menggunakan setelan Dataform default dengan skema default dataform.

5. Klik Simpan.

Dataform menerapkan penggantian kompilasi ruang kerja ke semua ruang kerja di repositori Anda.

Dengan konfigurasi ini, saat Anda menjalankan alur kerja secara manual di ruang kerja, Dataform akan menjalankannya dengan penggantian kompilasi ruang kerja. Hasilnya, Dataform menjalankan alur kerja dalam skema dataform_workspaceName di BigQuery, yang mengubah ruang kerja menjadi lingkungan pengembangan yang terisolasi.

Misalnya, saat Anda memicu eksekusi secara manual di ruang kerja sasha, Dataform menjalankan alur kerja Anda dalam skema dataform_sasha di BigQuery.

Untuk menjalankan alur kerja tanpa penggantian kompilasi ruang kerja, tetapi tetap mempertahankan penggantian kompilasi ruang kerja untuk lingkungan pengembangan, Anda dapat membuat konfigurasi rilis untuk mengonfigurasi lingkungan eksekusi lainnya, misalnya, staging dan production.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data yang dibuat di BigQuery

Untuk menghindari timbulnya biaya untuk aset BigQuery, hapus set data dengan nama yang diawali dengan dataform, misalnya, dataform-sasha.

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan pilih set data.

3. Klik menu Tindakan , lalu pilih Hapus.

4. Pada dialog Delete dataset, masukkan delete ke dalam kolom, lalu klik Delete.

Menghapus repositori Dataform

Tidak ada biaya yang terkait dengan pembuatan repositori Dataform. Namun, jika Anda ingin menghapus repositori dan semua isinya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Dataform.

   Buka Dataform

2. Pada quickstart-dev, klik menu Lainnya, lalu pilih Hapus.

   1. Di jendela Hapus repositori, masukkan nama repositori untuk mengonfirmasi penghapusan.

3. Untuk mengonfirmasi, klik Hapus.

Langkah berikutnya

• Untuk mempelajari lebih lanjut akun layanan, lihat Tentang akun layanan kustom dan agen layanan Dataform.
• Untuk mempelajari lebih lanjut siklus proses kode di Dataform, lihat Pengantar siklus proses kode di Dataform.
• Untuk mempelajari lebih lanjut praktik terbaik untuk siklus proses alur kerja di Dataform, lihat Praktik terbaik untuk siklus proses alur kerja.
• Untuk mempelajari lebih lanjut penggantian kompilasi ruang kerja di Dataform, lihat Membuat penggantian kompilasi ruang kerja.
• Untuk mempelajari cara menjadwalkan proses produksi di Dataform, lihat Menjadwalkan proses produksi.