Menjalankan pipeline menggunakan builder tugas

Menjalankan pipeline menggunakan builder tugas

Panduan memulai ini menunjukkan cara menjalankan tugas Dataflow menggunakan pembuat tugas Dataflow. Job builder adalah UI visual untuk membangun dan menjalankan pipeline Dataflow di konsol Google Cloud , tanpa perlu menulis kode apa pun.

Dalam panduan memulai ini, Anda akan memuat contoh pipeline ke dalam pembuat tugas, menjalankan tugas, dan memverifikasi bahwa tugas tersebut menghasilkan output.

Sebelum memulai

Selesaikan langkah-langkah berikut sebelum menjalankan pipeline Anda.

Menyiapkan project

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Membuat bucket Cloud Storage:
1. Di konsol Google Cloud , buka halaman Buckets Cloud Storage.

   Buka Buckets

2. Klik Create.
3. Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke langkah berikutnya, klik Lanjutkan.
   1. Untuk Beri nama bucket Anda, masukkan nama bucket yang unik. Jangan sertakan informasi sensitif pada nama bucket, karena namespace bucket bersifat global dan dapat dilihat publik.
   2. Di bagian Pilih tempat untuk menyimpan data Anda, lakukan tindakan berikut:
      1. Pilih Jenis lokasi.
      2. Pilih lokasi tempat data bucket Anda disimpan secara permanen dari menu drop-down Location type.
         • Jika memilih jenis lokasi dual-region, Anda juga dapat memilih untuk mengaktifkan replikasi turbo dengan menggunakan kotak centang yang relevan.
      3. Untuk menyiapkan replikasi lintas bucket, pilih Add cross-bucket replication via Storage Transfer Service dan ikuti langkah-langkah berikut:

         Menyiapkan replikasi lintas bucket

         1. Di menu Bucket, pilih bucket.

         2. Di bagian Setelan replikasi, klik Konfigurasi untuk mengonfigurasi setelan bagi tugas replikasi.

            Panel Konfigurasi replikasi lintas bucket akan muncul.

            • Untuk memfilter objek yang akan direplikasi menurut awalan nama objek, masukkan awalan yang ingin Anda sertakan atau kecualikan objeknya, lalu klik Tambahkan awalan.
            • Untuk menetapkan kelas penyimpanan bagi objek yang direplikasi, pilih kelas penyimpanan dari menu Kelas penyimpanan. Jika Anda melewati langkah ini, objek yang direplikasi akan menggunakan kelas penyimpanan bucket tujuan secara default.
            • Klik Done.
   3. Di bagian Choose how to store your data, lakukan tindakan berikut:
      1. Di bagian Setel kelas default, pilih opsi berikut: Standard.
      2. Untuk mengaktifkan namespace hierarkis, di bagian Optimalkan penyimpanan untuk beban kerja intensif data, pilih Aktifkan namespace hierarkis di bucket ini.
         Catatan: Anda tidak dapat mengaktifkan namespace hierarkis di bucket yang ada.
   4. Di bagian Pilih cara mengontrol akses ke objek, pilih apakah bucket Anda menerapkan pencegahan akses publik atau tidak, lalu pilih metode kontrol akses untuk objek bucket Anda.
      Catatan: Anda tidak dapat mengubah setelan Prevent public access jika setelan ini diterapkan di kebijakan organisasi.
   5. Di bagian Pilih cara melindungi data objek, lakukan tindakan berikut:
      • Pilih salah satu opsi di bagian Perlindungan data yang ingin Anda tetapkan untuk bucket Anda.
        • Untuk mengaktifkan penghapusan sementara, klik kotak centang Kebijakan penghapusan sementara (Untuk pemulihan data), dan tentukan jumlah hari Anda ingin mempertahankan objek setelah penghapusan.
        • Untuk menyetel Pembuatan Versi Objek, klik kotak centang Pembuatan versi objek (Untuk kontrol versi), dan tentukan jumlah maksimum versi per objek dan jumlah hari setelah versi lama berakhir.
        • Untuk mengaktifkan kebijakan retensi pada objek dan bucket, klik kotak centang Retensi (Untuk kepatuhan), lalu lakukan hal berikut:
          • Untuk mengaktifkan Penguncian Retensi Objek, centang kotak Aktifkan retensi objek.
          • Untuk mengaktifkan Bucket Lock, centang kotak Setel kebijakan retensi bucket, lalu pilih satuan waktu dan durasi untuk periode retensi data Anda.
      • Untuk memilih cara mengenkripsi data objek Anda, luaskan bagian Enkripsi data (), lalu pilih metode Enkripsi data.
4. Klik Create.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menjalankan panduan memulai ini, minta administrator Anda untuk memberi Anda peran IAM berikut di project Anda:

• Dataflow Developer (roles/dataflow.developer)
• Service Account User (roles/iam.serviceAccountUser)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk memastikan bahwa akun layanan memiliki izin yang diperlukan untuk menjalankan panduan memulai ini, minta administrator untuk memberikan peran IAM berikut kepada akun layanan di project Anda:

Penting: Anda harus memberikan peran ini ke akun layanan, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

• Dataflow Worker (roles/dataflow.worker)
• Storage Object Admin (roles/storage.objectAdmin)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan melalui peran khusus atau peran bawaan lainnya.

Jaringan VPC

Secara default, setiap project baru dimulai dengan jaringan default. Jika jaringan default untuk project Anda dinonaktifkan atau dihapus, Anda harus memiliki jaringan di project yang akun penggunanya memiliki peran Compute Network User (roles/compute.networkUser).

Memuat contoh pipeline

Pada langkah ini, Anda akan memuat contoh pipeline yang menghitung jumlah kata dalam King Lear karya Shakespeare.

1. Buka halaman Jobs di konsol Google Cloud .

   Buka Tugas

2. Klik Buat tugas dari template.

3. Klik Job builder.

4. Klik Load Blueprints.

5. Klik Jumlah Kata. Pembangun tugas diisi dengan representasi grafis pipeline.

Untuk setiap langkah pipeline, builder tugas menampilkan kartu yang menentukan parameter konfigurasi untuk langkah tersebut. Misalnya, langkah pertama membaca file teks dari Cloud Storage. Lokasi data sumber sudah terisi otomatis di kotak Lokasi teks.

Menetapkan lokasi output

Pada langkah ini, Anda menentukan bucket Cloud Storage tempat pipeline menulis output.

1. Temukan kartu berjudul Sink baru. Anda mungkin perlu men-scroll.

2. Di kotak Lokasi teks, klik Jelajahi.

3. Pilih nama bucket Cloud Storage yang Anda buat di bagian Sebelum memulai.

4. Klik Lihat resource turunan.

5. Di kotak Nama file, masukkan words.

6. Klik Pilih.

Menjalankan tugas

Klik Jalankan tugas. Pembangun tugas membuat tugas Dataflow, lalu membuka grafik tugas. Saat tugas dimulai, grafik tugas akan menampilkan representasi grafis pipeline, yang mirip dengan yang ditampilkan di builder tugas. Saat setiap langkah pipeline berjalan, statusnya diperbarui dalam grafik tugas.

Panel Info tugas menampilkan status keseluruhan tugas. Jika tugas selesai dengan berhasil, kolom Status tugas akan diperbarui menjadi Succeeded.

Periksa output tugas

Setelah tugas selesai, lakukan langkah-langkah berikut untuk melihat output dari pipeline:

1. Di konsol Google Cloud , buka halaman Buckets Cloud Storage.

   Buka Bucket

2. Di daftar bucket, klik nama bucket yang Anda buat di Sebelum memulai.

3. Klik file bernama words-00000-of-00001.

4. Di halaman Object details, klik URL yang diautentikasi untuk melihat output pipeline.

Output-nya akan terlihat seperti berikut:

brother: 20
deeper: 1
wrinkles: 1
'alack: 1
territory: 1
dismiss'd: 1
[....]

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus Google Cloud project yang Anda buat untuk panduan memulai.

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Jika Anda ingin mempertahankan Google Cloud project yang Anda gunakan dalam panduan memulai ini, hapus bucket Cloud Storage:

1. Di konsol Google Cloud , buka halaman Buckets Cloud Storage.

   Buka Buckets

2. Klik kotak centang untuk bucket yang ingin Anda dihapus.
3. Untuk menghapus bucket, klik Hapus, lalu ikuti petunjuk.

Langkah berikutnya

• Gunakan builder tugas untuk membuat pipeline.
• Baca tentang model pemrograman Apache Beam.
• Menggunakan Apache Beam untuk membuat pipeline