Membuat pipeline streaming menggunakan template Dataflow

Membuat pipeline streaming menggunakan template Dataflow

Panduan memulai ini menunjukkan cara membuat pipeline streaming menggunakan template Dataflow yang disediakan oleh Google. Secara khusus, panduan memulai ini menggunakan template Pub/Sub to BigQuery sebagai contoh.

Template Pub/Sub to BigQuery adalah pipeline streaming yang dapat membaca pesan berformat JSON dari topik Pub/Sub dan menuliskannya ke tabel BigQuery.

---

Untuk mengikuti panduan langkah demi langkah untuk tugas ini langsung di Google Cloud konsol, klik Pandu saya:

Pandu saya

---

Sebelum memulai

Selesaikan langkah-langkah berikut sebelum menjalankan pipeline Anda.

Menyiapkan project

Sign in to your Google Cloud Platform account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Pub/Sub, and Resource Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Pub/Sub, and Resource Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Peran yang diperlukan

Untuk menyelesaikan panduan memulai ini, Anda memerlukan peran Identity and Access Management (IAM) berikut.

Untuk mendapatkan izin yang Anda perlukan untuk menyelesaikan panduan memulai cepat ini, minta administrator Anda untuk memberi Anda peran IAM berikut di project Anda:

• Pengguna BigQuery (roles/bigquery.user)
• Dataflow Admin (roles/dataflow.admin)
• Service Account User (roles/iam.serviceAccountUser)
• Storage Admin (roles/storage.admin)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk menjalankan tugas Dataflow, minta administrator untuk memberi akun layanan default Compute Engine peran IAM berikut di project Anda:

Penting: Anda harus memberikan peran ini ke akun layanan default Compute Engine, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.
• BigQuery Data Editor (roles/bigquery.dataEditor)
• Dataflow Worker (roles/dataflow.worker)
• Pub/Sub Editor (roles/pubsub.editor)
• Storage Object Admin (roles/storage.objectAdmin)
• Pelihat (roles/viewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan default Compute Engine melalui peran khusus atau peran bawaan lainnya.

Membuat bucket Cloud Storage

Sebelum dapat menjalankan pipeline, Anda harus membuat bucket Cloud Storage.

1. Membuat bucket Cloud Storage:

   1. In the Google Cloud console, go to the Cloud Storage Buckets page.

      Go to Buckets

   2. Click Create.
   3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
      1. For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
      2. In the Choose where to store your data section, do the following:
         1. Select a Location type.
         2. Choose a location where your bucket's data is permanently stored from the Location type drop-down menu.
            • If you select the dual-region location type, you can also choose to enable turbo replication by using the relevant checkbox.
         3. To set up cross-bucket replication, select Add cross-bucket replication via Storage Transfer Service and follow these steps:

            Set up cross-bucket replication

            1. In the Bucket menu, select a bucket.

            2. In the Replication settings section, click Configure to configure settings for the replication job.

               The Configure cross-bucket replication pane appears.

               • To filter objects to replicate by object name prefix, enter a prefix that you want to include or exclude objects from, then click Add a prefix.
               • To set a storage class for the replicated objects, select a storage class from the Storage class menu. If you skip this step, the replicated objects will use the destination bucket's storage class by default.
               • Click Done.
      3. In the Choose how to store your data section, do the following:
         1. In the Set a default class section, select the following: Standard.
         2. To enable hierarchical namespace, in the Optimize storage for data-intensive workloads section, select Enable hierarchical namespace on this bucket.
            Note: You cannot enable hierarchical namespace in existing buckets.
      4. In the Choose how to control access to objects section, select whether or not your bucket enforces public access prevention, and select an access control method for your bucket's objects.
         Note: You cannot change the Prevent public access setting if this setting is enforced at an organization policy.
      5. In the Choose how to protect object data section, do the following:
         • Select any of the options under Data protection that you want to set for your bucket.
           • To enable soft delete, click the Soft delete policy (For data recovery) checkbox, and specify the number of days you want to retain objects after deletion.
           • To set Object Versioning, click the Object versioning (For version control) checkbox, and specify the maximum number of versions per object and the number of days after which the noncurrent versions expire.
           • To enable the retention policy on objects and buckets, click the Retention (For compliance) checkbox, and then do the following:
             • To enable Object Retention Lock, click the Enable object retention checkbox.
             • To enable Bucket Lock, click the Set bucket retention policy checkbox, and choose a unit of time and a length of time for your retention period.
         • To choose how your object data will be encrypted, expand the Data encryption section (), and select a Data encryption method.
   4. Click Create.

2. Salin perintah berikut karena Anda akan memerlukannya di bagian selanjutnya:

   • Nama bucket Cloud Storage Anda.
   • ID project Google Cloud Anda.

   Untuk menemukan ID ini, lihat Mengidentifikasi project.

Jaringan VPC

Secara default, setiap project baru dimulai dengan jaringan default. Jika jaringan default untuk project Anda dinonaktifkan atau dihapus, Anda harus memiliki jaringan di project Anda yang akun penggunanya memiliki peran Compute Network User (roles/compute.networkUser).

Membuat set data dan tabel BigQuery

Buat set data dan tabel BigQuery dengan skema yang sesuai untuk topik Pub/Sub menggunakan konsol Google Cloud .

Dalam contoh ini, nama set datanya adalah taxirides dan nama tabelnya adalah realtime. Untuk membuat set data dan tabel ini, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.
   Buka BigQuery
2. Di panel Explorer, di samping project tempat Anda ingin membuat set data, klik View actions, lalu klik Create dataset.
   Catatan: Pengalaman default adalah Pratinjau Google Cloud konsol. Jika Anda mengklik Sembunyikan fitur pratinjau untuk membuka konsol Google Cloud , lakukan langkah berikut: Di panel navigasi, di bagian Resources, pilih project Anda.
3. Di panel Create dataset, ikuti langkah-langkah berikut:
1. Untuk Dataset ID, masukkan taxirides. ID set data bersifat unik untuk setiap project Google Cloud .
2. Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States). Set data publik disimpan di lokasi multi-region US. Untuk mempermudah, simpan set data Anda di lokasi yang sama.
3. Tetap gunakan setelan default lainnya, lalu klik Create dataset
4. Di panel Explorer, luaskan project Anda.
5. Di samping set data taxirides, klik Lihat tindakan, lalu klik Buat tabel.
   Catatan: Pengalaman default adalah Pratinjau Google Cloud konsol. Jika Anda mengklik Sembunyikan fitur pratinjau untuk membuka konsol Google Cloud , lakukan langkah berikut: Di panel navigasi, di bagian Resources, pilih set data taxirides yang Anda buat.
6. Di panel Create table, ikuti langkah-langkah berikut:
1. Di bagian Source, untuk Create table from, pilih Empty table.
2. Di bagian Destination, untuk Table, masukkan realtime.
3. Di bagian Schema, klik tombol Edit as text, lalu tempelkan definisi skema berikut ke dalam kotak:
   

   ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp,
   meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

4. Di bagian Partition and cluster settings, untuk Partitioning, pilih kolom timestamp.
7. Tetap gunakan setelan default lainnya, lalu klik Create table.

Menjalankan pipeline

Jalankan pipeline streaming menggunakan template Pub/Sub to BigQuery yang disediakan Google. Pipeline mendapatkan data masuk dari topik input.

1. Buka halaman Tugas Dataflow.
   Buka Tugas
2. Klik Create job from template.
3. Masukkan taxi-data sebagai Nama tugas untuk tugas Dataflow Anda.
4. Untuk Dataflow template, pilih template Pub/Sub to BigQuery.
5. Untuk BigQuery output table, masukkan berikut ini:

   PROJECT_ID:taxirides.realtime

   Ganti PROJECT_ID dengan project ID project tempat Anda membuat set data BigQuery.

6. Di bagian Optional source parameters, di kolom Input Pub/Sub topic, klik Enter topic manually.
7. Dalam dialog, untuk Topic name, masukkan berikut ini, lalu klik Save:

   projects/pubsub-public-data/topics/taxirides-realtime

   Topik Pub/Sub yang tersedia secara publik ini didasarkan pada set data terbuka NYC Taxi & Limousine Commission. Berikut adalah contoh pesan dari topik ini, dalam format JSON:

   {
     "ride_id": "19c41fc4-e362-4be5-9d06-435a7dc9ba8e",
     "point_idx": 217,
     "latitude": 40.75399,
     "longitude": -73.96302,
     "timestamp": "2021-03-08T02:29:09.66644-05:00",
     "meter_reading": 6.293821,
     "meter_increment": 0.029003782,
     "ride_status": "enroute",
     "passenger_count": 1
   }

8. Untuk Lokasi sementara, masukkan yang berikut:

   gs://BUCKET_NAME/temp/

   Ganti BUCKET_NAME dengan nama bucket Cloud Storage Anda. Folder temp menyimpan file sementara, seperti tugas pipeline yang di-stage.

9. Jika project Anda tidak memiliki jaringan default, masukkan Jaringan dan Subnetwork. Untuk mengetahui informasi selengkapnya, lihat Menentukan jaringan dan subnetwork.
   Catatan: Kecuali ditentukan melalui opsi network, runner Dataflow menjalankan tugas di jaringan Virtual Private Cloud default. Jika project Anda tidak memiliki jaringan default dan Anda tidak menentukan jaringan, akan terjadi error. Anda mungkin tidak memiliki jaringan default jika jaringan default dihapus atau jika batasan kebijakan organisasi mencegah pembuatan jaringan default.
10. Klik Jalankan tugas.

Melihat hasil penelusuran Anda

Untuk melihat data yang ditulis ke tabel realtime, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Klik Tulis kueri baru. Tab Editor baru akan terbuka.

   SELECT * FROM `PROJECT_ID.taxirides.realtime`
   WHERE `timestamp` > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
   LIMIT 1000

   Ganti PROJECT_ID dengan project ID project tempat Anda membuat set data BigQuery. Mungkin perlu waktu hingga lima menit agar data mulai muncul di tabel Anda.

3. Klik Run.

   Kueri menampilkan baris yang telah ditambahkan ke tabel Anda dalam 24 jam terakhir. Anda juga dapat menjalankan kueri menggunakan SQL standar.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus Google Cloud project yang Anda buat untuk panduan memulai.

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, project dapat digunakan kembali agar Anda tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Menghapus resource satu per satu

Jika Anda ingin mempertahankan Google Cloud project yang Anda gunakan dalam panduan memulai ini, hapus masing-masing resource:

1. Buka halaman Tugas Dataflow.
   Buka Tugas
2. Pilih tugas streaming Anda dari daftar tugas.
3. Di navigasi, klik Berhenti.
4. Dalam dialog Stop job, batalkan atau hentikan pipeline Anda, lalu klik Stop job.
5. Buka halaman BigQuery.
   Buka BigQuery
6. Di panel Explorer, luaskan project Anda.
7. Di samping set data yang ingin Anda hapus, klik Lihat tindakan, lalu klik Buka.
8. Di panel detail, klik Hapus set data, lalu ikuti petunjuknya.
9. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets

10. Click the checkbox for the bucket that you want to delete.
11. To delete the bucket, click Delete, and then follow the instructions.

Langkah berikutnya

• Ringkasan template Dataflow
• Membuat template klasik
• Menjalankan template klasik
• Template yang disediakan Google