Mendesain dan membuat pipeline yang dapat digunakan kembali

Tutorial ini menunjukkan cara membuat pipeline yang dapat digunakan kembali yang membaca data dari Cloud Storage, melakukan pemeriksaan kualitas data, dan menulis ke Cloud Storage.

Pipeline yang dapat digunakan kembali memiliki struktur pipeline reguler, tetapi Anda dapat mengubah konfigurasi setiap node pipeline berdasarkan konfigurasi yang disediakan oleh server HTTP. Misalnya, pipeline statis dapat membaca data dari Cloud Storage, menerapkan transformasi, dan menulis ke tabel output BigQuery. Jika Anda ingin transformasi dan tabel output BigQuery berubah berdasarkan file Cloud Storage yang dibaca pipeline, buat pipeline yang dapat digunakan kembali.

Tujuan

• Menggunakan plugin Cloud Storage Argument Setter untuk memungkinkan pipeline membaca input yang berbeda di setiap proses.
• Menggunakan plugin Cloud Storage Argument Setter untuk memungkinkan pipeline melakukan pemeriksaan kualitas yang berbeda di setiap proses.
• Menulis data output setiap proses ke Cloud Storage.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen yang dapat ditagih berikut Google Cloud:

• Cloud Data Fusion
• Cloud Storage

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis. Google Cloud

Sebelum memulai

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktifkan Cloud Data Fusion, Cloud Storage, BigQuery, dan Dataproc API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

   Aktifkan API

2. Buat instance Cloud Data Fusion.

Mengakses antarmuka web Cloud Data Fusion

Saat menggunakan Cloud Data Fusion, Anda menggunakan Google Cloud Konsol Cloud dan antarmuka web Cloud Data Fusion yang terpisah. Di Google Cloud Konsol Cloud, Anda dapat membuat project Google Cloud Konsol Cloud, serta membuat dan menghapus instance Cloud Data Fusion. Di antarmuka web Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Pipeline Studio atau Wrangler, untuk menggunakan fitur Cloud Data Fusion.

1. DiKonsol Cloud, buka halaman Instance. Google Cloud

   Buka halaman Instance

2. Di kolom Tindakan untuk instance, klik link Lihat Instance. Antarmuka web Cloud Data Fusion akan terbuka di tab browser baru.

Men-deploy plugin Cloud Storage Argument Setter

1. Di antarmuka web Cloud Data Fusion, buka halaman Studio.

2. Di menu Tindakan, klik GCS Argument Setter.

Membaca dari Cloud Storage

1. Di antarmuka web Cloud Data Fusion, buka halaman Studio.
2. Klik Sumber , lalu pilih Cloud Storage. Node untuk sumber Cloud Storage akan muncul di pipeline.

3. Di node Cloud Storage, klik Properti.

   

4. Di kolom Nama referensi, masukkan nama.

5. Di kolom Jalur, masukkan ${input.path}. Makro ini mengontrol jalur input Cloud Storage di berbagai proses pipeline.

6. Di panel Skema Output kanan, hapus kolom offset dari skema output dengan mengklik ikon sampah di baris kolom offset.

   

7. Klik Validasi dan atasi error apa pun.

8. Klik untuk keluar dari dialog Properti.

Mengubah data Anda

1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
2. Di menu drop-down Transformasi , pilih Wrangler.
3. Di kanvas Pipeline Studio, tarik panah dari node Cloud Storage ke node Wrangler.

   

4. Buka node Wrangler di pipeline Anda, lalu klik Properti.
5. Di Nama kolom input, masukkan body.
6. Di kolom Resep, masukkan ${directives}. Makro ini mengontrol logika transformasi di berbagai proses pipeline.

   

7. Klik Validasi dan atasi error apa pun.
8. Klik untuk keluar dari dialog Properti.

Menulis ke Cloud Storage

1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
2. Di menu drop-down Sink , pilih Cloud Storage.
3. Di kanvas Pipeline Studio, tarik panah dari node Wrangler ke node Cloud Storage yang baru Anda tambahkan.

   

4. Buka node sink Cloud Storage di pipeline Anda, lalu klik Properti.
5. Di kolom Nama referensi, masukkan nama.
6. Di kolom Jalur, masukkan jalur bucket Cloud Storage di project Anda, tempat pipeline dapat menulis file output. Jika Anda tidak memiliki bucket Cloud Storage, buat bucket.

   

7. Klik Validasi dan atasi error apa pun.
8. Klik untuk keluar dari dialog Properti.

Menetapkan argumen makro

1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
2. Di menu drop-down Kondisi dan Tindakan, klik GCS Argument Setter.
3. Di kanvas Pipeline Studio, tarik panah dari node Cloud Storage Argument Setter ke node sumber Cloud Storage.

   

4. Buka node Cloud Storage Argument Setter di pipeline Anda, lalu klik Properti.

5. Di kolom URL, masukkan URL berikut:

   gs://reusable-pipeline-tutorial/args.json
   

   URL tersebut sesuai dengan objek yang dapat diakses publik di Cloud Storage yang berisi konten berikut:

   {
     "arguments" : [
       {
         "name": "input.path",
         "value": "gs://reusable-pipeline-tutorial/user-emails.txt"
       },
       {
         "name": "directives",
         "value": "send-to-error !dq:isEmail(body)"
       }
     ]
   }
   

   Argumen pertama dari dua argumen adalah nilai untuk input.path. Jalur gs://reusable-pipeline-tutorial/user-emails.txt adalah objek yang dapat diakses publik di Cloud Storage yang berisi data pengujian berikut:

   [e-mail]
   [e-mail]
   craig@[e-mail]
   

   Argumen kedua adalah nilai untuk directives. Nilai send-to-error !dq:isEmail(body) mengonfigurasi Wrangler untuk memfilter baris yang bukan alamat email yang valid. Misalnya, craig@[e-mail] akan difilter.

6. Klik Validasi untuk memastikan Anda tidak mengalami error.

7. Klik untuk keluar dari dialog Properti.

Men-deploy dan menjalankan pipeline

1. Di menu atas halaman Pipeline Studio, klik Beri nama pipeline Anda. Beri nama pipeline Anda, lalu klik Simpan.

2. Klik Deploy.

3. Untuk membuka Argumen Runtime dan melihat argumen makro (runtime) input.path dan directives, klik drop-down di samping Jalankan.

   Biarkan kolom nilai kosong untuk memberi tahu Cloud Data Fusion bahwa node Cloud Storage Argument Setter di pipeline akan menetapkan nilai argumen ini selama runtime.

   

4. Klik Run.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Setelah menyelesaikan tutorial, bersihkan resource yang Anda buat di Google Cloud agar tidak menggunakan kuota dan Anda tidak akan ditagih untuk resource tersebut di masa mendatang. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk untuk menghapus instance Cloud Data Fusion.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Google Cloud Konsol Cloud, buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

• Baca panduan cara
• Ikuti tutorial lain