Membuat pipeline kampanye target

Membuat pipeline kampanye target

Pelajari cara menggunakan Cloud Data Fusion untuk membersihkan, mentransformasi, dan memproses data pelanggan guna memilih kandidat untuk kampanye target.

---

Untuk mengikuti panduan langkah demi langkah untuk tugas ini langsung di Google Cloud konsol, klik Pandu saya:

Pandu saya

---

Skenario

Anda ingin membuat materi pemasaran kustom untuk promosi kampanye yang sedang berlangsung, dan Anda ingin mendistribusikan materi tersebut langsung ke kotak surat rumah pelanggan.

Kampanye Anda memiliki dua batasan:

• Lokasi: Anda hanya mengirimkan produk kepada pelanggan di California, Washington, dan Oregon.
• Biaya: Untuk menghemat bahan bakar, Anda mengirimkan ke rumah pelanggan yang mudah diakses. Anda hanya mengirimkan kepada pelanggan yang tinggal di jalan.

Tutorial ini menunjukkan cara membuat daftar alamat pelanggan untuk kampanye. Dalam tutorial ini, Anda akan melakukan beberapa hal berikut:

1. Bersihkan data pelanggan: filter pelanggan yang tinggal di jalan di California, Washington, atau Oregon.

2. Buat pipeline yang melakukan hal berikut:

   • Menggabungkan data pelanggan yang difilter dengan set data publik yang berisi singkatan negara bagian.
   • Menyimpan data yang sudah dibersihkan dan digabungkan dalam tabel BigQuery yang dapat Anda kueri (menggunakan antarmuka web BigQuery) atau analisis (menggunakan Looker Studio).

Tujuan

• Menghubungkan Cloud Data Fusion ke dua sumber data
• Menerapkan transformasi dasar
• Gabungkan kedua sumber data tersebut
• Menulis data output ke sink

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

2. Buat instance Cloud Data Fusion.
   Tutorial ini mengasumsikan bahwa Anda menggunakan akun layanan Compute Engine default.
Catatan: Pastikan Anda memeriksa perkiraan biaya sebelum melanjutkan. Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Kelola izin

Buat dan tetapkan peran dan izin khusus yang diperlukan.

Membuat peran khusus dan menambahkan izin

1. Di konsol Google Cloud , buka halaman Roles:

   Buka halaman Roles

2. Klik Buat peran.

3. Di kolom Title, masukkan Custom Role-Tutorial.

4. Klik Tambahkan izin.

5. Di jendela Tambahkan izin, pilih izin berikut, lalu klik Tambahkan:

   • bigquery.datasets.create
   • bigquery.jobs.create
   • storage.buckets.create

6. Klik Create.

Menetapkan peran khusus ke akun layanan Compute Engine default

1. Buka halaman Instances Cloud Data Fusion:

   Membuat instance

2. Klik nama instance Anda.

3. Catat Akun Layanan Dataproc default. Halaman detail instance berisi informasi ini.

   Berikut adalah format nama akun layanan Dataproc:

   [e-mail].

   Pelajari lebih lanjut akun layanan Dataproc.

4. Buka halaman IAM:

   Buka halaman Roles

5. Di kolom Filter, masukkan nama akun layanan Dataproc default Anda.

6. Untuk akun layanan Compute Engine default Anda, klik Edit.

7. Klik Tambahkan peran lain.

8. Di kolom Select a role, pilih Custom Role-Tutorial.

9. Klik Simpan.

10. Pastikan akun layanan sudah diberi peran Cloud Data Fusion Runner.

Menyiapkan data pelanggan

Tutorial ini memerlukan dua set data input berikut, yang keduanya disediakan dengan instance Cloud Data Fusion Anda:

• Contoh data pelanggan: File CSV bernama customers.csv.
• Singkatan negara bagian: Tabel BigQuery bernama state_abbreviations.

Memuat data pelanggan

Catatan: Data pelanggan berada di bucket Cloud Storage. Bucket Cloud Storage tersedia secara publik melalui koneksi Sample Buckets, yang disediakan secara default dengan instance Cloud Data Fusion Anda.

1. Buka halaman Instances Cloud Data Fusion:

   Buka Instances

2. Untuk instance Cloud Data Fusion yang Anda gunakan, klik Lihat instance. Antarmuka web Cloud Data Fusion akan terbuka di tab baru.

3. Klik Wrangler. Halaman Wrangler akan terbuka.

4. Di panel Connections, GCS > Sample Buckets.

5. Klik campaign-tutorial.

6. Klik customers.csv.

7. Di jendela Parsing options, tentukan hal berikut:

   • Format: csv
   • Aktifkan nilai kutipan: False
   • Gunakan baris pertama sebagai header: False
   • File-encoding: UTF-8

8. Klik Konfirmasi. Data pelanggan dimuat di tab baru di Wrangler.

   

Membersihkan data pelanggan

Tugas ini berisi dua sub-tugas:

• Menetapkan skema
• Memfilter data pelanggan untuk hanya menampilkan target audiens yang Anda butuhkan

Menetapkan skema

Tetapkan skema data dengan menetapkan nama yang sesuai ke kolom tabel. Untuk memberi nama kolom yang lebih informatif, seperti body_1 dan body_2, ikuti langkah-langkah berikut:

1. Di panel sebelah kanan, klik tab Kolom.
2. Klik drop-down Nama kolom, lalu pilih Tetapkan semua.

3. Pada dialog Bulk set column names, masukkan nama kolom berikut yang dipisahkan koma:

   Name,StreetAddress,City,State,Country
   

4. Klik Terapkan.

Memfilter data

Filter data untuk menampilkan hanya pelanggan yang tinggal di California, Oregon, atau Washington.

Hapus semua baris yang berisi nilai selain negara bagian tersebut:

1. Klik drop-down kolom Negara Bagian, lalu pilih Filter.

2. Di jendela filter, lakukan tindakan berikut:

   1. Klik Pertahankan baris.
   2. Klik drop-down If, lalu pilih value matches regex.

   3. Masukkan regular expression berikut:

      ^(California|Oregon|Washington)$
      

   4. Klik Terapkan.

   Nilai dalam kolom Negara Bagian adalah California, Oregon, atau Washington.

Filter data untuk hanya menampilkan pelanggan yang tinggal di jalan. Pertahankan hanya alamat yang berisi string Avenue:

1. Klik drop-down kolom StreetAddress, lalu pilih Filter.
2. Di jendela filter, lakukan tindakan berikut:
   1. Klik Pertahankan baris.
   2. Klik drop-down If, pilih value contains, lalu masukkan Avenue.
   3. Pilih Abaikan huruf besar/kecil.
   4. Klik Terapkan.

Sebelum melakukan tugas pemrosesan paralel pada seluruh set data, Wrangler hanya menampilkan 1.000 nilai pertama dari set data Anda. Karena Anda memfilter beberapa data, hanya beberapa pelanggan yang tersisa di tampilan Wrangler.

Membuat pipeline batch

Anda telah membersihkan data dan menjalankan transformasi pada subset data. Sekarang, Anda dapat membuat pipeline batch untuk menjalankan transformasi pada seluruh set data.

Cloud Data Fusion menerjemahkan pipeline yang Anda buat di Studio menjadi program Apache Spark yang menjalankan transformasi secara paralel di cluster Dataproc sementara. Proses ini memungkinkan Anda mengeksekusi transformasi kompleks dalam jumlah data yang sangat besar secara skalabel dan andal, tanpa harus menangani infrastruktur.

1. Di halaman Wrangler, klik Create a pipeline.
2. Pilih Batch pipeline. Halaman Studio akan terbuka.

3. Di halaman Studio, node sumber GCSFile terhubung ke node Wrangler.

   

   Transformasi yang Anda terapkan di halaman Wrangler akan muncul di node Wrangler di halaman Studio.

4. Untuk melihat transformasi yang Anda terapkan, arahkan kursor ke node Wrangler, lalu klik Properties.

   Transformasi yang Anda terapkan akan muncul di Petunjuk.

   

5. Klik Validate.

6. Klik Tutup.

Anda dapat menerapkan lebih banyak transformasi dengan mengklik Wrangle, yang akan membawa Anda kembali ke halaman Wrangler. Transformasi yang Anda tambahkan akan muncul di halaman Studio.

Misalnya, Anda menyadari bahwa kolom Negara tidak diperlukan karena nilainya selalu USA. Anda dapat menghapus kolom dengan mengikuti langkah-langkah berikut:

1. Klik Atur.
2. Klik panah bawah di samping Negara, lalu pilih Hapus Kolom.
3. Klik Terapkan. Halaman Wrangler ditutup dan jendela Properti Wrangler terbuka di halaman Studio. Di Directives, drop Country akan muncul.
4. Klik Tutup.

Menyingkat nama negara bagian

Sistem navigasi di kendaraan pengiriman Anda hanya mengenali alamat yang berisi nama negara bagian yang disingkat (CA, bukan California), dan data pelanggan Anda berisi nama lengkap negara bagian.

Tabel state_abbreviations BigQuery publik berisi dua kolom: satu dengan nama lengkap negara bagian dan satu dengan nama singkat negara bagian. Anda dapat menggunakan tabel ini untuk memperbarui nama negara bagian dalam data pelanggan.

Melihat data nama negara bagian di BigQuery

1. Di tab terpisah, buka halaman BigQuery Studio:

   Buka BigQuery

2. Klik Create SQL query dan masukkan kueri berikut di editor kueri:

   SELECT * FROM `dis-user-guide.campaign_tutorial.state_abbreviations`
   

3. Klik Run.

   BigQuery menampilkan daftar nama negara bagian dan singkatannya.

Mengakses tabel BigQuery

Tambahkan sumber di pipeline yang akan mengakses tabel state_abbreviations BigQuery.

1. Buka halaman Cloud Data Fusion Studio dan perluas menu Source.

2. Klik BigQuery.

   Node sumber BigQuery akan muncul di kanvas, bersama dengan dua node lainnya.

3. Arahkan kursor ke node sumber BigQuery, lalu klik Properties.

   1. Di kolom Dataset Project ID, masukkan dis-user-guide.
   2. Di kolom Reference Name, masukkan state_abbreviations.
   3. Di kolom Dataset, masukkan campaign_tutorial.
   4. Di kolom Tabel, masukkan state_abbreviations.

4. Isi skema tabel dari BigQuery dengan mengklik Dapatkan Skema.

5. Klik Tutup.

Gabungkan kedua sumber data tersebut

Untuk membuat output yang berisi data pelanggan dengan nama negara bagian yang disingkat, gabungkan dua sumber data, data pelanggan, dan singkatan negara bagian.

1. Buka halaman Cloud Data Fusion Studio dan luaskan menu Analytics.

2. Klik Penggabung.

   Node Joiner, yang merepresentasikan tindakan yang mirip dengan Gabungan SQL, akan muncul di kanvas.

3. Hubungkan node Wrangler dan node BigQuery ke node Joiner: Tarik panah koneksi di tepi kanan node sumber dan lepaskan ke node tujuan.

   

4. Arahkan pointer ke node Joiner, lalu klik Properties.

   1. Di bagian Fields, luaskan Wrangler dan BigQuery.

      1. Hapus centang pada kotak state Wrangler.
      2. Hapus centang kotak nama BigQuery karena Anda hanya ingin nama negara bagian yang disingkat, bukan nama lengkap negara bagian.

      3. Biarkan kotak centang singkatan BigQuery tetap dicentang, dan ubah alias menjadi State.

         

   2. Di kolom Jenis Gabungan, biarkan nilai sebagai Luar. Untuk Input yang diperlukan, centang kotak Wrangler.

   3. Di bagian Join condition, untuk Wrangler, pilih State. Untuk BigQuery, pilih name.

   4. Buat skema gabungan yang dihasilkan. Klik Dapatkan Skema.

   5. Klik Validate.

   6. Klik Tutup.

Menyimpan output ke BigQuery

Simpan hasil pipeline Anda ke dalam tabel BigQuery. Tempat Anda menyimpan data disebut tujuan.

1. Buka halaman Cloud Data Fusion Studio dan luaskan Sink.
2. Klik BigQuery.

3. Hubungkan node Joiner ke node BigQuery.

   

4. Arahkan kursor ke node BigQuery, lalu klik Properties.

   1. Di kolom Dataset, masukkan dis_user_guide.
   2. Di kolom Table, pilih customer_data_abbreviated_states.
   3. Klik Tutup.

Men-deploy dan menjalankan pipeline

1. Di halaman Studio, klik Beri nama pipeline Anda, lalu masukkan CampaignPipeline.
2. Klik Simpan.
3. Di pojok kanan atas, klik Deploy.
4. Setelah deployment selesai, klik Run.

Menjalankan pipeline dapat memerlukan waktu beberapa menit. Saat menunggu, Anda dapat mengamati Status transisi pipeline dari Penyediaan > Memulai > Menjalankan > Menghapus penyediaan > Berhasil.

Melihat hasil

1. Di konsol Google Cloud , buka halaman BigQuery:

   Buka BigQuery

2. Klik Buat kueri SQL.

3. Buat kueri tabel customer_data_abbreviated_states:

   SELECT * FROM dis_user_guide.customer_data_abbreviated_states LIMIT 1000
   

   

   Catatan: Untuk analisis lebih lanjut, Anda dapat menghubungkan tabel ini ke Looker Studio.

Anda telah berhasil membuat pipeline data.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Hapus set data BigQuery

Untuk menghapus set data BigQuery yang Anda buat dalam tutorial ini, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Pilih set data dis_user_guide.
3. Klik Hapus set data.

Hapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion Anda.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Peringatan: Menghapus project akan mengakibatkan:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, project dapat digunakan kembali agar Anda tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Langkah berikutnya

• Pelajari lebih lanjut Cloud Data Fusion.