Membuat pipeline kampanye target

Membuat pipeline kampanye target

Pelajari cara menggunakan Cloud Data Fusion untuk membersihkan, mentransformasi, dan memproses data pelanggan guna memilih kandidat untuk kampanye target.

---

Untuk mengikuti panduan langkah demi langkah untuk tugas ini langsung di Google Cloud konsol, klik Pandu saya:

Pandu saya

---

Skenario

Anda ingin membuat materi pemasaran kustom untuk promosi kampanye yang sedang berlangsung, dan Anda ingin mendistribusikan materi tersebut langsung ke kotak surat rumah pelanggan.

Kampanye Anda memiliki dua batasan:

• Lokasi: Anda hanya mengirimkan produk kepada pelanggan di California, Washington, dan Oregon.
• Biaya: Untuk menghemat bahan bakar, Anda mengirimkan ke rumah pelanggan yang mudah diakses. Anda hanya mengirimkan kepada pelanggan yang tinggal di jalan besar.

Tutorial ini menunjukkan cara membuat daftar alamat pelanggan untuk kampanye. Dalam tutorial ini, Anda akan melakukan beberapa hal berikut:

1. Bersihkan data pelanggan: memfilter pelanggan yang tinggal di jalan di California, Washington, atau Oregon.

2. Buat pipeline yang melakukan hal berikut:

   • Menggabungkan data pelanggan yang difilter dengan set data publik yang berisi singkatan negara bagian.
   • Menyimpan data yang sudah dibersihkan dan digabungkan dalam tabel BigQuery yang dapat Anda kueri (menggunakan antarmuka web BigQuery) atau analisis (menggunakan Data Studio).

Tujuan

• Menghubungkan Cloud Data Fusion ke dua sumber data
• Menerapkan transformasi dasar
• Gabungkan kedua sumber data
• Menulis data output ke sink

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktifkan Cloud Data Fusion API, BigQuery API, Cloud Storage API, dan Dataproc API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

   Aktifkan API

2. Buat instance Cloud Data Fusion.
   Tutorial ini mengasumsikan bahwa Anda menggunakan akun layanan Compute Engine default.

Catatan: Pastikan Anda memeriksa perkiraan biaya sebelum melanjutkan. Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Kelola izin

Buat dan tetapkan peran dan izin khusus yang diperlukan.

Membuat peran khusus dan menambahkan izin

1. Di konsol Google Cloud , buka halaman Roles:

   Buka halaman Roles

2. Klik Buat peran.

3. Di kolom Title, masukkan Custom Role-Tutorial.

4. Klik Tambahkan izin.

5. Di jendela Tambahkan izin, pilih izin berikut, lalu klik Tambahkan:

   • bigquery.datasets.create
   • bigquery.jobs.create
   • storage.buckets.create

6. Klik Create.

Menetapkan peran khusus ke akun layanan Compute Engine default

1. Buka halaman Instances Cloud Data Fusion:

   Membuat instance

2. Klik nama instance Anda.

3. Catat Akun Layanan Dataproc default. Halaman detail instance berisi informasi ini.

   Berikut adalah format nama akun layanan Managed Service for Apache Spark:

   [e-mail].

   Pelajari lebih lanjut akun layanan Managed Service for Apache Spark.

4. Buka halaman IAM:

   Buka halaman Roles

5. Di kolom Filter, masukkan nama akun layanan Managed Service for Apache Spark default Anda.

6. Untuk akun layanan Compute Engine default Anda, klik Edit.

7. Klik Tambahkan peran lain.

8. Di kolom Select a role, pilih Custom Role-Tutorial.

9. Klik Simpan.

10. Pastikan akun layanan sudah diberi peran Cloud Data Fusion Runner.

Menyiapkan data pelanggan

Tutorial ini memerlukan dua set data input berikut, yang keduanya disediakan dengan instance Cloud Data Fusion Anda:

• Contoh data pelanggan: File CSV bernama customers.csv.
• Singkatan negara bagian: Tabel BigQuery bernama state_abbreviations.

Memuat data pelanggan

Catatan: Data pelanggan berada di bucket Cloud Storage. Bucket Cloud Storage tersedia secara publik melalui koneksi Sample Buckets, yang disediakan secara default dengan instance Cloud Data Fusion Anda.

1. Buka halaman Instances Cloud Data Fusion:

   Buka Instances

2. Untuk instance Cloud Data Fusion yang Anda gunakan, klik View instance. Antarmuka web Cloud Data Fusion akan terbuka di tab baru.

3. Klik Wrangler. Halaman Wrangler akan terbuka.

4. Di panel Connections, GCS > Sample Buckets.

5. Klik campaign-tutorial.

6. Klik customers.csv.

7. Di jendela Parsing options, tentukan hal berikut:

   • Format: csv
   • Aktifkan nilai kutipan: False
   • Gunakan baris pertama sebagai header: False
   • File-encoding: UTF-8

8. Klik Konfirmasi. Data pelanggan dimuat di tab baru di Wrangler.

   

Membersihkan data pelanggan

Tugas ini berisi dua sub-tugas:

• Menetapkan skema
• Memfilter data pelanggan untuk hanya menampilkan target audiens yang Anda butuhkan

Menetapkan skema

Tetapkan skema data dengan menetapkan nama yang sesuai ke kolom tabel. Untuk memberi nama yang lebih informatif pada kolom, seperti body_1 dan body_2, ikuti langkah-langkah berikut:.

1. Di panel sebelah kanan, klik tab Kolom.
2. Klik drop-down Nama kolom, lalu pilih Tetapkan semua.

3. Pada dialog Bulk set column names, masukkan nama kolom berikut yang dipisahkan koma:

   Name,StreetAddress,City,State,Country
   

4. Klik Terapkan.

Memfilter data

Filter data untuk menampilkan hanya pelanggan yang tinggal di California, Oregon, atau Washington.

Hapus semua baris yang berisi nilai selain negara bagian tersebut:

1. Klik drop-down kolom Negara Bagian, lalu pilih Filter.

2. Di jendela filter, lakukan tindakan berikut:

   1. Klik Pertahankan baris.
   2. Klik drop-down If, lalu pilih value matches regex.

   3. Masukkan regular expression berikut:

      ^(California|Oregon|Washington)$
      

   4. Klik Terapkan.

   Nilai dalam kolom Negara Bagian adalah California, Oregon, atau Washington.

Filter data untuk hanya menampilkan pelanggan yang tinggal di jalan. Pertahankan hanya alamat yang berisi string Avenue:

1. Klik drop-down kolom StreetAddress, lalu pilih Filter.
2. Di jendela filter, lakukan tindakan berikut:
   1. Klik Pertahankan baris.
   2. Klik drop-down If, pilih value contains, lalu masukkan Avenue.
   3. Pilih Abaikan huruf besar/kecil.
   4. Klik Terapkan.

Sebelum menjalankan tugas pemrosesan paralel pada seluruh set data, Wrangler hanya menampilkan 1.000 nilai pertama dari set data Anda. Karena Anda memfilter beberapa data, hanya beberapa pelanggan yang tersisa di tampilan Wrangler.

Membuat pipeline batch

Anda telah membersihkan data dan menjalankan transformasi pada subset data. Sekarang, Anda dapat membuat pipeline batch untuk menjalankan transformasi pada seluruh set data.

Cloud Data Fusion menerjemahkan pipeline yang Anda buat di Studio menjadi program Apache Spark yang menjalankan transformasi secara paralel di cluster Managed Service for Apache Spark sementara. Proses ini memungkinkan Anda mengeksekusi transformasi kompleks atas data dalam jumlah besar secara skalabel dan andal, tanpa harus menangani infrastruktur.

1. Di halaman Wrangler, klik Create a pipeline.
2. Pilih Batch pipeline. Halaman Studio akan terbuka.

3. Di halaman Studio, node sumber GCSFile terhubung ke node Wrangler.

   

   Transformasi yang Anda terapkan di halaman Wrangler akan muncul di node Wrangler di halaman Studio.

4. Untuk melihat transformasi yang Anda terapkan, tahan kursor di node Wrangler, lalu klik Properties.

   Transformasi yang Anda terapkan muncul di Petunjuk.

   

5. Klik Validate.

6. Klik Tutup.

Anda dapat menerapkan lebih banyak transformasi dengan mengklik Wrangle, yang akan membawa Anda kembali ke halaman Wrangler. Transformasi yang Anda tambahkan akan muncul di halaman Studio.

Misalnya, Anda menyadari bahwa kolom Negara tidak diperlukan karena nilainya selalu USA. Anda dapat menghapus kolom dengan mengikuti langkah-langkah berikut:

1. Klik Wrangle.
2. Klik panah bawah di samping Negara, lalu pilih Hapus Kolom.
3. Klik Terapkan. Halaman Wrangler ditutup dan jendela Properti Wrangler terbuka di halaman Studio. Di Directives, drop Country akan muncul.
4. Klik Tutup.

Menyingkat nama negara bagian

Sistem navigasi di kendaraan pengiriman Anda hanya mengenali alamat yang berisi nama negara bagian yang disingkat (CA, bukan California), dan data pelanggan Anda berisi nama lengkap negara bagian.

Tabel state_abbreviations BigQuery publik berisi dua kolom: satu dengan nama lengkap negara bagian dan satu dengan nama singkat negara bagian. Anda dapat menggunakan tabel ini untuk memperbarui nama negara bagian dalam data pelanggan Anda.

Melihat data nama negara bagian di BigQuery

1. Di tab terpisah, buka halaman BigQuery Studio:

   Buka BigQuery

2. Klik Create SQL query dan masukkan kueri berikut di editor kueri:

   SELECT * FROM `dis-user-guide.campaign_tutorial.state_abbreviations`
   

3. Klik Run.

   BigQuery menampilkan daftar nama negara bagian dan singkatan masing-masing.

Mengakses tabel BigQuery

Tambahkan sumber di pipeline Anda yang akan mengakses tabel state_abbreviations BigQuery.

1. Buka halaman Cloud Data Fusion Studio dan luaskan menu Source.

2. Klik BigQuery.

   Node sumber BigQuery akan muncul di kanvas, bersama dengan dua node lainnya.

3. Tahan kursor di node sumber BigQuery, lalu klik Properties.

   1. Di kolom Dataset Project ID, masukkan dis-user-guide.
   2. Di kolom Reference Name, masukkan state_abbreviations.
   3. Di kolom Dataset, masukkan campaign_tutorial.
   4. Di kolom Tabel, masukkan state_abbreviations.

4. Isi skema tabel dari BigQuery dengan mengklik Dapatkan Skema.

5. Klik Tutup.

Gabungkan kedua sumber data

Untuk membuat output yang berisi data pelanggan dengan nama negara bagian yang disingkat, gabungkan dua sumber data, data pelanggan, dan singkatan negara bagian.

1. Buka halaman Cloud Data Fusion Studio dan luaskan menu Analytics.

2. Klik Penggabung.

   Node Joiner, yang merepresentasikan tindakan yang mirip dengan Gabungan SQL, akan muncul di kanvas.

3. Hubungkan node Wrangler dan node BigQuery ke node Joiner: Tarik panah koneksi di tepi kanan node sumber dan lepaskan ke node tujuan.

   

4. Tahan kursor di node Joiner, lalu klik Properties.

   1. Di bagian Fields, luaskan Wrangler dan BigQuery.

      1. Hapus centang pada kotak state Wrangler.
      2. Hapus centang kotak nama BigQuery karena Anda hanya ingin nama singkatan negara bagian, bukan nama lengkap negara bagian.

      3. Biarkan kotak centang singkatan BigQuery dicentang, dan ubah alias menjadi State.

         

   2. Di kolom Jenis Gabungan, biarkan nilai sebagai Luar. Untuk Input wajib diisi, pilih kotak centang Wrangler.

   3. Di bagian Join condition, untuk Wrangler, pilih State. Untuk BigQuery, pilih name.

   4. Buat skema gabungan yang dihasilkan. Klik Dapatkan Skema.

   5. Klik Validate.

   6. Klik Tutup.

Menyimpan output ke BigQuery

Simpan hasil pipeline Anda ke dalam tabel BigQuery. Tempat Anda menyimpan data disebut tujuan.

1. Buka halaman Cloud Data Fusion Studio dan luaskan Sink.
2. Klik BigQuery.

3. Hubungkan node Joiner ke node BigQuery.

   

4. Tahan kursor di node BigQuery, lalu klik Properties.

   1. Di kolom Dataset, masukkan dis_user_guide.
   2. Di kolom Table, pilih customer_data_abbreviated_states.
   3. Klik Tutup.

Men-deploy dan menjalankan pipeline

1. Di halaman Studio, klik Beri nama pipeline Anda, lalu masukkan CampaignPipeline.
2. Klik Simpan.
3. Di pojok kanan atas, klik Deploy.
4. Setelah deployment selesai, klik Run.

Menjalankan pipeline memerlukan waktu beberapa menit. Sambil menunggu, Anda dapat mengamati Status pipeline yang berubah dari Provisioning > Starting > Running > Deprovisioning > Succeeded.

Melihat hasil

1. Di konsol Google Cloud , buka halaman BigQuery:

   Buka BigQuery

2. Klik Buat kueri SQL.

3. Buat kueri tabel customer_data_abbreviated_states:

   SELECT * FROM dis_user_guide.customer_data_abbreviated_states LIMIT 1000
   

   

   Catatan: Untuk analisis lebih lanjut, Anda dapat menghubungkan tabel ini ke Data Studio.

Anda telah berhasil membuat pipeline data.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data BigQuery

Untuk menghapus set data BigQuery yang Anda buat dalam tutorial ini, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Pilih set data dis_user_guide.
3. Klik Hapus set data.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion Anda.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

• Pelajari lebih lanjut Cloud Data Fusion.