Menyunting data rahasia

Tutorial ini menunjukkan cara menggunakan plugin Cloud Data Fusion untuk Cloud DLP guna mengedit data sensitif.

Skenario

Pertimbangkan skenario berikut, yang dalam praktiknya mengharuskan penyamaran beberapa informasi sensitif pelanggan:

Tim dukungan Anda mendokumentasikan detail setiap kasus dukungan yang mereka tangani dalam tiket dukungan. Semua informasi dalam tiket dukungan dimasukkan ke dalam file CSV. Teknisi dukungan tidak boleh mendokumentasikan informasi pelanggan yang dianggap sensitif, tetapi terkadang mereka tidak sengaja menyertakan informasi tersebut. Anda melihat ada beberapa nomor telepon pelanggan dalam file CSV.

Anda ingin memeriksa file CSV tersebut dan menyembunyikan semua nomor telepon yang muncul. Anda membuat pipeline Cloud Data Fusion yang mengedit data sensitif pelanggan menggunakan plugin Cloud DLP.

Dalam tutorial ini, Anda akan membuat pipeline yang melakukan hal berikut:

• Menyamarkan nomor telepon pelanggan menggunakan karakter # sebagai pengganti.
• Menyimpan data sensitif yang disamarkan dan data non-sensitif di bucket Cloud Storage.

Tujuan

• Menghubungkan Cloud Data Fusion ke sumber Cloud Storage.
• Deploy plugin Cloud DLP.
• Buat template Cloud DLP kustom.
• Menggunakan plugin transformasi Redact untuk menyamarkan data pelanggan yang sensitif.
• Menulis data output ke Cloud Storage.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

• Cloud Data Fusion
• Cloud Storage
• Cloud DLP

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktifkan Cloud Data Fusion API, BigQuery API, Cloud Storage API, dan Dataproc API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

   Aktifkan API

2. Buat instance Cloud Data Fusion.

Mendapatkan izin Cloud DLP

1. Di konsol Google Cloud , buka halaman IAM.

   Buka halaman IAM

2. Di tabel izin, pada kolom Principal, temukan akun layanan yang sesuai dengan format [e-mail].

   

3. Klik Edit.

4. Klik Add another role.

5. Telusuri menggunakan kotak penelusuran, lalu pilih DLP Administrator.

   

6. Klik Simpan.

7. Pastikan DLP Administrator muncul di kolom Role.

   

Mengakses UI Cloud Data Fusion

Saat menggunakan Cloud Data Fusion, Anda menggunakan Google Cloud konsol dan UI Cloud Data Fusion yang terpisah. Di konsol Google Cloud , Anda dapat membuat project konsol Google Cloud , serta membuat dan menghapus instance Cloud Data Fusion. Di UI Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Studio atau Wrangler, untuk menggunakan fitur Cloud Data Fusion.

1. Di konsol Google Cloud , buka halaman Instances.

   Buka halaman Instance

2. Di kolom Tindakan untuk instance, klik link Lihat Instance. UI Cloud Data Fusion akan terbuka di tab browser baru.

Membuat pipeline

Buat pipeline yang menyamarkan data pelanggan sensitif. Pipeline yang Anda buat melakukan hal berikut:

• Membaca data input menggunakan plugin sumber Cloud Storage.
• Men-deploy plugin Cloud DLP dari Hub.
• Menulis data output menggunakan plugin sink Cloud Storage.

Memuat data pelanggan

Tutorial ini menggunakan set data input, CallCenterRecords.csv, yang disediakan di bucket Cloud Storage yang tersedia secara publik.

Catatan: Untuk menggunakan set data CallCenterRecords.csv, Anda harus memuat data menggunakan halaman Studio Cloud Data Fusion. Jika memiliki set data sendiri di bucket Cloud Storage Anda sendiri, Anda dapat memuat data menggunakan Studio atau Wrangler.

1. Buka instance Cloud Data Fusion Anda, lalu klik Menu > Studio.

2. Di menu Source, klik plugin Cloud Storage.

   

3. Pada node Cloud Storage, klik Properties.

4. Di kolom Reference name, masukkan nama.

5. Di kolom Path, masukkan gs://datafusion-sample-datasets/CallCenterRecords.csv.

6. Di kolom Format, pilih CSV.

7. Untuk Output Schema, hapus kolom offset dan body. Klik Tambahkan, lalu masukkan kolom berikut:

   • Tanggal
   • Bank
   • State
   • Zip
   • Catatan
   Catatan: Semua jenis data harus disetel ke string.

   

8. Klik Validasi untuk memeriksa error.

9. Klik Tutup.

Menyamarkan data sensitif

Plugin Redaksi Cloud DLP mengidentifikasi kumpulan data sensitif dalam aliran data input dan menerapkan transformasi yang telah ditentukan ke kumpulan data tersebut. Kumpulan data dianggap sensitif jika cocok dengan filter Cloud DLP bawaan yang Anda pilih atau template kustom yang Anda tentukan.

Dalam tutorial ini, Anda ingin menyamarkan nomor telepon pelanggan yang tidak sengaja dicatat oleh teknisi dukungan di tim Anda. Informasi sensitif tersebut mereka masukkan ke bagian Notes pada tiket dukungan, yang muncul sebagai kolom Notes di file CSV. Anda membuat template Cloud DLP kustom, lalu memberikan ID template di menu properti plugin.

Men-deploy plugin Cloud DLP

1. Di instance Cloud Data Fusion Anda, klik Hub.

2. Klik plugin Cloud DLP.

3. Klik Deploy.

4. Klik Selesai.

5. Klik Tutup untuk keluar dari dialog Cloud DLP.

6. Klik Tutup untuk keluar dari Hub.

Membuat template kustom

1. Di konsol Google Cloud , buka halaman Cloud DLP.

   Buka Cloud DLP

2. Dari menu Buat, pilih Template.

3. Di kolom Template ID, masukkan ID untuk template Anda.

4. Klik Lanjutkan.

5. Di kolom Configure detection, klik Manage infotypes.

6. Di tab Built-in, gunakan filter untuk menelusuri "phone number".

   

7. Pilih PHONE_NUMBER.

8. Klik Selesai > Buat.

Pelajari lebih lanjut cara membuat template Cloud DLP.

Menerapkan transformasi Cloud DLP Redact

1. Buka halaman Studio Cloud Data Fusion, lalu klik untuk meluaskan menu Transform.

2. Klik plugin Redact Cloud DLP.

   

3. Tarik panah penghubung dari node Cloud Storage ke node Redact.

   

4. Tahan kursor di node Redact, lalu klik Properties.

   1. Setel Custom Template ke Yes.

   2. Di kolom Template ID, masukkan ID template dari template kustom yang Anda buat.

   3. Di kolom Matching , terapkan Masking pada Custom template dalam Notes.

      Catatan: Selain penyamaran, ada transformasi Cloud DLP lainnya yang tersedia di plugin. Untuk mempelajari lebih lanjut, lihat tab Dokumentasi di menu properti plugin Redact.

   4. Di kolom Karakter Penyamaran, masukkan #.

      

   5. Klik Validasi untuk memeriksa error.

   6. Klik Tutup.

Menyimpan data output

Simpan hasil pipeline Anda dalam file Cloud Storage.

1. Dari halaman Studio, klik untuk meluaskan menu Sink.

2. Klik Cloud Storage.

3. Tarik panah penghubung dari node Redact ke node Cloud Storage2.

   

4. Tahan kursor di node Cloud Storage2, lalu klik Properties.

   1. Di kolom Reference name, masukkan nama.

   2. Di kolom Path, masukkan jalur bucket Cloud Storage tempat Anda ingin menyimpan hasil pipeline. Cloud Data Fusion akan membuat bucket untuk Anda. Pastikan untuk mengikuti panduan pemberian nama bucket.

   3. Di kolom Format, pilih CSV.

   4. Klik Validate untuk memastikan tidak ada error.

   5. Klik Tutup.

Menjalankan pipeline dalam mode pratinjau

Jalankan pipeline dalam mode pratinjau sebelum Anda men-deploy-nya.

1. Klik Pratinjau, lalu klik Jalankan.

   

   Mengklik Run akan menampilkan status pipeline, yang dimulai dengan Starting, lalu berubah menjadi Stop, dan kemudian menjadi Run.

2. Setelah operasi pratinjau selesai dijalankan, di node Redact, klik Preview Data untuk melihat perbandingan antara data input dan data output secara berdampingan. Periksa bahwa nomor telepon telah disamarkan dengan karakter #.

   

Menyamarkan jenis data lain

Saat memeriksa hasil operasi pratinjau, Anda melihat masih ada informasi sensitif yang muncul di kolom Notes: alamat email. Anda kembali dan mengedit template Cloud DLP untuk menyamarkan alamat email juga.

1. Di konsol Google Cloud , buka halaman Cloud DLP.

   Buka halaman Cloud DLP

2. Di tab Configuration, pilih template Anda.

3. Klik Edit.

4. Klik Manage infotypes.

5. Di tab Built-in, gunakan filter untuk menelusuri "OR" "email address".

   

6. Pilih semua, lalu klik Done.

7. Klik Simpan.

8. Sekali lagi, jalankan pipeline Anda dalam mode pratinjau. Cloud Data Fusion akan otomatis menggunakan template Cloud DLP yang telah diperbarui.

9. Pastikan kedua nomor telepon dan alamat email telah disamarkan dengan karakter #.

   

Men-deploy dan menjalankan pipeline

1. Pastikan mode Pratinjau tidak dicentang.

2. Klik Save. Dengan mengklik Save, Anda akan diminta menamai pipeline. Kemudian, klik Oke.

3. Klik Deploy.

4. Setelah deployment selesai, klik Run. Menjalankan pipeline memerlukan waktu beberapa menit. Sambil menunggu, Anda dapat mengamati Status pipeline yang berubah dari Provisioning ke Starting, lalu ke Running, kemudian ke Deprovisioning, dan terakhir ke Succeeded.

Melihat hasil

1. Di konsol Google Cloud , buka halaman Cloud Storage.

   Buka Cloud Storage

2. Di Storage browser, buka bucket Cloud Storage sink yang Anda tentukan di properti plugin sink Cloud Storage.

3. Di Link URL, klik link untuk mendownload file CSV yang berisi hasilnya. Pastikan nomor telepon dan alamat email telah disamarkan dengan karakter #.

   

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion Anda.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

• Pelajari lebih lanjut Cloud Data Fusion.
• Lihat cara menggunakan plugin Cloud Data Fusion, yang menyediakan plugin transformasi Redact dan Filter PII.