Tugas hybrid dan pemicu tugas mencakup serangkaian metode API asinkron yang memungkinkan Anda memindai payload data yang dikirim dari hampir semua sumber untuk menemukan informasi sensitif, lalu menyimpan temuan di Google Cloud. Tugas hybrid memungkinkan Anda menulis crawler data sendiri yang berperilaku dan menyajikan data secara serupa dengan metode pemeriksaan penyimpanan Sensitive Data Protection.
Dengan menggunakan tugas hybrid, Anda dapat melakukan streaming data dari sumber mana pun ke Sensitive Data Protection. Sensitive Data Protection memeriksa data untuk menemukan informasi sensitif atau PII, lalu menyimpan hasil pemindaian pemeriksaan ke resource tugas Sensitive Data Protection. Anda dapat memeriksa hasil pemindaian di UI atau API Konsol Sensitive Data Protection, atau Anda dapat menentukan tindakan pasca-pemindaian yang akan dijalankan, seperti menyimpan data hasil inspeksi ke tabel BigQuery atau mengirimkan notifikasi Pub/Sub.
Alur kerja tugas hybrid diringkas dalam diagram berikut:
Topik konseptual ini menjelaskan tugas hybrid dan pemicu tugas serta cara kerjanya. Untuk mempelajari cara menerapkan tugas hybrid dan pemicu tugas, lihat Memeriksa data eksternal menggunakan tugas hybrid.
Kapan harus menggunakan tugas hybrid
Berikut adalah beberapa kasus penggunaan umum:
- Memeriksa data di lingkungan hybrid dan multi-cloud: Streaming data dari database lokal, virtual machine, atau penyedia cloud lain ke Sensitive Data Protection sambil menyimpan temuan di Google Cloud.
- Memusatkan pelaporan kepatuhan multi-sumber: Gabungkan temuan pemeriksaan dari crawler kustom dan microservice terdistribusi ke dalam satu tabel BigQuery untuk tata kelola risiko yang terpadu.
- Menghapus data sensitif selama migrasi cloud: Periksa, validasi, dan lacak konten sensitif saat set data dimigrasikan dari sistem lama keGoogle Cloud.
Tentang lingkungan hybrid
Lingkungan "Hybrid" umum di organisasi. Banyak organisasi menyimpan dan memproses data sensitif menggunakan beberapa kombinasi berikut:
- Penyedia cloud lainnya
- Server lokal atau repositori data lainnya
- Sistem penyimpanan non-native, seperti sistem yang berjalan di dalam virtual machine
- Aplikasi web dan seluler
- Solusi berbasisGoogle Cloud
Dengan menggunakan tugas hybrid, Sensitive Data Protection dapat memeriksa data yang dikirimkan kepadanya dari salah satu sumber ini. Berikut beberapa contoh skenario:
- Periksa data yang disimpan di Amazon Relational Database Service (RDS), MySQL yang berjalan di dalam virtual machine, atau database lokal.
- Periksa dan tokenisasi data saat Anda bermigrasi dari lokal ke cloud, atau antara produksi, pengembangan, dan analisis.
- Periksa dan samarkan transaksi dari aplikasi web atau seluler sebelum menyimpan data saat istirahat.
Opsi pemeriksaan
Seperti yang dijelaskan secara lebih mendetail dalam Jenis metode, saat Anda ingin memeriksa konten untuk menemukan data sensitif, Sensitive Data Protection menyediakan tiga opsi default:
- Pemeriksaan metode konten: Dengan menggunakan pemeriksaan konten, Anda melakukan streaming payload data kecil ke Sensitive Data Protection bersama dengan petunjuk tentang apa yang harus diperiksa. Kemudian, Sensitive Data Protection akan memeriksa data untuk menemukan konten sensitif dan PII, lalu menampilkan hasil pemindaiannya kembali kepada Anda.
- Pemeriksaan metode penyimpanan: Dengan menggunakan pemeriksaan penyimpanan, Sensitive Data Protection memeriksa repositori penyimpanan berbasis Google Cloudseperti database BigQuery, bucket Cloud Storage, atau jenis Datastore. Anda memberi tahu Sensitive Data Protection apa yang harus diperiksa dan apa yang harus diperiksa, lalu Sensitive Data Protection menjalankan tugas yang memindai repositori. Setelah pemindaian selesai, Sensitive Data Protection akan menyimpan ringkasan hasil pemindaian kembali ke tugas. Selain itu, Anda dapat menentukan bahwa hasil dikirim ke produk Google Cloud lain untuk dianalisis, seperti tabel BigQuery terpisah.
- Pemeriksaan tugas hybrid: Tugas hybrid memberikan manfaat dari kedua metode sebelumnya. Dengan metode ini, Anda dapat melakukan streaming data seperti yang Anda lakukan dengan metode konten, sekaligus mendapatkan penyimpanan, visualisasi, dan tindakan dari tugas pemeriksaan penyimpanan. Semua konfigurasi inspeksi dikelola dalam Sensitive Data Protection, tanpa memerlukan konfigurasi tambahan di sisi klien. Tugas hybrid dapat berguna untuk memindai sistem penyimpanan non-native seperti database yang berjalan di virtual machine (VM), di lokal, atau di cloud lain. Metode hybrid juga dapat berguna untuk memeriksa sistem pemrosesan seperti beban kerja migrasi, atau bahkan untuk memproksi komunikasi antar-layanan. Meskipun metode konten juga dapat melakukan hal ini, metode hibrida memberikan backend penyimpanan temuan yang dapat menggabungkan data Anda di beberapa panggilan API sehingga Anda tidak perlu melakukannya.
Tentang tugas hybrid dan pemicu tugas
Secara efektif, tugas hybrid adalah gabungan dari metode konten dan metode penyimpanan. Alur kerja dasar untuk menggunakan tugas hibrida dan pemicu tugas adalah sebagai berikut:
- Anda menulis skrip atau membuat alur kerja yang mengirimkan data ke Sensitive Data Protection untuk diperiksa bersama dengan beberapa metadata.
- Anda mengonfigurasi dan membuat resource atau pemicu tugas hybrid serta mengaktifkannya agar dapat diaktifkan saat menerima data.
- Skrip atau alur kerja Anda berjalan di sisi klien dan mengirim data ke Sensitive Data Protection dalam bentuk permintaan
hybridInspect. Data ini mencakup pesan aktivasi dan ID tugas atau pemicu tugas yang memicu pemeriksaan. - Sensitive Data Protection memeriksa data sesuai dengan kriteria yang Anda tetapkan dalam tugas atau pemicu hybrid.
- Sensitive Data Protection menyimpan hasil pemindaian ke resource tugas hybrid, beserta metadata yang Anda berikan. Anda dapat memeriksa hasil menggunakan UI Sensitive Data Protection di konsol Google Cloud .
- Secara opsional, Sensitive Data Protection dapat menjalankan tindakan pasca-pemindaian, seperti menyimpan data hasil pemeriksaan ke tabel BigQuery atau memberi tahu Anda melalui email atau Pub/Sub.
Pemicu tugas hibrida memungkinkan Anda membuat, mengaktifkan, dan menghentikan tugas sehingga Anda dapat memicu tindakan kapan pun Anda membutuhkannya. Dengan memastikan bahwa skrip atau kode Anda mengirim data yang menyertakan ID pemicu tugas hybrid, Anda tidak perlu memperbarui skrip atau kode setiap kali tugas baru dimulai.
Skenario umum pekerjaan hybrid
Tugas hybrid sangat cocok untuk tujuan seperti berikut:
- Jalankan pemindaian satu kali pada database di luar Google Cloud sebagai bagian dari pemeriksaan cepat database per kuartal.
- Memantau semua konten baru yang ditambahkan setiap hari ke database yang tidak didukung secara native oleh Sensitive Data Protection.
- Memindai data yang masuk ke database, sekaligus mengontrol cara data dipartisi.
- Pantau traffic di jaringan menggunakan Sensitive Data Protection Filter for Envoy (filter HTTP WebAssembly untuk proxy sidecar Envoy) guna mengidentifikasi pergerakan data sensitif yang bermasalah.
Untuk mengetahui informasi tentang cara menangani skenario ini, lihat Skenario pemeriksaan hybrid umum.
Jenis metadata yang dapat Anda berikan
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke data eksternal yang ingin Anda periksa atau ke temuan.
Anda dapat menetapkan metadata di tingkat berikut:
Metadata dalam tugas hybrid atau pemicu tugas hybrid
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke tugas hybrid atau pemicu tugas hybrid.
Label yang diperlukan
Dalam tugas hybrid atau pemicu tugas hybrid, Anda dapat menentukan daftar label wajib yang harus disertakan dalam semua permintaan pemeriksaan hybrid yang Anda kirim.
Setiap permintaan untuk tugas hybrid atau pemicu tugas hybrid yang tidak menyertakan label yang diperlukan ini akan ditolak. Untuk mengetahui informasi selengkapnya, lihat Mewajibkan label dari permintaan
hybridInspect.
Label opsional
Anda dapat menentukan pasangan nilai kunci yang akan dilampirkan ke semua temuan
dari tugas hybrid atau pemicu tugas hybrid. Misalnya, jika Anda ingin semua temuan tugas hybrid memiliki label "env"="prod", Anda menentukan pasangan nilai kunci ini saat membuat tugas hybrid.
Opsi data tabulasi
Anda dapat menentukan kolom mana pun yang merupakan ID baris (kunci utama) untuk objek
tabel dalam data Anda. Jika kolom yang ditentukan ada dalam tabel, nilai dari kolom yang diberikan akan disertakan di setiap temuan sehingga Anda dapat melacak temuan tersebut ke asal barisnya. Opsi tabulasi ini hanya berlaku untuk permintaan
yang mengirim data tabulasi seperti format item.table atau
byteItem
seperti CSV.
Jika mengetahui kunci utama sebelumnya, Anda dapat menetapkannya sebagai kolom
pengidentifikasi saat membuat tugas hybrid atau pemicu tugas hybrid. Anda dapat mencantumkan hingga
tiga nama kolom di kolom hybridOptions.tableOptions.identifyingFields.
Metadata dalam permintaan hybridInspect
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke permintaan
hybridInspect. Metadata yang Anda kirim dalam permintaan hybridInspect hanya diterapkan pada permintaan tersebut.
Detail penampung
Setiap permintaan yang Anda kirim ke tugas hybrid atau pemicu tugas hybrid dapat menentukan detail tentang sumber data, termasuk elemen seperti fullPath, rootPath, relativePath, type, version, dan lainnya. Misalnya, jika Anda memindai tabel dalam database, Anda dapat menyetel kolom sebagai berikut:
{
"hybridItem": {
"item": {...},
"findingDetails": {
"containerDetails": {
"fullPath": "10.0.0.20/database1/table1",
"relativePath": "table1",
"rootPath": "10.0.0.20/database1",
"type": "postgres",
"version": "9.6"
},
"labels": {...}
}
}
}
Anda tidak dapat menyetel detail penampung di tingkat tugas hybrid atau pemicu tugas hybrid.
Label yang diperlukan
Jika Anda menetapkan label wajib saat membuat tugas hibrida atau pemicu tugas hibrida, permintaan hybridInspect yang Anda kirim ke tugas hibrida atau pemicu tugas hibrida tersebut harus menyertakan label wajib tersebut. Untuk mengetahui informasi selengkapnya, lihat Mewajibkan
label dari hybridInspect
permintaan.
Label opsional
Di setiap permintaan hybridInspect, Anda dapat menentukan pasangan nilai kunci yang akan dilampirkan
ke temuan apa pun dalam permintaan tersebut. Metode ini memungkinkan Anda melampirkan label yang berbeda
dengan setiap permintaan hybridInspect.
Opsi data tabulasi
Anda dapat menentukan kolom mana pun yang merupakan ID baris (kunci utama) untuk objek
tabel dalam data Anda. Jika kolom yang ditentukan ada dalam tabel, nilai dari kolom yang diberikan akan disertakan di setiap temuan sehingga Anda dapat melacak temuan tersebut ke asal barisnya. Opsi tabulasi ini hanya berlaku untuk permintaan
yang mengirim data tabulasi seperti format item.table atau
byteItem
seperti CSV.
Jika Anda tidak mengetahui kunci utama sebelumnya, Anda tidak perlu menyetelnya di tingkat tugas hybrid atau pemicu tugas hybrid. Anda dapat menyetelnya dalam permintaan
hybridInspect bersama dengan data tabular yang akan diperiksa. Semua kolom yang Anda cantumkan di tingkat tugas hybrid atau pemicu tugas hybrid digabungkan dengan kolom yang Anda cantumkan dalam permintaan hybridInspect.
Tindakan yang didukung
Seperti tugas Sensitive Data Protection lainnya, tugas hybrid mendukung tindakan. Tidak semua tindakan berlaku untuk tugas hybrid. Berikut adalah tindakan yang saat ini didukung beserta informasi tentang cara kerjanya. Perlu diketahui bahwa dengan tindakan Pub/Sub, email, dan Cloud Monitoring, temuan akan tersedia saat tugas berakhir.
- Simpan temuan ke Sensitive Data Protection dan Simpan temuan ke BigQuery: Temuan disimpan ke resource Sensitive Data Protection atau tabel BigQuery. Tindakan ini berfungsi dengan pekerjaan hybrid seperti halnya dengan jenis pekerjaan lainnya, dengan satu perbedaan penting: Dengan pekerjaan hybrid, temuan tersedia saat pekerjaan sedang berjalan; dengan jenis pekerjaan lainnya, temuan tersedia saat pekerjaan berakhir.
Kirim Pub/Sub: Saat tugas selesai, pesan Pub/Sub akan dikirim.
Kirim Email: Saat tugas selesai, pesan email akan dikirim.
Publikasikan ke Cloud Monitoring: Setelah tugas selesai, temuannya akan dipublikasikan ke Monitoring.
Ringkasan
Berikut beberapa fitur dan manfaat utama penggunaan pekerjaan hybrid dan pemicu pekerjaan:
- Tugas hybrid memungkinkan Anda melakukan streaming data ke Sensitive Data Protection dari hampir semua sumber, baik di cloud maupun di luar cloud.
- Pemicu tugas hibrida diaktifkan saat Perlindungan Data Sensitif menerima aliran data yang mencakup pesan aktivasi dan ID pemicu tugas.
- Anda dapat menunggu hingga pemindaian pemeriksaan selesai, atau Anda dapat menghentikan tugas secara manual. Hasil pemeriksaan disimpan ke Sensitive Data Protection atau ke BigQuery, baik Anda mengizinkan tugas selesai atau menghentikan tugas lebih awal.
- Hasil pemindaian inspeksi Sensitive Data Protection dari pemicu tugas hybrid disimpan ke resource tugas hybrid dalam Sensitive Data Protection.
- Anda dapat memeriksa hasil pemindaian inspeksi dengan melihat resource pemicu tugas dalam Sensitive Data Protection.
- Anda juga dapat menginstruksikan Sensitive Data Protection untuk, menggunakan tindakan, mengirimkan hasil tugas hybrid ke database BigQuery dan memberi tahu Anda melalui email atau notifikasi Pub/Sub.
Langkah berikutnya
- Untuk mempelajari cara menggunakan tugas hybrid dan pemicu tugas untuk menerima data yang akan diperiksa, lihat Mengirim data eksternal ke Sensitive Data Protection menggunakan tugas hybrid.