Dokumen ini menjelaskan cara memeriksa tabel BigQuery untuk data sensitif dan mengirimkan hasil pemeriksaan ke Knowledge Catalog. Tindakan ini secara otomatis menambahkan aspek ke entri Knowledge Catalog yang terkait dengan tabel BigQuery Anda.
Dokumen ini juga menyediakan contoh kueri yang dapat Anda gunakan untuk menemukan data di seluruh organisasi dan project Anda dengan nilai aspek tertentu.
Fitur ini berguna jika Anda ingin memperkaya metadata di Knowledge Catalog dengan klasifikasi data sensitif dari tugas pemeriksaan Sensitive Data Protection.
Aspek yang dihasilkan mencakup detail berikut:
- Nama tugas pemeriksaan
- Jenis informasi (infoTypes) yang terdeteksi dalam tabel
Tentang Knowledge Catalog
Knowledge Catalog menyediakan inventaris resource terpadu Google Cloud .
Knowledge Catalog memungkinkan Anda menggunakan aspek untuk menambahkan metadata bisnis dan teknis ke data Anda guna mendapatkan konteks dan pengetahuan tentang resource Anda. Kemudian, Anda dapat menelusuri dan menemukan data di seluruh organisasi Anda serta mengaktifkan tata kelola data atas aset data Anda. Untuk mengetahui informasi selengkapnya, lihat Aspek.
Cara kerjanya
Untuk membuat aspek Knowledge Catalog secara otomatis berdasarkan hasil tugas pemeriksaan, ikuti alur kerja tingkat tinggi ini:
Buat atau edit tugas pemeriksaan yang memeriksa tabel BigQuery. Untuk mengetahui petunjuknya, lihat Memeriksa tabel BigQuery.
Pada langkah Add actions, aktifkan Publish to Dataplex Universal Catalog.
Sensitive Data Protection menambahkan atau memperbarui aspek
Sensitive Data Protection job result dari entri Knowledge Catalogyang terkait dengan tabel
BigQuery. Kemudian, Anda dapat menelusuri Knowledge Catalog untuk semua data di organisasi atau project Anda dengan nilai aspek tertentu. Untuk contoh kueri, lihat Contoh penelusuran
kueri dalam dokumen ini.
Aspek Knowledge Catalog yang dihasilkan disimpan dalam project dan region yang sama dengan tabel BigQuery.
Kolom aspek
Aspek Sensitive Data Protection job result memiliki kolom berikut:
- Nama Lowongan
- Nama resource lengkap tugas pemeriksaan—misalnya,
projects/example-project/locations/us/dlpJobs/i-8992079400000000000. - Jumlah InfoType
- Nama InfoType yang ditelusuri oleh tugas pemeriksaan—seperti yang ditentukan dalam konfigurasi pemeriksaan—dan jumlah temuan untuk setiap InfoType.
InfoType yang tidak memiliki temuan memiliki jumlah
0. - Waktu Berakhir
- Tanggal dan waktu tugas pemeriksaan berakhir.
- Apakah Pemindaian Maksimum
- Apakah tugas pemeriksaan memindai semua baris dalam tabel. Jika sampling diaktifkan dalam tugas pemeriksaan, misalnya, nilai kolom ini adalah
False. - Memiliki Temuan
- Apakah tugas pemeriksaan mendeteksi salah satu infoType yang dipindai.
Mengaktifkan Dataplex API
Dataplex API harus diaktifkan di setiap project yang berisi data yang aspeknya ingin Anda tambahkan. Bagian ini menjelaskan cara mengaktifkan Dataplex API dalam satu project atau di semua project dalam organisasi atau folder.
Mengaktifkan Dataplex API dalam satu project
Pilih project tempat Anda ingin mengaktifkan Dataplex API.
-
Aktifkan Dataplex API.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Service Usage (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.
Mengaktifkan Dataplex API di semua project dalam organisasi atau folder
Bagian ini menyediakan skrip yang menelusuri semua project dalam organisasi atau folder dan mengaktifkan Dataplex API di setiap project tersebut.
Untuk mendapatkan izin yang Anda perlukan untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder, minta administrator Anda untuk memberi Anda peran IAM berikut:
- Cloud Asset Viewer (
roles/cloudasset.viewer) di organisasi atau folder - DLP User (
roles/dlp.user) di setiap project tempat Anda ingin mengaktifkan Dataplex API
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder:
-
Untuk menelusuri semua project dalam organisasi atau folder:
cloudasset.assets.searchAllResourcesdi organisasi atau folder -
Untuk mengaktifkan Dataplex API:
serviceusage.services.usedi setiap project tempat Anda ingin mengaktifkan Dataplex API
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder, ikuti langkah-langkah berikut:
-
Di Google Cloud konsol, aktifkan Cloud Shell.
Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.
Jalankan skrip berikut:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" doneGanti kode berikut:
RESOURCE_ID: nomor organisasi atau nomor folder resource yang berisi projectRESOURCE_TYPE: jenis resource yang berisi project—organizationsataufolders
Peran dan izin untuk melihat aspek
Untuk mendapatkan izin yang Anda perlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda, minta administrator Anda untuk memberi Anda peran IAM berikut di tabel:
- Dataplex Catalog Viewer (
roles/dataplex.catalogViewer) - BigQuery Data Viewer (
roles/bigquery.dataViewer)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda:
-
Melihat entri Knowledge Catalog:
-
dataplex.entries.list -
dataplex.entries.get
-
-
Melihat set data dan tabel BigQuery:
-
bigquery.datasets.get -
bigquery.tables.get
-
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Untuk mengetahui informasi selengkapnya tentang izin yang diperlukan untuk menggunakan Knowledge Catalog, lihat Izin IAM Knowledge Catalog permissions.
Mengonfigurasi dan menjalankan tugas pemeriksaan Sensitive Data Protection
Anda dapat mengonfigurasi dan menjalankan tugas pemeriksaan Sensitive Data Protection menggunakan konsol Google Cloud atau DLP API.
Konsol
-
Di Google Cloud konsol, buka halaman Create job or job trigger.
- Pilih project Anda.
- Masukkan detail tugas pemeriksaan yang diperlukan dan detail tabel BigQuery yang ingin Anda periksa. Untuk mengetahui petunjuknya, lihat Memeriksa tabel BigQuery. Untuk mengetahui daftar lengkap jenis informasi yang dapat diperiksa oleh Sensitive Data Protection, lihat Referensi detektor InfoType.
- Untuk Add actions, aktifkan Publish to Dataplex Universal Catalog.
- Klik Create. Tugas akan segera berjalan.
REST
Contoh berikut mengirimkan
projects.locations.dlpJobs.create
permintaan untuk memeriksa tabel BigQuery dan mengirimkan hasilnya ke
Knowledge Catalog.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
-
PROJECT_ID: ID project Anda Google Cloud . Project ID adalah string alfanumerik -
LOCATION: region atau multi-region tempat Anda ingin memproses permintaan—misalnya,europe-west1atauus. Untuk mengetahui lokasi yang tersedia, lihat Lokasi Sensitive Data Protection. -
BIGQUERY_DATASET_NAME: nama set data BigQuery yang berisi tabel yang akan diperiksa -
BIGQUERY_TABLE_NAME: nama tabel BigQuery yang akan diperiksa
Metode HTTP dan URL:
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs
Meminta isi JSON:
{
"inspectJob":
{
"storageConfig":
{
"bigQueryOptions":
{
"tableReference":
{
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig":
{
"infoTypes":
[
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"includeQuote": true,
"minLikelihood": "UNLIKELY",
"limits":
{
"maxFindingsPerRequest": 100
}
},
"actions":
[
{
"publishFindingsToDataplexCatalog": {}
}
]
}
}
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{
"name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"minLikelihood": "UNLIKELY",
"limits": {
"maxFindingsPerRequest": 100
},
"includeQuote": true
},
"actions": [
{
"publishFindingsToDataplexCatalog": {}
}
]
}
},
"result": {}
},
"createTime": "2025-09-09T00:29:55.951374Z",
"lastModified": "2025-09-09T00:29:58.022967Z"
}
Untuk mengetahui informasi tentang cara mendapatkan hasil tugas pemeriksaan menggunakan DLP API, lihat Mendapatkan tugas.
Contoh kueri penelusuran
Bagian ini menyediakan contoh kueri penelusuran yang dapat Anda gunakan di Knowledge Catalog untuk menemukan data di organisasi atau project Anda dengan nilai aspek tertentu.
Anda hanya dapat menemukan data yang dapat Anda akses. Akses data dikontrol melalui izin IAM. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk melihat aspek dalam dokumen ini.
Anda dapat memasukkan contoh kueri ini di kolom Search di halaman Search Knowledge Catalog.
Untuk mengetahui informasi tentang cara membuat kueri, lihat Sintaksis penelusuran untuk Knowledge Catalog.
Menemukan entri semua tabel yang memiliki aspek hasil tugas Sensitive Data Protection
aspect:sensitive-data-protection-job-result
Menemukan entri tabel yang diperiksa yang memiliki temuan
aspect:sensitive-data-protection-job-result.hasFindings=True
Menemukan entri tabel yang diperiksa yang tidak memiliki temuan
aspect:sensitive-data-protection-job-result.hasFindings=False
Menemukan entri tabel yang diperiksa sepenuhnya
Kueri berikut menampilkan entri tabel yang diperiksa baris demi baris oleh Sensitive Data Protection.
aspect:sensitive-data-protection-job-result.isFullScan=True
Menemukan entri tabel yang tidak diperiksa sepenuhnya
Kueri berikut menampilkan entri tabel yang diperiksa oleh Sensitive Data Protection melalui sampling.
aspect:sensitive-data-protection-job-result.isFullScan=False
Memigrasikan ke tindakan Publikasikan ke Dataplex Universal Catalog
Untuk memigrasikan pemicu tugas yang dikonfigurasi untuk menggunakan tindakan Publish to Data Catalog yang tidak digunakan lagi, ikuti langkah-langkah berikut:
- Edit pemicu tugas yang dikonfigurasi untuk memublikasikan hasil pemeriksaan ke Data Catalog. Untuk mengetahui informasi tentang cara membuka dan mengedit pemicu tugas, lihat Mengupdate pemicu tugas yang ada.
- Di bagian Actions, nonaktifkan Publish to Data Catalog.
- Aktifkan Publish to Dataplex Universal Catalog.
- Klik Save.