Mengirim hasil pemeriksaan ke Katalog Pengetahuan sebagai aspek

Dokumen ini menjelaskan cara memeriksa tabel BigQuery untuk menemukan data sensitif dan mengirimkan hasil pemeriksaan ke Knowledge Catalog. Tindakan ini secara otomatis menambahkan aspek ke entri Knowledge Catalog yang terkait dengan tabel BigQuery Anda.

Dokumen ini juga memberikan contoh kueri yang dapat Anda gunakan untuk menemukan data di seluruh organisasi dan project dengan nilai aspek tertentu.

Fitur ini berguna jika Anda ingin memperkaya metadata di Knowledge Catalog dengan klasifikasi data sensitif dari tugas inspeksi Sensitive Data Protection.

Aspek yang dihasilkan mencakup detail berikut:

  • Nama tugas pemeriksaan
  • Jenis informasi (infoTypes) yang terdeteksi dalam tabel

Tentang Knowledge Catalog

Knowledge Catalog menyediakan inventaris terpadu untuk Google Cloud resource.

Knowledge Catalog memungkinkan Anda menggunakan aspek untuk menambahkan metadata bisnis dan teknis ke data Anda guna mendapatkan konteks dan pengetahuan tentang resource Anda. Kemudian, Anda dapat menelusuri dan menemukan data di seluruh organisasi Anda serta mengaktifkan tata kelola data atas aset data Anda. Untuk mengetahui informasi selengkapnya, lihat Aspek.

Cara kerjanya

Untuk membuat aspek Knowledge Catalog secara otomatis berdasarkan hasil tugas inspeksi, ikuti alur kerja tingkat tinggi berikut:

  1. Buat atau edit tugas inspeksi yang memeriksa tabel BigQuery. Untuk mengetahui petunjuknya, lihat Memeriksa tabel BigQuery.

  2. Pada langkah Add actions, aktifkan Publish to Dataplex Universal Catalog.

Sensitive Data Protection menambahkan atau memperbarui aspek Sensitive Data Protection job result dari entri Knowledge Catalog yang terkait dengan tabel BigQuery. Kemudian, Anda dapat menelusuri Knowledge Catalog untuk semua data di organisasi atau project Anda dengan nilai aspek tertentu. Untuk contoh kueri, lihat Contoh kueri penelusuran dalam dokumen ini.

Aspek Katalog Pengetahuan yang dihasilkan disimpan dalam project dan region yang sama dengan tabel BigQuery.

Kolom aspek

Aspek Sensitive Data Protection job result memiliki kolom berikut:

Nama Lowongan
Nama lengkap resource tugas pemeriksaan—misalnya, projects/example-project/locations/us/dlpJobs/i-8992079400000000000.
Jumlah InfoType
Nama InfoType yang dicari oleh tugas inspeksi—seperti yang ditentukan dalam konfigurasi inspeksi—dan jumlah temuan untuk setiap infoType. InfoType yang tidak memiliki temuan memiliki jumlah 0.
Waktu Berakhir
Tanggal dan waktu berakhirnya tugas inspeksi.
Adalah Pemindaian Penuh
Apakah tugas pemeriksaan memindai semua baris dalam tabel. Jika pengambilan sampel diaktifkan dalam tugas pemeriksaan, misalnya, nilai kolom ini adalah False.
Memiliki Temuan
Apakah tugas inspeksi mendeteksi infoType yang dipindai.

Mengaktifkan Dataplex API

Dataplex API harus diaktifkan di setiap project yang berisi data yang ingin Anda tambahkan aspeknya. Bagian ini menjelaskan cara mengaktifkan Dataplex API dalam satu project atau di semua project dalam organisasi atau folder.

Mengaktifkan Dataplex API dalam satu project

  1. Pilih project tempat Anda ingin mengaktifkan Dataplex API.

    Buka pemilih project

  2. Mengaktifkan Dataplex API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

    Mengaktifkan API

Mengaktifkan Dataplex API di semua project dalam organisasi atau folder

Bagian ini menyediakan skrip yang menelusuri semua project dalam organisasi atau folder dan mengaktifkan Dataplex API di setiap project tersebut.

Untuk mendapatkan izin yang Anda perlukan guna mengaktifkan Dataplex API di semua project dalam organisasi atau folder, minta administrator untuk memberi Anda peran IAM berikut:

  • Cloud Asset Viewer (roles/cloudasset.viewer) di organisasi atau folder
  • Pengguna DLP (roles/dlp.user) di setiap project tempat Anda ingin mengaktifkan Dataplex API

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder:

  • Untuk menelusuri semua project dalam organisasi atau folder: cloudasset.assets.searchAllResources di organisasi atau folder
  • Untuk mengaktifkan Dataplex API: serviceusage.services.use di setiap project tempat Anda ingin mengaktifkan Dataplex API

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , aktifkan Cloud Shell.

    Aktifkan Cloud Shell

    Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

  2. Jalankan skrip berikut:

    #!/bin/bash

RESOURCE_ID="RESOURCE_ID"

gcloud asset search-all-resources \
    --scope="RESOURCE_TYPE/$RESOURCE_ID" \
    --asset-types="cloudresourcemanager.googleapis.com/Project" \
    --format="value(name)" |
    while read project_name; do
      project_id=$(echo "$project_name" | sed 's|.*/||')
      gcloud services enable "dataplex.googleapis.com" --project="$project_id"
    done

    Ganti kode berikut:

    • RESOURCE_ID: nomor organisasi atau nomor folder resource yang berisi project
    • RESOURCE_TYPE: jenis resource yang berisi project—organizations atau folders

Peran dan izin untuk melihat aspek

Untuk mendapatkan izin yang Anda perlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda, minta administrator Anda untuk memberi Anda peran IAM berikut pada tabel:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda:

  • Melihat entri Knowledge Catalog:
    • dataplex.entries.list
    • dataplex.entries.get
  • Melihat set data dan tabel BigQuery:
    • bigquery.datasets.get
    • bigquery.tables.get

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang izin yang diperlukan untuk menggunakan Knowledge Catalog, lihat Izin IAM Knowledge Catalog.

Mengonfigurasi dan menjalankan tugas inspeksi Sensitive Data Protection

Anda dapat mengonfigurasi dan menjalankan tugas inspeksi Sensitive Data Protection menggunakan konsol Google Cloud atau DLP API.

Konsol

  1. Di konsol Google Cloud , buka halaman Buat tugas atau pemicu tugas.

    Buka Membuat tugas atau pemicu tugas

  2. Pilih project Anda.
  3. Masukkan detail tugas pemeriksaan yang diperlukan dan detail tabel BigQuery yang ingin Anda periksa. Untuk mengetahui petunjuknya, lihat Memeriksa tabel BigQuery. Untuk mengetahui daftar lengkap jenis informasi yang dapat diperiksa oleh Sensitive Data Protection, lihat Referensi detektor InfoType.
  4. Untuk Add actions, aktifkan Publish to Dataplex Universal Catalog.
  5. Klik Create. Tugas akan segera dijalankan.

REST

Contoh berikut mengirimkan permintaan projects.locations.dlpJobs.create untuk memeriksa tabel BigQuery dan mengirimkan hasilnya ke Knowledge Catalog.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Google Cloud Project ID Anda. ID project adalah string alfanumerik
  • LOCATION: region atau multi-region tempat Anda ingin memproses permintaan—misalnya, europe-west1 atau us. Untuk lokasi yang tersedia, lihat Lokasi Perlindungan Data Sensitif.
  • BIGQUERY_DATASET_NAME: nama set data BigQuery yang berisi tabel yang akan diperiksa
  • BIGQUERY_TABLE_NAME: nama tabel BigQuery yang akan diperiksa

Metode HTTP dan URL: 

POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs

Meminta isi JSON: 

{
              "inspectJob":
              {
                "storageConfig":
                {
                  "bigQueryOptions":
                  {
                    "tableReference":
                    {
                      "projectId": "PROJECT_ID",
                      "datasetId": "BIGQUERY_DATASET_NAME",
                      "tableId": "BIGQUERY_TABLE_NAME"
                    }
                  }
                },
                "inspectConfig":
                {
                  "infoTypes":
                  [
                    {
                      "name": "EMAIL_ADDRESS"
                    },
                    {
                      "name": "PERSON_NAME"
                    },
                    {
                      "name": "US_SOCIAL_SECURITY_NUMBER"
                    },
                    {
                      "name": "PHONE_NUMBER"
                    }
                  ],
                  "includeQuote": true,
                  "minLikelihood": "UNLIKELY",
                  "limits":
                  {
                    "maxFindingsPerRequest": 100
                  }
                },
                "actions":
                [
                  {
                    "publishFindingsToDataplexCatalog": {}
                  }
                ]
              }
            }

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat respons JSON seperti berikut:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
  "type": "INSPECT_JOB",
  "state": "PENDING",
  "inspectDetails": {
    "requestedOptions": {
      "snapshotInspectTemplate": {},
      "jobConfig": {
        "storageConfig": {
          "bigQueryOptions": {
            "tableReference": {
              "projectId": "PROJECT_ID",
              "datasetId": "BIGQUERY_DATASET_NAME",
              "tableId": "BIGQUERY_TABLE_NAME"
            }
          }
        },
        "inspectConfig": {
          "infoTypes": [
            {
              "name": "EMAIL_ADDRESS"
            },
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "US_SOCIAL_SECURITY_NUMBER"
            },
            {
              "name": "PHONE_NUMBER"
            }
          ],
          "minLikelihood": "UNLIKELY",
          "limits": {
            "maxFindingsPerRequest": 100
          },
          "includeQuote": true
        },
        "actions": [
          {
            "publishFindingsToDataplexCatalog": {}
          }
        ]
      }
    },
    "result": {}
  },
  "createTime": "2025-09-09T00:29:55.951374Z",
  "lastModified": "2025-09-09T00:29:58.022967Z"
}

Untuk mengetahui informasi tentang cara mendapatkan hasil tugas inspeksi menggunakan DLP API, lihat Mendapatkan tugas.

Contoh kueri penelusuran

Bagian ini memberikan contoh kueri penelusuran yang dapat Anda gunakan di Knowledge Catalog untuk menemukan data di organisasi atau project Anda dengan nilai aspek tertentu.

Anda hanya dapat menemukan data yang dapat Anda akses. Akses data dikontrol melalui izin IAM. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk melihat aspek dalam dokumen ini.

Anda dapat memasukkan contoh kueri ini di kolom Penelusuran di halaman Penelusuran Katalog Pengetahuan.

Buka Penelusuran

Untuk mengetahui informasi tentang cara membuat kueri, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Temukan entri semua tabel yang memiliki aspek hasil tugas Sensitive Data Protection

aspect:sensitive-data-protection-job-result

Menemukan entri tabel yang diperiksa yang memiliki temuan

aspect:sensitive-data-protection-job-result.hasFindings=True

Menemukan entri tabel yang diperiksa yang tidak memiliki temuan

aspect:sensitive-data-protection-job-result.hasFindings=False

Menemukan entri tabel yang diperiksa sepenuhnya

Kueri berikut menampilkan entri tabel yang diperiksa baris demi baris oleh Perlindungan Data Sensitif.

aspect:sensitive-data-protection-job-result.isFullScan=True

Menemukan entri tabel yang tidak diperiksa sepenuhnya

Kueri berikut menampilkan entri tabel yang diperiksa Sensitive Data Protection melalui pengambilan sampel.

aspect:sensitive-data-protection-job-result.isFullScan=False

Bermigrasi ke tindakan Publish to Dataplex Universal Catalog

Untuk memigrasikan pemicu tugas yang dikonfigurasi untuk menggunakan tindakan Publikasikan ke Data Catalog yang tidak digunakan lagi, ikuti langkah-langkah berikut:

  1. Edit pemicu tugas yang dikonfigurasi untuk memublikasikan hasil inspeksi ke Data Catalog. Untuk mengetahui informasi tentang cara membuka dan mengedit pemicu tugas, lihat Memperbarui pemicu tugas yang ada.
  2. Di bagian Tindakan, nonaktifkan Publikasikan ke Katalog Data.
  3. Aktifkan Publikasikan ke Dataplex Universal Catalog.
  4. Klik Simpan.