In diesem Dokument wird beschrieben, wie Sie eine BigQuery-Tabelle auf sensible Daten prüfen und die Prüfungsergebnisse an Knowledge Catalog senden. Dadurch wird dem Knowledge Catalog Eintrag, der mit Ihrer BigQuery-Tabelle verknüpft ist, automatisch ein Aspekt hinzugefügt.
In diesem Dokument finden Sie auch Beispielabfragen, mit denen Sie Daten in Ihrer Organisation und in Ihren Projekten mit bestimmten Aspektwerten finden können.
Dieses Feature ist nützlich, wenn Sie Ihre Metadaten in Knowledge Catalog mit Klassifizierungen für sensible Daten aus Prüfjobs für Sensitive Data Protection anreichern möchten.
Die generierten Aspekte enthalten die folgenden Details:
- Der Name des Prüfjobs
- Die Informationstypen (infoTypes) die in der Tabelle erkannt wurden
Informationen zu Knowledge Catalog
Knowledge Catalog bietet ein einheitliches Inventar von Google Cloud Ressourcen.
Mit Knowledge Catalog können Sie Aspekte verwenden, um Ihren Daten geschäftliche und technische Metadaten hinzuzufügen und so Kontext und Wissen zu Ihren Ressourcen zu erfassen. Anschließend können Sie Daten in Ihrer Organisation suchen und finden und die Datenverwaltung für Ihre Daten-Assets aktivieren. Weitere Informationen finden Sie unter Aspekte.
Funktionsweise
So erstellen Sie automatisch Knowledge Catalog-Aspekte basierend auf den Ergebnissen von Prüfjobs:
Erstellen oder bearbeiten Sie einen Prüfjob, mit dem eine BigQuery-Tabelle geprüft wird. Eine Anleitung finden Sie unter BigQuery-Tabelle prüfen.
Aktivieren Sie im Schritt Aktionen hinzufügen die Option In Dataplex Universal Catalog veröffentlichen.
Sensitive Data Protection fügt den
Sensitive Data Protection job result Aspekt des Knowledge Catalog
Eintrags hinzu, der mit der
BigQuery-Tabelle verknüpft ist, oder aktualisiert ihn. Anschließend können Sie in Knowledge Catalog nach allen Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten suchen. Beispielabfragen finden Sie in diesem Dokument unter Beispielabfragen.
Der resultierende Knowledge Catalog-Aspekt wird im selben Projekt und in derselben Region wie die BigQuery-Tabelle gespeichert.
Aspektfelder
Der Aspekt Sensitive Data Protection job result hat die folgenden Felder:
- Jobname
- Der vollständige Ressourcenname des Prüfjobs, z. B.
projects/example-project/locations/us/dlpJobs/i-8992079400000000000. - Anzahl der infoTypes
- Die Namen der infoTypes, nach denen der Prüfjob gesucht hat (wie in der Prüfungskonfiguration angegeben), und die Anzahl der Ergebnisse für jeden infoType.
Ein infoType ohne Ergebnisse hat die Anzahl
0. - Ende
- Das Datum und die Uhrzeit, zu der der Prüfjob beendet wurde.
- Vollständiger Scan
- Gibt an, ob der Prüfjob alle Zeilen in der Tabelle gescannt hat. Wenn im Prüfjob beispielsweise die Stichprobenerhebung aktiviert ist, ist der Wert dieses Felds
False. - Ergebnisse gefunden
- Gibt an, ob der Prüfjob einen der infoTypes erkannt hat, nach denen er gesucht hat.
Dataplex API aktivieren
Die Dataplex API muss in jedem Projekt aktiviert sein, das Daten enthält, für die Sie Aspekte hinzufügen möchten. In diesem Abschnitt wird beschrieben, wie Sie die Dataplex API in einem einzelnen Projekt oder in allen Projekten in einer Organisation oder einem Ordner aktivieren.
Dataplex API in einem einzelnen Projekt aktivieren
Wählen Sie das Projekt aus, in dem Sie die Dataplex API aktivieren möchten.
-
Aktivieren Sie die Dataplex API.
Rollen, die zum Aktivieren von APIs erforderlich sind
Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (
roles/serviceusage.serviceUsageAdmin), die die Berechtigungserviceusage.services.enableenthält. Informationen zum Zuweisen von Rollen.
Dataplex API in allen Projekten in einer Organisation oder einem Ordner aktivieren
In diesem Abschnitt finden Sie ein Skript, mit dem alle Projekte in einer Organisation oder einem Ordner gesucht und die Dataplex API in jedem dieser Projekte aktiviert wird.
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aktivieren der Dataplex API in allen Projekten in einer organization or folder, benötigen:
- Cloud Asset-Betrachter (
roles/cloudasset.viewer) für die Organisation oder den Ordner - DLP-Nutzer (
roles/dlp.user) für jedes Projekt, in dem Sie die Dataplex API aktivieren möchten
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aktivieren der Dataplex API in allen Projekten in einer Organisation oder einem Ordner erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um die Dataplex API in allen Projekten in einer Organisation oder einem Ordner zu aktivieren:
-
So suchen Sie nach allen Projekten in einer Organisation oder einem Ordner:
cloudasset.assets.searchAllResourcesfür die Organisation oder den Ordner -
So aktivieren Sie die Dataplex API:
serviceusage.services.usefür jedes Projekt, in dem Sie die Dataplex API aktivieren möchten
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
So aktivieren Sie die Dataplex API in allen Projekten in einer Organisation oder einem Ordner:
-
Aktivieren Sie Cloud Shell in der Google Cloud Console.
Unten in der Google Cloud Console wird eine Cloud Shell Sitzung gestartet und eine Befehlszeilenaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Führen Sie das folgende Skript aus:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" doneErsetzen Sie Folgendes:
RESOURCE_ID: die Organisationsnummer oder Ordnernummer der Ressource, die die Projekte enthältRESOURCE_TYPE: der Typ der Ressource, die die Projekte enthält:organizationsoderfolders
Rollen und Berechtigungen zum Aufrufen von Aspekten
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für die Tabelle zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Suchen nach Aspekten benötigen, die mit Ihrer BigQuery-Tabelle verknüpft sind:
- Dataplex Catalog-Betrachter (
roles/dataplex.catalogViewer) - BigQuery-Datenbetrachter (
roles/bigquery.dataViewer)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Suchen nach Aspekten erforderlich sind, die mit Ihrer BigQuery-Tabelle verknüpft sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um nach Aspekten zu suchen, die mit Ihrer BigQuery-Tabelle verknüpft sind:
-
Knowledge Catalog-Einträge ansehen:
-
dataplex.entries.list -
dataplex.entries.get
-
-
BigQuery-Datasets und ‑Tabellen ansehen:
-
bigquery.datasets.get -
bigquery.tables.get
-
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Weitere Informationen zu den Berechtigungen, die für die Verwendung von Knowledge Catalog erforderlich sind, finden Sie unter IAM-Berechtigungen für Knowledge Catalog.
Prüfjob für Sensitive Data Protection konfigurieren und ausführen
Sie können einen Prüfjob für Sensitive Data Protection über die Google Cloud Console oder die DLP API konfigurieren und ausführen.
Console
-
Rufen Sie in der Google Cloud Console die Seite Job oder Job-Trigger erstellen auf.
- Wählen Sie Ihr Projekt aus.
- Geben Sie die erforderlichen Details zum Prüfjob und die Details der BigQuery-Tabelle ein, die Sie prüfen möchten. Eine Anleitung finden Sie unter BigQuery-Tabelle prüfen. Eine vollständige Liste der Informationstypen, nach denen Sensitive Data Protection suchen kann, finden Sie in der InfoType-Detektor referenz.
- Aktivieren Sie unter Aktionen hinzufügen die Option In Dataplex Universal Catalog veröffentlichen.
- Klicken Sie auf Erstellen. Der Job wird sofort ausgeführt.
REST
Im folgenden Beispiel wird eine
projects.locations.dlpJobs.create
Anfrage gesendet, um eine BigQuery-Tabelle zu prüfen und die Ergebnisse an
Knowledge Catalog zu senden.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
-
PROJECT_ID: Ihre Google Cloud Projekt-ID. Projekt-IDs sind alphanumerische Strings. -
LOCATION: die Region oder Multiregion, in der Sie die Anfrage verarbeiten möchten, z. B.europe-west1oderus. Verfügbare Standorte finden Sie unter Standorte für Sensitive Data Protection. -
BIGQUERY_DATASET_NAME: Name des BigQuery-Datasets, das die zu prüfende Tabelle enthält -
BIGQUERY_TABLE_NAME: Name der zu prüfenden BigQuery-Tabelle
HTTP-Methode und URL:
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs
JSON-Text anfordern:
{
"inspectJob":
{
"storageConfig":
{
"bigQueryOptions":
{
"tableReference":
{
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig":
{
"infoTypes":
[
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"includeQuote": true,
"minLikelihood": "UNLIKELY",
"limits":
{
"maxFindingsPerRequest": 100
}
},
"actions":
[
{
"publishFindingsToDataplexCatalog": {}
}
]
}
}
Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
{
"name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"minLikelihood": "UNLIKELY",
"limits": {
"maxFindingsPerRequest": 100
},
"includeQuote": true
},
"actions": [
{
"publishFindingsToDataplexCatalog": {}
}
]
}
},
"result": {}
},
"createTime": "2025-09-09T00:29:55.951374Z",
"lastModified": "2025-09-09T00:29:58.022967Z"
}
Informationen zum Abrufen der Ergebnisse von Prüfjobs mit der DLP API finden Sie unter Job abrufen.
Beispielabfragen
In diesem Abschnitt finden Sie Beispielabfragen, die Sie in Knowledge Catalog verwenden können, um Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten zu finden.
Sie können nur auf die Daten zugreifen, auf die Sie Zugriff haben. Der Datenzugriff wird über IAM-Berechtigungen gesteuert. Weitere Informationen finden Sie in diesem Dokument unter Rollen und Berechtigungen zum Aufrufen von Aspekten.
Sie können diese Beispielabfragen im Feld Suchen auf der Knowledge Catalog-Seite Suchen eingeben.
Informationen zum Erstellen der Abfragen finden Sie unter Suchsyntax für Knowledge Catalog.
Einträge aller Tabellen mit dem Aspekt „Sensitive Data Protection job result“ finden
aspect:sensitive-data-protection-job-result
Einträge von geprüften Tabellen mit Ergebnissen finden
aspect:sensitive-data-protection-job-result.hasFindings=True
Einträge von geprüften Tabellen ohne Ergebnisse finden
aspect:sensitive-data-protection-job-result.hasFindings=False
Einträge von Tabellen finden, die vollständig geprüft wurden
Die folgende Abfrage gibt die Einträge von Tabellen zurück, die von Sensitive Data Protection zeilenweise geprüft wurden.
aspect:sensitive-data-protection-job-result.isFullScan=True
Einträge von Tabellen finden, die nicht vollständig geprüft wurden
Die folgende Abfrage gibt die Einträge von Tabellen zurück, die von Sensitive Data Protection durch Stichprobenerhebung geprüft wurden.
aspect:sensitive-data-protection-job-result.isFullScan=False
Zu der Aktion „In Dataplex Universal Catalog veröffentlichen“ migrieren
So migrieren Sie einen Job-Trigger, der für die Verwendung der eingestellten Aktion In Data Catalog veröffentlichen konfiguriert ist:
- Bearbeiten Sie den Job-Trigger, der für die Veröffentlichung von Prüfungsergebnissen in Data Catalog konfiguriert ist. Informationen zum Öffnen und Bearbeiten eines Job Triggers finden Sie unter Vorhandenen Job Trigger aktualisieren.
- Deaktivieren Sie im Abschnitt Aktionen die Option In Data Catalog veröffentlichen.
- Aktivieren Sie In Dataplex Universal Catalog veröffentlichen.
- Klicken Sie auf Speichern.