Dataplex Universal Catalog-Aspekte basierend auf Erkenntnissen aus Datenprofilen hinzufügen

Auf dieser Seite wird beschrieben, wie Sie Ihren Daten automatisch Dataplex Universal Catalog-Aspekte hinzufügen, nachdem Sensitive Data Protection Profile für Ihre Ressourcen erstellt hat. Außerdem finden Sie hier Beispielabfragen, mit denen Sie in Ihrer Organisation und Ihren Projekten nach Daten mit bestimmten Aspektwerten suchen können.

Diese Funktion ist nützlich, wenn Sie Ihre Metadaten in Dataplex Universal Catalog mit Statistiken aus Sensitive Data Protection-Datenprofilen anreichern möchten. Die generierten Aspekte enthalten die folgenden Statistiken:

  • Berechnete Vertraulichkeitsstufe der Tabelle oder des Datasets
  • Berechnete Datenrisikostufe der Tabelle oder des Datasets
  • In der Tabelle oder im Dataset erkannte Informationstypen (infoTypes)

Statistiken aus Sensitive Data Protection-Datenprofilen können Ihnen helfen, mit Dataplex Universal Catalog sensible und risikoreiche Daten in Ihrer Organisation zu finden. Anhand dieser Statistiken können Sie fundierte Entscheidungen zur Verwaltung und Steuerung Ihrer Daten treffen.

Datenprofile

Sie können Sensitive Data Protection so konfigurieren, dass automatisch Profile für Daten in einer Organisation, einem Ordner oder einem Projekt erstellt werden. Daten profile enthalten Messwerte und Metadaten zu Ihren Daten und können ermitteln, wo sich sensible und risikoreiche Daten befinden. Sensitive Data Protection meldet diese Messwerte mit unterschiedlichem Detaillierungsgrad.

Sie können Datenprofile an andere Google Cloud Dienste wie Dataplex Universal Catalog, Pub/Sub, Security Command Center und Google Security Operations senden, um Ihre Workflows für Data Governance, Benachrichtigungen und Sicherheit zu verbessern.

Dataplex Universal Catalog

Dataplex Universal Catalog bietet ein einheitliches Inventar von Google Cloud Ressourcen.

Mit Dataplex Universal Catalog können Sie Aspekte verwenden, um Ihren Daten geschäftliche und technische Metadaten hinzuzufügen und so Kontext und Wissen über Ihre Ressourcen zu erfassen. Anschließend können Sie in Ihrer Organisation nach Daten suchen und Data Governance für Ihre Daten-Assets aktivieren. Weitere Informationen finden Sie unter Aspekte.

Unterstützte Ressourcen

Sensitive Data Protection kann automatisch Aspekte an Dataplex Universal Catalog-Einträge für die folgenden Ressourcen anhängen:

Cloud Storage-Buckets werden nicht in Dataplex Universal Catalog aufgenommen. Daher ist diese Funktion nicht verfügbar, wenn Sie Profile für Cloud Storage-Daten erstellen.

Funktionsweise

Der allgemeine Workflow zum automatischen Erstellen von Dataplex Universal Catalog-Aspekten auf Grundlage von Datenprofilen sieht so aus:

  1. Erstellen oder bearbeiten Sie eine Scan konfiguration für einen unterstützten Ressourcentyp.

  2. Achten Sie im Schritt Aktionen hinzufügen darauf, dass die Aktion Als Aspekte an Dataplex Catalog senden aktiviert ist.

    Wenn Sie eine Scankonfiguration erstellen, ist diese Aktion standardmäßig aktiviert.

    Wenn Sie eine Scankonfiguration bearbeiten, aktivieren Sie diese Aktion.

Sensitive Data Protection adds or updates the Sensitive Data Protection profile aspect of the Dataplex Universal Catalog entry for each supported resource that you profile. Anschließend können Sie in Dataplex Universal Catalog nach allen Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten suchen.

Wenn Sie die Aktion Als Aspekte an Dataplex Catalog senden aktivieren, wendet Sensitive Data Protection diese Aktion nur auf neue und aktualisierte Profile an. Vorhandene Profile, die nicht aktualisiert werden, werden nicht an Dataplex Universal Catalog gesendet.

Felder der obersten Ebene

Der resultierende Aspekt für eine profilierte Tabelle kann die folgenden Felder der obersten Ebene haben:

Anzeigename Beispielwert Beschreibung
Sensitivity MODERATE Die berechnete Vertraulichkeitsstufe der Tabelle
Risk MODERATE Die berechnete Datenrisikostufe der Tabelle
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
 Eine Liste aller in der Tabelle gefundenen infoTypes, einschließlich vorhergesagter infoTypes und anderer infoTypes. Dieses Feld ist enthalten, wenn in der Tabelle mindestens ein infoType erkannt wurde.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
 Eine Liste aller vorhergesagten infoTypes, die in allen Spalten der Tabelle gefunden wurden. Dieses Feld ist enthalten, wenn mindestens ein vorhergesagter infoType in der Tabelle erkannt wurde.
Project Profile Siehe Projektprofil und Organisationsprofil auf dieser Seite. Ist enthalten, wenn für die Ressource ein Profil durch eine Scankonfiguration auf Projektebene erstellt wurde.
Organization Profile Siehe Projektprofil und Organisationsprofil auf dieser Seite. Ist enthalten, wenn für die Ressource ein Profil durch eine Scankonfiguration auf Organisations- oder Ordnerebene erstellt wurde.

Wenn für die Ressource sowohl auf Projekt- als auch auf Organisations- oder Ordnerebene ein Profil erstellt wurde, aggregiert Sensitive Data Protection die Werte beider Profile. Der Aspekt bietet eine Vereinigung der erkannten infoTypes und verwendet die höchsten Vertraulichkeits- und Datenrisikobewertungen aus beiden Profilen.

Angenommen, im Profil auf Projektebene wird die Vertraulichkeit der Ressource als MODERATE und im Profil auf Organisationsebene als LOW bewertet. In diesem Fall ist der Wert im Feld Sensitivity der obersten Ebene des Aspekts MODERATE.

Felder für Projektprofil und Organisationsprofil

Der resultierende Sensitive Data Protection profile Aspekt enthält je nach Ebene, auf der das Ressource profiliert wurde, eines oder beide der folgenden Felder der obersten Ebene:

Project Profile
Ist im Aspekt enthalten, wenn für die Ressource ein Profil durch eine Scankonfiguration auf Projektebene erstellt wurde.
Organization Profile
Ist im Aspekt enthalten, wenn für die Ressource ein Profil durch eine Scankonfiguration auf Organisations- oder Ordnerebene erstellt wurde.

Wenn für die Ressource sowohl auf Projekt- als auch auf Organisations- oder Ordnerebene ein Profil erstellt wurde, enthält der resultierende Aspekt sowohl die Felder Project Profile als auch Organization Profile.

Jedes Feld Project Profile oder Organization Profile enthält die verschachtelten Felder Sensitivity und Risk mit den im Datenprofil aufgeführten Werten. Wenn im Datenprofil vorhergesagte und andere infoTypes aufgeführt sind, sind diese auch als verschachtelte Column InfoTypes und InfoTypes Felder verfügbar. Außerdem enthält jedes Feld Project Profile oder Organization Profile die folgenden verschachtelten Felder:

Profile

Der vollständige Ressourcenname des Datenprofils. Beispiele:

  • Profil auf Projektebene: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Profil auf Organisations- oder Ordnerebene: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Ein Link zum Profil in der Google Cloud Console. Beispiele:

  • Profil auf Projektebene: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Profil auf Organisations- oder Ordnerebene: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Dataplex API aktivieren

Die Dataplex API muss in jedem Projekt aktiviert sein, das Daten enthält, für die Sie Aspekte hinzufügen möchten. In diesem Abschnitt wird beschrieben, wie Sie die Dataplex API in einem einzelnen Projekt oder in allen Projekten einer Organisation oder eines Ordners aktivieren.

Dataplex API in einem einzelnen Projekt aktivieren

  1. Wählen Sie das Projekt aus, in dem Sie die Dataplex API aktivieren möchten.

    Zur Projektauswahl

  2. Aktivieren Sie die Dataplex API.

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Informationen zum Zuweisen von Rollen.

    API aktivieren

Dataplex API in allen Projekten einer Organisation oder eines Ordners aktivieren

In diesem Abschnitt finden Sie ein Skript, mit dem Sie in allen Projekten einer Organisation oder eines Ordners nach Projekten suchen und die Dataplex API in jedem dieser Projekte aktivieren können.

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aktivieren der Dataplex API in allen Projekten einer organization oder eines Ordners benötigen:

  • Cloud Asset-Betrachter (roles/cloudasset.viewer) für die Organisation oder den Ordner
  • DLP-Nutzer (roles/dlp.user) für jedes Projekt, in dem Sie die Dataplex API aktivieren möchten

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aktivieren der Dataplex API in allen Projekten einer Organisation oder eines Ordners erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um die Dataplex API in allen Projekten einer Organisation oder eines Ordners zu aktivieren:

  • So suchen Sie nach allen Projekten in einer Organisation oder einem Ordner: cloudasset.assets.searchAllResources für die Organisation oder den Ordner
  • So aktivieren Sie die Dataplex API: serviceusage.services.use für jedes Projekt, in dem Sie die Dataplex API aktivieren möchten

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

So aktivieren Sie die Dataplex API in allen Projekten einer Organisation oder eines Ordners:

  1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell Sitzung gestartet und eine Befehlszeilenaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

  2. Führen Sie das folgende Skript aus:

    #!/bin/bash

RESOURCE_ID="RESOURCE_ID"

gcloud asset search-all-resources \
    --scope="RESOURCE_TYPE/$RESOURCE_ID" \
    --asset-types="cloudresourcemanager.googleapis.com/Project" \
    --format="value(name)" |
    while read project_name; do
      project_id=$(echo "$project_name" | sed 's|.*/||')
      gcloud services enable "dataplex.googleapis.com" --project="$project_id"
    done

    Ersetzen Sie Folgendes:

    • RESOURCE_ID: die Organisationsnummer oder Ordnernummer der Ressource, die die Projekte enthält
    • RESOURCE_TYPE: der Typ der Ressource, die die Projekte enthält: organizations oder folders

Rollen und Berechtigungen zum Aufrufen von Aspekten

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für die Ressourcen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Suchen nach Aspekten benötigen, die mit Ihren Ressourcen verknüpft sind:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Suchen nach Aspekten erforderlich sind, die mit Ihren Ressourcen verknüpft sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um nach Aspekten zu suchen, die mit Ihren Ressourcen verknüpft sind:

  • Dataplex Universal Catalog-Einträge ansehen:
    • dataplex.entries.list
    • dataplex.entries.get
  • BigQuery-Datasets und ‑Tabellen ansehen:
    • bigquery.datasets.get
    • bigquery.tables.get
  • Vertex AI-Datasets ansehen: aiplatform.datasets.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu den Berechtigungen, die für die Verwendung von Dataplex Universal Catalog erforderlich sind, finden Sie unter IAM-Berechtigungen für Dataplex Universal Catalog.

Generierten Aspekt für ein bestimmtes Datenprofil einer Tabelle finden

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog Verarbeiten Seite auf.

    Zur Suche

  2. Wählen Sie Ihre Organisation oder das Projekt aus.

  3. Wählen Sie unter Suchplattform auswählen die Option Dataplex Universal Catalog als Such modus aus.

  4. Geben Sie im Feld Suchen Folgendes ein:

    name:TABLE_ID

    Ersetzen Sie TABLE_ID durch die ID der Tabelle, für die ein Profil erstellt wurde.

  5. Klicken Sie in der angezeigten Liste auf den Tabellennamen. Die Details der BigQuery-Tabelle werden angezeigt. Alle zugehörigen Sensitive Data Protection profile Aspekte werden im Bereich Optionale Tags und Aspekte angezeigt.

Weitere Informationen zum Suchen nach Ressourcen finden Sie unter Nach Ressourcen in Dataplex Universal Catalog suchen.

Beispiele für Suchanfragen

In diesem Abschnitt finden Sie Beispielsuchanfragen, mit denen Sie in Dataplex Universal Catalog nach Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten suchen können.

Sie können nur die Daten finden, auf die Sie Zugriff haben. Der Datenzugriff wird über IAM-Berechtigungen gesteuert. Weitere Informationen finden Sie auf dieser Seite unter Rollen und Berechtigungen zum Aufrufen von Aspekten.

Sie können diese Beispielabfragen im Feld Suchen auf der Dataplex Universal Catalog-Seite Verarbeiten eingeben.

Zur Suche

Informationen zum Erstellen der Abfragen finden Sie unter Suchsyntax für Dataplex Universal Catalog.

Alle Ressourcen mit dem Aspekt „Sensitive Data Protection-Profil“ finden

aspect:sensitive-data-protection-profile

Alle Ressourcen mit einer bestimmten Vertraulichkeitsbewertung finden

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

Ersetzen Sie SENSITIVITY_SCORE durch HIGH, MODERATE, UNKNOWN oder LOW.

Weitere Informationen finden Sie unter Vertraulichkeits- und Datenrisikostufen.

Alle Ressourcen mit einer bestimmten Risikobewertung finden

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

Ersetzen Sie DATA_RISK_LEVEL durch HIGH, MODERATE, UNKNOWN oder LOW.

Weitere Informationen finden Sie unter Vertraulichkeits- und Datenrisikostufen.

Alle Ressourcen mit einem Profil auf Projektebene finden

aspect:sensitive-data-protection-profile.projectProfile

Alle Ressourcen mit einem Profil auf Organisationsebene finden

aspect:sensitive-data-protection-profile.organizationProfile

Zur Aktion „Als Aspekte an Dataplex Catalog senden“ migrieren

So migrieren Sie eine Erkennungskonfiguration, die für die Verwendung der eingestellten Aktion Als Tags an Dataplex senden festgelegt ist:

  1. Bearbeiten Sie die Erkennungskonfiguration, die so konfiguriert ist, dass Erkennungsergebnisse als Tags an Data Catalog gesendet werden.
  2. Deaktivieren Sie im Bereich Aktionen die Option Als Tags an Dataplex senden.
  3. Aktivieren Sie Als Aspekte an Dataplex Catalog senden.
  4. Klicken Sie auf Speichern.