Auf dieser Seite wird erläutert, wie Sie Cloud Storage-Buckets und BigQuery-Datasets als Assets in vorhandenen Knowledge Catalog-Zonen (ehemals Dataplex Universal Catalog) hinzufügen, upgraden und entfernen.
Übersicht
Ein Asset wird Daten zugeordnet, die entweder in Cloud Storage oder BigQuery gespeichert sind. Sie können Daten, die in separaten Google Cloud Projekten gespeichert sind, als Assets einer einzelnen Zone in einem Lake zuordnen. Sie können vorhandene Cloud Storage-Buckets oder BigQuery-Datasets anhängen, um sie im Lake zu verwalten.
Hinweis
Erstellen Sie einen Lake und eine Zone in diesem Lake, falls noch nicht geschehen.
Für die meisten
gcloud lakes-Befehle ist ein Speicherort erforderlich. Sie können den Speicherort mit dem Flag--locationangeben.
Erforderliche Rollen und Berechtigungen
Zum Verwalten von Assets in Knowledge Catalog sind Berechtigungen erforderlich, damit Nutzer Verwaltungsaktionen ausführen und das Knowledge Catalog-Dienstkonto auf zugrunde liegende Ressourcen zugreifen kann.
Zum Hinzufügen oder Entfernen von Assets müssen Nutzern IAM-Rollen mit den erforderlichen Berechtigungen (z. B. dataplex.assets.create und dataplex.assets.delete) zugewiesen werden. Die vordefinierten Rollen Dataplex-Administrator (roles/dataplex.admin) und Dataplex-Bearbeiter (roles/dataplex.editor) oder die Legacy-Rollen Inhaber (roles/owner) und Bearbeiter (roles/editor) enthalten diese Berechtigungen.
Wenn Sie eine Ressource (Cloud Storage-Bucket oder BigQuery-Dataset) an einen Lake anhängen, verwendet Knowledge Catalog das zugehörige Dienstkonto , um mit dieser Ressource zu interagieren.
- Wenn sich die Ressource im selben Projekt wie der Lake befindet, werden dem Dienstkonto implizit Berechtigungen gewährt.
- Wenn sich die Ressource in einem anderen Projekt als der Lake befindet, müssen Sie dem Dienstkonto explizit Berechtigungen für den Zugriff auf diese Ressource gewähren, wie in den folgenden Abschnitten beschrieben.
Weitere Informationen finden Sie unter IAM und Zugriffssteuerung für Knowledge Catalog.
Rollen für Cloud Storage-Buckets gewähren
Wenn Sie einen Cloud Storage-Bucket aus einem anderen Projekt anhängen möchten, gewähren Sie dem
Knowledge Catalog-Dienstkonto
(service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com)
auf eine der folgenden Arten Berechtigungen:
Berechtigungen auf Projektebene: Gewähren Sie dem Dienstkonto die
roles/dataplex.serviceAgentRolle für das Projekt, das den Bucket enthält. Dadurch erhält Knowledge Catalog Administratorberechtigungen für alle Buckets im Projekt und kann Berechtigungen für angehängte Buckets verwalten.Berechtigungen auf Bucket-Ebene: Für eine detailliertere Steuerung verwenden Sie den
gcloud dataplex lakes authorizeBefehl, um dem Dienstkonto nur für einen bestimmten Bucket die erforderlichen Berechtigungen zu gewähren.
Rollen für BigQuery-Datasets gewähren
Wenn Sie ein BigQuery-Dataset aus einem anderen Projekt anhängen möchten,
gewähren Sie dem
Knowledge Catalog-Dienstkonto
die Rolle BigQuery-Administrator (roles/bigquery.admin) für das Dataset.
VPC Service Controls-Überlegungen
Knowledge Catalog verstößt nicht gegen VPC Service Controls-Perimeter. Bevor Sie dem Lake ein Asset hinzufügen, prüfen Sie, ob sich der zugrunde liegende Bucket oder das Dataset im selben VPC Service Controls-Netzwerk wie der Lake befindet.
Weitere Informationen finden Sie unter VPC Service Controls mit Knowledge Catalog.
Asset hinzufügen
Wenn es keine Überschneidung zwischen der Knowledge Catalog-Lake-Region und einer der Cloud Storage-Bucket-Regionen gibt, können Sie den Bucket nicht einer Zone in Ihrem Lake hinzufügen.
Weitere Informationen zum Speicherort einer Cloud Storage-Asset-Region und dazu, wie Knowledge Catalog den Speicherort eines Buckets beim Erstellen des Veröffentlichungs-Datasets verarbeitet, finden Sie unter Regionale Ressourcen.
So fügen Sie ein Asset hinzu:
Console
Rufen Sie in der Google Cloud Console die Seite Lakes von Knowledge Catalog auf.
Klicken Sie auf den Lake, dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset hinzufügen möchten. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, der Sie das Asset hinzufügen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Klicken Sie auf dem Tab Assets auf + Assets hinzufügen. Die Seite Assets hinzufügen wird geöffnet.
Klicken Sie auf Asset hinzufügen.
Wählen Sie im Feld Typ entweder BigQuery-Dataset oder Cloud Storage-Bucket aus.
Geben Sie im Feld Anzeigename einen Namen für das neue Asset ein.
Geben Sie im Feld ID eine eindeutige ID für das Asset ein.
Optional: Geben Sie eine Beschreibung ein.
Klicken Sie im Feld Dataset oder Bucket (je nach Typ Ihres Assets) auf Durchsuchen , um Ihren Cloud Storage-Bucket oder Ihr BigQuery-Dataset zu suchen und auszuwählen.
Optional: Wenn Ihr Asset-Typ Cloud Storage-Bucket ist und Sie möchten, dass Knowledge Catalog das Asset verwaltet, wählen Sie das Kästchen Auf verwaltet upgraden aus. Wenn Sie diese Option auswählen, müssen Sie das Asset nicht separat upgraden. Diese Option ist für BigQuery-Datasets nicht verfügbar.
Klicken Sie auf Weiter.
Wählen Sie die restlichen Parameterwerte aus. Weitere Informationen zu Sicherheitseinstellungen finden Sie unter Lakesicherheit.
Klicken Sie auf Senden.
Achten Sie darauf, dass Sie wieder auf die Seite „Datenzone“ zurückgekehrt sind und Ihr neues Asset in der Liste der Assets angezeigt wird.
REST
Verwenden Sie die lakes.zones.assets.create Methode, um ein Asset hinzuzufügen.
Wenn das Hinzufügen erfolgreich ist, wechselt die Datenzone automatisch in den Aktivitätsstatus. Wenn es fehlschlägt, wird die Datenzone auf ihren vorherigen fehlerfreien Zustand zurückgesetzt.
Cloud Storage-Bucket-Asset upgraden
Wenn Sie ein Asset vom Typ „Cloud Storage-Bucket“ hinzufügen, veröffentlicht Knowledge Catalog automatisch BigQuery externe Tabellen für die im Asset gehosteten Tabellen.
Wenn Sie ein Cloud Storage-Bucket-Asset upgraden, entfernt Knowledge Catalog die angehängten externen Tabellen und erstellt BigLake-Tabellen. BigLake-Tabellen unterstützen eine bessere detaillierte Sicherheit, einschließlich Zeilen-, Spalten- und dynamischer Datenmaskierung.
So upgraden Sie ein Cloud Storage-Bucket-Asset:
Console
Rufen Sie in der Google Cloud Console die Seite Lakes von Knowledge Catalog auf.
Klicken Sie auf den Namen des Lakes. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie upgraden möchten.
Klicken Sie auf Auf verwaltet upgraden.
REST
Verwenden Sie die lakes.zones.assets.patch Methode, um ein Bucket-Asset zu upgraden.
Cloud Storage-Bucket-Asset downgraden
Wenn Sie ein Cloud Storage-Bucket-Asset downgraden, entfernt Knowledge Catalog die angehängten BigLake-Tabellen und erstellt externe Tabellen.
Console
Rufen Sie in der Google Cloud Console die Seite Lakes von Knowledge Catalog auf.
Klicken Sie auf den Namen des Lakes. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie upgraden möchten.
Klicken Sie auf Aus verwalteten Modus downgraden.
REST
Verwenden Sie die
lakes.zones.assets.patch
Methode, um ein Bucket-Asset zu downgraden. Achten Sie darauf, dass Sie das Feld readAccessMode in
ResourceSpec auf DIRECT setzen.
Asset entfernen
Entfernen Sie das Asset aus der Datenzone oder dem Lake, bevor Sie es an eine andere Datenzone oder einen anderen Lake anhängen.
So entfernen Sie ein Asset:
Console
Rufen Sie in der Google Cloud Console die Seite Lakes von Knowledge Catalog auf.
Klicken Sie auf den Lake, aus dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset entfernen möchten. Die Lake-Seite für diesen Lake wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, aus der Sie den Cloud Storage-Bucket oder das BigQuery-Dataset entfernen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Wählen Sie auf dem Tab Assets das Asset aus, indem Sie das Kästchen links neben dem Asset-Namen anklicken.
Klicken Sie auf Asset löschen.
Klicken Sie im Dialogfeld zur Bestätigung auf Löschen.
REST
Verwenden Sie die lakes.zones.assets.delete Methode, um einen Bucket zu entfernen.
Nächste Schritte
- Weitere Informationen zum Erkennen von Daten.
- Informationen zum Erstellen eines Lakes
- Weitere Informationen zu Cloud-Audit-Logs.