Knowledge Catalog (ehemals Dataplex Universal Catalog) ersetzt Data Catalog und bietet eine komplexere Metadatenverwaltung, erweiterte Funktionen für die Data Governance, eine leistungsstärkere Datensuche, eine weniger komplexe Zugriffssteuerung und eine einheitliche API zur Vereinfachung der Entwicklung. In diesem Dokument wird beschrieben, wie Sie Ihre Data Catalog-Inhalte und ‑Nutzung auf Knowledge Catalog umstellen.
Wenn Sie den Katalog noch nicht kennen, beginnen Sie mit Knowledge Catalog, indem Sie ihn als Standardkatalog festlegen konfigurieren.
Knowledge Catalog hat eine einheitliche Weboberfläche und API. Durch die Umstellung auf Knowledge Catalog profitieren Ihre vorhandenen und zukünftigen Arbeitslasten und Nutzer von den erweiterten Funktionen. Weitere Informationen finden Sie unter Metadatenverwaltung in Knowledge Catalog.
Einen Vergleich von Knowledge Catalog und Data Catalog finden Sie unter Knowledge Catalog im Vergleich zu Data Catalog.
Hinweis
Bevor Sie mit der Umstellung beginnen, sehen Sie sich die Funktionen zur Metadatenverwaltung an, die in Knowledge Catalog nicht unterstützt werden.
Übersicht zur Umstellung
Die Seite Umstellung auf Knowledge Catalog verwalten in der Google Cloud Console bietet einen zentralen Zugriffspunkt für die Verwaltung der Umstellung.
In diesem Abschnitt werden die verschiedenen Umstellungsszenarien beschrieben und der Umstellungsprozess für jedes Szenario erläutert.
Wenn Sie keine benutzerdefinierten Metadaten in Data Catalog haben oder Data Catalog noch nie verwendet haben
Wenn Sie Data Catalog verwenden und keine benutzerdefinierten Metadaten haben, wie z. B. Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragungsgruppen, oder Data Catalog noch nie verwendet haben, schließen Sie die Umstellung ab, indem Sie Ihre Standard-UI für den Katalog auf Knowledge Catalog einstellen.
Wenn Sie benutzerdefinierte Metadaten oder programmatische Arbeitslasten in Data Catalog haben
Wenn Sie Data Catalog mit benutzerdefinierten Metadaten (z. B. Tags, Tag-Vorlagen, benutzerdefinierten Einträgen oder Eintragsgruppen) verwenden, kann Knowledge Catalog diese benutzerdefinierten Metadaten automatisch als read-only importieren. Um diese Funktion zu aktivieren, sind Konfigurationsänderungen erforderlich, wie in der Vorbereitungsphase beschrieben.
Die zweite Phase ist die Upgrade-Phase, in der der aktive Status (read-write)
Ihrer benutzerdefinierten Metadaten zu Knowledge Catalog verschoben wird. In dieser Phase müssen Sie auch alle programmatischen Arbeitslasten (z. B. API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle) aktualisieren, um mit Knowledge Catalog zu interagieren.
Im Folgenden finden Sie weitere Informationen zu den einzelnen Phasen des Umstellungsprozesses:
Vorbereitungsphase: Führen Sie die erforderlichen Konfigurationsaufgaben aus, um die Data Catalog-Inhalte gleichzeitig in Knowledge Catalog als
read-onlyverfügbar zu machen. In dieser Phase bleibt Data Catalog die maßgebliche Quelle für Ihre Metadateninhalte.Die Vorbereitungsphase umfasst die folgenden Aufgaben:
- Private Data Catalog-Tag-Vorlagen in öffentliche umwandeln.
- IAM-Berechtigungen für Knowledge Catalog für Ihre benutzerdefinierten Metadaten konfigurieren.
Weitere Informationen finden Sie unter Vorbereitungsphase.
Upgrade-Phase: Verschieben Sie Ihre Katalognutzung und den aktiven Status (
read-write) Ihrer benutzerdefinierten Metadaten zu Knowledge Catalog.Die Upgrade-Phase umfasst die folgenden Aufgaben:
- Standardkatalog-UI auf Knowledge Catalog festlegen.
- Upgrade der benutzerdefinierten Data Catalog-Metadaten auf Knowledge Catalog durchführen.
- Programmatische Arbeitslasten aktualisieren.
Nach Abschluss der Upgrade-Phase ist Knowledge Catalog die maßgebliche Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.
Weitere Informationen finden Sie unter Upgrade-Phase.
Erforderliche Rollen
Um die Berechtigungen zu erhalten, die für die Umstellung von Data Catalog auf Knowledge Catalog erforderlich sind, weisen Sie der Ressource die folgenden IAM-Rollen zu:
Private Tag-Vorlagen in öffentliche umwandeln: Data Catalog-Tag-Vorlageninhaber (
roles/datacatalog.tagTemplateOwner)Diese vordefinierte Rolle enthält die Berechtigung
datacatalog.tagTemplates.update, die zum Umwandeln privater Tag-Vorlagen in öffentliche erforderlich ist.Standardkatalog-UI auf Knowledge Catalog festlegen: DataCatalog Migration Config Admin (
roles/datacatalog.migrationConfigAdmin)Diese vordefinierte Rolle enthält die Berechtigung
datacatalog.migrationConfig.set, die zum Festlegen der Standard-UI für den Katalog erforderlich ist.Upgrade der öffentlichen Data Catalog-Tag-Vorlagen auf Knowledge Catalog durchführen: Data Catalog-Tag-Vorlageninhaber (
roles/datacatalog.tagTemplateOwner)Diese vordefinierte Rolle enthält die Berechtigung
datacatalog.tagTemplates.update, die für das Upgrade öffentlicher Tag-Vorlagen erforderlich ist.Upgrade der Data Catalog-Eintragsgruppen auf Knowledge Catalog durchführen: DataCatalog-Eintragsgruppeninhaber (
roles/datacatalog.entryGroupOwner)Diese vordefinierte Rolle enthält die Berechtigung
datacatalog.entryGroups.update, die für das Upgrade von Eintragsgruppen erforderlich ist.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Vorbereitungsphase
In dieser Phase werden Aufgaben ausgeführt, um die Data Catalog-Metadateninhalte gleichzeitig im read-only-Modus in Knowledge Catalog verfügbar zu machen.
Die wichtigsten Punkte, die Sie in der Vorbereitungsphase beachten sollten:
- Data Catalog bleibt die maßgebliche Quelle für Ihre benutzerdefinierten Metadaten.
- Die Knowledge Catalog-Suche umfasst möglicherweise erst dann alle öffentlichen Data Catalog-Tag-Vorlagen und ‑Tags, wenn Sie die Vorbereitungsphase abgeschlossen haben.
Weitere Informationen zur gleichzeitigen Verfügbarkeit von Data Catalog-Metadaten in Knowledge Catalog
Benutzerdefinierte Data Catalog-Eintragsgruppen, ‑Einträge, ‑Tags und öffentliche Tag-Vorlagen sind automatisch als read-only-Ressourcen in Knowledge Catalog verfügbar.
In der folgenden Tabelle wird die Zuordnung zwischen Data Catalog- und Knowledge Catalog-Ressourcen dargestellt, wenn die Data Catalog-Ressourcen gleichzeitig in Knowledge Catalog verfügbar gemacht werden:
| Data Catalog-Ressource | Entsprechende Knowledge Catalog-Ressource | Beschreibung |
|---|---|---|
| Tag-Vorlage | Aspekttyp (global) | Tag-Vorlagen in Data Catalog sind regionale Ressourcen. Ihre Inhalte werden gleichzeitig als globale Aspekttypen in Knowledge Catalog verfügbar gemacht. So bleiben die regionenübergreifenden Verweise zwischen Tags und Tag-Vorlagen erhalten. Definitionen von globalen Aspekttypen werden in alle Google Cloud Regionen repliziert. Standardkonzepte wie |
| Tag | Optionaler Aspekt | Tags werden gleichzeitig als optionale Aspekte in Knowledge Catalog verfügbar gemacht. Weitere Informationen finden Sie unter Kategorien von Aspekten. |
| Eintragsgruppe | Eintragsgruppe | Eintragsgruppen für Systemeinträge werden in Knowledge Catalog pro Projekt und Region eingerichtet. In Data Catalog erstellte Eintragsgruppen werden gleichzeitig in Knowledge Catalog verfügbar gemacht. |
| Benutzerdefinierter Eintrag | Benutzerdefinierter Eintrag | Alle benutzerdefinierten Einträge in Data Catalog werden gleichzeitig als Einträge vom Typ GenericEntryType in Knowledge Catalog verfügbar gemacht.
Weitere Informationen finden Sie unter
Kategorien von Eintragstypen.
|
| Systemeintrag (Google Cloud) | Erforderlicher Aspekt für Systemeintrag | Metadaten, die Systemeinträge beschreiben, z. B. Schema für BigQuery-Tabellen, werden in erforderlichen Aspekten der vom System definierten Aspekttypen erfasst.
|
Private Data Catalog-Tag-Vorlagen in öffentliche umwandeln
Knowledge Catalog unterstützt nicht das Konzept privater Aspekte (Entsprechungen zu privaten Tags). Daher werden private Tag-Vorlagen und ‑Tags nicht gleichzeitig in Knowledge Catalog verfügbar gemacht. Wenn Sie private Tag-Vorlagen und ‑Tags in Knowledge Catalog weitergeben möchten, müssen Sie sie in öffentliche umwandeln.
Bevor Sie fortfahren, überprüfen Sie die Struktur der privaten Tag-Vorlagen, um sicherzustellen, dass sie und ihre Metadaten mit der Sichtbarkeit der öffentlichen Tags übereinstimmen.
So wandeln Sie private Tag-Vorlagen und ‑Tags in öffentliche um:
Console
Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.
Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.
Klicken Sie auf den Tab Private Tag-Vorlagen.
Klicken Sie auf Tag-Vorlagen verwalten.
Klicken Sie auf der Seite Tag-Vorlagen auf die private Tag-Vorlage, die Sie aktualisieren möchten.
Klicken Sie auf der Seite Vorlagendetails auf Bearbeiten.
Wählen Sie im Bereich Sichtbarkeit die Option Öffentlich aus.
Klicken Sie auf Aktualisieren.
REST
Verwenden Sie die
tagTemplates.patch
Methode, um die privaten Tag-Vorlagen in öffentliche umzuwandeln.
IAM-Berechtigungen für Knowledge Catalog für Ihre benutzerdefinierten Metadaten konfigurieren
Knowledge Catalog-Aspekttypen und benutzerdefinierte Eintragsgruppen, die Tag-Vorlagen und Eintragsgruppen aus Data Catalog darstellen, übernehmen nicht die ursprünglichen Data Catalog-IAM-Berechtigungen. Die erforderlichen IAM-Berechtigungen unterscheiden sich auch zwischen Knowledge Catalog und Data Catalog.
Wenn Sie beispielsweise Aspekte mit einem weitergegebenen Aspekttyp erstellen möchten (der eine Data Catalog-Tag-Vorlage darstellt), müssen Sie die erforderlichen IAM-Berechtigungen für diesen Aspekttyp konfigurieren. Ebenso müssen Sie beim Erfassen benutzerdefinierter Metadaten, um benutzerdefinierte Einträge in einer weitergegebenen benutzerdefinierten Eintragsgruppe zu erstellen, die erforderlichen IAM-Berechtigungen für diese Eintragsgruppe konfigurieren.
Wenn Sie Data Catalog-IAM-Rollen verwenden, um den Zugriff in Data Catalog auf Projektebene oder höher zu verwalten, sind die erforderlichen Knowledge Catalog-Berechtigungen automatisch enthalten. Wenn Sie jedoch benutzerdefinierte Rollen verwenden oder IAM-Rollen direkt bestimmten Ressourcen zuweisen, müssen Sie die Knowledge Catalog-Berechtigungen für diese bestimmten Aspekte und benutzerdefinierten Eintragsgruppen manuell konfigurieren.
Weitere Informationen zur Entsprechung von IAM-Berechtigungen in Data Catalog und Knowledge Catalog finden Sie unter Zuordnung von IAM-Berechtigungen zwischen Data Catalog und Knowledge Catalog.
So konfigurieren Sie die erforderlichen IAM-Berechtigungen für Knowledge Catalog für Aspekttypen und benutzerdefinierte Eintragsgruppen:
Console
Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.
Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.
Klicken Sie auf den Tab Dataplex-IAM-Berechtigungen.
Klicken Sie auf Aspekttypen und Tag-Vorlagen, um IAM-Berechtigungen für Knowledge Catalog für Aspekttypen zu konfigurieren.
Klicken Sie für die aus Data Catalog weitergegebene Tag-Vorlage auf > Berechtigungen.
Klicken Sie auf Hauptkonten hinzufügen.
Fügen Sie ein neues Hauptkonto hinzu und weisen Sie die erforderlichen Rollen zu.
Klicken Sie auf Speichern.
Klicken Sie auf Eintragsgruppen, um IAM-Berechtigungen für Knowledge Catalog für Eintragsgruppen zu konfigurieren.
Klicken Sie für die aus Data Catalog weitergegebene Eintragsgruppe auf > Berechtigungen.
Klicken Sie auf Hauptkonten hinzufügen.
Fügen Sie ein neues Hauptkonto hinzu und weisen Sie die erforderlichen Rollen zu.
Klicken Sie auf Speichern.
REST
Verwenden Sie die
aspectTypes.setIamPolicy
Methode, um IAM-Berechtigungen für Knowledge Catalog für
Aspekttypen zu konfigurieren.
Verwenden Sie die
entryGroups.setIamPolicy
Methode, um IAM-Berechtigungen für Knowledge Catalog für
Eintragsgruppen zu konfigurieren.
Upgrade-Phase
In dieser Phase werden Aufgaben ausgeführt, um den aktiven Status (read-write) Ihrer benutzerdefinierten Data Catalog-Metadaten zu Knowledge Catalog zu verschieben.
Die wichtigsten Punkte, die Sie in der Upgrade-Phase beachten sollten:
- Sie können sowohl die Data Catalog- als auch die Knowledge Catalog-Metadaten in Knowledge Catalog ermitteln und lesen.
- Wenn Sie Metadaten in der Google Cloud Console aktualisieren, werden Sie zu ihrer Quelle weitergeleitet. Wenn Sie beispielsweise Data Catalog-Tag-Vorlagen aktualisieren, werden Sie zur Seite „Tag-Vorlagen“ in Data Catalog weitergeleitet.
Standardkatalog-UI auf Knowledge Catalog festlegen
Wenn Sie die Standard-UI für den Katalog auf Knowledge Catalog festlegen, bedeutet das Folgendes:
Die Weboberfläche fordert Sie auf, neue Ressourcen in Knowledge Catalog zu erstellen. Standardmäßig wird beispielsweise Aspekttypen erstellen anstelle von Tag-Vorlagen erstellen und Eintragsgruppe erstellen (Knowledge Catalog) anstelle von Eintragsgruppe erstellen (Data Catalog) angezeigt.
Das Festlegen der Standard-UI für den Katalog auf Knowledge Catalog ist in der Regel ein einmaliger Vorgang. In Knowledge Catalog können Sie Änderungen jedoch in Ausnahmefällen rückgängig machen, z. B. wenn Sie die Standard-UI für den Katalog wieder auf Data Catalog umstellen möchten. Wenn Sie die Änderungen rückgängig machen, können Sie in der Data Catalog-Weboberfläche nicht auf Inhalte zugreifen, die in Knowledge Catalog erstellt wurden.
So legen Sie die Standard-UI für den Katalog auf Knowledge Catalog fest:
Console
Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.
Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.
Klicken Sie auf den Tab Standard-UI für Katalog.
Klicken Sie auf Standard-UI für Katalog auf Knowledge Catalog festlegen.
REST
Verwenden Sie die
setConfig
Methode, um die Standard-UI für den Katalog auf Knowledge Catalog festzulegen.
Upgrade der benutzerdefinierten Data Catalog-Metadaten auf Knowledge Catalog durchführen
Sie können die öffentlichen Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Knowledge Catalog upgraden. Achten Sie darauf, dass Sie für jede Tag-Vorlage und benutzerdefinierte Eintragsgruppe ein separates Upgrade durchführen.
Im Folgenden wird der Upgrade-Prozess zusammengefasst:
Effekt
- Überträgt den aktiven Status für Ressourcen von Data Catalog zu Knowledge Catalog. Nach dem Upgrade müssen Sie Knowledge Catalog verwenden, um die Ressource zu ändern oder auf ihren aktuellen Status zuzugreifen.
Änderungen an Dateninhalten und ‑fluss
- Markiert die Ressource in Data Catalog als
read-only. - Markiert die Ressource in Knowledge Catalog als
read-write. - Beendet die gleichzeitige Verfügbarkeit dieser Ressource.
- Markiert die Ressource in Data Catalog als
Abhängigkeiten
- Bei einem Upgrade einer Tag-Vorlage wird auch für alle Tags, die diese Vorlage verwenden, ein Upgrade durchgeführt.
- Wenn Sie ein Upgrade von Eintragsgruppen durchführen, erfolgt dieses auch für alle Einträge in dieser Gruppe.
- Das Upgrade von Einträgen hat keinen Einfluss auf den Upgradestatus ihrer Tags und der entsprechenden Tag-Vorlagen.
Vor dem Upgrade können Sie sowohl die Data Catalog API als auch die Dataplex API verwenden, um den geschäftlichen Kontext eines Eintrags zu ändern (z. B. overview, contacts). Nach dem Upgrade müssen Sie nur die Dataplex API verwenden.
Im Folgenden wird beschrieben, welche Vorgänge für einen benutzerdefinierten Data Catalog-Eintrag mit Tags zulässig sind, je nach Upgradestatus der zugehörigen benutzerdefinierten Eintragsgruppe und Tag-Vorlage:
- Wenn eine Tag-Vorlage in Data Catalog aktiv ist, können Sie damit Tags erstellen. Nach dem Upgrade der Tag-Vorlage auf Knowledge Catalog können Sie sie nicht mehr verwenden, um Tags in Data Catalog zu erstellen.
- Sie können Aspekte nur mit Aspekttypen erstellen, die aus Data Catalog-Tag-Vorlagen weitergegeben werden, nachdem Sie die Tag-Vorlagen aktualisiert haben.
So führen Sie ein Upgrade der Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Knowledge Catalog durch:
Console
Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.
Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.
Klicken Sie auf den Tab Upgrade auf Knowledge Catalog.
Klicken Sie auf Aspekttypen und Tag-Vorlagen ansehen, um ein Upgrade der Data Catalog-Tag-Vorlagen auf Knowledge Catalog durchzuführen.
Wählen Sie die Tag-Vorlagen aus, die Sie upgraden möchten.
Klicken Sie auf Upgrade.
Klicken Sie im Dialogfeld zur Bestätigung auf Bestätigen.
Klicken Sie auf Eintragsgruppen ansehen, um ein Upgrade der benutzerdefinierten Data Catalog-Eintragsgruppen auf Knowledge Catalog durchzuführen.
Wählen Sie die Eintragsgruppen aus, die Sie upgraden möchten.
Klicken Sie auf Upgrade.
Klicken Sie im Dialogfeld zur Bestätigung auf Bestätigen.
REST
Verwenden Sie die
tagTemplates.patch
Methode, um ein Upgrade der Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen
auf Knowledge Catalog durchzuführen.
Nach Abschluss der Upgrade-Phase ist Knowledge Catalog die maßgebliche Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.
Programmatische Arbeitslasten aktualisieren
Knowledge Catalog bietet eine neue API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle. Daher müssen Sie alle vorhandenen Arbeitslasten mit programmatischer Nutzung von Data Catalog auf Knowledge Catalog umstellen. Siehe Codebeispiele für Knowledge Catalog.
Achten Sie darauf, dass Sie die Aktualisierung programmatischer Arbeitslasten mit dem Upgrade der abhängigen Ressourcen wie Tag-Vorlagen und benutzerdefinierten Eintragsgruppen abstimmen. Das ist erforderlich, da durch das Upgrade der aktive Status (read-write) einer Ressource von Data Catalog zu Knowledge Catalog verschoben wird.
Im Folgenden sehen Sie eine Beispielsequenz für die Aktualisierung programmatischer Arbeitslasten für die Interaktion mit Knowledge Catalog, die mit dem Upgrade der abhängigen Ressourcen koordiniert wird:
Wenn Ihre Arbeitslasten eventual Consistency tolerieren können, verschieben Sie
read-Vorgänge von Arbeitslasten zu Knowledge Catalog.Verschieben Sie Arbeitslasten, die
write-Vorgänge für das Tagging ausführen, zu Knowledge Catalog und führen Sie gleichzeitig ein Upgrade der entsprechenden Tag-Vorlagen durch.Verschieben Sie Arbeitslasten, die
write-Vorgänge für die benutzerdefinierte Erfassung ausführen, zu Knowledge Catalog und führen Sie gleichzeitig ein Upgrade der entsprechenden benutzerdefinierten Eintragsgruppen durch.
Wenn Sie die Aktualisierung von Arbeitslasten und das Upgrade der entsprechenden Ressourcen entkoppeln müssen, können Sie in den Arbeitslasten eine Logik implementieren, um read-write-Vorgänge basierend auf dem Upgradestatus der Ressource an Data Catalog oder Knowledge Catalog weiterzuleiten. So funktionieren Arbeitslasten unabhängig vom Upgradestatus der zugehörigen Ressource.
Nächste Schritte
- Weitere Informationen zur Metadatenverwaltung in Knowledge Catalog.
- Informationen zum Suchen nach Ressourcen in Knowledge Catalog.
- Informationen zum Verwalten von Aspekten und Anreichern von Metadaten.
- Informationen zum Verwalten von Einträgen und Erfassen benutzerdefinierter Quellen.
- Siehe die Dataplex API-Referenz.