Von Data Catalog auf Knowledge Catalog umstellen

Knowledge Catalog (ehemals Dataplex Universal Catalog) ersetzt Data Catalog und bietet eine komplexere Metadatenverwaltung, erweiterte Funktionen für die Data Governance, eine leistungsstärkere Datensuche, eine weniger komplexe Zugriffssteuerung und eine einheitliche API zur Vereinfachung der Entwicklung. In diesem Dokument wird beschrieben, wie Sie Ihre Data Catalog-Inhalte und ‑Nutzung auf Knowledge Catalog umstellen.

Wenn Sie den Katalog noch nicht kennen, beginnen Sie mit Knowledge Catalog, indem Sie ihn als Standardkatalog festlegen konfigurieren.

Knowledge Catalog hat eine einheitliche Weboberfläche und API. Durch die Umstellung auf Knowledge Catalog profitieren Ihre vorhandenen und zukünftigen Arbeitslasten und Nutzer von den erweiterten Funktionen. Weitere Informationen finden Sie unter Metadatenverwaltung in Knowledge Catalog.

Einen Vergleich von Knowledge Catalog und Data Catalog finden Sie unter Knowledge Catalog im Vergleich zu Data Catalog.

Hinweis

Bevor Sie mit der Umstellung beginnen, sehen Sie sich die Funktionen zur Metadatenverwaltung an, die in Knowledge Catalog nicht unterstützt werden.

Übersicht zur Umstellung

Die Seite Umstellung auf Knowledge Catalog verwalten in der Google Cloud Console bietet einen zentralen Zugriffspunkt für die Verwaltung der Umstellung.

In diesem Abschnitt werden die verschiedenen Umstellungsszenarien beschrieben und der Umstellungsprozess für jedes Szenario erläutert.

Wenn Sie keine benutzerdefinierten Metadaten in Data Catalog haben oder Data Catalog noch nie verwendet haben

Wenn Sie Data Catalog verwenden und keine benutzerdefinierten Metadaten haben, wie z. B. Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragungsgruppen, oder Data Catalog noch nie verwendet haben, schließen Sie die Umstellung ab, indem Sie Ihre Standard-UI für den Katalog auf Knowledge Catalog einstellen.

Wenn Sie benutzerdefinierte Metadaten oder programmatische Arbeitslasten in Data Catalog haben

Wenn Sie Data Catalog mit benutzerdefinierten Metadaten (z. B. Tags, Tag-Vorlagen, benutzerdefinierten Einträgen oder Eintragsgruppen) verwenden, kann Knowledge Catalog diese benutzerdefinierten Metadaten automatisch als read-only importieren. Um diese Funktion zu aktivieren, sind Konfigurationsänderungen erforderlich, wie in der Vorbereitungsphase beschrieben.

Die zweite Phase ist die Upgrade-Phase, in der der aktive Status (read-write) Ihrer benutzerdefinierten Metadaten zu Knowledge Catalog verschoben wird. In dieser Phase müssen Sie auch alle programmatischen Arbeitslasten (z. B. API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle) aktualisieren, um mit Knowledge Catalog zu interagieren.

Im Folgenden finden Sie weitere Informationen zu den einzelnen Phasen des Umstellungsprozesses:

  1. Vorbereitungsphase: Führen Sie die erforderlichen Konfigurationsaufgaben aus, um die Data Catalog-Inhalte gleichzeitig in Knowledge Catalog als read-only verfügbar zu machen. In dieser Phase bleibt Data Catalog die maßgebliche Quelle für Ihre Metadateninhalte.

    Die Vorbereitungsphase umfasst die folgenden Aufgaben:

    1. Private Data Catalog-Tag-Vorlagen in öffentliche umwandeln.
    2. IAM-Berechtigungen für Knowledge Catalog für Ihre benutzerdefinierten Metadaten konfigurieren.

    Weitere Informationen finden Sie unter Vorbereitungsphase.

  2. Upgrade-Phase: Verschieben Sie Ihre Katalognutzung und den aktiven Status (read-write) Ihrer benutzerdefinierten Metadaten zu Knowledge Catalog.

    Die Upgrade-Phase umfasst die folgenden Aufgaben:

    1. Standardkatalog-UI auf Knowledge Catalog festlegen.
    2. Upgrade der benutzerdefinierten Data Catalog-Metadaten auf Knowledge Catalog durchführen.
    3. Programmatische Arbeitslasten aktualisieren.

    Nach Abschluss der Upgrade-Phase ist Knowledge Catalog die maßgebliche Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

    Weitere Informationen finden Sie unter Upgrade-Phase.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die für die Umstellung von Data Catalog auf Knowledge Catalog erforderlich sind, weisen Sie der Ressource die folgenden IAM-Rollen zu:

  • Private Tag-Vorlagen in öffentliche umwandeln: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Umwandeln privater Tag-Vorlagen in öffentliche erforderlich ist.

  • Standardkatalog-UI auf Knowledge Catalog festlegen: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Festlegen der Standard-UI für den Katalog erforderlich ist.

  • Upgrade der öffentlichen Data Catalog-Tag-Vorlagen auf Knowledge Catalog durchführen: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die für das Upgrade öffentlicher Tag-Vorlagen erforderlich ist.

  • Upgrade der Data Catalog-Eintragsgruppen auf Knowledge Catalog durchführen: DataCatalog-Eintragsgruppeninhaber (roles/datacatalog.entryGroupOwner)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.entryGroups.update, die für das Upgrade von Eintragsgruppen erforderlich ist.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Vorbereitungsphase

In dieser Phase werden Aufgaben ausgeführt, um die Data Catalog-Metadateninhalte gleichzeitig im read-only-Modus in Knowledge Catalog verfügbar zu machen.

Die wichtigsten Punkte, die Sie in der Vorbereitungsphase beachten sollten:

  • Data Catalog bleibt die maßgebliche Quelle für Ihre benutzerdefinierten Metadaten.
  • Die Knowledge Catalog-Suche umfasst möglicherweise erst dann alle öffentlichen Data Catalog-Tag-Vorlagen und ‑Tags, wenn Sie die Vorbereitungsphase abgeschlossen haben.

Benutzerdefinierte Data Catalog-Eintragsgruppen, ‑Einträge, ‑Tags und öffentliche Tag-Vorlagen sind automatisch als read-only-Ressourcen in Knowledge Catalog verfügbar.

In der folgenden Tabelle wird die Zuordnung zwischen Data Catalog- und Knowledge Catalog-Ressourcen dargestellt, wenn die Data Catalog-Ressourcen gleichzeitig in Knowledge Catalog verfügbar gemacht werden:

Zuordnung zwischen Data Catalog und Knowledge Catalog
Data Catalog-Ressource Entsprechende Knowledge Catalog-Ressource Beschreibung
Tag-Vorlage Aspekttyp (global)

Tag-Vorlagen in Data Catalog sind regionale Ressourcen. Ihre Inhalte werden gleichzeitig als globale Aspekttypen in Knowledge Catalog verfügbar gemacht. So bleiben die regionenübergreifenden Verweise zwischen Tags und Tag-Vorlagen erhalten. Definitionen von globalen Aspekttypen werden in alle Google Cloud Regionen repliziert.

Standardkonzepte wie Schema werden durch Systemaspekttypen dargestellt, die von Knowledge Catalog bereitgestellt werden. Weitere Informationen finden Sie unter Kategorien von Aspekttypen.

Tag Optionaler Aspekt Tags werden gleichzeitig als optionale Aspekte in Knowledge Catalog verfügbar gemacht. Weitere Informationen finden Sie unter Kategorien von Aspekten.
Eintragsgruppe Eintragsgruppe Eintragsgruppen für Systemeinträge werden in Knowledge Catalog pro Projekt und Region eingerichtet. In Data Catalog erstellte Eintragsgruppen werden gleichzeitig in Knowledge Catalog verfügbar gemacht.
Benutzerdefinierter Eintrag Benutzerdefinierter Eintrag Alle benutzerdefinierten Einträge in Data Catalog werden gleichzeitig als Einträge vom Typ GenericEntryType in Knowledge Catalog verfügbar gemacht. Weitere Informationen finden Sie unter Kategorien von Eintragstypen.
Systemeintrag (Google Cloud) Erforderlicher Aspekt für Systemeintrag Metadaten, die Systemeinträge beschreiben, z. B. Schema für BigQuery-Tabellen, werden in erforderlichen Aspekten der vom System definierten Aspekttypen erfasst.

Private Data Catalog-Tag-Vorlagen in öffentliche umwandeln

Knowledge Catalog unterstützt nicht das Konzept privater Aspekte (Entsprechungen zu privaten Tags). Daher werden private Tag-Vorlagen und ‑Tags nicht gleichzeitig in Knowledge Catalog verfügbar gemacht. Wenn Sie private Tag-Vorlagen und ‑Tags in Knowledge Catalog weitergeben möchten, müssen Sie sie in öffentliche umwandeln.

Bevor Sie fortfahren, überprüfen Sie die Struktur der privaten Tag-Vorlagen, um sicherzustellen, dass sie und ihre Metadaten mit der Sichtbarkeit der öffentlichen Tags übereinstimmen.

So wandeln Sie private Tag-Vorlagen und ‑Tags in öffentliche um:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Zu den Tag-Vorlagen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Private Tag-Vorlagen.

  4. Klicken Sie auf Tag-Vorlagen verwalten.

  5. Klicken Sie auf der Seite Tag-Vorlagen auf die private Tag-Vorlage, die Sie aktualisieren möchten.

  6. Klicken Sie auf der Seite Vorlagendetails auf Bearbeiten.

  7. Wählen Sie im Bereich Sichtbarkeit die Option Öffentlich aus.

  8. Klicken Sie auf Aktualisieren.

REST

Verwenden Sie die tagTemplates.patch Methode, um die privaten Tag-Vorlagen in öffentliche umzuwandeln.

IAM-Berechtigungen für Knowledge Catalog für Ihre benutzerdefinierten Metadaten konfigurieren

Knowledge Catalog-Aspekttypen und benutzerdefinierte Eintragsgruppen, die Tag-Vorlagen und Eintragsgruppen aus Data Catalog darstellen, übernehmen nicht die ursprünglichen Data Catalog-IAM-Berechtigungen. Die erforderlichen IAM-Berechtigungen unterscheiden sich auch zwischen Knowledge Catalog und Data Catalog.

Wenn Sie beispielsweise Aspekte mit einem weitergegebenen Aspekttyp erstellen möchten (der eine Data Catalog-Tag-Vorlage darstellt), müssen Sie die erforderlichen IAM-Berechtigungen für diesen Aspekttyp konfigurieren. Ebenso müssen Sie beim Erfassen benutzerdefinierter Metadaten, um benutzerdefinierte Einträge in einer weitergegebenen benutzerdefinierten Eintragsgruppe zu erstellen, die erforderlichen IAM-Berechtigungen für diese Eintragsgruppe konfigurieren.

Wenn Sie Data Catalog-IAM-Rollen verwenden, um den Zugriff in Data Catalog auf Projektebene oder höher zu verwalten, sind die erforderlichen Knowledge Catalog-Berechtigungen automatisch enthalten. Wenn Sie jedoch benutzerdefinierte Rollen verwenden oder IAM-Rollen direkt bestimmten Ressourcen zuweisen, müssen Sie die Knowledge Catalog-Berechtigungen für diese bestimmten Aspekte und benutzerdefinierten Eintragsgruppen manuell konfigurieren.

Weitere Informationen zur Entsprechung von IAM-Berechtigungen in Data Catalog und Knowledge Catalog finden Sie unter Zuordnung von IAM-Berechtigungen zwischen Data Catalog und Knowledge Catalog.

So konfigurieren Sie die erforderlichen IAM-Berechtigungen für Knowledge Catalog für Aspekttypen und benutzerdefinierte Eintragsgruppen:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Zu den Tag-Vorlagen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Dataplex-IAM-Berechtigungen.

  4. Klicken Sie auf Aspekttypen und Tag-Vorlagen, um IAM-Berechtigungen für Knowledge Catalog für Aspekttypen zu konfigurieren.

    1. Klicken Sie für die aus Data Catalog weitergegebene Tag-Vorlage auf > Berechtigungen.

    2. Klicken Sie auf Hauptkonten hinzufügen.

    3. Fügen Sie ein neues Hauptkonto hinzu und weisen Sie die erforderlichen Rollen zu.

    4. Klicken Sie auf Speichern.

  5. Klicken Sie auf Eintragsgruppen, um IAM-Berechtigungen für Knowledge Catalog für Eintragsgruppen zu konfigurieren.

    1. Klicken Sie für die aus Data Catalog weitergegebene Eintragsgruppe auf > Berechtigungen.

    2. Klicken Sie auf Hauptkonten hinzufügen.

    3. Fügen Sie ein neues Hauptkonto hinzu und weisen Sie die erforderlichen Rollen zu.

    4. Klicken Sie auf Speichern.

REST

Verwenden Sie die aspectTypes.setIamPolicy Methode, um IAM-Berechtigungen für Knowledge Catalog für Aspekttypen zu konfigurieren.

Verwenden Sie die entryGroups.setIamPolicy Methode, um IAM-Berechtigungen für Knowledge Catalog für Eintragsgruppen zu konfigurieren.

Upgrade-Phase

In dieser Phase werden Aufgaben ausgeführt, um den aktiven Status (read-write) Ihrer benutzerdefinierten Data Catalog-Metadaten zu Knowledge Catalog zu verschieben.

Die wichtigsten Punkte, die Sie in der Upgrade-Phase beachten sollten:

  • Sie können sowohl die Data Catalog- als auch die Knowledge Catalog-Metadaten in Knowledge Catalog ermitteln und lesen.
  • Wenn Sie Metadaten in der Google Cloud Console aktualisieren, werden Sie zu ihrer Quelle weitergeleitet. Wenn Sie beispielsweise Data Catalog-Tag-Vorlagen aktualisieren, werden Sie zur Seite „Tag-Vorlagen“ in Data Catalog weitergeleitet.

Standardkatalog-UI auf Knowledge Catalog festlegen

Wenn Sie die Standard-UI für den Katalog auf Knowledge Catalog festlegen, bedeutet das Folgendes:

  • Die Weboberfläche fordert Sie auf, neue Ressourcen in Knowledge Catalog zu erstellen. Standardmäßig wird beispielsweise Aspekttypen erstellen anstelle von Tag-Vorlagen erstellen und Eintragsgruppe erstellen (Knowledge Catalog) anstelle von Eintragsgruppe erstellen (Data Catalog) angezeigt.

  • Das Festlegen der Standard-UI für den Katalog auf Knowledge Catalog ist in der Regel ein einmaliger Vorgang. In Knowledge Catalog können Sie Änderungen jedoch in Ausnahmefällen rückgängig machen, z. B. wenn Sie die Standard-UI für den Katalog wieder auf Data Catalog umstellen möchten. Wenn Sie die Änderungen rückgängig machen, können Sie in der Data Catalog-Weboberfläche nicht auf Inhalte zugreifen, die in Knowledge Catalog erstellt wurden.

So legen Sie die Standard-UI für den Katalog auf Knowledge Catalog fest:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Zu den Tag-Vorlagen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Standard-UI für Katalog.

  4. Klicken Sie auf Standard-UI für Katalog auf Knowledge Catalog festlegen.

REST

Verwenden Sie die setConfig Methode, um die Standard-UI für den Katalog auf Knowledge Catalog festzulegen.

Upgrade der benutzerdefinierten Data Catalog-Metadaten auf Knowledge Catalog durchführen

Sie können die öffentlichen Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Knowledge Catalog upgraden. Achten Sie darauf, dass Sie für jede Tag-Vorlage und benutzerdefinierte Eintragsgruppe ein separates Upgrade durchführen.

Im Folgenden wird der Upgrade-Prozess zusammengefasst:

  • Effekt

    • Überträgt den aktiven Status für Ressourcen von Data Catalog zu Knowledge Catalog. Nach dem Upgrade müssen Sie Knowledge Catalog verwenden, um die Ressource zu ändern oder auf ihren aktuellen Status zuzugreifen.
  • Änderungen an Dateninhalten und ‑fluss

    • Markiert die Ressource in Data Catalog als read-only.
    • Markiert die Ressource in Knowledge Catalog als read-write.
    • Beendet die gleichzeitige Verfügbarkeit dieser Ressource.
  • Abhängigkeiten

    • Bei einem Upgrade einer Tag-Vorlage wird auch für alle Tags, die diese Vorlage verwenden, ein Upgrade durchgeführt.
    • Wenn Sie ein Upgrade von Eintragsgruppen durchführen, erfolgt dieses auch für alle Einträge in dieser Gruppe.
    • Das Upgrade von Einträgen hat keinen Einfluss auf den Upgradestatus ihrer Tags und der entsprechenden Tag-Vorlagen.

Vor dem Upgrade können Sie sowohl die Data Catalog API als auch die Dataplex API verwenden, um den geschäftlichen Kontext eines Eintrags zu ändern (z. B. overview, contacts). Nach dem Upgrade müssen Sie nur die Dataplex API verwenden.

Im Folgenden wird beschrieben, welche Vorgänge für einen benutzerdefinierten Data Catalog-Eintrag mit Tags zulässig sind, je nach Upgradestatus der zugehörigen benutzerdefinierten Eintragsgruppe und Tag-Vorlage:

  • Wenn eine Tag-Vorlage in Data Catalog aktiv ist, können Sie damit Tags erstellen. Nach dem Upgrade der Tag-Vorlage auf Knowledge Catalog können Sie sie nicht mehr verwenden, um Tags in Data Catalog zu erstellen.
  • Sie können Aspekte nur mit Aspekttypen erstellen, die aus Data Catalog-Tag-Vorlagen weitergegeben werden, nachdem Sie die Tag-Vorlagen aktualisiert haben.

So führen Sie ein Upgrade der Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Knowledge Catalog durch:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Zu den Tag-Vorlagen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Upgrade auf Knowledge Catalog.

  4. Klicken Sie auf Aspekttypen und Tag-Vorlagen ansehen, um ein Upgrade der Data Catalog-Tag-Vorlagen auf Knowledge Catalog durchzuführen.

    1. Wählen Sie die Tag-Vorlagen aus, die Sie upgraden möchten.

    2. Klicken Sie auf Upgrade.

    3. Klicken Sie im Dialogfeld zur Bestätigung auf Bestätigen.

  5. Klicken Sie auf Eintragsgruppen ansehen, um ein Upgrade der benutzerdefinierten Data Catalog-Eintragsgruppen auf Knowledge Catalog durchzuführen.

    1. Wählen Sie die Eintragsgruppen aus, die Sie upgraden möchten.

    2. Klicken Sie auf Upgrade.

    3. Klicken Sie im Dialogfeld zur Bestätigung auf Bestätigen.

REST

Verwenden Sie die tagTemplates.patch Methode, um ein Upgrade der Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Knowledge Catalog durchzuführen.

Nach Abschluss der Upgrade-Phase ist Knowledge Catalog die maßgebliche Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

Programmatische Arbeitslasten aktualisieren

Knowledge Catalog bietet eine neue API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle. Daher müssen Sie alle vorhandenen Arbeitslasten mit programmatischer Nutzung von Data Catalog auf Knowledge Catalog umstellen. Siehe Codebeispiele für Knowledge Catalog.

Achten Sie darauf, dass Sie die Aktualisierung programmatischer Arbeitslasten mit dem Upgrade der abhängigen Ressourcen wie Tag-Vorlagen und benutzerdefinierten Eintragsgruppen abstimmen. Das ist erforderlich, da durch das Upgrade der aktive Status (read-write) einer Ressource von Data Catalog zu Knowledge Catalog verschoben wird.

Im Folgenden sehen Sie eine Beispielsequenz für die Aktualisierung programmatischer Arbeitslasten für die Interaktion mit Knowledge Catalog, die mit dem Upgrade der abhängigen Ressourcen koordiniert wird:

  1. Wenn Ihre Arbeitslasten eventual Consistency tolerieren können, verschieben Sie read-Vorgänge von Arbeitslasten zu Knowledge Catalog.

  2. Verschieben Sie Arbeitslasten, die write-Vorgänge für das Tagging ausführen, zu Knowledge Catalog und führen Sie gleichzeitig ein Upgrade der entsprechenden Tag-Vorlagen durch.

  3. Verschieben Sie Arbeitslasten, die write-Vorgänge für die benutzerdefinierte Erfassung ausführen, zu Knowledge Catalog und führen Sie gleichzeitig ein Upgrade der entsprechenden benutzerdefinierten Eintragsgruppen durch.

Wenn Sie die Aktualisierung von Arbeitslasten und das Upgrade der entsprechenden Ressourcen entkoppeln müssen, können Sie in den Arbeitslasten eine Logik implementieren, um read-write-Vorgänge basierend auf dem Upgradestatus der Ressource an Data Catalog oder Knowledge Catalog weiterzuleiten. So funktionieren Arbeitslasten unabhängig vom Upgradestatus der zugehörigen Ressource.

Nächste Schritte