Von Data Catalog auf Knowledge Catalog umstellen

Knowledge Catalog (ehemals Dataplex Universal Catalog) ersetzt Data Catalog und bietet eine komplexere Metadatenverwaltung, erweiterte Funktionen für die Data Governance, eine leistungsstärkere Datensuche, eine weniger komplexe Zugriffssteuerung und eine einheitliche API zur Vereinfachung der Entwicklung. In diesem Dokument erfahren Sie, wie Sie Ihre Data Catalog-Inhalte und ‑Nutzung auf Knowledge Catalog umstellen.

Wenn Sie den Katalog noch nicht kennen, sollten Sie mit Knowledge Catalog beginnen und ihn als Standardkatalog festlegen.

Knowledge Catalog hat eine einheitliche Weboberfläche und API. Durch die Umstellung auf Knowledge Catalog können Ihre vorhandenen und zukünftigen Arbeitslasten und Nutzer von den erweiterten Funktionen profitieren. Weitere Informationen finden Sie unter Metadaten in Knowledge Catalog.

Einen Vergleich von Knowledge Catalog und Data Catalog finden Sie unter Knowledge Catalog im Vergleich zu Data Catalog.

Hinweis

Bevor Sie mit der Umstellung beginnen, sollten Sie sich die Metadatenverwaltungsfunktionen ansehen, die in Knowledge Catalog nicht unterstützt werden.

Übersicht zur Umstellung

Die Seite Umstellung auf Knowledge Catalog verwalten in der Google Cloud Console bietet einen zentralen Zugriffspunkt für die Verwaltung der Umstellung.

In diesem Abschnitt werden die verschiedenen Übergangsszenarien und der Übergangsprozess für jedes Szenario beschrieben.

Wenn Sie keine benutzerdefinierten Metadaten in Data Catalog haben oder Data Catalog noch nie verwendet haben

Wenn Sie Data Catalog verwenden und keine benutzerdefinierten Metadaten wie Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragsgruppen haben oder Data Catalog noch nie verwendet haben, können Sie die Umstellung abschließen, indem Sie Knowledge Catalog als Standardkatalog-UI festlegen.

Benutzerdefinierte Metadaten oder programmatische Arbeitslasten in Data Catalog

Wenn Sie Data Catalog mit benutzerdefinierten Metadaten verwenden (z. B. Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragsgruppen), kann Knowledge Catalog diese benutzerdefinierten Metadaten automatisch als read-only importieren. Um diese Funktion zu aktivieren, sind Konfigurationsänderungen erforderlich, wie in der Vorbereitungsphase beschrieben.

In der zweiten Phase, der Upgrade-Phase, wird der aktive Status (read-write) Ihrer benutzerdefinierten Metadaten in Knowledge Catalog verschoben. In dieser Phase müssen Sie auch alle programmatischen Arbeitslasten (z. B. API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle) aktualisieren, damit sie mit dem Knowledge Catalog interagieren können.

Im Folgenden finden Sie weitere Informationen zu den einzelnen Phasen des Übergangsprozesses:

  1. Vorbereitungsphase: Führen Sie die erforderlichen Konfigurationsaufgaben aus, damit die Data Catalog-Inhalte gleichzeitig als read-only in Knowledge Catalog verfügbar sind. In dieser Phase bleibt Data Catalog die autoritative Quelle für Ihre Metadaten.

    Die Vorbereitungsphase umfasst die folgenden Aufgaben:

    1. Aktualisieren Sie die privaten Tag-Vorlagen in Data Catalog in öffentliche.
    2. Konfigurieren Sie IAM-Berechtigungen für Knowledge Catalog für Ihre benutzerdefinierten Metadaten.

    Weitere Informationen finden Sie unter Vorbereitungsphase.

  2. Upgradephase: Verschieben Sie die Katalognutzung und den aktiven Status (read-write) Ihrer benutzerdefinierten Metadaten in Knowledge Catalog.

    Die Upgrade-Phase umfasst die folgenden Aufgaben:

    1. Legen Sie die Standardkatalog-UI auf Knowledge Catalog fest.
    2. Führen Sie ein Upgrade der benutzerdefinierten Data Catalog-Metadaten auf Knowledge Catalog durch.
    3. Programmatische Arbeitslasten aktualisieren

    Wenn Sie die Upgradephase abgeschlossen haben, wird Knowledge Catalog zur autoritativen Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

    Weitere Informationen finden Sie unter Upgrade-Phase.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie für die Umstellung von Data Catalog auf Knowledge Catalog benötigen, weisen Sie die folgenden IAM-Rollen für die Ressource zu:

  • Private Tag-Vorlagen in öffentliche Vorlagen umwandeln: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Aktualisieren privater Tag-Vorlagen auf öffentlich erforderlich ist.

  • Standardkatalog-UI auf Knowledge Catalog festlegen: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Festlegen der Standard-Benutzeroberfläche für den Katalog erforderlich ist.

  • Öffentliche Data Catalog-Tag-Vorlagen auf Knowledge Catalog aktualisieren: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Aktualisieren öffentlicher Tag-Vorlagen erforderlich ist.

  • Data Catalog-Eintragsgruppen auf Knowledge Catalog upgraden: DataCatalog-Eintragsgruppeninhaber (roles/datacatalog.entryGroupOwner)

    Diese vordefinierte Rolle enthält die Berechtigung datacatalog.entryGroups.update, die zum Aktualisieren von Eintragsgruppen erforderlich ist.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Vorbereitungsphase

In dieser Phase werden Aufgaben ausgeführt, um die Data Catalog-Metadaten gleichzeitig in Knowledge Catalog im read-only-Modus verfügbar zu machen.

Im Folgenden finden Sie die wichtigsten Punkte, die Sie in der Vorbereitungsphase beachten sollten:

  • Data Catalog bleibt die autoritative Quelle für Ihre benutzerdefinierten Metadaten.
  • Die Knowledge Catalog-Suche umfasst möglicherweise erst dann alle öffentlichen Data Catalog-Tag-Vorlagen und ‑Tags, wenn Sie die Vorbereitungsphase abgeschlossen haben.

Benutzerdefinierte Eintragsgruppen, Einträge, Tags und öffentliche Tag-Vorlagen aus Data Catalog sind automatisch als read-only-Ressourcen in Knowledge Catalog verfügbar.

In der folgenden Tabelle sehen Sie die Zuordnung zwischen Data Catalog- und Knowledge Catalog-Ressourcen, wenn die Data Catalog-Ressourcen gleichzeitig in Knowledge Catalog verfügbar gemacht werden:

Zuordnung zwischen Data Catalog und Knowledge Catalog
Data Catalog-Ressource Entsprechende Knowledge Catalog-Ressource Beschreibung
Tag-Vorlage Aspekttyp (global)

Tag-Vorlagen in Data Catalog sind regionale Ressourcen. Ihre Inhalte werden gleichzeitig als globale Aspekttypen in Knowledge Catalog verfügbar gemacht. So bleiben die regionenübergreifenden Verweise zwischen Tags und Tag-Vorlagen erhalten. Definitionen von globalen Aspekttypen werden in alle Google Cloud -Regionen repliziert.

Standardkonzepte wie Schema werden durch Systemaspekttypen dargestellt, die im Knowledge Catalog verfügbar sind. Weitere Informationen finden Sie unter Kategorien von Aspekttypen.

Tag Optionaler Aspekt Tags werden gleichzeitig als optionale Aspekte in Knowledge Catalog verfügbar gemacht. Weitere Informationen finden Sie unter Kategorien von Aspekten.
Eintragsgruppe Eintragsgruppe Eintragsgruppen für Systemeinträge werden pro Projekt und Region in Knowledge Catalog eingerichtet. In Data Catalog erstellte Eintragsgruppen werden gleichzeitig in Knowledge Catalog verfügbar gemacht.
Benutzerdefinierter Eintrag Benutzerdefinierter Eintrag Alle benutzerdefinierten Einträge in Data Catalog werden gleichzeitig als Einträge von GenericEntryType in Knowledge Catalog verfügbar gemacht. Weitere Informationen finden Sie unter Kategorien von Eintragstypen.
Systemeingabe (Google Cloud) Aspekt „Systemeintrag erforderlich“ Metadaten, die Systemeinträge beschreiben, z. B. Schema für BigQuery-Tabellen, werden in erforderlichen Aspekten der systemdefinierten Aspekttypen erfasst.

Private Data Catalog-Tag-Vorlagen in öffentliche umwandeln

Knowledge Catalog unterstützt nicht das Konzept privater Aspekte (Entsprechungen zu privaten Tags). Daher werden private Tag-Vorlagen und Tags nicht gleichzeitig in Knowledge Catalog verfügbar gemacht. Wenn Sie private Tag-Vorlagen und Tags in Knowledge Catalog weitergeben möchten, müssen Sie sie in öffentliche ändern.

Bevor Sie fortfahren, sollten Sie die Struktur der privaten Tag-Vorlagen überprüfen, um sicherzustellen, dass ihre Struktur und Metadaten mit der Sichtbarkeit öffentlicher Tags übereinstimmen.

So aktualisieren Sie private Tag-Vorlagen und Tags zu öffentlich:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Tag-Vorlagen aufrufen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Private Tag-Vorlagen.

  4. Klicken Sie auf Tag-Vorlagen verwalten.

  5. Klicken Sie auf der Seite Tag-Vorlagen auf die private Tag-Vorlage, die Sie aktualisieren möchten.

  6. Klicken Sie auf der Seite Vorlagendetails auf Bearbeiten.

  7. Wählen Sie im Bereich Sichtbarkeit die Option Öffentlich aus.

  8. Klicken Sie auf Aktualisieren.

REST

Verwenden Sie die Methode tagTemplates.patch, um die privaten Tag-Vorlagen auf „Öffentlich“ zu aktualisieren.

IAM-Berechtigungen für Knowledge Catalog für benutzerdefinierte Metadaten konfigurieren

Knowledge Catalog-Aspekttypen und benutzerdefinierte Eintragsgruppen, die Tag-Vorlagen und Eintragsgruppen aus Data Catalog darstellen, übernehmen nicht die ursprünglichen Data Catalog-IAM-Berechtigungen. Die erforderlichen IAM-Berechtigungen unterscheiden sich auch zwischen Knowledge Catalog und Data Catalog.

Wenn Sie beispielsweise Aspekte mit einem weitergegebenen Aspekttyp erstellen möchten, der eine Data Catalog-Tag-Vorlage darstellt, müssen Sie die erforderlichen IAM-Berechtigungen für diesen Aspekttyp konfigurieren. Wenn Sie benutzerdefinierte Metadaten aufnehmen, müssen Sie auch die erforderlichen IAM-Berechtigungen für die entsprechende Eintragsgruppe konfigurieren, um benutzerdefinierte Einträge in einer weitergegebenen benutzerdefinierten Eintragsgruppe zu erstellen.

Wenn Sie Data Catalog-IAM-Rollen verwenden, um den Zugriff in Data Catalog auf Projekt- oder höherer Ebene zu verwalten, sind die erforderlichen Knowledge Catalog-Berechtigungen automatisch enthalten. Wenn Sie jedoch benutzerdefinierte Rollen verwenden oder IAM-Rollen direkt bestimmten Ressourcen zuweisen, müssen Sie die Knowledge Catalog-Berechtigungen für diese spezifischen Aspekte und benutzerdefinierten Eintragssammlungen manuell konfigurieren.

Weitere Informationen dazu, wie IAM-Berechtigungen in Data Catalog denen in Knowledge Catalog entsprechen, finden Sie unter IAM-Berechtigungen zwischen Data Catalog und Knowledge Catalog zuordnen.

So konfigurieren Sie die erforderlichen IAM-Berechtigungen für Knowledge Catalog für Aspekttypen und benutzerdefinierte Eintragsgruppen:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Tag-Vorlagen aufrufen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Dataplex-IAM-Berechtigungen.

  4. Wenn Sie Knowledge Catalog-IAM-Berechtigungen für Aspekttypen konfigurieren möchten, klicken Sie auf Aspekttypen und Tag-Vorlagen.

    1. Klicken Sie für die aus dem Data Catalog übertragene Tag-Vorlage auf  > Berechtigungen.

    2. Klicken Sie auf Hauptkonten hinzufügen.

    3. Fügen Sie ein neues Hauptkonto hinzu und weisen Sie die erforderlichen Rollen zu.

    4. Klicken Sie auf Speichern.

  5. Wenn Sie IAM-Berechtigungen für Knowledge Catalog für Eintragsgruppen konfigurieren möchten, klicken Sie auf Eintragsgruppen.

    1. Klicken Sie für die aus Data Catalog übertragene Eintragsgruppe auf  > Berechtigungen.

    2. Klicken Sie auf Hauptkonten hinzufügen.

    3. Fügen Sie ein neues Hauptkonto hinzu und weisen Sie die erforderlichen Rollen zu.

    4. Klicken Sie auf Speichern.

REST

Verwenden Sie die Methode aspectTypes.setIamPolicy, um IAM-Berechtigungen für Knowledge Catalog-Aspekttypen zu konfigurieren.

Verwenden Sie die Methode entryGroups.setIamPolicy, um IAM-Berechtigungen für Knowledge Catalog-Eintragsgruppen zu konfigurieren.

Upgrade-Phase

In dieser Phase werden Aufgaben ausgeführt, um den aktiven Status (read-write) Ihrer benutzerdefinierten Data Catalog-Metadaten in Knowledge Catalog zu verschieben.

Die wichtigsten Punkte, die Sie während der Upgradephase beachten sollten:

  • Sie können sowohl die Data Catalog- als auch die Knowledge Catalog-Metadaten in Knowledge Catalog ermitteln und lesen.
  • Wenn Sie Metadaten in der Google Cloud Console aktualisieren möchten, werden Sie zur Quelle weitergeleitet. Wenn Sie beispielsweise Data Catalog-Tag-Vorlagen aktualisieren, werden Sie zur Seite „Tag-Vorlagen“ in Data Catalog weitergeleitet.

Standardkatalog-UI auf Knowledge Catalog festlegen

Wenn Sie die Standardkatalog-UI auf Knowledge Catalog festlegen, passiert Folgendes:

  • Die Weboberfläche regt Sie dazu an, neue Ressourcen im Knowledge Catalog zu erstellen. Standardmäßig wird beispielsweise Aspekttypen erstellen anstelle von Tag-Vorlagen erstellen und Eintragsgruppe erstellen (Knowledge Catalog) anstelle von Eintragsgruppe erstellen (Data Catalog) angezeigt.

  • Das Festlegen der Standardkatalog-UI auf Knowledge Catalog ist in der Regel ein einmaliger Vorgang. Mit Knowledge Catalog können Sie Änderungen jedoch in Ausnahmefällen rückgängig machen, z. B. wenn Sie die Standard-UI für den Katalog wieder auf Data Catalog umstellen möchten. Wenn Sie die Änderungen rückgängig machen, können Sie im Data Catalog-Webinterface nicht auf Inhalte zugreifen, die in Knowledge Catalog erstellt wurden.

So legen Sie die Standardkatalog-UI auf Knowledge Catalog fest:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Tag-Vorlagen aufrufen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Standard-UI für Katalog.

  4. Klicken Sie auf Standardkatalog-UI auf Knowledge Catalog festlegen.

REST

Wenn Sie die Standardkatalog-UI auf Knowledge Catalog festlegen möchten, verwenden Sie die Methode setConfig.

Upgrade von benutzerdefinierten Data Catalog-Metadaten auf Knowledge Catalog durchführen

Sie können die öffentlichen Tag-Vorlagen und benutzerdefinierten Eintragsgruppen aus Data Catalog auf Knowledge Catalog upgraden. Achten Sie darauf, dass Sie jede Tag-Vorlage und benutzerdefinierte Eintragsgruppe separat aktualisieren.

Hier ist der Upgradevorgang zusammengefasst:

  • Effekt

    • Überträgt den aktiven Status für Ressourcen von Data Catalog an Knowledge Catalog. Nach dem Upgrade müssen Sie Knowledge Catalog verwenden, um die Ressource zu ändern oder auf ihren aktuellen Status zuzugreifen.
  • Änderungen am Dateninhalt und -fluss

    • Markiert die Ressource in Data Catalog als read-only.
    • Markiert die Ressource in Knowledge Catalog als read-write.
    • Die gleichzeitige Verfügbarkeit dieser Ressource wird beendet.
  • Abhängigkeiten

    • Wenn Sie eine Tag-Vorlage aktualisieren, werden auch alle Tags aktualisiert, für die diese Vorlage verwendet wird.
    • Wenn Sie ein Upgrade von Eintragsgruppen durchführen, erfolgt dieses auch für alle Einträge in der Gruppe.
    • Das Upgrade von Einträgen hat keinen Einfluss auf den Upgradestatus ihrer Tags und der entsprechenden Tag-Vorlagen.

Vor dem Upgrade können Sie den geschäftlichen Kontext eines Eintrags (z. B. overview, contacts) sowohl mit der Data Catalog API als auch mit der Dataplex API ändern. Nach dem Upgrade dürfen Sie nur noch die Dataplex API verwenden.

Im Folgenden wird beschrieben, welche Vorgänge für einen benutzerdefinierten Data Catalog-Eintrag mit Tags zulässig sind, je nach Upgradestatus der zugehörigen benutzerdefinierten Eintragsgruppe und Tag-Vorlage:

  • Wenn eine Tag-Vorlage in Data Catalog aktiv ist, können Sie damit Tags erstellen. Nachdem Sie die Tag-Vorlage auf Knowledge Catalog aktualisiert haben, können Sie sie nicht mehr verwenden, um Tags in Data Catalog zu erstellen.
  • Sie können Aspekte mit Aspekttypen erstellen, die aus Data Catalog-Tag-Vorlagen übernommen werden, erst nachdem Sie die Tag-Vorlagen aktualisiert haben.

So führen Sie ein Upgrade der Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Knowledge Catalog durch:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen auf.

    Tag-Vorlagen aufrufen

  2. Klicken Sie auf Umstellung auf Knowledge Catalog verwalten.

  3. Klicken Sie auf den Tab Upgrade auf Knowledge Catalog.

  4. Wenn Sie Data Catalog-Tag-Vorlagen auf Knowledge Catalog upgraden möchten, klicken Sie auf Aspekttypen und Tag-Vorlagen ansehen.

    1. Wählen Sie die Tag-Vorlagen aus, die Sie upgraden möchten.

    2. Klicken Sie auf Upgrade.

    3. Klicken Sie im Dialogfeld zur Bestätigung auf Bestätigen.

  5. Wenn Sie benutzerdefinierte Data Catalog-Eintragsgruppen auf Knowledge Catalog upgraden möchten, klicken Sie auf Eintragsgruppen ansehen.

    1. Wählen Sie die Eintragssammlungen aus, die Sie upgraden möchten.

    2. Klicken Sie auf Upgrade.

    3. Klicken Sie im Dialogfeld zur Bestätigung auf Bestätigen.

REST

Verwenden Sie die Methode tagTemplates.patch, um ein Upgrade von Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Knowledge Catalog durchzuführen.

Nach Abschluss der Upgradephase ist Knowledge Catalog die autoritative Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

Programmatische Arbeitslasten aktualisieren

Knowledge Catalog bietet eine neue API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle. Daher müssen Sie alle vorhandenen Arbeitslasten mit programmatischer Verwendung von Data Catalog auf Knowledge Catalog aktualisieren. Codebeispiele für Knowledge Catalog

Achten Sie darauf, dass Sie die Aktualisierung programmatischer Arbeitslasten mit dem Upgrade der abhängigen Ressourcen wie Tag-Vorlagen und benutzerdefinierte Eintragsgruppen abstimmen. Das ist erforderlich, weil durch das Upgrade der aktive (read-write) Status einer Ressource von Data Catalog in Knowledge Catalog verschoben wird.

Im Folgenden sehen Sie ein Beispiel für eine Abfolge von Aktualisierungen programmatischer Arbeitslasten für die Interaktion mit Knowledge Catalog, die mit dem Upgrade der abhängigen Ressourcen koordiniert werden:

  1. Wenn Ihre Arbeitslasten Eventual Consistency tolerieren, verschieben Sie read-Vorgänge von Arbeitslasten in den Knowledge Catalog.

  2. Migrieren Sie Arbeitslasten, die write-Vorgänge für das Tagging ausführen, zu Knowledge Catalog. Koordinieren Sie dies mit dem Upgrade der entsprechenden Tag-Vorlagen.

  3. Verschieben Sie Arbeitslasten, die benutzerdefinierte Erfassungsvorgängewrite ausführen, in den Knowledge Catalog. Koordinieren Sie dies mit dem Upgrade der entsprechenden benutzerdefinierten Eintragsgruppen.

Wenn Sie die Aktualisierung von Arbeitslasten und das Upgrade der entsprechenden Ressourcen entkoppeln müssen, sollten Sie Logik in den Arbeitslasten implementieren, um read-write basierend auf dem Status des Ressourcen-Upgrades an Data Catalog oder Knowledge Catalog weiterzuleiten. Arbeitslasten werden also unabhängig vom Upgradestatus der zugehörigen Ressource ausgeführt.

Nächste Schritte