Metadatenverwaltung in Knowledge Catalog

Knowledge Catalog (früher Dataplex Universal Catalog) ist ein vollständig verwalteter Dienst, der die Ermittlung und Inventarisierung Ihrer verteilten Daten und KI-Assets automatisiert. So wird eine einheitliche, durchsuchbare Wissensdatenbank erstellt, die Daten in Google Cloud und anderen Umgebungen verwaltet. Dadurch wird sichergestellt, dass Ihre Analyse- und KI-Modelle auf vertrauenswürdigen, konformen Informationen basieren.

Hinweis :Sie können Knowledge Catalog als Standardkatalog festlegen. Wenn Sie Data Catalog verwenden, stellen Sie Ihre eigenständigen Data Catalog-Inhalte und ‑Nutzung auf Knowledge Catalog um. Weitere Informationen finden Sie unter Von Data Catalog zu Knowledge Catalog wechseln.

Anwendungsfälle

• Self-Service-Analysen beschleunigen: Das „Kaltstartproblem“ wird gelöst, da Analysten die Datenqualität ohne Unterstützung durch das Engineering-Team finden, nachvollziehen und überprüfen können.

• KI- und Datenprodukte verwalten: Der Lebenszyklus von KI-Modellen und ‑Datasets wird gemeinsam verwaltet, damit nachgelagerte KI-Anwendungen auf sicheren, genehmigten Eingaben basieren.

• Compliance optimieren: Die Nachverfolgung des Datenursprungs wird automatisiert, um nachzuvollziehen, wie sensible Informationen, einschließlich personenidentifizierbarer Informationen, in Ihrem Unternehmen fließen.

So funktioniert Knowledge Catalog

Der Wissenskatalog ist wie eine automatisierte intelligente Bibliothek für Ihr Unternehmen. Anstatt sie manuell einzugeben, werden technische Metadaten automatisch aus Ihren Speichersystemen wie BigQuery aufgenommen.

Anschließend können Sie diese Metadaten mit Geschäftskontext anreichern, z. B. mit Datenqualitätsfaktoren oder Eigentumsrechten, und in logischen Gruppen organisieren. So wird sichergestellt, dass Nutzer bei der Suche im Katalog Assets finden, die auffindbar sind und aktiven Sicherheitsrichtlinien unterliegen.

Außerdem können Metadatenänderungen mit dem Knowledge Catalog über Feeds für Metadatenänderungen in Echtzeit gestreamt werden. Über einen Feed für Metadatenänderungen werden Benachrichtigungen über das Erstellen, Aktualisieren oder Löschen von Metadaten an ein von Ihnen angegebenes Pub/Sub-Thema gesendet. Pub/Sub ist ein asynchroner und skalierbarer Messaging-Dienst. Anschließend können Sie einen Abonnentenclient verwenden, um das Pub/Sub-Thema zu abonnieren und diese Benachrichtigungen zu erhalten. Sie können Metadatenänderungen programmatisch verarbeiten, Workflows auslösen oder in andere Systeme einbinden, um auf diese Benachrichtigungen zu reagieren. Sie können diese Benachrichtigungen beispielsweise verwenden, um automatisch Datenqualitätsprüfungen auszulösen, wenn sich ein Tabellenschema ändert. Weitere Informationen finden Sie unter Feeds für Metadatenänderungen.

Terminologie

Die Metadatenverwaltungsfunktionen in Knowledge Catalog basieren auf den folgenden Konzepten:

Eintrag

Ein Eintrag stellt ein Daten-Asset dar. Dies ähnelt Einträgen im Data Catalog.

Beispiel: Eine BigQuery-Tabelle mit dem Namen test-project.sales_data.customer_orders wird als Eintrag dargestellt.

Eine Spalte eines Eintrags stellt einen bestimmten Unterabschnitt eines Datenassets dar, z. B. eine einzelne Spalte in einer BigQuery-Tabelle oder ein Feld in einer JSON-Datei. Mit Spalten können Sie Metadaten an einzelne Felder in einem Eintrag anhängen, nicht nur an den Eintrag als Ganzes. Sie definieren Spalten nicht direkt. Sie werden erstellt, wenn Sie einem Eintrag ein Attribut vom Typ schema zuweisen. Spalten werden auch als Pfade bezeichnet.

Beispiel: Wenn Sie das Feld email_address im Eintrag customer_orders als personenidentifizierbare Informationen beschreiben möchten, können Sie der Spalte email_address einen Aspekt zuweisen.

Weitere Informationen zu Einträgen finden Sie unter Einträge.

Eintragslink

Mit einem Eintrag-Link wird eine Beziehung zwischen zwei Daten-Assets (Einträgen) im Knowledge Catalog hergestellt. Links können symmetrisch (nicht gerichtet) sein, z. B. synonym, related items oder schema-join, oder asymmetrisch (gerichtet), z. B. definition mit einer expliziten Quelle und einem expliziten Ziel. Links können auf einen gesamten Eintrag oder einen bestimmten Pfad verweisen, z. B. auf eine einzelne Spalte in einem Schema, mit Ausnahme des Eintragslinks schema-join.

Beispiel: Ein synonym-Eintrag verknüpft den Begriff Gewinn als Synonym für Einnahmen.

Weitere Informationen zu Einstiegslinks finden Sie unter EntryLinks.

Eintragsverknüpfungstyp

Ein Eintragslinktyp ist eine wiederverwendbare Vorlage für Eintragslinks, die die Bedeutung der Beziehung zwischen zwei Einträgen beschreibt. Jeder Eintragslink ist eine Instanz eines Eintragslinktyps. Die Richtung von Einstiegslinks wird auf der Ebene des Einstiegslinktyps definiert.

Beispiel: Wenn Sie angeben möchten, dass die Daten in den verknüpften Einträgen anhand ihres Schemas zusammengeführt werden können, verwenden Sie den Linktyp schema-join. Um die Bedeutung von Spalten in einer Tabelle zu erläutern, können Sie den Linktyp definition verwenden, um diese Spalten mit Begriffen aus dem Unternehmensglossar zu verknüpfen.

Der Knowledge Catalog unterstützt die folgenden Linktypen für Einträge: synonym, related, definition und schema-join.

Aspekt

Ein Aspekt ist eine Gruppe von zugehörigen Metadatenfeldern. Sie können einem Eintrag einen Aspekt zuweisen, um den Eintrag oder den Eintragslink als Ganzes zu beschreiben. Die meisten Metadaten werden durch Aspekte in einem Eintrag beschrieben. Das ist ähnlich wie Tags in Data Catalog. Aspekte werden jedoch in Einträgen oder Eintragslinks und nicht als eigenständige Ressourcen gespeichert.

Beispiel: Wenn Sie alle Spalten des Eintrags customer_orders definieren möchten, z. B. order_id, order_date und email_address, können Sie dem Eintrag customer_orders einen schema-Aspekt hinzufügen. Wenn Sie angeben möchten, dass die Spalte email_address eine E‑Mail-Adresse enthält, können Sie der Spalte email_address das Attribut schema zuweisen.

Weitere Informationen zu Aspekten finden Sie unter Aspekte.

Eintragstyp

Ein Eintragstyp ist eine Vorlage zum Erstellen von Einträgen. Darin werden die wichtigsten Metadatenelemente festgelegt, die als Liste der erforderlichen Aspekte für Einträge dieses Typs aufgeführt sind. Ein Eintragstyp gibt an, welche Aspekttypen für ein bestimmtes Daten-Asset erforderlich sind.

Beispiel: Damit alle Einträge die erforderlichen Metadaten haben, können Sie einen Eintragstyp namens StandardOperationalTable erstellen, für den das Attribut OwnerInfo für jeden neuen Eintrag dieses Typs erforderlich ist.

Weitere Informationen zu Eintragstypen finden Sie unter Eintragstypen.

Aspekttyp

Ein Aspekttyp ist eine wiederverwendbare Vorlage für Aspekte. Jeder Aspekt ist eine Instanz eines Aspekttyps. Das ist ähnlich wie bei Tag-Vorlagen in Data Catalog.

Beispiel: Wenn Sie eine wiederverwendbare Vorlage für Kontaktdaten definieren möchten, können Sie einen Aspekttyp mit dem Namen ContactInfo mit Feldern für owner_name, email und support_team definieren. Anschließend können Sie ContactInfo-Aspekte aus dieser Vorlage erstellen und sie Einträgen oder Spalten zuweisen.

Weitere Informationen zu Aspekttypen finden Sie unter Aspekttypen.

Eintragsgruppe

Eine Eintragsgruppe ist ein Container für Einträge und Eintragslinks, der als Verwaltungseinheit für diese Einträge und Eintragslinks dient. Sie können beispielsweise eine Eintragsgruppe verwenden, um die Zugriffssteuerung für Identity and Access Management, die Projektzuordnung oder den Speicherort für die Einträge und Eintragslinks in der Eintragsgruppe zu konfigurieren. Das ist ähnlich wie bei Eintragsgruppen in Data Catalog.

Beispiel: Ein Finanzteam möchte Berechtigungen für alle seine Tabellen gleichzeitig verwalten. Sie können eine Eintragsgruppe mit dem Namen production_finance_data erstellen und die Einträge für die Tabelle customer_orders, die Tabelle quarterly_revenue und die Tabelle employee_salaries einfügen.

Weitere Informationen zu Eintragsgruppen finden Sie unter Eintragsgruppen.

Abbildung 1. Eintragsgruppen, Einträge und Eintragslinks

Abbildung 2. Aspekttypen und Eintragstypen

Abbildung 3. Eintragslink mit verknüpften Einträgen, Aspekten und deren Typen

Knowledge Catalog im Vergleich zu Data Catalog

Knowledge Catalog bietet integrierte Funktionen zum Verwalten Ihrer Metadaten. Der Metadatenspeicher und die API-Methoden sind in die Dataplex API eingebunden.

Die wichtigsten Funktionen für die Metadatenverwaltung in Knowledge Catalog sind:

• Robusteres Metamodell

  • Eingabe über die Tastatur. Sie können Mindeststandards für Metadaten erzwingen, indem Sie die erforderlichen Metadateninhalte für benutzerdefinierte Einträge definieren.
  • Nutzerkonfigurierbares Metamodell für benutzerdefinierte Einträge, das die benutzerdefinierte Aufnahme robuster macht und die Konsistenz und Vollständigkeit benutzerdefinierter Metadaten verbessert.
  • Unterstützung für eine größere Vielfalt und Komplexität von Metadaten, einschließlich Unterstützung für Verschachtelungsstrukturen wie Listen, Maps und Arrays.

• Verbesserte Skalierbarkeit, einschließlich der Möglichkeit, über einzelne atomare CRUD-Vorgänge mit allen Metadaten zu interagieren, die einem Eintrag zugeordnet sind, und der Möglichkeit, mehrere Metadatenanmerkungen abzurufen, die in Such- oder Listenantworten enthalten sind.

In der folgenden Tabelle werden die Metadatenverwaltungsfunktionen von Knowledge Catalog und Data Catalog verglichen:

Vergleich zwischen Knowledge Catalog und Data Catalog

Funktion	Knowledge Catalog	Data Catalog
Unterstützte Google Cloud Quellen	Alle Quellen, wie im Abschnitt Unterstützte Quellen dieses Dokuments beschrieben. Google Cloud	Alle Quellen, die unter Einträge und Eintragsgruppen beschrieben werden.
Aufnahme benutzerdefinierter Quellen	Aufnahme in benutzerdefinierte Einträge mit einer durch Eintragstypen definierten Struktur. Benutzerdefinierte Data Catalog-Einträge und ‑Eintragsgruppen sind im Knowledge Catalog unter dem Eintragstyp generic verfügbar.	Aufnahme in generische benutzerdefinierte Einträge.
Metadatenanreicherung	Der Metadatenkontext für Einträge wird mithilfe von Unternehmensglossaren, Aspekten und Aspekttypen erfasst. Eintrag-Links werden unterstützt. Sie können Aspekte an einen Eintragslink anhängen.	Der Metadatenkontext für Einträge wird mithilfe von Unternehmensglossaren, Tags und Tag-Vorlagen erfasst. Eintrag-Links werden nicht unterstützt.
Eintragslinks	Eintrag-Links werden unterstützt. Mit Eintragstyp-Links wie schema-join können Sie Aspekte an Eintragstyp-Links anhängen.	Nicht verfügbar.
Feeds für Metadatenänderungen	Metadatenänderungsbenachrichtigungen werden nahezu in Echtzeit an Pub/Sub gestreamt.	Nicht verfügbar.
Suchen	Die Suche wird in den folgenden Bereichen durchgeführt: Alle Google Cloud Quellen, die unter Unterstützte Google Cloud Quellen beschrieben werden Benutzerdefinierte Einträge, die im Knowledge Catalog erstellt werden Aspekte, die im Knowledge Catalog erstellt werden, mit Ausnahme der Aspekte, die mit den Eintragslinks verknüpft sind. Benutzerdefinierte Einträge, die in Data Catalog erstellt und in Knowledge Catalog übernommen werden Die Suchergebnisse enthalten nur Ressourcen, die zur selben Organisation und zum selben VPC Service Controls-Perimeter wie das Projekt gehören, unter dem die Suche durchgeführt wird. Wenn Sie die Google Cloud Console verwenden, ist dies das Projekt, das in der Console ausgewählt ist. Wenn Sie nach Einträgen suchen möchten, benötigen Sie mindestens eine der folgenden IAM-Rollen für das Projekt, das für die Suche verwendet wird: Dataplex Catalog Admin, Dataplex Catalog Editor oder Dataplex Catalog Viewer. Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft.	Die Suche wird in den folgenden Bereichen durchgeführt: Alle Google Cloud Quellen, die unter Einträge und Eintragsgruppen beschrieben werden Benutzerdefinierte Einträge, die in Data Catalog erstellt werden In Data Catalog erstellte Tags
Data Lineage	Mit Data Lineage werden Eintragsdetails für Asset-Knoten mithilfe der Dataplex API abgerufen. In der Google Cloud Konsole werden die angehängten Aspekte angezeigt.	Bei der Datenherkunft werden Eintragsdetails für Asset-Knoten mithilfe der Data Catalog API abgerufen.
Unternehmensglossare	Mit dem Unternehmensglossar können Sie eine Taxonomie für Geschäftsbegriffe erstellen und sie mit Daten-Assets und Spalten verknüpfen. Mit der Suche können Sie Assets finden, die mit einem Begriff verknüpft sind.	Mit dem Geschäftsglossar können Sie eine Taxonomie für Geschäftsbegriffe erstellen und sie Spalten zuordnen. Mit der Suche können Sie Assets finden, die mit einem Begriff verknüpft sind.

In der folgenden Tabelle wird beschrieben, wie Ressourcen in Knowledge Catalog Data Catalog-Ressourcen entsprechen:

Zuordnung zwischen Knowledge Catalog- und Data Catalog-Ressourcen

Knowledge Catalog-Ressource	Data Catalog-Ressource	Beschreibung
Aspekttyp (global)	Öffentliche Tag-Vorlage	Tag-Vorlagen sind regionale Ressourcen. Sie können sie jedoch verwenden, um regionsübergreifend Tags zu erstellen. Tag-Vorlagen entsprechen global-Aspekttypen im Knowledge Catalog.
Optionaler Aspekt	Öffentliches Tag	Öffentliche Tags in Data Catalog entsprechen optionalen Aspekten in Knowledge Catalog.
Eintragsgruppe	Eintragsgruppe	Für Google Cloud -Quellen werden im Knowledge Catalog systemeigene Eintragsgruppen wie @bigquery pro Projekt eingerichtet.
Erforderliche Aspekte für benutzerdefinierte Einträge	Benutzerdefinierter Eintrag	Data Catalog und Knowledge Catalog verwenden ähnliche Konzepte für benutzerdefinierte Einträge. Standardeigenschaften für Einträge werden im Knowledge Catalog als erforderliche Aspekte modelliert.
Erforderliche Aspekte für die Systemeingabe	Eintrag „System“ (Google Cloud)	Metadaten, die integrierte Entitäten wie Schema für BigQuery-Tabellen beschreiben, werden in erforderlichen Aspekten der systemdefinierten Aspekttypen erfasst.
Unternehmensglossare	Unternehmensglossare	Mit Glossaren können Sie eine Taxonomie von Geschäftsbegriffen erstellen, um den geschäftlichen Kontext im gesamten Unternehmen zu standardisieren.

Weitere Informationen zu den Funktionen, die in Data Catalog verfügbar sind, aber nicht in Knowledge Catalog unterstützt werden, finden Sie in diesem Dokument im Abschnitt Funktionen zur Metadatenverwaltung, die in Knowledge Catalog nicht unterstützt werden.

Für bestehende Data Catalog-Nutzer

Wenn Sie Data Catalog bereits verwenden, beachten Sie Folgendes:

• Benutzerdefinierte Einträge, Übersichtskontext, Glossare und Eintragsgruppen, die Sie in Data Catalog erstellt haben, sind in Knowledge Catalog verfügbar.
• Als Administrator können Sie festlegen, dass die Inhalte von Data Catalog-Tag-Vorlagen und ‑Tags gleichzeitig in Knowledge Catalog verfügbar gemacht werden. Weitere Informationen finden Sie unter Von Data Catalog zu Knowledge Catalog wechseln.
• Wenn Sie in Knowledge Catalog nach Daten-Assets suchen, werden sowohl die Metadaten, die direkt in Knowledge Catalog erstellt wurden, als auch die Metadaten berücksichtigt, die aus Data Catalog in Knowledge Catalog importiert wurden.
• Wenn Sie in Data Catalog nach Daten-Assets suchen, werden nur die Metadaten berücksichtigt, die in Data Catalog erstellt wurden.
• Eintragsgruppenbeschreibungen in Data Catalog, die länger als 1.024 Zeichen sind, werden in Knowledge Catalog auf 1.024 Zeichen gekürzt.
• Wenn Sie als Administrator Glossare und zugehörige Links zwischen Geschäftsbegriffen und Spalten, die Sie in Data Catalog erstellt haben, in Knowledge Catalog verfügbar machen möchten, lesen Sie den Abschnitt Glossare zu Knowledge Catalog migrieren.

Weitere Informationen zur Umstellung Ihrer eigenständigen Data Catalog-Inhalte und ‑Nutzung auf Knowledge Catalog finden Sie unter Von Data Catalog auf Knowledge Catalog umstellen.

Data Catalog API-Methoden Knowledge Catalog zuordnen

Wenn Sie von Data Catalog zu Knowledge Catalog migrieren, müssen Sie Ihre programmatischen Arbeitsabläufe aktualisieren, damit die Dataplex API verwendet wird. In diesem Abschnitt finden Sie eine Zuordnung zwischen der Data Catalog API und der Dataplex API.

Weitere Informationen zu den Dataplex API-Methoden finden Sie in der Dokumentation zur Dataplex API für REST-Methoden und zur Dataplex API für RPC-Methoden.

In den folgenden Tabellen finden Sie eine Zuordnung der Data Catalog API-Methoden zu ihren Entsprechungen in der Dataplex API.

Eintragsgruppen

Das Konzept von Eintragsgruppen ist sowohl in Knowledge Catalog als auch in Data Catalog dasselbe.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)	projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)
projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)	projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)
projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)	projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)
projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)	projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)
projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)	projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)

Einträge

Das Konzept von Einträgen, die Daten-Assets darstellen, ist sowohl in Knowledge Catalog als auch in Data Catalog ähnlich.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)	projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)
projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)
projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Hinweis:Sie können auch die Methoden projects.locations.modifyEntry (REST) und ModifyEntry (RPC) verwenden, um Systemeinträge mit Quellsystemberechtigungen anstelle von Knowledge Catalog-Berechtigungen zu aktualisieren.
projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)	projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)
projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)	projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)
entries.lookup (REST) LookupEntry (RPC)	projects.locations.lookupEntry (REST) LookupEntry (RPC) Hinweis:Wenn Sie die Methoden projects.locations.lookupEntry (REST) und LookupEntry (RPC) verwenden möchten, müssen Sie den Namen des Knowledge Catalog-Eintrags angeben. Wenn Sie einen BigQuery-SQL-Namen, einen vollständig qualifizierten Namen oder einen Namen einer verknüpften Ressource in einen Knowledge Catalog-Eintragsnamen übersetzen möchten, rufen Sie zuerst die Methode projects.locations.searchEntries (REST) oder SearchEntries (RPC) auf.
projects.locations.entryGroups.entries.modifyEntryContacts (REST) ModifyEntryContacts (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Hinweis:Wenn Sie die Migration über die Data Catalog-Methode entries.modifyEntryContacts durchführen, verwenden Sie update_mask, um nur den Aspekt contacts zu ändern.
projects.locations.entryGroups.entries.modifyEntryOverview (REST) ModifyEntryOverview (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Hinweis:Wenn Sie die Migration über die Data Catalog-Methode entries.modifyEntryOverview durchführen, verwenden Sie update_mask, um nur den Aspekt overview zu ändern.
projects.locations.entryGroups.entries.tags.reconcile (REST) ReconcileTags (RPC)	projects.locations.metadataJobs.create (REST) CreateMetadataJob (RPC), projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Hinweis:Wenn Sie von der Data Catalog-Methode projects.locations.entryGroups.entries.reconcileTags migrieren, verwenden Sie die Methode projects.locations.metadataJobs.create (REST) oder CreateMetadataJob (RPC) mit dem Importjobtyp, um Kataloginhalte für mehrere Einträge zu importieren. Wenn Sie alle Aspekte eines einzelnen Eintrags aktualisieren möchten, verwenden Sie die Methode projects.locations.entryGroups.entries.patch (REST) oder UpdateEntry (RPC).
catalog.search (REST) SearchCatalog (RPC)	projects.locations.searchEntries (REST) SearchEntries (RPC) Hinweis:Die Knowledge Catalog-Methoden projects.locations.searchEntries (REST) und SearchEntries (RPC) unterstützen keine Suche über mehrere Organisationen hinweg. Sie müssen für jede Ihrer Organisationen separate API-Aufrufe ausführen.

Tag-Vorlagen und Tags

In Knowledge Catalog sind Aspekttypen die Nachfolger von Data Catalog-Tag-Vorlagen und Aspekte die Nachfolger von Data Catalog-Tags.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.tagTemplates.create (REST) CreateTagTemplate (RPC)	projects.locations.aspectTypes.create (REST) CreateAspectType (RPC)
projects.locations.tagTemplates.get (REST) GetTagTemplate (RPC)	projects.locations.aspectTypes.get (REST) GetAspectType (RPC)
projects.locations.tagTemplates.patch (REST) UpdateTagTemplate (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.delete (REST) DeleteTagTemplate (RPC)	projects.locations.aspectTypes.delete (REST) DeleteAspectType (RPC)
catalog.search (REST) mit dem type=tag_template-Prädikat SearchCatalog (RPC) mit dem type=tag_template-Prädikat	projects.locations.aspectTypes.list (REST) ListAspectTypes (RPC)

Felder für Tag-Vorlagen

Tag-Vorlagenfelder entsprechen dem Inhalt des Felds metadata_template in einem Aspekttyp. Wenn Sie einen Data Catalog-Vorgang auf Feldebene migrieren möchten, verwenden Sie den Vorgang UpdateAspectType mit der entsprechenden Nutzlast in Knowledge Catalog.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.tagTemplates.fields.create (REST) CreateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.patch (REST) UpdateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.rename (REST) RenameTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.delete (REST) DeleteTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Enum-Werte für Tag-Vorlagenfelder

Ähnlich wie bei Tag-Vorlagenfeldern können Sie Enum-Werte in der Dataplex API bearbeiten, indem Sie das Feld metadata_template im entsprechenden Aspekttyp ändern.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.tagTemplates.fields.enumValues.rename (REST) RenameTagTemplateFieldEnumValue (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Tags

Aspekte sind der Nachfolger von Data Catalog-Tags. Aspekte sind keine eigenständigen Ressourcen, sondern in ihren übergeordneten Einträgen enthalten. Mit dem Parameter field_mask kann ein einzelner Aspekt eines Eintrags selektiv aktualisiert werden.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.entryGroups.entries.tags.create (REST) CreateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.list (REST) ListTags (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC) Hinweis:Wenn Sie die Antwort auf die erforderlichen Aspekte beschränken möchten, verwenden Sie die Parameter views, aspect_types und paths.
projects.locations.entryGroups.entries.tags.patch (REST) UpdateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.delete (REST) DeleteTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)

Richtlinien-Tags und ‑Taxonomien

Diese APIs werden nicht geändert und müssen daher nicht migriert werden.

Unterstützte Quellen

• Automatische Erkennung von Cloud Storage-Daten
• Metadaten aus den folgenden Google Cloud Quellen werden automatisch in den Knowledge Catalog aufgenommen:
  • Datenpools und Einträge in BigQuery Sharing (früher Analytics Hub)
  • BigQuery-Datasets, -Tabellen, -Ansichten, -Modelle, -Routinen, -Verbindungen und verknüpfte Datasets
  • Bigtable-Instanzen, ‑Cluster und ‑Tabellen (einschließlich Details zur Spaltenfamilie)
  • Dataform-Repositories und Code-Assets
  • Dataproc Metastore-Dienste, -Datenbanken und -Tabellen
  • Looker (Google Cloud Core)-Instanzen, Dashboards, Dashboardelemente, Looks, LookML-Projekte, Modelle, Explores und Ansichten (Vorschau)
  • Pub/Sub-Themen
  • Spanner-Instanzen, ‑Datenbanken, ‑Tabellen und ‑Ansichten
  • Vertex AI-Modelle, ‑Datasets, ‑Featuregruppen, ‑Featureansichten und ‑Onlinespeicherinstanzen
• Wenn die Knowledge Catalog-Integration aktiviert ist, werden Metadaten aus den folgenden Google Cloud Quellen automatisch in Knowledge Catalog aufgenommen:
  • AlloyDB for PostgreSQL-Cluster, ‑Instanzen, ‑Datenbanken, ‑Schemas, ‑Tabellen und ‑Ansichten – siehe AlloyDB for PostgreSQL-Integration aktivieren (Vorabversion)
  • Cloud SQL-Instanzen, Datenbanken, Schemas, Tabellen, Ansichten – siehe Cloud SQL-Integration aktivieren

Wenn Sie Metadaten aus einer Drittanbieterquelle in Knowledge Catalog importieren möchten, können Sie eine Pipeline für verwaltete Verbindungen verwenden. Weitere Informationen finden Sie unter Übersicht über verwaltete Konnektivität.

Projekt- und Standortbeschränkungen

Katalogressourcen in Knowledge Catalog werden in verschiedenen Projekten und an verschiedenen Standorten gehostet. Es gelten folgende Einschränkungen:

• Standort:

  • Einträge:

    • Der Speicherort eines Eintrags muss entweder mit dem Speicherort des Eintragstyps übereinstimmen oder der Eintragstyp muss global sein.
    • Einem Eintrag hinzugefügte Aspekte müssen auf einem Aspekttyp basieren, der am selben Ort wie der Eintrag gespeichert ist, oder der Aspekttyp muss global sein.
    • Ein Eintragstyp muss aus Aspekttypen bestehen, die am selben Ort wie der Eintragstyp gespeichert sind.

  • Eintragslinks:

    • Der Speicherort eines Eintragslinks muss entweder mit dem Speicherort des Eintragslinktyps übereinstimmen oder der Eintragslinktyp muss global sein.
    • Ein Aspekt, der einem Eintragslink hinzugefügt wird, muss auf einem Aspekttyp basieren, der am selben Ort wie der Eintragslink gespeichert ist, oder der Aspekttyp muss global sein.
    • Ein Eintragstyp für Links muss aus Aspekttypen bestehen, die am selben Ort wie der Eintragstyp für Links gespeichert sind.

• Projekt:

  • Wenn ein Eintragstyp auf benutzerdefinierte Aspekttypen verweist, müssen sich die Aspekttypen am selben Ort und im selben Projekt wie der Eintragstyp befinden.

Funktionen zur Metadatenverwaltung, die in Knowledge Catalog nicht unterstützt werden

Die folgenden Funktionen, die in Data Catalog verfügbar sind, werden in Knowledge Catalog nicht unterstützt:

• Das Konzept privater Aspekte und privater Aspekttypen (Gegenstücke zu privaten Tags und privaten Tag-Vorlagen in Data Catalog) ist in Knowledge Catalog nicht vorhanden.
• Die Suche nach Richtlinien-Tags wird in der Knowledge Catalog-Suche nicht unterstützt. Daher funktionieren die Prädikate policytag und policytagid in der Knowledge Catalog-Suche nicht.
• Wenn Sie benutzerdefinierte Eintragsgruppen, benutzerdefinierte Einträge, Tag-Vorlagen und Tags aus Data Catalog in Knowledge Catalog übertragen, werden die ursprünglichen Berechtigungen nicht übernommen. Sie müssen die IAM-Berechtigungen für die kopierten Metadaten explizit konfigurieren, bevor Sie sie verwenden können.
• Das Senden von Ergebnissen der Überprüfung zum Schutz sensibler Daten direkt an den Katalog in Knowledge Catalog wird nicht unterstützt. Stattdessen können Sie Sensitive Data Protection-Prüfungsergebnisse an Data Catalog senden und die Ergebnisse dann in Knowledge Catalog übertragen.
• Sie können mit der API keine Eintragstypen, Eintragstyp-Links und Aspekttypen projektübergreifend auflisten. Sie können die Listenanfrage auf ein Projekt beschränken.
• Das Registrieren von Data Lakes, Zonen, Assets und Entitäten als Knowledge Catalog-Einträge wird nicht unterstützt. Das bedeutet, dass Data Catalog-Metadaten, die an Lakes, Zonen, Assets und Entitäten angehängt sind, nicht in den Katalog in Knowledge Catalog übertragen werden. Außerdem wird bei der Suche im Knowledge Catalog die Suche nach Zonen und Einheiten nicht unterstützt. Das Filtern nach Data Lakes und Zonen wird ebenfalls nicht unterstützt. Sie können Lakes und Zonen unabhängig vom Katalog in Knowledge Catalog verwenden.
• Die Administratorsuche, die für einen vollständigen Rückruf sorgt, wird nicht unterstützt. Stattdessen können Sie Metadaten in Cloud Storage exportieren und sie dann in BigQuery abfragen.

Einen Vergleich der Funktionen und Ressourcen, die sowohl in Knowledge Catalog als auch in Data Catalog unterstützt werden, finden Sie in diesem Dokument im Abschnitt Knowledge Catalog im Vergleich zu Data Catalog.

Preise

Knowledge Catalog verwendet die SKU für den Metadatenspeicher, um die Speicherung von Metadaten in Rechnung zu stellen. Weitere Informationen finden Sie unter Preise für Knowledge Catalog.

Für die Nutzung der folgenden Funktionen fallen keine Gebühren an:

• Katalogressourcen in Knowledge Catalog erstellen und verwalten
• Search API-Aufrufe für den Wissenskatalog
• Suchanfragen, die auf der Seite „Knowledge Catalog“ in derGoogle Cloud -Konsole ausgeführt werden

Nächste Schritte

• Weitere Informationen zum Suchen nach Ressourcen im Knowledge Catalog
• Informationen zum Verwalten von Aspekten und zum Anreichern von Metadaten
• Informationen zum Verwalten von Einträgen und zum Aufnehmen benutzerdefinierter Quellen
• Weitere Informationen zur Umstellung von Data Catalog auf Knowledge Catalog
• Weitere Informationen zur Umstellung von Glossaren auf Knowledge Catalog
• Folgen Sie dem Codelab: Datenbasis mit Knowledge Catalog-Metadaten erstellen.