Metadatenverwaltung im Dataplex Universal Catalog

Dataplex Universal Catalog bietet eine zentrale Plattform zum Speichern, Verwalten und Aufrufen Ihrer Metadaten. In diesem Dokument werden die Funktionen zur Metadatenverwaltung von Dataplex Universal Catalog beschrieben.

Dataplex Universal Catalog bietet einen einheitlichen Bestand von Google Cloud und lokalen Ressourcen. Metadaten für Google Cloud -Ressourcen werden automatisch von Dataplex Universal Catalog abgerufen und gespeichert. Sie können auch Ihre eigenen Metadaten für Drittanbieterressourcen in Dataplex Universal Catalog einbringen.

Sie können Ihr Inventar mit zusätzlichen geschäftlichen und technischen Metadaten anreichern, die den Kontext und das Wissen über Ihre Ressourcen erfassen. Sie können auch organisationsweit nach Ihren Daten suchen und diese ermitteln sowie die Datenverwaltung für Ihre Daten-Assets aktivieren.

Sie können Dataplex Universal Catalog als Standardkatalog festlegen. Wenn Sie Data Catalog verwenden, stellen Sie Ihre eigenständigen Data Catalog-Inhalte und ‑Nutzung auf Dataplex Universal Catalog um. Weitere Informationen finden Sie unter Umstellung von Data Catalog auf Dataplex Universal Catalog.

Funktionsweise der Metadatenverwaltung

Die Funktionen zur Metadatenverwaltung in Dataplex Universal Catalog basieren auf den folgenden Konzepten:

Eintrag

Ein Eintrag stellt ein Daten-Asset dar. Das ist ähnlich wie

Einträge in Data Catalog.

Beispiel: Eine BigQuery-Tabelle mit dem Namen test-project.sales_data.customer_orders wird als Eintrag dargestellt.

Eine Spalte eines Eintrags stellt einen bestimmten Unterabschnitt eines Datenassets dar, z. B. eine einzelne Spalte in einer BigQuery-Tabelle oder ein Feld in einer JSON-Datei. Mit Spalten können Sie Metadaten an einzelne Felder in einem Eintrag anhängen, nicht nur an den Eintrag als Ganzes. Sie definieren Spalten nicht direkt. Sie werden erstellt, wenn Sie einem Eintrag einen Aspekt vom Typ schema zuweisen. Spalten werden auch als Pfade bezeichnet.

Beispiel: Wenn Sie das Feld email_address im Eintrag customer_orders als personenidentifizierbare Informationen beschreiben möchten, können Sie der Spalte email_address einen Aspekt zuweisen.

Weitere Informationen zu Einträgen finden Sie unter Einträge.

Aspekt

Ein Aspekt ist eine Gruppe von zugehörigen Metadatenfeldern. Sie können

einen Aspekt für einen Eintrag, um den Eintrag als Ganzes zu beschreiben. Die meisten Metadaten werden durch Aspekte in einem Eintrag beschrieben. Das ist ähnlich wie Tags in Data Catalog. Aspekte werden jedoch in Einträgen und nicht als eigenständige Ressourcen gespeichert.

Beispiel: Wenn Sie alle Spalten des Eintrags customer_orders definieren möchten, z. B. order_id, order_date und email_address, können Sie dem Eintrag customer_orders einen schema-Aspekt hinzufügen. Wenn Sie angeben möchten, dass die Spalte email_address eine E-Mail-Adresse enthält, können Sie der Spalte email_address das Attribut schema zuweisen.

Weitere Informationen zu Aspekten finden Sie unter Aspekte.

Eintragstyp

Ein Eintragstyp ist eine Vorlage zum Erstellen von Einträgen. Es wird

die wesentlichen Metadatenelemente, die als Liste der erforderlichen Aspekte für Einträge dieses Typs aufgeführt sind. Ein Eintragstyp gibt an, welche Aspekttypen für ein bestimmtes Daten-Asset erforderlich sind.

Beispiel: Damit alle Einträge die erforderlichen Metadaten haben, können Sie einen Eintragstyp namens StandardOperationalTable erstellen, für den das Attribut OwnerInfo für jeden neuen Eintrag dieses Typs erforderlich ist.

Weitere Informationen zu Eintragstypen finden Sie unter Eintragstypen.

Aspekttyp

Ein Aspekttyp ist eine wiederverwendbare Vorlage für Aspekte. Jeder Aspekt

ist eine Instanz eines Aspekttyps. Das ist ähnlich wie bei Tag-Vorlagen in Data Catalog.

Beispiel: Wenn Sie eine wiederverwendbare Vorlage für Kontaktdaten definieren möchten, können Sie einen Aspekttyp mit dem Namen ContactInfo mit Feldern für owner_name, email und support_team definieren. Anschließend können Sie ContactInfo-Aspekte aus dieser Vorlage erstellen und sie Einträgen oder Spalten zuweisen.

Weitere Informationen zu Aspekttypen finden Sie unter Aspekttypen.

Eintragsgruppe

Eine Eintragsgruppe ist ein Container für Einträge, der als

Verwaltungseinheit für diese Einträge. Sie können beispielsweise eine Eintragsgruppe verwenden, um die Zugriffssteuerung für Identity and Access Management, die Projektzuordnung oder den Speicherort für die Einträge in der Eintragsgruppe zu konfigurieren. Das ist ähnlich wie bei Eintragsgruppen in Data Catalog.

Beispiel: Ein Finanzteam möchte Berechtigungen für alle seine Tabellen gleichzeitig verwalten. Sie können eine Eintragsgruppe mit dem Namen production_finance_data erstellen und die Einträge für die Tabelle customer_orders, die Tabelle quarterly_revenue und die Tabelle employee_salaries einfügen.

Weitere Informationen zu Eintragsgruppen finden Sie unter Eintragsgruppen.

Abbildung 1. Einträge und Eintragsgruppen

Abbildung 2. Aspekttypen und Eintragstypen

Dataplex Universal Catalog im Vergleich zu Data Catalog

Dataplex Universal Catalog bietet integrierte Funktionen zum Verwalten Ihrer Metadaten. Der Metadatenspeicher und die API-Methoden sind in die Dataplex API eingebunden.

Die wichtigsten Funktionen zur Metadatenverwaltung in Dataplex Universal Catalog sind:

• Robusteres Metamodell

  • Eingegebene Einträge. Sie können Mindeststandards für Metadaten erzwingen, indem Sie die erforderlichen Metadateninhalte für benutzerdefinierte Einträge definieren.
  • Nutzerkonfigurierbares Metamodell für benutzerdefinierte Einträge, das die benutzerdefinierte Aufnahme robuster macht und die Konsistenz und Vollständigkeit benutzerdefinierter Metadaten verbessert.
  • Unterstützung für eine größere Vielfalt und Komplexität von Metadaten, einschließlich Unterstützung für das Verschachteln von Strukturen wie Listen, Maps und Arrays.

• Verbesserte Skalierbarkeit, einschließlich der Möglichkeit, über einzelne atomare CRUD-Vorgänge mit allen Metadaten zu interagieren, die einem Eintrag zugeordnet sind, und mehrere Metadatenanmerkungen abzurufen, die in Such- oder Listenantworten enthalten sind.

In der folgenden Tabelle werden die Metadatenverwaltungsfunktionen von Dataplex Universal Catalog und Data Catalog verglichen:

Vergleich zwischen Dataplex Universal Catalog und Data Catalog

Funktion	Dataplex Universal Catalog	Data Catalog
Unterstützte Google Cloud Quellen	Alle Quellen, wie im Abschnitt Unterstützte Google Cloud Quellen in diesem Dokument beschrieben.	Alle Quellen, die unter Einträge und Eintragsgruppen beschrieben werden.
Aufnahme benutzerdefinierter Quellen	Aufnahme in benutzerdefinierte Einträge mit einer durch Eintragstypen definierten Struktur. Benutzerdefinierte Einträge und Eintragsgruppen aus Data Catalog sind in Dataplex Universal Catalog unter dem Eintragstyp generic verfügbar.	Aufnahme in generische benutzerdefinierte Einträge.
Metadatenanreicherung	Der Metadatenkontext für Einträge wird mithilfe von geschäftlichen Glossaren, Aspekten und Aspekttypen erfasst.	Der Metadatenkontext für Einträge wird mithilfe von geschäftlichen Glossaren, Tags und Tag-Vorlagen erfasst.
Suchen	Die Suche wird in den folgenden Bereichen durchgeführt: Alle Google Cloud Quellen, die unter Unterstützte Google Cloud Quellen beschrieben werden Benutzerdefinierte Einträge, die in Dataplex Universal Catalog erstellt werden Aspekte, die in Dataplex Universal Catalog erstellt werden Benutzerdefinierte Einträge, die in Data Catalog erstellt und in Dataplex Universal Catalog übernommen werden Die Suchergebnisse enthalten nur Ressourcen, die zur selben Organisation und zum selben VPC SC-Perimeter wie das Projekt gehören, unter dem die Suche durchgeführt wird. Wenn Sie die Google Cloud -Console verwenden, ist dies das Projekt, das in der Console ausgewählt ist. Wenn Sie nach Einträgen suchen möchten, benötigen Sie mindestens eine der folgenden IAM-Rollen für das Projekt, das für die Suche verwendet wird: Dataplex Catalog Admin, Dataplex Catalog Editor oder Dataplex Catalog Viewer. Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft.	Die Suche wird in den folgenden Bereichen durchgeführt: Alle Google Cloud Quellen, die unter Einträge und Eintragsgruppen beschrieben werden Benutzerdefinierte Einträge, die in Data Catalog erstellt werden In Data Catalog erstellte Tags
Data Lineage	Bei der Datenherkunft werden Eintragsdetails für Asset-Knoten mithilfe der Dataplex API abgerufen. In der Google Cloud Konsole werden die angehängten Aspekte angezeigt.	Bei der Datenherkunft werden Eintragsdetails für Asset-Knoten mithilfe der Data Catalog API abgerufen.
Unternehmensglossare	Mit dem Unternehmensglossar können Sie eine Taxonomie für Geschäftsbegriffe erstellen und sie mit Daten-Assets und Spalten verknüpfen. Mit der Suche können Sie Assets finden, die mit einem Begriff verknüpft sind.	Mit dem Geschäftsglossar können Sie eine Taxonomie für Geschäftsbegriffe erstellen und sie Spalten zuordnen. Mit der Suche können Sie Assets finden, die mit einem Begriff verknüpft sind.

In der folgenden Tabelle wird beschrieben, wie Ressourcen in Dataplex Universal Catalog Data Catalog-Ressourcen entsprechen:

Zuordnung zwischen Dataplex Universal Catalog- und Data Catalog-Ressourcen

Dataplex Universal Catalog-Ressource	Data Catalog-Ressource	Beschreibung
Aspekttyp (global)	Öffentliche Tag-Vorlage	Tag-Vorlagen sind regionale Ressourcen. Sie können sie jedoch verwenden, um regionsübergreifend Tags zu erstellen. Tag-Vorlagen entsprechen global-Aspekttypen in Dataplex Universal Catalog.
Optionaler Aspekt	Öffentliches Tag	Öffentliche Tags in Data Catalog entsprechen optionalen Aspekten in Dataplex Universal Catalog.
Eintragsgruppe	Eintragsgruppe	Für Google Cloud -Quellen werden in Dataplex Universal Catalog systemeigene Eintragsgruppen wie @bigquery pro Projekt eingerichtet.
Erforderliche Aspekte für benutzerdefinierte Einträge	Benutzerdefinierter Eintrag	Data Catalog und Dataplex Universal Catalog verwenden ähnliche Konzepte für benutzerdefinierte Einträge. Standardeintragseigenschaften werden in Dataplex Universal Catalog als erforderliche Aspekte modelliert.
Erforderliche Aspekte für die Systemeingabe	Systemeintrag (Google Cloud)	Metadaten, die integrierte Entitäten wie Schema für BigQuery-Tabellen beschreiben, werden in erforderlichen Aspekten der systemdefinierten Aspekttypen erfasst.
Unternehmensglossare	Unternehmensglossare	Mit Glossaren können Sie eine Taxonomie von Geschäftsbegriffen erstellen, um den geschäftlichen Kontext im gesamten Unternehmen zu standardisieren.

Weitere Informationen zu den Funktionen, die in Data Catalog verfügbar sind, aber nicht in Dataplex Universal Catalog unterstützt werden, finden Sie in diesem Dokument im Abschnitt Metadatenverwaltungsfunktionen, die in Dataplex Universal Catalog nicht unterstützt werden.

Für bestehende Data Catalog-Nutzer

Wenn Sie Data Catalog bereits verwenden, beachten Sie Folgendes:

• Benutzerdefinierte Einträge, Übersichtskontext, Glossare und Eintragsgruppen, die Sie in Data Catalog erstellt haben, sind in Dataplex Universal Catalog verfügbar.
• Als Administrator können Sie festlegen, dass die Inhalte von Data Catalog-Tag-Vorlagen und ‑Tags gleichzeitig in Dataplex Universal Catalog verfügbar gemacht werden. Weitere Informationen finden Sie unter Umstellung von Data Catalog auf Dataplex Universal Catalog.
• Wenn Sie in Dataplex Universal Catalog nach Daten-Assets suchen, werden sowohl die Metadaten, die direkt in Dataplex Universal Catalog erstellt wurden, als auch die Metadaten, die aus Data Catalog in Dataplex Universal Catalog importiert wurden, berücksichtigt.
• Wenn Sie in Data Catalog nach Daten-Assets suchen, werden nur die Metadaten berücksichtigt, die in Data Catalog erstellt wurden.
• Eintragsgruppenbeschreibungen in Data Catalog, die 1.024 Zeichen überschreiten, werden in Dataplex Universal Catalog auf 1.024 Zeichen gekürzt.
• Wenn Sie als Administrator Glossare und zugehörige Verknüpfungen zwischen Geschäftsbegriffen und Spalten, die Sie in Data Catalog erstellt haben, in Dataplex Universal Catalog verfügbar machen möchten, folgen Sie dem Umstellungsprozess.

Weitere Informationen zur Umstellung von eigenständigen Data Catalog-Inhalten und ‑Nutzung auf Dataplex Universal Catalog finden Sie unter Von Data Catalog auf Dataplex Universal Catalog umstellen.

Data Catalog-API-Methoden Dataplex Universal Catalog zuordnen

Wenn Sie von Data Catalog zu Dataplex Universal Catalog migrieren, müssen Sie Ihre programmatischen Arbeitsabläufe aktualisieren, damit die Dataplex API verwendet wird. In diesem Abschnitt finden Sie eine Zuordnung zwischen der Data Catalog API und der Dataplex API.

Weitere Informationen zu den Dataplex Universal Catalog API-Methoden finden Sie in der Dokumentation zur Dataplex API für REST-Methoden und zur Dataplex API für RPC-Methoden.

In den folgenden Tabellen finden Sie eine Zuordnung der Data Catalog API-Methoden zu ihren Entsprechungen in der Dataplex API.

Eintragsgruppen

Das Konzept der Eintragsgruppen ist sowohl in Dataplex Universal Catalog als auch in Data Catalog dasselbe.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)	projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)
projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)	projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)
projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)	projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)
projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)	projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)
projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)	projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)

Einträge

Das Konzept von Einträgen, die Daten-Assets darstellen, ist sowohl in Dataplex Universal Catalog als auch in Data Catalog ähnlich.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)	projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)
projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)
projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)	projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)
projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)	projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)
entries.lookup (REST) LookupEntry (RPC)	projects.locations.entries.lookup (REST) LookupEntry (RPC) Hinweis:Wenn Sie die Methoden projects.locations.entries.lookup (REST) und LookupEntry (RPC) verwenden möchten, müssen Sie den Namen des Dataplex Universal Catalog-Eintrags angeben. Wenn Sie einen BigQuery-SQL-Namen, einen voll qualifizierten Namen oder einen Namen einer verknüpften Ressource in einen Namen eines Dataplex Universal Catalog-Eintrags übersetzen möchten, rufen Sie zuerst die Methode projects.locations.searchEntries (REST) oder SearchEntries (RPC) auf.
entries.modifyEntryContacts (REST) ModifyEntryContacts (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Hinweis:Wenn Sie die Migration über die Data Catalog-Methode entries.modifyEntryContacts durchführen, verwenden Sie update_mask, um nur den Aspekt contacts zu ändern.
entries.modifyEntryOverview (REST) ModifyEntryOverview (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Hinweis:Wenn Sie die Migration über die Data Catalog-Methode entries.modifyEntryOverview durchführen, verwenden Sie update_mask, um nur den Aspekt overview zu ändern.
projects.locations.entryGroups.entries.reconcileTags (REST) ReconcileTags (RPC)	projects.locations.metadataJobs.create (REST) CreateMetadataJob (RPC), projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Hinweis:Wenn Sie von der Data Catalog-Methode projects.locations.entryGroups.entries.reconcileTags migrieren, verwenden Sie die Methode projects.locations.metadataJobs.create (REST) oder CreateMetadataJob (RPC) mit dem Importjobtyp, um Kataloginhalte für mehrere Einträge zu importieren. Wenn Sie alle Aspekte eines einzelnen Eintrags aktualisieren möchten, verwenden Sie die Methode projects.locations.entryGroups.entries.patch (REST) oder UpdateEntry (RPC).
catalog.search (REST) SearchCatalog (RPC)	projects.locations.searchEntries (REST) SearchEntries (RPC) Hinweis:Die Dataplex Universal Catalog-Methoden projects.locations.searchEntries (REST) und SearchEntries (RPC) unterstützen keine Suche über mehrere Organisationen hinweg. Sie müssen für jede Ihrer Organisationen separate API-Aufrufe ausführen.

Tag-Vorlagen und Tags

In Dataplex Universal Catalog sind Aspekttypen die Nachfolger von Data Catalog-Tag-Vorlagen und Aspekte die Nachfolger von Data Catalog-Tags.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.tagTemplates.create (REST) CreateTagTemplate (RPC)	projects.locations.aspectTypes.create (REST) CreateAspectType (RPC)
projects.locations.tagTemplates.get (REST) GetTagTemplate (RPC)	projects.locations.aspectTypes.get (REST) GetAspectType (RPC)
projects.locations.tagTemplates.patch (REST) UpdateTagTemplate (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.delete (REST) DeleteTagTemplate (RPC)	projects.locations.aspectTypes.delete (REST) DeleteAspectType (RPC)
catalog.search (REST) mit dem type=tag_template-Prädikat SearchCatalog (RPC) mit dem type=tag_template-Prädikat	projects.locations.aspectTypes.list (REST) ListAspectTypes (RPC)

Felder in Tag-Vorlagen

Tag-Vorlagenfelder entsprechen dem Inhalt des Felds metadata_template in einem Aspekttyp. Wenn Sie einen Data Catalog-Vorgang auf Feldebene migrieren möchten, verwenden Sie den Vorgang UpdateAspectType mit der entsprechenden Nutzlast in Dataplex Universal Catalog.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.tagTemplates.fields.create (REST) CreateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.patch (REST) UpdateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.rename (REST) RenameTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.delete (REST) DeleteTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Enum-Werte für Tag-Vorlagenfelder

Ähnlich wie bei Tag-Vorlagenfeldern können Sie Enum-Werte in der Dataplex API bearbeiten, indem Sie das Feld metadata_template im entsprechenden Aspekttyp ändern.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.tagTemplates.fields.enumValues.rename (REST) RenameTagTemplateFieldEnumValue (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Tags

Aspekte sind der Nachfolger von Data Catalog-Tags. Aspekte sind keine eigenständigen Ressourcen, sondern in ihren übergeordneten Einträgen enthalten. Mit dem Parameter field_mask kann ein einzelner Aspekt eines Eintrags selektiv aktualisiert werden.

Data Catalog API-Methode	Dataplex API-Methode
projects.locations.entryGroups.entries.tags.create (REST) CreateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.list (REST) ListTags (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC) Hinweis:Wenn Sie die Antwort auf die erforderlichen Aspekte beschränken möchten, verwenden Sie die Parameter views, aspect_types und paths.
projects.locations.entryGroups.entries.tags.patch (REST) UpdateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.delete (REST) DeleteTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)

Richtlinien-Tags und ‑Taxonomien

Diese APIs ändern sich nicht und müssen daher nicht migriert werden.

Unterstützte Quellen

• Automatische Erkennung von Cloud Storage-Daten
• Metadaten aus den folgenden Google Cloud Quellen werden automatisch in Dataplex Universal Catalog aufgenommen:
  • AlloyDB for PostgreSQL-Cluster, -Instanzen, -Datenbanken, -Schemas, -Tabellen und -Ansichten – siehe AlloyDB for PostgreSQL-Integration aktivieren (Vorschau)
  • BigQuery Sharing-Austausche und -Einträge (früher Analytics Hub)
  • BigQuery-Datasets, -Tabellen, -Modelle, -Routinen, -Verbindungen und verknüpfte Datasets
  • Bigtable-Instanzen, -Cluster und -Tabellen (einschließlich Details zur Spaltenfamilie)
  • Dataform-Repositories und Code-Assets
  • Cloud SQL-Instanzen, Datenbanken, Schemas, Tabellen, Ansichten – siehe Cloud SQL-Integration aktivieren
  • Dataproc Metastore-Dienste, -Datenbanken und -Tabellen
  • Pub/Sub-Themen
  • Spanner-Instanzen, ‑Datenbanken, ‑Tabellen und ‑Ansichten
  • Vertex AI-Modelle, ‑Datasets, ‑Featuregruppen, ‑Featureansichten und ‑Onlinespeicherinstanzen

Wenn Sie Metadaten aus einer Drittanbieterquelle in Dataplex Universal Catalog importieren möchten, können Sie eine Pipeline für verwaltete Verbindungen verwenden.

Projekt- und Standortbeschränkungen

Katalogressourcen in Dataplex Universal Catalog werden in verschiedenen Projekten und an verschiedenen Standorten gehostet. Es gelten folgende Einschränkungen:

• Standort:

  • Der Speicherort eines Eintrags muss entweder mit dem Speicherort des Eintragstyps übereinstimmen oder der Eintragstyp muss global sein.
  • Einem Eintrag hinzugefügte Aspekte müssen auf einem Aspekttyp basieren, der am selben Ort wie der Eintrag gespeichert ist, oder der Aspekttyp muss global sein.
  • Ein Eintragstyp muss aus Aspekttypen bestehen, die am selben Ort wie der Eintragstyp gespeichert sind.

• Projekt:

  • Wenn ein Eintragstyp auf benutzerdefinierte Aspekttypen verweist, müssen sich die Aspekttypen am selben Ort und im selben Projekt wie der Eintragstyp befinden.

Funktionen zur Metadatenverwaltung, die in Dataplex Universal Catalog nicht unterstützt werden

Die folgenden Funktionen, die in Data Catalog verfügbar sind, werden in Dataplex Universal Catalog nicht unterstützt:

• Das Konzept privater Aspekte und privater Aspekttypen (Entsprechungen zu privaten Tags und privaten Tag-Vorlagen in Data Catalog) ist in Dataplex Universal Catalog nicht vorhanden.
• Die Suche nach Richtlinien-Tags wird in der Dataplex Universal Catalog-Suche nicht unterstützt. Daher funktionieren die Prädikate policytag und policytagid in der Dataplex Universal Catalog-Suche nicht.
• Wenn Sie benutzerdefinierte Eintragsgruppen, benutzerdefinierte Einträge, Tag-Vorlagen und Tags aus Data Catalog in Dataplex Universal Catalog übertragen, werden die ursprünglichen Berechtigungen nicht übernommen. Sie müssen die IAM-Berechtigungen für die kopierten Metadaten explizit konfigurieren, bevor Sie sie verwenden können.
• Das direkte Senden von Sensitive Data Protection-Prüfergebnissen an den Katalog in Dataplex Universal Catalog wird nicht unterstützt. Stattdessen können Sie Sensitive Data Protection-Prüfungsergebnisse an Data Catalog senden und die Ergebnisse dann zu Dataplex Universal Catalog übertragen.
• Mit der API können Sie keine Eintragstypen und Aspekttypen projektübergreifend auflisten. Sie können die Listenanfrage auf ein Projekt beschränken.
• Das Registrieren von Lakes, Zonen, Assets und Entitäten als Dataplex Universal Catalog-Einträge wird nicht unterstützt. Das bedeutet, dass Data Catalog-Metadaten, die an Lakes, Zonen, Assets und Entitäten angehängt sind, nicht in den Katalog in Dataplex Universal Catalog übertragen werden. Außerdem wird bei der Suche im Dataplex Universal Catalog die Suche nach Zonen und Entitäten nicht unterstützt. Das Filtern nach Lakes und Zonen ist ebenfalls nicht möglich. Sie können Lakes und Zonen unabhängig vom Katalog in Dataplex Universal Catalog verwenden.
• Die Administratorsuche, die für einen vollständigen Rückruf sorgt, wird nicht unterstützt. Stattdessen können Sie Metadaten in Cloud Storage exportieren und sie dann in BigQuery abfragen.

Einen Vergleich der Funktionen und Ressourcen, die sowohl in Dataplex Universal Catalog als auch in Data Catalog unterstützt werden, finden Sie in diesem Dokument im Abschnitt Dataplex Universal Catalog im Vergleich zu Data Catalog.

Preise

Dataplex Universal Catalog verwendet die SKU für die Metadatenspeicherung, um die Speicherung von Metadaten in Rechnung zu stellen. Weitere Informationen finden Sie unter Dataplex Universal Catalog-Preise.

Für die Nutzung der folgenden Funktionen fallen keine Gebühren an:

• Katalogressourcen in Dataplex Universal Catalog erstellen und verwalten
• Search API-Aufrufe für Dataplex Universal Catalog
• Suchanfragen, die auf der Seite „Dataplex Universal Catalog“ in derGoogle Cloud Console ausgeführt werden

Nächste Schritte

• Informationen zum Suchen nach Ressourcen in Dataplex Universal Catalog
• Informationen zum Verwalten von Assets und zum Anreichern von Metadaten
• Einträge verwalten und benutzerdefinierte Quellen aufnehmen
• Weitere Informationen zum Umstieg von Data Catalog auf Dataplex Universal Catalog
• Weitere Informationen zum Übertragen von Glossaren zu Dataplex Universal Catalog