Dataplex Universal Catalog – Übersicht

Dataplex Universal Catalog ist eine einheitliche, intelligente Lösung für die Daten-Governance, mit der Sie Ihre Daten-Assets in Ihrer Organisation verwalten, verstehen und verwenden können. Durch den Einsatz von KI vereinfacht Dataplex Universal Catalog die Arbeit mit Daten, die auf verschiedene Systeme verteilt sind, sodass Sie sich auf die Gewinnung wertvoller Erkenntnisse konzentrieren können.

Stellen Sie sich beispielsweise ein globales Einzelhandelsunternehmen vor, das große Mengen an Verkaufs-, Inventar- und Kundendaten generiert und in Cloud Storage, Spanner und Pub/Sub speichert. Wenn Daten auf diese Weise auf verschiedene Systeme verteilt werden, kann es komplex und zeitaufwendig sein, die Governance zu verwalten, die Qualität sicherzustellen und die Compliance aufrechtzuerhalten. Dataplex Universal Catalog vereinfacht diese Prozesse, da ein zentraler Datenkatalog bereitgestellt wird, mit dem Sie Daten-Assets Ihrer Organisation ermitteln, profilieren, validieren, ihren Ursprung nachverfolgen und den Zugriff darauf steuern können.

In diesem Dokument werden die wichtigsten Funktionen von Dataplex Universal Catalog beschrieben und wichtige Anwendungsfälle hervorgehoben.

Dataplex Universal Catalog-Funktionen für Data Governance

Dataplex Universal Catalog verwaltet Daten über die folgenden Funktionen:

  • Metadatenkatalogisierung: Metadaten für Google Cloud -Ressourcen (in BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform, Dataproc Metastore) und Drittanbieterressourcen abrufen, die Sie in Dataplex Universal Catalog einfügen, um einen sofortigen Datenkatalog zu erhalten.
  • Data Discovery: Nach strukturierten und unstrukturierten Daten in Cloud Storage-Buckets suchen, um deren Metadaten zu extrahieren und zu katalogisieren.
  • Data Insights: Mit KI können Sie Fragen in natürlicher Sprache zu Ihren Daten generieren, um Muster zu erkennen, die Datenqualität zu bewerten und statistische Analysen durchzuführen.
  • Datenprofilierung: Sie können allgemeine Merkmale der Spaltendaten in Ihren BigQuery-Tabellen identifizieren, z. B. typische Datenwerte, Datenverteilung und Anzahl der Nullwerte. Diese Informationen können für die Datenklassifizierung und Qualitätssicherung verwendet werden.
  • Datenqualität: Sie können die Qualität der Daten in Ihren BigQuery-Tabellen definieren und messen, indem Sie Daten anhand von Organisationsrichtlinien validieren und Warnungen protokollieren, wenn Daten die Qualitätskriterien nicht erfüllen.
  • Geschäftsglossar Sie können geschäftsbezogene Terminologie und Definitionen in Ihrer gesamten Organisation verwalten und Begriffe an Tabellenspalten anhängen, um ein einheitliches Verständnis der Datennutzung zu fördern.
  • Data Lineage Nachverfolgen, wie sich Daten durch Ihre Systeme bewegen: woher sie stammen, wohin sie übertragen werden und welche Transformationen auf sie angewendet werden.

Dataplex Universal Catalog unterstützt einen lückenlosen Datenlebenszyklus, von der verteilten Ermittlung bis hin zu geschäftlichen Erkenntnissen. Governance-Funktionen sind auch über BigQuery verfügbar.

Anwendungsfälle

Mit Dataplex Universal Catalog können Sie Folgendes tun:

  • Daten ermitteln und analysieren Dataplex Universal Catalog bietet einen Überblick über Ihre Datenressourcen in der gesamten Organisation. So können Sie relevante Ressourcen für den Datenverbrauch finden. Sie liefert Kontext für Datenressourcen, damit Sie die Eignung von Datenressourcen für die Anforderungen Ihres Datenkonsumenten besser einschätzen können.

  • Data Governance und Datenverwaltung aktivieren Dataplex Universal Catalog liefert Metadaten, die Ihre Data Governance- und Datenverwaltungsfunktionen unterstützen können.

  • Zentralen Data Catalog erstellen: Dataplex Universal Catalog speichert Metadaten, die automatisch aus Ihren Google Cloud Ressourcen erfasst werden, und bietet Zugriff darauf. Sie können Ihre eigenen Metadaten aus Nicht-Google Cloud -Systemen einbinden. Sie können alle Metadaten mit zusätzlichen Anmerkungen zu geschäftlichen und technischen Metadaten anreichern.

Erste Schritte mit Dataplex Universal Catalog

Wenn Sie zum ersten Mal mit Dataplex Universal Catalog arbeiten, sollten Sie eine Kurzanleitung verwenden:

Nächste Schritte