Datenprodukte

Mit Datenprodukten in Knowledge Catalog (ehemals Dataplex Universal Catalog) können Sie zusammengehörige Katalog-Assets in einer einzigen, ausgewählten Einheit zusammenfassen, um bestimmte geschäftliche Probleme zu lösen. Anschließend können Sie Kontext und Verträge hinzufügen, damit Datennutzer vertrauenswürdige Daten finden, bewerten und Self-Service-Zugriff darauf anfordern können.

Hauptmerkmale

Datenprodukte bieten die folgenden Hauptfunktionen:

  • Organisieren Sie Katalog-Assets in einer logischen Einheit, die ein bestimmtes Geschäftsproblem löst und die Zeit bis zur Gewinnung von Erkenntnissen verkürzt.
  • Daten-Assets mit Kontext verteilen, der eine Beschreibung, Dokumentation und Aspekte enthält.
  • Schaffen Sie Vertrauen mit Verträgen, mit denen Datenproduzenten Datenkonsumenten Zusicherungen geben können.
  • Self-Service-Workflow für Datennutzer bereitstellen, um Datenprodukte zu bewerten und Zugriff auf Daten zu erhalten.

Wichtige Konzepte

In diesem Abschnitt werden die wichtigsten Konzepte und Begriffe im Zusammenhang mit Datenprodukten beschrieben.

Datenprodukt

Eine kuratierte, logische Gruppierung von Daten-Assets, die formell so verpackt sind, dass sie auffindbar, vertrauenswürdig und zugänglich sind, um bestimmte Geschäftsprobleme zu lösen.

Asset

Ein Verweis auf eine physische Datenressource, z. B. ein BigQuery-Dataset, eine Tabelle oder eine Ansicht. Ein Datenprodukt enthält ein oder mehrere Assets.

Zugriffsgruppe

Zugriffsgruppen vereinfachen die Berechtigungsverwaltung für Ihr Datenprodukt. Sie ordnen nutzerfreundliche Rollen (z. B. Reader oder Analyst) zugrunde liegenden Google-Gruppen oder Dienstkonten zu. Diese Abstraktion ermöglicht es Datenproduktinhabern, den Zugriff auf konzeptioneller Ebene zu verwalten, und hilft Datenproduktnutzern, die entsprechende Zugriffsebene anzufordern.

  • Datenproduktinhaber konfigurieren Zugriffsgruppen und können optional eine IAM-Standardrolle zuweisen, die automatisch auf alle unterstützten Assets im Datenprodukt angewendet wird. Wenn keine Standardrolle zugewiesen ist, können Inhaber Assets direkt bestimmte IAM-Rollen zuweisen.

  • Datenproduktnutzer verwenden diese Gruppen, um Zugriff auf das Datenprodukt anzufordern.

Datenproduktinhaber oder Datenersteller

Die Person oder das Team, die bzw. das für die Erstellung und Verwaltung von Datenprodukten verantwortlich ist. Dazu gehören die Verwaltung von Qualität, Zugriff und Dokumentation.

Datenproduktnutzer

Die Person, das Team oder der KI-Agent, die bzw. der Datenprodukte nutzt, um Insights zu generieren.

Vertrag

Eine Vereinbarung zwischen dem Datenproduktinhaber und seinen Nutzern. In dieser Vereinbarung werden klare Erwartungen festgelegt, indem bestimmte Bedingungen für die Bereitstellung und Verwendung der Daten definiert werden, z. B. der Aktualisierungszeitplan und die Qualitätsstandards.

Anwendungsbeispiel

Stellen Sie sich einen Data Scientist vor, der ein E-Commerce-Unternehmen analysiert. Ihr Ziel ist es, den durchschnittlichen Bestellwert nach Besucherquelle zu ermitteln und festzustellen, ob es eine Korrelation zwischen dem Alter der Nutzer und der Bestellgröße gibt. Dazu müssen sie Daten aus mehreren Tabellen kombinieren, z. B. order_details, user_traffic und user_demographics.

In einer herkömmlichen Einrichtung führt dieser Prozess zu Reibungsverlusten. Um Erkenntnisse zu gewinnen, muss der Data Scientist zuerst die richtigen Tabellen in der riesigen Datenlandschaft des Unternehmens finden, dann jeden Dateninhaber kontaktieren, seine Zugriffsanfrage begründen und auf die Genehmigung warten.

Mit Datenprodukten können Dateneigentümer diesen Prozess optimieren, indem sie die relevanten Assets in einem einzigen Produkt namens „Ecommerce Business Data“ zusammenfassen. Dieses Paket enthält Folgendes:

  • Assets

    • BigQuery-Tabellen order_details und user_traffic (mit Verlaufsdaten zu Bestellungen und Besucherquellen)
    • BigQuery-Ansicht user_demographics (mit Nutzerdetails ohne personenidentifizierbare Informationen)

  • Zugriffsgruppen

    • Vordefinierte Reader- und Writer-Gruppen zur Optimierung von Zugriffsanfragen

  • Vertrag

    • Ein Vertrag, der die Häufigkeit der Datenaktualisierung definiert (z. B. wöchentlich um 8:00 Uhr PST)

  • Kontext

    • Dokumentation mit Beispielabfragen und anderen Details
    • Zusätzliche Metadaten zur Darstellung der Datenvertraulichkeit

Data Scientists können dieses Datenprodukt jetzt als eine einzige logische Einheit erkennen. So können sie zuverlässig Statistiken generieren, um Fragen wie „Wie hoch ist der durchschnittliche Bestellwert für jede Besucherquelle?“ zu beantworten und letztendlich herauszufinden, welche Quellen die wertvollsten Kunden generieren.

User-Flow für Datenprodukte

Der Lebenszyklus von Datenprodukten in Knowledge Catalog umfasst zwei wichtige User Journeys: eine für den Datenproduktinhaber (oder ‑ersteller), der die Daten erstellt und verwaltet, und eine für den Datenproduktnutzer, der sie findet und verwendet.

Journey für Datenproduktinhaber

In diesem Schritt geht es darum, die Datenprodukte zu verpacken, zu sichern und zu verwalten, damit sie vertrauenswürdig und zugänglich sind.

  • Erstellen: Definieren Sie das Datenprodukt und fügen Sie Assets hinzu. Das umfasst die folgenden Aktionen:

    • Konfigurieren Sie den eindeutigen Namen, das Projekt, die Region und die Beschreibung.
    • Fügen Sie Assets wie BigQuery-Tabellen, ‑Datasets oder ‑Ansichten hinzu.
    • Konfigurieren Sie Zugriffsgruppen (z. B. Analyst oder Reader) und ordnen Sie sie den zugrunde liegenden Google-Gruppen oder Dienstkonten zu, um die Berechtigungsverwaltung zu vereinfachen.
    • Optional können Sie einer Zugriffsgruppe eine IAM-Standardrolle zuweisen, um automatisch Berechtigungen für alle unterstützten Assets im Datenprodukt zu gewähren.
    • Weisen Sie diesen Zugriffsgruppen die erforderlichen IAM-Rollen für die spezifischen Assets zu.
    • Fügen Sie einen Vertrag (einen Systemaspekt) hinzu, um den vereinbarten Aktualisierungsrhythmus, die Häufigkeit und den Schwellenwert für die Datenaktualisierung formell zu kommunizieren.

    Weitere Informationen finden Sie unter Datenprodukte erstellen.

  • Verwalten: Aktualisieren Sie das Datenprodukt und sorgen Sie für Auffindbarkeit. Das umfasst die folgenden Aktionen:

    • Aktualisieren Sie grundlegende Details, Assets, Berechtigungen und zusätzliche Aspekte (Metadaten) sowie die RTF-Dokumentation.
    • Nutzern Zugriff gewähren, um Datenprodukte zu finden und Zugriff darauf anzufordern.

    Weitere Informationen finden Sie unter Datenprodukte verwalten.

Kaufprozess für Datenprodukte

In diesem Abschnitt geht es darum, vertrauenswürdige Daten schnell zu finden und die erforderlichen Berechtigungen für deren Verwendung zu erhalten.

  • Entdecken: Finden Sie relevante, vertrauenswürdige Daten für ein bestimmtes Geschäftsproblem. Dies umfasst die folgenden Aktionen:

    • Verwenden Sie die Knowledge Catalog-Suche mit Suchbegriffen oder natürlicher Sprache, um das gepackte Datenprodukt zu finden.
    • Sehen Sie sich die Übersicht, die Assets, den Vertrag und andere Aspekte des Datenprodukts an, um festzustellen, ob es für Ihre Zwecke geeignet ist.

    Weitere Informationen finden Sie unter Nach Datenprodukten suchen.

  • Zugriff anfordern: Bitten Sie den Inhaber des Datenprodukts um die Berechtigung, auf die Daten zuzugreifen.

    Weitere Informationen finden Sie unter Zugriff auf Datenprodukte anfordern.

  • Verwenden: Auf die zugrunde liegenden Assets zugreifen, um Statistiken zu generieren. Dazu gehört die folgende Aktion:

    • Nach der Genehmigung können Sie auf das Produkt und seine Assets zugreifen. Wenn das Asset beispielsweise eine BigQuery-Tabelle ist, können Sie zu BigQuery Studio wechseln und die Daten direkt abfragen.

    • Für Anwendungen und Entwicklungsworkflows, die außerhalb vonGoogle Cloudausgeführt werden, können Sie das Datenprodukt über ein externes Metadaten-Gateway verfügbar machen. Weitere Informationen finden Sie unter Remote-MCP-Server des Knowledge Catalog verwenden.

    Weitere Informationen finden Sie unter Datenprodukte nutzen.

Unterstützte Assets

Ein Datenprodukt kann aus einem oder mehreren Daten-Assets bestehen. Die folgenden Daten-Assets werden unterstützt:

  • BigQuery-Datasets
  • BigQuery-Tabellen
  • BigQuery-Ansichten
  • BigQuery-Routinen
  • BigQuery-Modelle
  • Externe BigQuery-Tabellen
  • Gemini Enterprise Agent Platform-Datasets
  • Modelle der Gemini Enterprise Agent Platform
  • Cloud Storage-Buckets
  • Iceberg-REST-Kataloge
  • Namespaces von Iceberg-REST-Katalog
  • Iceberg-REST-Katalogtabellen
  • Benutzerdefinierte Dashboards in Looker (Google Cloud Core)
  • Benutzerdefinierte Dashboard-Elemente in Looker (Google Cloud Core)
  • Looker (Google Cloud Core)-Looks
  • Looker (Google Cloud Core)-Explores
  • Looker (Google Cloud Core) LookML-Projekte
  • Looker (Google Cloud Core)-LookML-Modelle
  • Looker (Google Cloud Core)-LookML-Ansichten

Beschränkungen

  • Standort: Datenprodukte und die zugrunde liegenden Assets müssen sich am selbenGoogle Cloud -Standort befinden.
  • BigQuery-Modelle: Der Zugriff auf BigQuery-Modelle in einem Datenprodukt wird über IAM-Bedingungen verwaltet, die auf die IAM-Richtlinie des übergeordneten Datasets angewendet werden. Die Freigabe von BigQuery-Modellen unterliegt den Einschränkungen von IAM-Bedingungen.

  • Looker (Google Cloud Core)-Assets: Für die Verwendung von Looker (Google Cloud Core)-Assets in Datenprodukten gelten die folgenden Einschränkungen:

    • Dienstkonten werden nicht unterstützt: Die Spiegelung von Google-Gruppen in Looker (Google Cloud Core) unterstützt nur menschliche Nutzeridentitäten. In Looker (Google Cloud Core)-Assets konfigurierte Zugriffsgruppen dürfen kein Dienstkonto-Hauptkonto enthalten.
    • IAM-Standardrollen für Zugriffsgruppen werden nicht unterstützt: IAM-Standardrollen, die auf Zugriffsgruppenebene zugewiesen sind, werden nicht auf Looker (Google Cloud Core)-Assets angewendet und als unsupported gekennzeichnet. Sie müssen die Berechtigungen für Zugriffsgruppen für jedes Looker (Google Cloud Core)-Asset explizit konfigurieren.
    • Manuelle Berechtigungssynchronisierung in Looker (Google Cloud Core): Rollennamen, die für ein Looker (Google Cloud Core)-Asset in einem Datenprodukt konfiguriert sind, sind informative Platzhalter für Nutzer. Datenproduzenten müssen Ordnerzugriffsebenen und Looker-Rollen für die gespiegelte Gruppe in der Looker (Google Cloud Core)-Instanz manuell konfigurieren und verwalten.
    • LookML-Dashboards werden nicht unterstützt: LookML-Dashboards und LookML-Dashboard-Elemente werden nicht als Daten-Assets unterstützt, auch wenn sie in der Liste der Assets angezeigt werden, die Sie in der Google Cloud Console hinzufügen können. Wenn Sie ein LookML-Dashboard in ein Datenprodukt aufnehmen möchten, kopieren Sie es als benutzerdefiniertes Dashboard (siehe LookML-Dashboards in benutzerdefinierte Dashboards umwandeln).

  • Kontingente und Limits: Eine vollständige Liste der API-Ratenbegrenzungen und Kapazitätskontingente finden Sie unter Kontingente für Products API-Anfragen.

  • Zonale Buckets werden nicht unterstützt.

Nächste Schritte