Datenprodukte

Mit Datenprodukten in Knowledge Catalog (ehemals Dataplex Universal Catalog) können Sie zusammengehörige Katalog-Assets in einer einzigen, ausgewählten Einheit zusammenfassen, um bestimmte geschäftliche Probleme zu lösen. Anschließend können Sie Kontext und Verträge hinzufügen, damit Datennutzer vertrauenswürdige Daten finden, bewerten und Self-Service-Zugriff darauf anfordern können.

Hauptmerkmale

Datenprodukte bieten die folgenden wichtigen Funktionen:

  • Organisieren Sie Katalog-Assets in einer logischen Einheit, die ein bestimmtes Geschäftsproblem löst und die Zeit bis zur Gewinnung von Erkenntnissen verkürzt.
  • Daten-Assets mit Kontext verteilen, der eine Beschreibung, Dokumentation und Aspekte enthält.
  • Vertrauen mit Verträgen aufbauen, mit denen Datenproduzenten Datenkonsumenten Zusicherungen geben können.
  • Self-Service-Workflow für Datennutzer bereitstellen, um Datenprodukte zu bewerten und Zugriff auf Daten zu erhalten.

Wichtige Konzepte

In diesem Abschnitt werden die wichtigsten Konzepte und Begriffe im Zusammenhang mit Datenprodukten beschrieben.

Datenprodukt

Eine kuratierte, logische Gruppierung von Daten-Assets, die formell so verpackt sind, dass sie auffindbar, vertrauenswürdig und zugänglich sind, um bestimmte Geschäftsprobleme zu lösen.

Asset

Ein Verweis auf eine physische Datenressource, z. B. ein BigQuery-Dataset, eine Tabelle oder eine Ansicht. Ein Datenprodukt enthält ein oder mehrere Assets.

Zugriffsgruppe

Zugriffsgruppen vereinfachen die Berechtigungsverwaltung für Ihr Datenprodukt. Sie ordnen nutzerfreundliche Rollen (z. B. Reader oder Analyst) zugrunde liegenden Google-Gruppen oder Dienstkonten zu. Diese Abstraktion ermöglicht es Datenproduktinhabern, den Zugriff auf konzeptioneller Ebene zu verwalten, und hilft Datenproduktnutzern, die entsprechende Zugriffsebene anzufordern.

  • Datenproduktinhaber konfigurieren Zugriffsgruppen und können optional eine IAM-Standardrolle zuweisen, die automatisch auf alle unterstützten Assets im Datenprodukt angewendet wird. Wenn keine Standardrolle zugewiesen ist, können Inhaber Assets direkt bestimmte IAM-Rollen zuweisen.

  • Datenproduktnutzer verwenden diese Gruppen, um Zugriff auf das Datenprodukt anzufordern.

Datenproduktinhaber oder Datenersteller

Die Person oder das Team, die bzw. das für die Erstellung und Verwaltung von Datenprodukten verantwortlich ist. Dazu gehören die Verwaltung von Qualität, Zugriff und Dokumentation.

Datenproduktnutzer

Die Person, das Team oder der KI-Agent, die bzw. der Datenprodukte nutzt, um Insights zu generieren.

Vertrag

Eine Vereinbarung zwischen dem Datenproduktinhaber und seinen Nutzern. In dieser Vereinbarung werden klare Erwartungen festgelegt, indem bestimmte Bedingungen für die Bereitstellung und Verwendung der Daten definiert werden, z. B. der Aktualisierungszeitplan und die Qualitätsstandards.

Anwendungsbeispiel

Stellen Sie sich einen Data Scientist vor, der ein E-Commerce-Unternehmen analysiert. Sie möchten den durchschnittlichen Bestellwert nach Besucherquelle ermitteln und herausfinden, ob es einen Zusammenhang zwischen dem Alter der Nutzer und der Bestellgröße gibt. Dazu müssen sie Daten aus mehreren Tabellen kombinieren, z. B. order_details, user_traffic und user_demographics.

In einer herkömmlichen Umgebung führt dieser Prozess zu Reibungsverlusten. Um Erkenntnisse zu gewinnen, muss der Data Scientist zuerst die richtigen Tabellen in der riesigen Datenlandschaft der Organisation finden, dann die einzelnen Dateneigentümer kontaktieren, seine Zugriffsanfrage begründen und auf die Genehmigung warten.

Mit Datenprodukten können Dateninhaber diesen Prozess optimieren, indem sie die relevanten Assets in einem einzigen Produkt namens „E-Commerce-Geschäftsdaten“ zusammenfassen. Dieses Paket enthält Folgendes:

  • Assets

    • BigQuery-Tabellen order_details und user_traffic (mit Verlaufsdaten zu Bestellungen und Besucherquellen)
    • BigQuery-Ansicht user_demographics (mit Nutzerdetails ohne personenidentifizierbare Informationen)

  • Zugriffsgruppen

    • Vordefinierte Reader- und Writer-Gruppen zur Optimierung von Zugriffsanfragen

  • Vertrag

    • Ein Vertrag, der die Häufigkeit der Datenaktualisierung definiert (z. B. wöchentlich um 8:00 Uhr PST)

  • Kontext

    • Dokumentation mit Beispielabfragen und anderen Details
    • Zusätzliche Metadaten zur Darstellung der Datensensitivität

Data Scientists können dieses Datenprodukt jetzt als eine einzige logische Einheit finden. So können sie zuverlässig Statistiken generieren, um Fragen wie „Wie hoch ist der durchschnittliche Bestellwert für jede Besucherquelle?“ zu beantworten und letztendlich herauszufinden, welche Quellen die wertvollsten Kunden generieren.

User-Flow für Datenprodukte

Der Lebenszyklus von Datenprodukten in Knowledge Catalog umfasst zwei wichtige User Journeys: eine für den Datenproduktinhaber (oder ‑ersteller), der die Daten erstellt und verwaltet, und eine für den Datenproduktnutzer, der sie findet und verwendet.

Datenproduktinhaber

In diesem Schritt geht es um das Verpacken, Sichern und Verwalten der Datenprodukte, um sicherzustellen, dass sie vertrauenswürdig und zugänglich sind.

  • Erstellen: Definieren Sie das Datenprodukt und fügen Sie Assets hinzu. Dazu gehören die folgenden Aktionen:

    • Konfigurieren Sie den eindeutigen Namen, das Projekt, die Region und die Beschreibung.
    • Fügen Sie Assets wie BigQuery-Tabellen, ‑Datasets oder ‑Ansichten hinzu.
    • Konfigurieren Sie Zugriffsgruppen (z. B. Analyst oder Reader) und ordnen Sie sie den zugrunde liegenden Google-Gruppen oder Dienstkonten zu, um die Berechtigungsverwaltung zu vereinfachen.
    • Optional können Sie einer Zugriffsgruppe eine IAM-Standardrolle zuweisen, um automatisch Berechtigungen für alle unterstützten Assets im Datenprodukt zu gewähren.
    • Weisen Sie diesen Zugriffsgruppen die erforderlichen IAM-Rollen für die spezifischen Assets zu.
    • Fügen Sie einen Vertrag (einen Systemaspekt) hinzu, um die vereinbarte Häufigkeit, Frequenz und den Schwellenwert für die Datenaktualisierung formell zu kommunizieren.

    Weitere Informationen finden Sie unter Datenprodukte erstellen.

  • Verwalten: Aktualisieren Sie das Datenprodukt und sorgen Sie dafür, dass es auffindbar ist. Das umfasst die folgenden Aktionen:

    • Aktualisieren Sie grundlegende Details, Assets, Berechtigungen und zusätzliche Aspekte (Metadaten) sowie die RTF-Dokumentation.
    • Nutzern Zugriff gewähren, um Datenprodukte zu finden und Zugriff darauf anzufordern.

    Weitere Informationen finden Sie unter Datenprodukte verwalten.

Kaufprozess für Datenprodukte

In diesem Abschnitt geht es darum, vertrauenswürdige Daten schnell zu finden und die erforderlichen Berechtigungen für deren Verwendung zu erhalten.

  • Entdecken: Finden Sie relevante, vertrauenswürdige Daten für ein bestimmtes Geschäftsproblem. Dazu gehören die folgenden Aktionen:

    • Verwenden Sie die Knowledge Catalog-Suche mit Suchbegriffen oder natürlicher Sprache, um das gepackte Datenprodukt zu finden.
    • Prüfen Sie die Übersicht, die Assets, den Vertrag und andere Aspekte des Datenprodukts, um festzustellen, ob es für Ihre Zwecke geeignet ist.

    Weitere Informationen finden Sie unter Nach Datenprodukten suchen.

  • Zugriff anfordern: Bitten Sie den Inhaber des Datenprodukts um die Berechtigung, auf die Daten zuzugreifen.

    Weitere Informationen finden Sie unter Zugriff auf Datenprodukte anfordern.

  • Verwenden: Greifen Sie auf die zugrunde liegenden Assets zu, um Statistiken zu generieren. Dazu gehört die folgende Aktion:

    • Nach der Genehmigung können Sie auf das Produkt und seine Assets zugreifen. Wenn das Asset beispielsweise eine BigQuery-Tabelle ist, können Sie zu BigQuery Studio wechseln und die Daten direkt abfragen.

    • Für Anwendungen und Entwicklungsworkflows, die außerhalb vonGoogle Cloudausgeführt werden, können Sie das Datenprodukt über ein externes Metadaten-Gateway verfügbar machen. Weitere Informationen finden Sie unter Remote-MCP-Server des Knowledge Catalog verwenden.

    Weitere Informationen finden Sie unter Datenprodukte nutzen.

Unterstützte Assets

Ein Datenprodukt kann aus einem oder mehreren Daten-Assets bestehen. Die folgenden Daten-Assets werden unterstützt:

  • BigQuery-Datasets
  • BigQuery-Tabellen
  • BigQuery-Ansichten
  • BigQuery-Routinen
  • BigQuery-Modelle
  • Externe BigQuery-Tabellen
  • Gemini Enterprise Agent Platform-Datasets
  • Modelle der Gemini Enterprise Agent Platform
  • Cloud Storage-Buckets
  • Iceberg-REST-Kataloge
  • Namespaces von Iceberg-REST-Katalogen
  • Iceberg-REST-Katalogtabellen
  • Looker (Google Cloud Core)-Dashboards
  • Dashboard-Elemente in Looker (Google Cloud Core)
  • Looker (Google Cloud Core)-Looks
  • Looker (Google Cloud Core)-Explores
  • Looker (Google Cloud Core) LookML-Projekte
  • Looker (Google Cloud Core)-LookML-Modelle
  • Looker (Google Cloud Core)-LookML-Ansichten

Beschränkungen

  • Standort: Datenprodukte und die zugrunde liegenden Assets müssen sich am selbenGoogle Cloud -Standort befinden.
  • BigQuery-Modelle: Der Zugriff auf BigQuery-Modelle in einem Datenprodukt wird über IAM-Bedingungen verwaltet, die auf die IAM-Richtlinie des übergeordneten Datasets angewendet werden. Die Freigabe von BigQuery-Modellen unterliegt den Einschränkungen von IAM-Bedingungen.

  • Looker (Google Cloud Core)-Assets: Für die Verwendung von Looker (Google Cloud Core)-Assets in Datenprodukten gelten die folgenden Einschränkungen:

    • Dienstkonten werden nicht unterstützt: Die Spiegelung von Google-Gruppen in Looker (Google Cloud Core) unterstützt nur menschliche Nutzeridentitäten. In Looker (Google Cloud Core)-Assets konfigurierte Zugriffsgruppen dürfen kein Dienstkonto-Hauptkonto enthalten.
    • IAM-Rollen für Standardzugriffsgruppen werden nicht unterstützt: Standard-IAM-Rollen, die auf Zugriffsgruppenebene zugewiesen sind, werden nicht auf Looker (Google Cloud Core)-Assets angewendet und als unsupported gekennzeichnet. Sie müssen die Berechtigungen für Zugriffsgruppen für jedes Looker (Google Cloud Core)-Asset explizit konfigurieren.
    • Manuelle Berechtigungssynchronisierung in Looker (Google Cloud Core): Rollennamen, die für ein Looker (Google Cloud Core)-Asset in einem Datenprodukt konfiguriert sind, sind informative Platzhalter für Nutzer. Datenproduzenten müssen Ordnerzugriffsebenen und Looker-Rollen für die gespiegelte Gruppe in der Looker (Google Cloud Core)-Instanz manuell konfigurieren und verwalten.

  • Kontingente und Limits: Eine vollständige Liste der API-Ratenbegrenzungen und Kapazitätskontingente finden Sie unter Kontingente für Products API-Anfragen.

  • Zonale Buckets werden nicht unterstützt.

Nächste Schritte