Datenprodukte

In diesem Dokument werden die Architektur und die wichtigsten Konzepte von Datenprodukten in Knowledge Catalog (früher Dataplex Universal Catalog) beschrieben.

Ein Datenprodukt ist eine logische, kuratierte Sammlung von Daten-Assets, die formal verpackt sind, um sicherzustellen, dass sie auffindbar, vertrauenswürdig und zugänglich sind. Zu den wichtigsten Funktionen eines Datenprodukts gehören:

  • Katalog-Assets in einer logischen Einheit organisieren, die ein bestimmtes geschäftliches Problem löst und schnellere Erkenntnisse ermöglicht.
  • Verteilen Sie den Kontext mit einer Beschreibung, Dokumentation und Aspekten.
  • Vertrauen durch Verträge schaffen, die es Datenproduzenten ermöglichen, Datennutzern Zusicherungen zu geben.
  • Self-Service-Workflow für Datennutzer bereitstellen, damit sie Datenprodukte bewerten und auf Daten zugreifen können.

Wichtige Konzepte

In diesem Abschnitt werden die wichtigsten Konzepte und Begriffe im Zusammenhang mit Datenprodukten beschrieben.

Datenprodukt

Eine kuratierte, logische Gruppierung von Daten-Assets, die formal so verpackt sind, dass sie auffindbar, vertrauenswürdig und zugänglich sind, um spezifische Geschäftsprobleme zu lösen.

Asset

Ein Verweis auf eine physische Datenressource wie ein BigQuery-Dataset, eine BigQuery-Tabelle oder eine BigQuery-Ansicht. Ein Datenprodukt enthält ein oder mehrere Assets.

Zugriffsgruppe

Zugriffsgruppen vereinfachen die Berechtigungsverwaltung für Ihr Datenprodukt. Sie ordnen nutzerfreundliche Rollen (z. B. Reader oder Analyst) zugrunde liegenden Google-Gruppen oder Dienstkonten zu. Diese Abstraktion ermöglicht es Data Product Owners, den Zugriff auf konzeptioneller Ebene zu verwalten, und hilft Data Product Consumers, die entsprechende Zugriffsebene anzufordern.

  • Inhaber von Datenprodukten konfigurieren Zugriffsgruppen und können optional eine standardmäßige IAM-Rolle zuweisen, die automatisch auf alle unterstützten Assets im Datenprodukt angewendet wird. Wenn keine Standardrolle zugewiesen ist, können Inhaber bestimmten Assets direkt bestimmte IAM-Rollen zuweisen.

  • Datenproduktnutzer verwenden diese Gruppen, um Zugriff auf das Datenprodukt anzufordern.

Datenproduktinhaber oder Datenersteller

Die Person oder das Team, die für die Erstellung und Verwaltung von Datenprodukten verantwortlich sind. Dazu gehören die Verwaltung von Qualität, Zugriff und Dokumentation.

Nutzer von Datenprodukten

Die Person, das Team oder der KI-Agent, der Datenprodukte nutzt, um Statistiken zu generieren.

Vertrag

Eine Vereinbarung zwischen dem Inhaber des Datenprodukts und seinen Nutzern. In dieser Vereinbarung werden klare Erwartungen festgelegt, indem bestimmte Bedingungen für die Bereitstellung und Nutzung der Daten definiert werden, z. B. das Aktualisierungsintervall und die Qualitätsstandards.

Anwendungsbeispiel

Stellen Sie sich einen Data Scientist vor, der ein E‑Commerce-Unternehmen analysiert. Ziel ist es, den durchschnittlichen Bestellwert nach Traffic-Quelle zu ermitteln und herauszufinden, ob es eine Korrelation zwischen dem Alter der Nutzer und der Bestellgröße gibt. Dazu müssen sie Daten aus mehreren Tabellen wie order_details, user_traffic und user_demographics kombinieren.

Bei einer herkömmlichen Einrichtung führt dieser Prozess zu Reibungsverlusten. Um Erkenntnisse zu gewinnen, muss der Data Scientist zuerst die richtigen Tabellen in der riesigen Datenlandschaft der Organisation finden, dann jeden Dateninhaber kontaktieren, seinen Zugriffsantrag begründen und auf die Genehmigung warten.

Mit Datenprodukten können Dateninhaber diesen Prozess optimieren, indem sie die relevanten Assets in einem einzigen Produkt mit dem Namen „E-Commerce-Geschäftsdaten“ zusammenfassen. Dieses Paket enthält Folgendes:

  • Assets

    • BigQuery-Tabellen order_details und user_traffic (mit historischen Bestelldaten und Traffic-Quellen)
    • BigQuery-Ansicht user_demographics (mit Nutzerdetails ohne personenidentifizierbare Informationen)

  • Zugriffsgruppen

    • Vordefinierte Reader- und Writer-Gruppen zur Optimierung von Zugriffsanfragen

  • Vertrag

    • Ein Vertrag, in dem die Häufigkeit der Datenaktualisierung festgelegt ist (z. B. wöchentlich um 8:00 Uhr PST)

  • Kontext

    • Dokumentation mit Beispielabfragen und anderen Details
    • Zusätzliche Metadaten zur Darstellung der Datenvertraulichkeit

Data Scientists können dieses Datenprodukt jetzt als eine einzelne logische Einheit erkennen. So können sie fundierte Statistiken erstellen, um Fragen wie „Was ist der durchschnittliche Bestellwert für die einzelnen Traffic-Quellen?“ zu beantworten. So lässt sich letztendlich ermitteln, welche Quellen die wertvollsten Kunden generieren.

User-Flow für Datenprodukte

Der Lebenszyklus von Datenprodukten im Knowledge Catalog umfasst zwei wichtige Nutzeraktionen: eine für den Datenprodukteigentümer (oder ‑erzeuger), der die Daten erstellt und verwaltet, und eine für den Datenproduktnutzer, der sie findet und verwendet.

Der Weg zum Datenproduktinhaber

In diesem Abschnitt geht es darum, die Datenprodukte zu verpacken, zu sichern und zu verwalten, damit sie vertrauenswürdig und zugänglich sind.

  • Erstellen: Definieren Sie das Datenprodukt und fügen Sie Assets hinzu. Dazu sind folgende Schritte erforderlich:

    • Konfigurieren Sie den eindeutigen Namen, das Projekt, die Region und die Beschreibung.
    • Fügen Sie Assets wie BigQuery-Tabellen, -Datasets oder -Ansichten hinzu.
    • Konfigurieren Sie Zugriffsgruppen (z. B. Analyst oder Reader) und ordnen Sie sie zugrunde liegenden Google-Gruppen oder Dienstkonten zu, um die Berechtigungsverwaltung zu vereinfachen.
    • Optional können Sie einer Zugriffsgruppe eine IAM-Standardrolle zuweisen, um automatisch Berechtigungen für alle unterstützten Assets im Datenprodukt zu erteilen.
    • Weisen Sie diesen Zugriffsgruppen die erforderlichen IAM-Rollen für die jeweiligen Assets zu.
    • Fügen Sie einen Vertrag (einen Systemaspekt) hinzu, um die vereinbarte Datenaktualisierungshäufigkeit, ‑frequenz und ‑schwelle formal zu kommunizieren.

    Weitere Informationen finden Sie unter Datenprodukte erstellen.

  • Verwalten: Aktualisieren Sie das Datenprodukt und sorgen Sie für Auffindbarkeit. Dazu sind folgende Schritte erforderlich:

    • Aktualisieren Sie grundlegende Details, Assets, Berechtigungen und zusätzliche Aspekte (Metadaten) sowie RTF-Dokumentation.
    • Nutzern Zugriff gewähren, damit sie Datenprodukte finden und Zugriff darauf anfordern können.

    Weitere Informationen finden Sie unter Datenprodukte verwalten.

Kaufprozess für Datenprodukte

In diesem Kurs geht es darum, schnell vertrauenswürdige Daten zu finden und die erforderlichen Berechtigungen für die Verwendung zu erhalten.

  • Entdecken: Relevante, vertrauenswürdige Daten für ein bestimmtes Geschäftsproblem finden. Dazu sind folgende Aktionen erforderlich:

    • Verwenden Sie die Knowledge Catalog-Suche mit Suchbegriffen oder natürlicher Sprache, um das verpackte Datenprodukt zu finden.
    • Sehen Sie sich die Übersicht, die Assets, den Vertrag und andere Aspekte des Datenprodukts an, um seine Eignung für die Verwendung zu ermitteln.

    Weitere Informationen finden Sie unter Nach Datenprodukten suchen.

  • Zugriff anfordern: Bitten Sie den Inhaber des Datenprodukts um die Berechtigung für den Zugriff auf die Daten.

    Weitere Informationen finden Sie unter Zugriff auf Datenprodukte anfordern.

  • Verwenden: Auf die zugrunde liegenden Assets zugreifen, um Statistiken zu generieren. Dazu ist folgende Aktion erforderlich:

    • Nach der Genehmigung können Sie auf das Produkt und seine Assets zugreifen. Wenn das Asset beispielsweise eine BigQuery-Tabelle ist, können Sie zu BigQuery Studio wechseln und die Daten direkt abfragen.

    • Für Anwendungen und Entwicklungs-Workflows, die außerhalb vonGoogle Cloudausgeführt werden, können Sie das Datenprodukt über ein externes Metadatengateway verfügbar machen. Weitere Informationen finden Sie unter Remote-MCP-Server des Knowledge Catalog verwenden.

    Weitere Informationen finden Sie unter Datenprodukte nutzen.

Unterstützte Assets

Ein Datenprodukt kann aus einem oder mehreren Daten-Assets bestehen. Die folgenden Daten-Assets werden unterstützt:

  • BigQuery-Datasets
  • BigQuery-Tabellen
  • BigQuery-Ansichten
  • BigQuery-Routinen
  • BigQuery-Modelle
  • Externe BigQuery-Tabellen
  • Datasets der Gemini Enterprise Agent Platform
  • Modelle der Gemini Enterprise Agent Platform
  • Cloud Storage-Buckets
  • Iceberg-REST-Kataloge
  • Namespaces von Iceberg-REST-Katalog
  • Iceberg-REST-Katalogtabellen

Beschränkungen

  • Standort: Datenprodukte und die zugrunde liegenden Assets müssen sich am selbenGoogle Cloud Standort befinden.
  • BigQuery-Modelle: Der Zugriff auf BigQuery-Modelle in einem Datenprodukt wird über IAM-Bedingungen verwaltet, die auf die IAM-Richtlinie des übergeordneten Datasets angewendet werden. Für das Freigeben von BigQuery-Modellen gelten die Einschränkungen von IAM Conditions.
  • Kontingente und Limits: Eine vollständige Liste der API-Ratenbegrenzungen und Kapazitätskontingente finden Sie unter Kontingente für API-Anfragen für Datenprodukte.
  • Zonale Buckets werden nicht unterstützt.

Nächste Schritte