Datenprofilerstellung

Mit Knowledge Catalog (früher Dataplex Universal Catalog) können Sie Ihre Daten einfacher analysieren und nachvollziehen, da Ihre BigQuery-Tabellen automatisch profiliert werden.

Das Profiling ist vergleichbar mit einem detaillierten Gesundheitsbericht für Ihre Daten. Sie erhalten wichtige Statistiken wie häufige Werte, die Verteilung der Daten und die Anzahl der fehlenden Einträge (Nullwerte). Diese Informationen beschleunigen Ihre Analyse.

Bei der Datenprofilerstellung werden sensible Informationen automatisch erkannt und Sie können Zugriffssteuerungsrichtlinien festlegen. Es empfiehlt Regeln für die Datenqualitätsprüfung, damit Ihre Daten zuverlässig bleiben.

Konzeptmodell

Mit dem Knowledge Catalog können Sie das Profil Ihrer Daten besser nachvollziehen, indem Sie einen Datenprofilscan erstellen. Ein Datenprofilscan ist eine Art von Knowledge Catalog-Datenscan, bei dem eine BigQuery-Tabelle analysiert wird, um statistische Statistiken zu generieren.

Das folgende Diagramm zeigt, wie Knowledge Catalog Daten scannt, um statistische Merkmale zu erfassen.

Bei einem Datenprofilscan werden Tabellendaten analysiert, um statistische Merkmale zu ermitteln.

Ein Datenprofilscan ist einer BigQuery-Tabelle zugeordnet und scannt die Tabelle, um die Ergebnisse der Datenprofilerstellung zu generieren. Ein Datenprofilscan unterstützt mehrere Konfigurationsoptionen.

Konfigurationsoptionen

In diesem Abschnitt werden die Konfigurationsoptionen beschrieben, die für das Ausführen von Datenprofilscans verfügbar sind.

Profiler-Modi

Sie können zwischen den folgenden Profiling-Modi wählen:

  • Standard: Dies ist der Standardmodus. Es bietet ein umfassendes und anpassbares Profil, indem Ihre Daten anhand der von Ihnen angegebenen Stichproben und Filter gescannt werden. Der Standardmodus eignet sich für detaillierte Analysen und die langfristige Beobachtung von Dateneigenschaften.

  • Ressourcenschonend (Vorabversion): In diesem Modus werden Profilscans mit geringer Latenzzeit durchgeführt, die Ergebnisse innerhalb von Sekunden liefern. Sie ist für Geschwindigkeit und Kosteneffizienz optimiert und unterstützt Anwendungsfälle wie die folgenden:

    • KI-Agentenantworten mit unmittelbaren Datenmerkmalen fundieren
    • Kostengünstiges Vorabgenerieren von Profilen im großen Maßstab für die globale Datenermittlung
    • Schnelle Gesundheitsberichte bei der interaktiven Datenanalyse

    Für den Light-Modus gelten die folgenden Einschränkungen:

    • Im Gegensatz zum Standardprofilingmodus können Sie bei einfachen Scans den Umfang, die Filter oder die Stichprobengröße nicht ändern.
    • BigQuery-Ansichten und externe Tabellen werden nicht unterstützt.

Planungsoptionen

Sie können einen Datenprofilscan mit einer bestimmten Häufigkeit planen oder ihn nach Bedarf ausführen.

Ausführungsidentität

Standardmäßig verwendet Knowledge Catalog einen zentralen Dienst-Agent (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) zum Ausführen von Datenprofilscans.

Sie können diese Standardausführungsidentität auch überschreiben, indem Sie ein benutzerdefiniertes Dienstkonto (Bring Your Own Service Account) oder Ihre eigenen End-User Credentials (EUC) angeben. Das bietet mehrere Vorteile:

  • Prinzip der geringsten Berechtigung:Weisen Sie einem dedizierten Dienstkonto nur die IAM-Berechtigungen zu, die für bestimmte Aufgaben zur Datenprofilerstellung erforderlich sind. So wird der Zugriff auf ein Minimum reduziert.
  • Detaillierte Zugriffssteuerung:Berechtigungen auf bestimmte Ressourcen beschränken, um die Integration mit Zugriffsrichtlinien auf Zeilen- und Spaltenebene in BigQuery zu ermöglichen.
  • Verbesserte Prüfbarkeit:Weisen Sie bestimmten Scans benutzerdefinierte Dienstkonten oder Nutzeranmeldedaten zu, damit Aktivitäten in Audit-Logs viel deutlicher nachvollziehbar und protokollierbar sind.
  • Zusammenführung der Abrechnung:Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, werden die Verarbeitungs- und Speichergebühren direkt in BigQuery zentralisiert (unter Umgehung von Knowledge Catalog Premium-SKUs). So können Sie von BigQuery-Rabatten für Unternehmen und Slot-Zusicherungen profitieren.

Eine Anleitung zum Konfigurieren einer benutzerdefinierten Ausführungsidentität finden Sie unter Ausführungsidentität konfigurieren.

Umfang

Bei Standard-Profilscans können Sie den Umfang der zu scannenden Daten angeben:

  • Vollständige Tabelle: Die gesamte Tabelle wird im Datenprofilscan gescannt. Stichproben, Zeilenfilter und Spaltenfilter werden auf die gesamte Tabelle angewendet, bevor die Profiling-Statistiken berechnet werden.

  • Inkrementell: Die von Ihnen angegebenen inkrementellen Daten werden im Datenprofilscan gescannt. Geben Sie in der Tabelle eine Date- oder Timestamp-Spalte an, die als Inkrement verwendet werden soll. Normalerweise ist das die Spalte, nach der die Tabelle partitioniert wird. Stichproben, Zeilenfilter und Spaltenfilter werden auf die inkrementellen Daten angewendet, bevor die Profiling-Statistiken berechnet werden.

Daten filtern

Bei Standard-Profilierungsscans können Sie die zu profilierenden Daten mit Zeilen- und Spaltenfiltern filtern. Mit Filtern können Sie die Laufzeit und die Kosten reduzieren und sensible und unnütze Daten ausschließen. Bei Lightweight-Profilscans werden keine Spalten- und Zeilenfilter unterstützt.

  • Zeilenfilter: Mit Zeilenfiltern können Sie sich auf Daten innerhalb eines bestimmten Zeitraums oder aus einem bestimmten Segment, z. B. einer Region, konzentrieren. Sie können beispielsweise Daten mit einem Zeitstempel vor einem bestimmten Datum herausfiltern.

  • Spaltenfilter: Mit Spaltenfiltern können Sie bestimmte Spalten in Ihre Tabelle einbeziehen oder daraus ausschließen, um den Datenprofilscan auszuführen.

Beispieldaten

Bei Standard-Profilerstellungsscans können Sie einen Prozentsatz der Datensätze aus Ihren Daten angeben, die für die Ausführung eines Datenprofilscans als Stichprobe verwendet werden sollen. Wenn Sie Datenprofilscans für eine kleinere Stichprobe von Daten erstellen, können Sie die Laufzeit und die Kosten für das Abfragen des gesamten Datasets reduzieren.

Mehrere Datenprofilscans

Sie können mit der Google Cloud Konsole mehrere Datenprofilscans gleichzeitig erstellen. Sie können bis zu 100 Tabellen aus einem Dataset auswählen und für jedes Dataset einen Datenprofilscan erstellen. Weitere Informationen finden Sie unter Mehrere Datenprofilscans erstellen.

Scanergebnisse in eine BigQuery-Tabelle exportieren

Sie können die Ergebnisse des Datenprofilscans zur weiteren Analyse in eine BigQuery-Tabelle exportieren. Wenn Sie Berichte anpassen möchten, können Sie die Daten aus der BigQuery-Tabelle mit einem Looker-Dashboard verbinden. Sie können einen aggregierten Bericht erstellen, indem Sie dieselbe Ergebnistabelle für mehrere Scans verwenden.

Ergebnisse der Datenprofilerstellung

Die Ergebnisse der Datenprofilerstellung enthalten die folgenden Werte:

Spaltentyp Ergebnisse der Datenprofilerstellung
Numerische Spalte
  • Prozentsatz der Nullwerte.
  • Prozentsatz der ungefähren eindeutigen Werte.
  • Die zehn häufigsten Werte in der Spalte. Sie kann auch kleiner als 10 sein, wenn die Anzahl der eindeutigen Werte in der Spalte kleiner als 10 ist (Nullwerte werden nicht berücksichtigt). Für jeden dieser häufigsten Werte wird der Prozentsatz des Vorkommens in den Daten angezeigt, die im aktuellen Scan gescannt wurden.
  • Mittelwert, Standardabweichung, Mindestwert, ungefähres unteres Quartil, ungefähres Median, ungefähres oberes Quartil und Höchstwert.
String-Spalte
  • Prozentsatz der Nullwerte.
  • Prozentsatz der ungefähren eindeutigen Werte.
  • Die zehn häufigsten Werte in der Spalte. Das können auch weniger als zehn sein, wenn die Anzahl der eindeutigen Werte in der Spalte weniger als zehn beträgt.
  • Durchschnittliche, minimale und maximale Länge des Strings.
Andere nicht verschachtelte Spalten (Datum, Uhrzeit, Zeitstempel, binär usw.)
  • Prozentsatz der Nullwerte.
  • Prozentsatz der ungefähren eindeutigen Werte.
  • Die zehn häufigsten Werte in der Spalte. Das können auch weniger als zehn sein, wenn die Anzahl der eindeutigen Werte in der Spalte weniger als zehn beträgt.
Alle anderen Spalten mit verschachtelten oder komplexen Datentypen (z. B. „Record“, „Array“, „JSON“) oder Spalten mit dem Modus repeated.
  • Prozentsatz der Nullwerte.

Die Ergebnisse enthalten die Anzahl der in jedem Job gescannten Datensätze.

Berichterstellung und Überwachung

Sie können die Ergebnisse der Datenprofilerstellung mit den folgenden Berichten und Methoden überwachen und analysieren:

  • Berichte, die mit der Quelltabelle auf den Seiten „BigQuery“ und „Knowledge Catalog“ veröffentlicht wurden

    Wenn Sie einen Datenprofilscan so konfigurieren, dass die Ergebnisse in BigQuery und Knowledge Catalog veröffentlicht werden, können Sie die neuesten Ergebnisse des Datenprofilscans sowohl in BigQuery als auch in Knowledge Catalog auf dem Tab Datenprofil der Quelltabelle ansehen. Diese Ergebnisse sind in jedem Projekt verfügbar.

    Veröffentlichte Berichte.

  • Bericht zu bisherigen Daten pro Job

    Auf der Seite Datenprofilerstellung und ‑qualität > Datenprofilscan in Knowledge Catalog und BigQuery können Sie die detaillierten Berichte für die neuesten und historischen Jobs ansehen. Dazu gehören Profilinformationen auf Spaltenebene und die verwendete Konfiguration.

    Verlaufsbericht pro Job.

  • Tab „Analyse“

    Auf der Seite Datenprofilierung und ‑qualität > Datenprofilscan in Knowledge Catalog und BigQuery können Sie auf dem Tab Analyse die Trends für eine bestimmte Statistik einer Spalte über mehrere Profiljobs hinweg ansehen. Wenn Sie beispielsweise einen inkrementellen Scan haben, können Sie sehen, wie sich der Durchschnitt eines Werts im Laufe der Zeit entwickelt hat.

    Tab „Analyse“

  • Eigene Dashboards oder Analysen erstellen

    Wenn Sie einen Datenprofilscan so konfiguriert haben, dass die Ergebnisse in eine BigQuery-Tabelle exportiert werden, können Sie mit Tools wie Looker Studio eigene Dashboards erstellen.

Beschränkungen

  • Die Datenprofilerstellung wird für BigQuery-Tabellen mit allen Spaltentypen außer BIGNUMERIC unterstützt. Ein Scan, der für eine Tabelle mit einer BIGNUMERIC-Spalte erstellt wurde, führt zu einem Validierungsfehler und wird nicht erfolgreich erstellt.

Preise

Weitere Informationen zu Preisen finden Sie unter Preise für den Wissenskatalog.

Nächste Schritte