Datenstatistiken für strukturierte Daten verwenden

Mit KI-basierten Dateneinblicken können Sie automatisch Beschreibungen, Beziehungsdiagramme und SQL-Abfragen aus den Metadaten Ihrer strukturierten Tabellen und Datasets generieren. Sie können diese Statistiken dann in Knowledge Catalog (früher Dataplex Universal Catalog) ansehen und verwalten, um die Datenexploration zu beschleunigen.

Hinweis

Bevor Sie Dateneinblicke verwenden können, müssen die folgenden Voraussetzungen erfüllt sein:

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung von Dateneinblicken benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwenden von Dateneinblicken erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Verwendung von Dateneinblicken erforderlich:

  • dataplex.datascans.create
  • dataplex.datascans.get
  • dataplex.datascans.getData
  • dataplex.datascans.run

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

APIs aktivieren

Aktivieren Sie die folgenden APIs in Ihrem Projekt, um Dateneinblicke zu verwenden:

  • Dataplex-API
  • BigQuery API
  • Gemini for Google Cloud API

Erforderliche Rollen zum Aktivieren von APIs

Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

APIs aktivieren

Weitere Informationen zum Aktivieren der Gemini for Google Cloud API finden Sie unter Gemini for Google Cloud API in einem Projekt in Google Cloud aktivieren.

Daten vorbereiten

Achten Sie bei Lakehouse-Tabellen darauf, dass sich Ihre Daten in Cloud Storage befinden und Sie eine Lakehouse-Tabelle erstellt haben.

Achten Sie bei Apache Iceberg REST-Katalogtabellen darauf, dass Ihre Tabellen im Lakehouse-Laufzeitkatalog registriert sind.

Statistiken in BigQuery generieren

In BigQuery Studio können Sie Gemini in BigQuery verwenden, um Dateneinblicke für BigQuery-Datasets, Tabellen, Ansichten,Google Cloud BigLake-Tabellen, externe BigQuery-Tabellen und Apache Iceberg-Namespaces zu generieren. Sie können Statistiken für diese Ressourcen nur in BigQuery Studio generieren.

Sie müssen zuerst Gemini in BigQuery einrichten und können dann Statistiken generieren. Nachdem Sie Insights generiert haben, können Sie sie in Knowledge Catalog ansehen und ändern.

Weitere Informationen zum Generieren von Insights in BigQuery finden Sie in den folgenden Dokumenten:

Statistiken für Apache Iceberg-Tabellen und -Namespaces generieren

In Knowledge Catalog können Sie Dateneinblicke für Apache Iceberg-, Apache Hive- und SAP BDC-Tabellen und -Namespaces generieren, die vom grenzenlosen Lakehouse von Google Cloudverwaltet werden.

So generieren Sie Statistiken für diese Ressourcen:

  1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

    Zur Suche

  2. Suchen Sie unter Filter nach Ihrem Asset-Typ:

    • Für Apache Iceberg-Tabellen: Wählen Sie Lakehouse aus.
    • Für Apache Iceberg-Namespaces: Setzen Sie den Filter system auf BIGLAKE und den Filter type auf namespace.

  3. Wählen Sie die Apache Iceberg-Tabelle oder den Apache Iceberg-Namespace aus den Suchergebnissen aus, um die Detailseite des Eintrags zu öffnen.

  4. Klicken Sie auf den Tab Statistiken. Wenn der Tab leer ist, bedeutet das, dass die Statistiken für diese Tabelle noch nicht generiert wurden.

  5. Wählen Sie eine Generierungsoption aus:

    • Klicken Sie auf Generieren und veröffentlichen, um Statistiken zu generieren und sie dem Asset dauerhaft als Metadatenaspekte anzuhängen. Dadurch werden die Insights indexierbar, suchbar und für andere Nutzer in Ihrer Organisation im Knowledge Catalog sichtbar.

    • Wenn Sie Statistiken vorübergehend während der aktuellen Sitzung generieren und ansehen möchten, klicken Sie auf Ohne Veröffentlichung generieren.

    Weitere Informationen zu den Unterschieden zwischen den Modi Generieren und veröffentlichen und Generieren ohne Veröffentlichung finden Sie unter Modi zum Generieren von Dateneinblicken.

  6. Wählen Sie eine Region aus, um Insights zu generieren, und klicken Sie dann auf Generieren.

    Es dauert einige Minuten, bis die Statistiken erfasst werden.

  7. Klicken Sie auf den Tab Statistiken und sehen Sie sich die generierten Metadaten an:

    • Für Tabellen: Sehen Sie sich die KI-generierten Beschreibungen und Beispielabfragen an.
    • Für Namespaces: Sehen Sie sich die Dataset-Beschreibung, die interaktiven Beziehungsdiagramme und die Abfrageempfehlungen an.

    Klicken Sie auf die Frage, um die SQL-Abfrage aufzurufen, mit der sie beantwortet wird.

Generierte Insights für eine Ressource prüfen

So rufen Sie die generierten Statistiken für eine Ressource auf:

  1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

    Zur Suche

  2. Suchen Sie nach der Ressource, für die Sie Statistiken aufrufen möchten.

  3. Klicken Sie in den Suchergebnissen auf die Ressource, um die Detailseite des Eintrags zu öffnen.

  4. Sehen Sie sich die Beschreibungen und Abfragen an, die für die ausgewählte Ressource generiert wurden.

  5. Wenn Sie sich die Beziehungsdiagramme ansehen möchten, um zu verstehen, wie Datenpunkte miteinander verbunden sind, klicken Sie auf den Tab Beziehungen (Vorabversion). Sie können Beziehungen auf Tabellenebene oder auf Dataset- und Namespace-Ebene anzeigen, wenn Sie Dataset-Statistiken generiert haben.

Tabellenstatistiken verwalten

Nachdem Sie Tabellenstatistiken generiert und veröffentlicht haben, können Sie sie als Metadatenaspekte in Knowledge Catalog prüfen und verwalten. Statistiken auf Tabellenebene umfassen Tabellen- und Spaltenbeschreibungen sowie Beispielabfragen.

Generierte Beschreibungen für eine Tabelle aktualisieren

Sie können Tabellen- und Spaltenbeschreibungen nur mit der Dataplex API aktualisieren. Verwenden Sie dazu die Methode entries.patch.

Generierte Abfragen für eine Tabelle aktualisieren

Sie können die generierten Abfragen für eine Tabelle sowohl über die Google Cloud Console als auch über die Dataplex API aktualisieren.

Console

  1. Suchen Sie nach der Tabelle, für die Sie die generierten Abfragen aktualisieren möchten.

  2. Klicken Sie in den Suchergebnissen auf die Tabelle, um die Detailseite des Eintrags zu öffnen.

  3. Klicken Sie im Abschnitt Abfragen auf Bearbeiten.

  4. Aktualisieren Sie die Abfragebeschreibung nach Bedarf.

  5. Inhaberschaft verwalten: Standardmäßig ist die Quelle auf Agent festgelegt. Wenn Sie eine Abfrage ändern und die Quelle in Nutzer ändern, werden Ihre Änderungen bei nachfolgenden Ausführungen der Statistikgenerierung nicht überschrieben. Wenn die Quelle weiterhin Agent ist, wird die Abfrage möglicherweise bei einer Neugenerierung ersetzt.

  6. Überschreibungen verwalten: Wenn Sie verhindern möchten, dass alle Abfragen bei einer erneuten Ausführung überschrieben werden, können Sie die Option Vom Nutzer verwaltet auf Wahr setzen. Dies gilt für alle Abfragen für diesen Metadatenaspekt, sodass keine manuellen Änderungen verloren gehen.

REST

Verwenden Sie zum Aktualisieren von Abfragen für eine Tabelle die Methode entries.patch.

Generierte Beziehungen für eine Tabelle aktualisieren

Beziehungen können nur über die Dataplex API aktualisiert werden. Verwenden Sie dazu die Methode entries.patch.

Dataset-Statistiken verwalten

Statistiken auf Dataset-Ebene konzentrieren sich auf allgemeine Beschreibungen und Dataset-weite Abfragen.

Generierte Beschreibungen für ein Dataset aktualisieren

Sie können die Dataset-Beschreibungen nur mit der Dataplex API aktualisieren. Verwenden Sie dazu die Methode entries.patch.

Generierte Abfragen für ein Dataset aktualisieren

Sie können die generierten Abfragen für ein Dataset sowohl über die Google Cloud Console als auch über die Dataplex API aktualisieren.

Console

  1. Suchen Sie nach dem Dataset, für das Sie die generierten Abfragen aktualisieren möchten.

  2. Klicken Sie in den Suchergebnissen auf das Dataset, um die Detailseite des Eintrags zu öffnen.

  3. Klicken Sie im Abschnitt Abfragen auf Bearbeiten.

  4. Aktualisieren Sie die Beschreibung nach Bedarf.

  5. Inhaberschaft verwalten: Standardmäßig ist die Quelle auf Agent festgelegt. Wenn Sie eine Abfrage ändern und die Quelle in Nutzer ändern, werden Ihre Änderungen bei nachfolgenden Ausführungen der Statistikgenerierung nicht überschrieben. Wenn die Quelle weiterhin Agent ist, wird die Abfrage möglicherweise bei einer Neugenerierung ersetzt.

  6. Überschreibungen verwalten: Wenn Sie verhindern möchten, dass alle Abfragen bei einer erneuten Ausführung überschrieben werden, können Sie die Option Vom Nutzer verwaltet auf Wahr setzen. Dies gilt für alle Abfragen für diesen Metadatenaspekt, sodass keine manuellen Änderungen verloren gehen.

REST

Verwenden Sie zum Aktualisieren von Abfragen für ein Dataset die Methode entries.patch.

Generierte Eintragslinks für ein Dataset aktualisieren

Beziehungen, die durch Dateneinblicke erkannt werden, werden als Eintragsverknüpfungen zwischen Tabelleneinträgen gespeichert. Diese Links enthalten einen schema-join-Aspekt, der beschreibt, wie Tabellen verbunden werden.

Wenn Sie diese Beziehungen bearbeiten oder manuelle Überschreibungen vornehmen möchten, müssen Sie die Dataplex API verwenden.

Verhalten beim Aktualisieren von Eintragslinks

Wenn Sie Beziehungen mit der API verwalten, ist es wichtig zu verstehen, wie manuelle API-Updates mit automatisierten Hintergrundscans interagieren, damit Sie nicht versehentlich Daten überschreiben.

  • Manuelle Updates (Verhalten auf API-Ebene): Die UpdateEntryLink API verwendet die Methode PATCH, um Ersetzungen auf Aspektebene vorzunehmen:

    • Vollständiger Aspekt-Ersatz: Wenn Sie den Aspekt schema-join in Ihre Aktualisierungsanfrage aufnehmen, ersetzt Knowledge Catalog den gesamten vorhandenen Aspekt durch den neuen, den Sie angeben.

    • Keine automatische Zusammenführung: Die API führt neue Einträge nicht automatisch mit der internen joins-Liste zusammen. Wenn Sie eine Nutzlast mit nur einer Verknüpfung senden, werden alle zuvor vorhandenen Verknüpfungen innerhalb dieses Aspekts entfernt.

  • Automatisierte Scans (Verhalten auf Systemebene): Bei automatisierten Scans, z. B. für Dateneinblicke, wird vor dem Aufruf der API eine spezielle Zusammenführungslogik ausgeführt, um sicherzustellen, dass Metadaten mit hoher Sicherheit basierend auf ihrer Quelle beibehalten werden:

    • Quellenpriorität: Wenn mehrere Quellen dieselbe Beziehung identifizieren, priorisiert Knowledge Catalog sie in der folgenden Reihenfolge:

      1. USER (manuelle Änderungen)
      2. TABLE_CONSTRAINTS
      3. QUERY_HISTORY
      4. AGENT (LLM-Vorschläge)

    • LLM-Aktualität: Beziehungen, die aus der AGENT-Quelle abgeleitet werden, sind dynamisch. Wenn die Beziehung bei einem nachfolgenden Scan nicht mehr empfohlen wird, wird sie entfernt.

Eintragslinks aktualisieren

So rufen Sie Eintragslinks auf und ändern sie:

  1. Eintragslink identifizieren.

    Bevor Sie eine Beziehung aktualisieren können, müssen Sie ihren Ressourcennamen ermitteln. Listen Sie dazu alle Eintragslinks auf, die einen bestimmten Tabelleneintrag enthalten:

    gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die ID Ihres Projekts in Google Cloud
    • LOCATION: die Region, in der der Datenscan ausgelöst wird
    • TABLE_ENTRY_NAME: der vollständige Ressourcenname des BigQuery-Tabelleneintrags (z. B. bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

  2. Aktualisieren Sie den Eintragslink.

    Verwenden Sie die Methode PATCH, um den Aspekt schema-join des Links zum Zieleintrag zu ändern:

    gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
-d '{
  "aspects": {
    "dataplex-types.global.schema-join": {
      "data": {
        "joins": [
          {
            "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
            "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
            "type": "JOIN",
            "inferenceSource": "USER"
          }
        ],
        "userManaged": false
      }
    }
  }
}'

    Ersetzen Sie Folgendes:

    • ENTRYLINK_ID: die ID des Eintragslinks, der im vorherigen Identifizierungsschritt abgerufen wurde
    • DATASET_ID: die ID Ihres BigQuery-Datasets
    • SOURCE_TABLE: der Name der Quelltabelle
    • SOURCE_FIELD: der Spaltenname, der für den Join in der Quelltabelle verwendet wird
    • TARGET_TABLE: der Name der Zieltabelle
    • TARGET_FIELD: der Spaltenname, der für den Join in der Zieltabelle verwendet wird

Nächste Schritte