Datenstatistiken für strukturierte Daten verwenden

Mit KI-gestützten Dateneinblicken können Sie automatisch Beschreibungen, Beziehungsdiagramme und SQL-Abfragen aus den Metadaten Ihrer strukturierten Tabellen und Datasets generieren. Anschließend können Sie diese Statistiken in Knowledge Catalog (ehemals Dataplex Universal Catalog) ansehen und verwalten, um die Datenanalyse zu beschleunigen.

Hinweis

Bevor Sie Dateneinblicke verwenden, müssen Sie die folgenden Voraussetzungen erfüllen:

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung von Dateneinblicken benötigen:

• Schreibgeschützten Zugriff auf die generierten Statistiken erhalten: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) für das Projekt, das die Ressource enthält
• Daten aus Apache Iceberg-, Apache Hive- oder SAP BDC-Tabellen lesen: BigLake-Betrachter (roles/biglake.viewer) für die Ressource
• Beschreibungen als Aspekte veröffentlichen: Dataplex Catalog Editor (roles/dataplex.catalogEditor) für die Ressource
• Abfragen als Aspekte veröffentlichen: Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) für die Ressource

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zur Verwendung von Dateneinblicken erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Verwendung von Dateneinblicken erforderlich:

• dataplex.datascans.create
• dataplex.datascans.get
• dataplex.datascans.getData
• dataplex.datascans.run

Sie können diese Berechtigungen gegebenenfalls auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

APIs aktivieren

Aktivieren Sie die folgenden APIs in Ihrem Projekt, um Dateneinblicke zu verwenden:

• Dataplex API
• BigQuery API
• Gemini for Google Cloud API

Rollen, die zum Aktivieren von APIs erforderlich sind

Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen.

APIs aktivieren

Weitere Informationen zum Aktivieren von Gemini for Google Cloud API finden Sie unter Gemini for Google Cloud API in einem Google Cloud Projektaktivieren.

Daten vorbereiten

Für Lakehouse-Tabellen müssen sich Ihre Daten in Cloud Storage befinden und Sie müssen eine Lakehouse-Tabelle erstellt haben.

Für Apache Iceberg REST-Katalogtabellen müssen Ihre Tabellen im Lakehouse-Laufzeitkatalog registriert sein.

Statistiken in BigQuery generieren

In BigQuery Studio können Sie mit Gemini in BigQuery Data Insights für BigQuery- Datasets, Tabellen, Ansichten, Google Cloud BigLake-Tabellen, externe BigQuery-Tabellenund Apache Iceberg-Namespacesgenerieren. Sie können Statistiken für diese Ressourcen nur in BigQuery Studio generieren.

Sie müssen zuerst Gemini in BigQuery einrichten, dann Statistiken generieren. Nachdem Sie Statistiken generiert haben, können Sie sie in Knowledge Catalog ansehen und ändern.

Weitere Informationen zum Generieren von Statistiken in BigQuery finden Sie in den folgenden Dokumenten:

• Übersicht über Dateneinblicke
• Tabellenstatistiken generieren
• Dataset-Statistiken generieren

Hinweis: Gemini in BigQuery ist Teil von Gemini für Google Cloud und unterstützt nicht die gleichen Compliance- und Sicherheitsangebote wie BigQuery. Sie sollten Gemini in BigQuery nur für BigQuery-Projekte einrichten, die keine Complianceangebote erfordern, die nicht von Gemini for unterstützt werden Google Cloud. Informationen zum Deaktivieren von oder Verhindern des Zugriffs auf Gemini in BigQuery finden Sie unter Gemini in BigQuery deaktivieren.

Statistiken für Apache Iceberg-Tabellen und -Namespaces generieren

Vorschau

Dieses Produkt oder Feature unterliegt den "Nutzungsbedingungen für Pre-GA-Angebote" im Abschnitt "Allgemeine Dienstbedingungen" der Dienstspezifischen Nutzungsbedingungen. Pre-GA-Produkte und -Features sind "im Ist-Zustand" verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

In Knowledge Catalog können Sie Dateneinblicke für Apache Iceberg-, Apache Hive- und SAP BDC-Tabellen und -Namespaces generieren, die von by Google Cloud's borderless Lakehouse verwaltet werden.

So generieren Sie Statistiken für diese Ressourcen:

1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

   Zur Suche

2. Suchen Sie in den Filtern nach Ihrem Asset-Typ:

   • Für Apache Iceberg-Tabellen: Wählen Sie Lakehouse aus.
   • Für Apache Iceberg-Namespaces: Legen Sie den Filter system auf BIGLAKE und den Filter type auf namespace fest.

3. Wählen Sie in den Suchergebnissen die Apache Iceberg-Tabelle oder den Namespace aus, um die Detailseite des Eintrags zu öffnen.

4. Klicken Sie auf den Tab Statistiken. Wenn der Tab leer ist, wurden die Statistiken für diese Tabelle noch nicht generiert.

5. Wählen Sie eine Generierungsoption aus:

   • Wenn Sie Statistiken generieren und dauerhaft als Metadatenaspekte an das Asset anhängen möchten, klicken Sie auf Generieren und veröffentlichen. Dadurch werden die Statistiken indexierbar, durchsuchbar und für andere Nutzer in Ihrer Organisation im Knowledge Catalog sichtbar.

   • Wenn Sie Statistiken während Ihrer aktuellen Sitzung vorübergehend generieren und ansehen möchten, klicken Sie auf Ohne Veröffentlichung generieren.

   Weitere Informationen zu den Unterschieden zwischen den Generieren und veröffentlichen und Ohne Veröffentlichung generieren Modi finden Sie unter Modi zum Generieren von Dateneinblicken.

6. Wählen Sie eine Region aus, um Statistiken zu generieren, und klicken Sie dann auf Generieren.

   Es dauert einige Minuten, bis die Statistiken erfasst werden.

7. Klicken Sie auf den Tab Statistiken und prüfen Sie die generierten Metadaten:

   • Für Tabellen: Prüfen Sie die KI-generierten Beschreibungen und Beispielabfragen.
   • Für Namespaces: Prüfen Sie die Dataset-Beschreibung, die interaktiven Beziehungsdiagramme und die Abfrageempfehlungen.

   Wenn Sie die SQL-Abfrage sehen möchten, mit der eine Frage beantwortet wird, klicken Sie auf die Frage.

Generierte Statistiken für eine Ressource prüfen

So rufen Sie die generierten Statistiken für eine Ressource auf:

1. Rufen Sie in der Google Cloud Console die Seite Knowledge Catalog Suchen auf.

   Zur Suche

2. Suchen Sie nach der Ressource, für die Sie Statistiken ansehen möchten.

3. Klicken Sie in den Suchergebnissen auf die Ressource, um die Detailseite des Eintrags zu öffnen.

4. Prüfen Sie die Beschreibungen und Abfragen , die für die ausgewählte Ressource generiert wurden.

5. Wenn Sie die Beziehungsdiagramme sehen möchten, um zu verstehen, wie Datenpunkte miteinander verbunden sind, klicken Sie auf den Tab Beziehungen (Vorschau). Sie können Beziehungen auf Tabellenebene oder auf Dataset- und Namespace-Ebene ansehen, wenn Sie Dataset-Statistiken generiert haben.

Tabellenstatistiken verwalten

Nachdem Sie Tabellenstatistiken generiert und veröffentlicht haben, können Sie sie im Knowledge Catalog als Metadatenaspekte prüfen und verwalten. Statistiken auf Tabellenebene umfassen Tabellen- und Spaltenbeschreibungen sowie Beispielabfragen.

Generierte Beschreibungen für eine Tabelle aktualisieren

Sie können Tabellen- und Spaltenbeschreibungen nur mit der Dataplex API aktualisieren. Verwenden Sie dazu die entries.patch Methode.

Generierte Abfragen für eine Tabelle aktualisieren

Sie können die generierten Abfragen für eine Tabelle sowohl in der Google Cloud Console als auch mit der Dataplex API aktualisieren.

Console

1. Suchen Sie nach der Tabelle, für die Sie die generierten Abfragen aktualisieren möchten.

2. Klicken Sie in den Suchergebnissen auf die Tabelle, um die Detailseite des Eintrags zu öffnen.

3. Klicken Sie im Bereich Abfragen auf Bearbeiten.

4. Aktualisieren Sie die Abfragebeschreibung nach Bedarf.

5. Inhaberschaft verwalten: Standardmäßig ist die Quelle auf Agent festgelegt. Wenn Sie eine Abfrage ändern und die Quelle in Nutzer ändern, werden Ihre Änderungen bei nachfolgenden Läufen zur Statistikgenerierung nicht überschrieben. Wenn die Quelle Agent bleibt, kann die Abfrage bei einer erneuten Generierung ersetzt werden.

6. Überschreibungen verwalten: Wenn Sie verhindern möchten, dass alle Abfragen bei einer erneuten Ausführung überschrieben werden, können Sie die Option Vom Nutzer verwaltet auf True setzen. Dies gilt für alle Abfragen für diesen Metadatenaspekt, sodass keine manuellen Änderungen verloren gehen.

REST

Verwenden Sie die entries.patch Methode, um Abfragen für eine Tabelle zu aktualisieren.

Generierte Beziehungen für eine Tabelle aktualisieren

Sie können Beziehungen nur mit der Dataplex API aktualisieren. Verwenden Sie dazu die Methode entries.patch.

Dataset-Statistiken verwalten

Statistiken auf Dataset-Ebene konzentrieren sich auf allgemeine Beschreibungen und Dataset-weite Abfragen.

Generierte Beschreibungen für ein Dataset aktualisieren

Sie können die Dataset-Beschreibungen nur mit der Dataplex API aktualisieren. Verwenden Sie dazu die entries.patch Methode.

Generierte Abfragen für ein Dataset aktualisieren

Sie können die generierten Abfragen für ein Dataset sowohl in der Google Cloud Console als auch mit der Dataplex API aktualisieren.

Console

1. Suchen Sie nach dem Dataset, für das Sie die generierten Abfragen aktualisieren möchten.

2. Klicken Sie in den Suchergebnissen auf das Dataset, um die Detailseite des Eintrags zu öffnen.

3. Klicken Sie im Bereich Abfragen auf Bearbeiten.

4. Aktualisieren Sie die Beschreibung nach Bedarf.

5. Inhaberschaft verwalten: Standardmäßig ist die Quelle auf Agent festgelegt. Wenn Sie eine Abfrage ändern und die Quelle in Nutzer ändern, werden Ihre Änderungen bei nachfolgenden Läufen zur Statistikgenerierung nicht überschrieben. Wenn die Quelle Agent bleibt, kann die Abfrage bei einer erneuten Generierung ersetzt werden.

6. Überschreibungen verwalten: Wenn Sie verhindern möchten, dass alle Abfragen bei einer erneuten Ausführung überschrieben werden, können Sie die Option Vom Nutzer verwaltet auf True setzen. Dies gilt für alle Abfragen für diesen Metadatenaspekt, sodass keine manuellen Änderungen verloren gehen.

REST

Verwenden Sie die entries.patch Methode, um Abfragen für ein Dataset zu aktualisieren.

Generierte Eintragslinks für ein Dataset aktualisieren

Von Data Insights ermittelte Beziehungen werden als Eintragslinks zwischen Tabelleneinträgen gespeichert. Diese Links enthalten einen schema-join-Aspekt, der beschreibt, wie Tabellen verbunden sind.

Wenn Sie diese Beziehungen bearbeiten oder manuelle Überschreibungen vornehmen möchten, müssen Sie die Dataplex API verwenden.

Verhalten bei der Aktualisierung von Eintragslinks

Wenn Sie Beziehungen mit der API verwalten, ist es wichtig zu verstehen, wie manuelle API-Aktualisierungen mit automatischen Hintergrundscans interagieren, damit Sie nicht versehentlich Daten überschreiben.

• Manuelle Aktualisierungen (Verhalten auf API-Ebene): Die UpdateEntryLink API verwendet die Methode PATCH, um den Austausch auf Aspektebene durchzuführen:

  • Vollständiger Aspekt-Austausch: Wenn Sie den Aspekt schema-join in Ihre Aktualisierungsanfrage einbeziehen, ersetzt Knowledge Catalog den gesamten vorhandenen Aspekt durch den von Ihnen angegebenen neuen Aspekt.

  • Keine automatische Zusammenführung: Die API führt neue Einträge nicht automatisch in der internen Liste joins zusammen. Wenn Sie eine Nutzlast mit nur einer Verknüpfung senden, werden alle zuvor vorhandenen Verknüpfungen innerhalb dieses Aspekts entfernt.

  Warnung: Wenn Sie mit der API eine neue Beziehung hinzufügen und vorhandene beibehalten möchten, müssen Sie zuerst den aktuellen Aspekt schema-join abrufen und alle vorhandenen Verknüpfungen in den Textkörper Ihrer Aktualisierungsanfrage einbeziehen.

• Automatisierte Scans (Verhalten auf Systemebene): Automatisierte Scans wie Data Insights führen eine spezielle Zusammenführungslogik aus, bevor sie die API aufrufen, um sicherzustellen, dass Metadaten mit hoher Sicherheit basierend auf ihrer Quelle beibehalten werden:

  • Quellpriorität: Wenn mehrere Quellen dieselbe Beziehung identifizieren, priorisiert Knowledge Catalog sie in der folgenden Reihenfolge:

    1. USER (Manuelle Änderungen)
    2. TABLE_CONSTRAINTS
    3. QUERY_HISTORY
    4. AGENT (LLM-Vorschläge)

  • LLM-Aktualität: Beziehungen, die aus der Quelle AGENT abgeleitet werden, sind dynamisch. Wenn eine Beziehung bei einem nachfolgenden Scan nicht mehr empfohlen wird, wird sie entfernt.

Eintragslinks aktualisieren

So rufen Sie Eintragslinks auf und ändern sie:

Hinweis: Damit Ihre manuellen Änderungen nicht durch automatisierte Hintergrundprozesse überschrieben oder geändert werden, verwenden Sie die folgenden Konfigurationen in Ihren Aspekt-Daten:

• userManaged: true: Legen Sie dies auf Aspektebene fest, um Knowledge Catalog anzuweisen, alle automatischen Aktualisierungen für diese Beziehung vollständig zu überspringen.
• inferenceSource: "USER": Legen Sie dies in bestimmten Verknüpfungseinträgen fest, um sie als manuell bestätigt zu kennzeichnen und sie so bei Standardzusammenführungsprozessen zu schützen.

1. Eintragslink identifizieren

   Bevor Sie eine Beziehung aktualisieren können, müssen Sie den Ressourcennamen ermitteln, indem Sie alle Eintragslinks auflisten, die einen bestimmten Tabelleneintrag enthalten:

   gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID Ihres Google Cloud Projekts
   • LOCATION: die Region, in der Ihr Datenscan ausgelöst wird
   • TABLE_ENTRY_NAME: der vollständige Ressourcenname des BigQuery-Tabelleneintrags (z. B. bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

2. Eintragslink aktualisieren

   Verwenden Sie die Methode PATCH, um den Aspekt schema-join des Ziel-Eintragslinks zu ändern:

   Hinweis: Damit Ihre manuellen Änderungen bei nachfolgenden automatisierten Scans nicht überschrieben werden, legen Sie im Anfragetext inferenceSource: "USER" fest.

   gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
   -d '{
     "aspects": {
       "dataplex-types.global.schema-join": {
         "data": {
           "joins": [
             {
               "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
               "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
               "type": "JOIN",
               "inferenceSource": "USER"
             }
           ],
           "userManaged": false
         }
       }
     }
   }'
   

   Ersetzen Sie Folgendes:

   • ENTRYLINK_ID: die ID des Eintragslinks, die im vorherigen Identifizierungsschritt abgerufen wurde
   • DATASET_ID: die ID Ihres BigQuery-Datasets
   • SOURCE_TABLE: der Name der Quelltabelle
   • SOURCE_FIELD: der Spaltenname, der für die Verknüpfung in der Quelltabelle verwendet wird
   • TARGET_TABLE: der Name der Zieltabelle
   • TARGET_FIELD: der Spaltenname, der für die Verknüpfung in der Zieltabelle verwendet wird

Nächste Schritte

• Weitere Informationen zu Dateneinblicken für strukturierte Daten.

• Nutzung von Data Insights-Tokens überwachen