Erkennungsscan für unstrukturierte Daten verwenden

Bei Datenprofilscans für unstrukturierte Daten werden Vertex AI Gemini 2.5 Pro-Modelle während eines Cloud Storage-Erkennungsscans verwendet, um unstrukturierte Rohdateien in Cloud Storage (z. B. PDFs) in strukturierte, abfragbare Assets in BigQuery umzuwandeln. Dieser automatisierte Workflow ist für Nutzer gedacht, die mit Rohdateien in Cloud Storage beginnen. Wenn Sie bereits BigQuery-Objekttabellen haben oder die Extraktion mit einem benutzerdefinierten Prompt steuern möchten, lesen Sie den Abschnitt Datenprofil für unstrukturierte Daten verwenden.

In diesem Dokument wird beschrieben, wie Sie die erforderlichen Berechtigungen einrichten, Ihre unstrukturierten Dateien vorbereiten, einen Cloud Storage-Erkennungsscan mit aktivierter semantischer Inferenz über die REST API erstellen, die generierten Statistiken ansehen, Diagrammprofile kuratieren und die Daten in BigQuery extrahieren.

Hinweis

Bevor Sie einen Discovery-Scan erstellen, müssen Sie sicherstellen, dass Sie die erforderlichen Berechtigungen haben und die erforderlichen APIs aktiviert sind.

APIs aktivieren

Aktivieren Sie die folgenden APIs in Ihrem Projekt:

  • dataplex.googleapis.com
  • bigquery.googleapis.com
  • aiplatform.googleapis.com (Vertex AI)

Rollen, die zum Aktivieren von APIs erforderlich sind

Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen

APIs aktivieren

Erforderliche Rollen und Berechtigungen

Wenn Sie Datenprofilscans für unstrukturierte Daten konfigurieren und ausführen möchten, müssen Sie die grundlegenden Berechtigungen für einen Erkennungsscan erfüllen und dann zusätzliche Rollen für die semantische Inferenz über mehrere Dienst-Agents hinweg gewähren.

Rollen für Baseline-Erkennungsscans

Prüfen Sie, ob Sie und die von Knowledge Catalog verwendeten Dienstkonten die erforderlichen Basisberechtigungen für einen Standard-Discovery-Scan haben. Eine vollständige Liste finden Sie unter Cloud Storage-Daten ermitteln und katalogisieren.

Zusätzliche Rollen für semantische Inferenzen

Zusätzlich zu den Rollen für die Baseline-Erkennung müssen Sie und die Dienstkonten die folgenden zusätzlichen IAM-Rollen (Identity and Access Management) haben.

Zusammenfassung der zusätzlichen Identitäten und Rollen

Identitätstyp Typisches Hauptkonto-Format Erforderliche IAM-Rollen Hauptzweck
Endnutzer Ihr Google Cloud Nutzerkonto
  • Dataplex-DataScan-Bearbeiter
  • Dataplex Catalog Editor
  • BigQuery-Dateneditor
  • BigQuery Job User
 Mit diesen zusätzlichen Rollen können Sie Scans konfigurieren, KI-generierte Ergebnisse ansehen, Diagrammprofile kuratieren und die endgültige Datenextraktion auslösen.
Dataplex Universal Catalog-Discovery-Agent service-<var>PROJECT_NUMBER</var>@gcp-sa-dataplex.iam.gserviceaccount.com
  • Vertex AI-Nutzer
  • BigQuery Job User
  • BigQuery Data Viewer
 Dieser von Google verwaltete Dienst-Agent verwendet diese zusätzlichen Rollen, um Vertex AI aufzurufen und abgeleitete Schemas und Metadaten zu generieren.
Dienstkonto für BigQuery-Verbindung Eine eindeutige Identität, die mit Ihrer Verbindung verknüpft ist (z. B. bqcx-<var>PROJECT_NUMBER</var>-<var>ID</var>@gcp-sa-bigquery-condel.iam.gserviceaccount.com)
  • Storage Object Viewer (für den Quell-Bucket)
  • Vertex AI-Nutzer (im Projekt)
 Damit wird BigQuery mit externem Speicher verbunden. BigQuery kann dann die Rohdateien lesen, Objekttabellen erstellen und KI-Inferenz ausführen, ohne dass Ihre persönlichen Nutzeranmeldedaten offengelegt werden.
Dienstkonto für die Pipelineausführung (optional) Ein vom Nutzer verwaltetes Dienstkonto
  • BigQuery-Dateneditor
  • BigQuery Job User
  • BigQuery-Nutzer
  • Vertex AI-Nutzer
 Wenn Sie Daten mit einer automatisierten Pipeline extrahieren, werden mit dieser Identität die Hintergrundjobs ausgeführt, um die KI-generierten Einheiten in BigQuery-Tabellen zu materialisieren.
Dataform-Standarddienstkonto (optional) service-<var>PROJECT_NUMBER</var>@gcp-sa-dataform.iam.gserviceaccount.com
  • Ersteller von Dienstkonto-Tokens (für das Dienstkonto für die Pipelineausführung)
 Wenn Sie die Pipeline-Extraktionsmethode verwenden, benötigt Dataform die Berechtigung, die Identität Ihres Dienstkontos für die Pipelineausführung zu übernehmen, um den Workflow zu orchestrieren.

Rollen und Berechtigungen für Endnutzer

Bitten Sie Ihren Administrator, Ihrem Nutzerkonto die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Ihr Nutzerkonto die erforderlichen Berechtigungen zum Erstellen von Scans, zum Aufrufen von Statistiken, zum Kuratieren von Diagrammprofilen und zum Extrahieren von Daten hat:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen von Scans, zum Aufrufen von Statistiken, zum Verwalten von Diagrammprofilen und zum Extrahieren von Daten erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Scans zu erstellen, Statistiken anzusehen, Diagrammprofile zu kuratieren und Daten zu extrahieren:

  • DataScans:
    • dataplex.datascans.create
    • dataplex.datascans.get
    • dataplex.datascans.getData
    • dataplex.datascans.list
    • dataplex.datascans.update
  • Datenextraktion:
    • bigquery.tables.create
    • bigquery.tables.update
    • bigquery.tables.getData
    • bigquery.jobs.create

Ihr Administrator kann Ihrem Nutzerkonto möglicherweise diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erteilen.

Rollen und Berechtigungen für Dienst-Agents für die Dataplex-Erkennung

Der Dienst-Agent für die Dataplex-Erkennung ist ein Dienst-Agent, der Zugriff benötigt, um Scans auszuführen und semantische Inferenzen mit Vertex AI durchzuführen.

Damit der Dataplex Discovery-Dienst-Agent (in der Regel service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) die erforderlichen Berechtigungen zum Ausführen von Scans und zum Ausführen semantischer Inferenz mit Vertex AI hat, bitten Sie Ihren Administrator, dem Dataplex Discovery-Dienst-Agent (in der Regel service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) die folgenden IAM-Rollen für das Projekt zuzuweisen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Ausführen von Scans und zum Durchführen semantischer Inferenz mit Vertex AI erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Scans auszuführen und semantische Inferenzen mit Vertex AI durchzuführen:

  • Alle:
    • aiplatform.endpoints.predict
    • bigquery.datasets.create
    • bigquery.datasets.get
    • bigquery.tables.get
    • bigquery.tables.getData
    • storage.buckets.get
    • storage.objects.get
    • storage.objects.list

Ihr Administrator kann dem Dataplex-Erkennungsdienst-Agent (in der Regel service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) diese Berechtigungen möglicherweise auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen zuweisen.

Rollen und Berechtigungen für das Dienstkonto für BigQuery-Verbindungen

Mit einer BigQuery Cloud-Ressourcenverbindung kann Knowledge Catalog auf unstrukturierte Daten zugreifen, die in Cloud Storage gespeichert sind. Wenn Sie eine Verbindung erstellen, erstellt BigQuery automatisch ein dediziertes Dienstkonto in Ihrem Namen. Dieses Dienstkonto dient als Identität für die Verbindung zu Ihrer externen Datenquelle.

Dieses Dienstkonto hat standardmäßig keine Berechtigungen. Sie müssen diesem Dienstkonto explizit die erforderlichen IAM-Rollen für die Cloud Storage-Buckets mit Ihren Daten zuweisen. Sie können eine vorhandene BigQuery-Verbindung verwenden oder eine neue Verbindung am selben Standort wie Ihr Cloud Storage-Quell-Bucket erstellen. Weitere Informationen zum Freigeben von Verbindungen finden Sie unter Verbindung für Nutzer freigeben.

Damit das Dienstkonto der BigQuery-Verbindung (die ID finden Sie in den Verbindungsdetails im Bereich Verbindungsinformationen) die erforderlichen Berechtigungen zum Lesen von Objekttabellen und zum Ausführen von Inferenz hat, bitten Sie Ihren Administrator, dem Dienstkonto der BigQuery-Verbindung (die ID finden Sie in den Verbindungsdetails im Bereich Verbindungsinformationen) die folgenden IAM-Rollen zu gewähren:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Lesen von Objekttabellen und zum Ausführen von Inferenz erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Objekttabellen zu lesen und Inferenzen auszuführen:

  • Alle:
    • storage.buckets.get für den Bucket mit unstrukturierten Daten
    • storage.objects.get für den Bucket mit unstrukturierten Daten
    • aiplatform.endpoints.predict für das Projekt

Ihr Administrator kann dem Dienstkonto der BigQuery-Verbindung (die ID finden Sie in den Verbindungsdetails im Bereich Verbindungsinformationen) möglicherweise auch diese Berechtigungen mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erteilen.

Rollen und Berechtigungen für das Dienstkonto für die Pipelineausführung (optional)

Wenn Sie die abgeleiteten Daten mit einer automatisierten Pipeline extrahieren möchten, müssen Sie ein dediziertes Dienstkonto erstellen oder bereitstellen, um die Pipeline auszuführen. Dieses Dienstkonto für die Ausführung dient als Identität, mit der die Hintergrundaufgaben zur Datenextraktion und Analyse in BigQuery authentifiziert und ausgeführt werden. Außerdem müssen Sie dem Standard-Dataform-Dienstkonto die Berechtigung erteilen, die Identität dieses Ausführungsdienstkontos zu übernehmen.

Bitten Sie Ihren Administrator, dem Dienstkonto für die Pipelineausführung die folgenden IAM-Rollen für das Projekt zuzuweisen, damit es die erforderlichen Berechtigungen zum Extrahieren der abgeleiteten Einheiten und Beziehungen mithilfe einer Pipeline hat:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Extrahieren der abgeleiteten Entitäten und Beziehungen mithilfe einer Pipeline erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um die abgeleiteten Entitäten und Beziehungen mithilfe einer Pipeline zu extrahieren:

  • Alle:
    • bigquery.tables.create
    • bigquery.tables.update
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.jobs.create
    • aiplatform.endpoints.predict

Ihr Administrator kann dem Dienstkonto für die Pipelineausführung möglicherweise auch diese Berechtigungen mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erteilen.

Bitten Sie Ihren Administrator, dem Standarddienstkonto von Dataform (service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com) die folgenden IAM-Rollen für das Dienstkonto für die Pipelineausführung zuzuweisen, damit das Standarddienstkonto von Dataform (service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com) die erforderlichen Berechtigungen zum Übernehmen der Identität des Dienstkontos für die Pipelineausführung hat:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Übernehmen der Identität des Dienstkontos für die Pipelineausführung erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um die Identität des Dienstkontos für die Pipelineausführung zu übernehmen:

  • Alle: iam.serviceAccounts.getAccessToken

Ihr Administrator kann dem Standarddienstkonto für Dataform (service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com) möglicherweise auch diese Berechtigungen mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erteilen.

Unstrukturierte Daten vorbereiten

Bevor Sie einen Discovery-Scan ausführen, müssen Sie Ihre unstrukturierten Daten in einen Cloud Storage-Bucket hochladen. Datenprofilscans für unstrukturierte Daten sind für die Analyse von PDF-Dokumenten optimiert.

Weitere Informationen zum Speichern und Verwalten von Dateien in Cloud Storage finden Sie unter Objekte hochladen.

Cloud-Ressourcenverbindung erstellen

Wenn Sie die Ergebnisse des Discovery-Scans als BigQuery-Objekttabelle veröffentlichen möchten, müssen Sie eine Cloud-Ressourcenverbindung erstellen und dem zugehörigen Dienstkonto Zugriff auf Ihre unstrukturierten Daten in Cloud Storage gewähren.

  1. Cloud-Ressourcenverbindung erstellen
  2. Weisen Sie dem Dienstkonto, das mit der Verbindung verknüpft ist, die Rolle „Storage-Objekt-Betrachter“ (roles/storage.objectViewer) für den Cloud Storage-Bucket zu, der Ihre unstrukturierten Daten enthält. Weitere Informationen finden Sie unter Zugriff auf das Dienstkonto gewähren.

Erkennungsscan für unstrukturierte Daten erstellen

Wenn Sie semantische Statistiken aus Ihren unstrukturierten Daten extrahieren möchten, müssen Sie zuerst einen Cloud Storage-Erkennungs-Scan erstellen. Bei diesem Scan werden Ihre unstrukturierten Dateien in Cloud Storage automatisch gefunden und in einer Objekttabelle katalogisiert. Wenn Sie die semantische Inferenz während dieses Prozesses aktivieren, verwendet Knowledge Catalog Vertex AI Gemini 2.5 Pro-Modelle, um die Dateien zu analysieren und abgeleitete Metadaten, Schemas und Beziehungen zu generieren.

Sie können einen Cloud Storage-Erkennungsscan mit aktivierter semantischer Inferenz über die Google Cloud Console oder die REST API erstellen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Metadaten-Kuration auf.

    Zur Metadatenkuratierung

  2. Klicken Sie auf dem Tab Cloud Storage-Erkennung auf Erstellen.

  3. Geben Sie einen Namen für den Scan ein.

  4. Klicken Sie auf Durchsuchen, um den Cloud Storage-Bucket mit Ihren unstrukturierten Daten auszuwählen.

  5. Wählen Sie unter Optionen für unstrukturierte Daten das Kästchen Semantische Inferenz aktivieren aus.

  6. Geben Sie im Feld Verbindungs-ID die BigQuery-Verbindung an, die für den Zugriff auf die Dateien verwendet wird.

    Beim Erkennungsscan werden unstrukturierte Daten automatisch in BigQuery katalogisiert, indem Objekttabellen erstellt werden. Da in Objekttabellen die Anmeldedaten für den Datenzugriff sicher vom Nutzer, der Abfragen ausführt, getrennt werden, ist eine Verbindung erforderlich, um sich bei Cloud Storage zu authentifizieren und die Dateien zu lesen.

  7. Klicken Sie auf Jetzt ausführen (für einen On-Demand-Scan) oder Erstellen (für einen geplanten Scan).

    Weitere Informationen zu allen verfügbaren Konfigurationen finden Sie unter Cloud Storage-Daten ermitteln und katalogisieren.

Knowledge Catalog erstellt eine Objekttabelle und reichert den Katalogeintrag mit KI-generierten Metadaten an. Bei Standard-Datasets dauert dieser Vorgang in der Regel einige Minuten.

REST

Wenn Sie mit der REST API einen Cloud Storage-Erkennungs-Scan mit aktivierter semantischer Inferenz erstellen möchten, verwenden Sie die Methode dataScans.create mit einem dataDiscoverySpec.

POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans?dataScanId=DATASCAN
{
"description": "Cloud Storage discovery scan with semantic inference",
"data": {
"resource": "//storage.googleapis.com/BUCKET_NAME"
},
"executionSpec": {
"trigger": {
  "onDemand": {}
}
},
"dataDiscoverySpec": {
"bigqueryPublishingConfig": {
  "tableType": "OBJECT_TABLE",
  "connection": "projects/PROJECT_ID/locations/LOCATION/connections/CONNECTION_ID"
},
"unstructuredDataEventsConfig": {
  "enabled": true
}
}
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID Ihres Google Cloud-Projekts.
  • LOCATION: die Google Cloud Region (Gemini 2.5 Pro muss unterstützt werden).
  • DATASCAN: der Name des Discovery-Scans.
  • BUCKET_NAME: Der Cloud Storage-Bucket mit unstrukturierten Daten.
  • CONNECTION_ID: die ID der BigQuery-Verbindung.

Erkennungsscan ausführen

Wenn Sie Ihren Erkennungsscan so konfiguriert haben, dass er bei Bedarf ausgeführt wird, müssen Sie den Scan manuell auslösen, um Ihre unstrukturierten Daten zu finden und Statistiken zu generieren.

Sie können einen Erkennungsscan über die Google Cloud Console oder die REST API auslösen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Navigationsmenü auf Governance > Metadaten-Kurierung.

  3. Klicken Sie im Bereich Cloud Storage-Erkennung auf den Erkennungsscan, den Sie ausführen möchten.

  4. Klicken Sie auf Jetzt ausführen.

REST

Verwenden Sie die Methode dataScans.run, um einen On-Demand-Erkennungs-Scan mit der REST API auszuführen:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN:run"

Ersetzen Sie die folgenden Variablen:

  • PROJECT_ID: die ID Ihres Google Cloud-Projekts.
  • LOCATION: die Google Cloud -Region, in der sich der Discovery-Scan befindet.
  • DATASCAN: der Name des Discovery-Scans.

Knowledge Catalog führt den Erkennungsscan aus, erstellt eine Objekttabelle und reichert den Katalogeintrag mit KI-generierten Metadaten an. Bei Standard-Datasets dauert dieser Vorgang in der Regel einige Minuten.

Objekttabelle suchen

Nach Abschluss des Erkennungsscans erstellt Knowledge Catalog eine oder mehrere Objekttabellen und füllt den Knowledge Catalog mit einem entsprechenden Eintrag, der mit KI-generierten Metadaten angereichert ist. Wenn aufgrund eines Discovery-Scans mehrere Einträge erstellt werden, hat jeder Eintrag einen eigenen Tab „Statistiken“. Sie können die automatische Tabellenbeschreibung, die abgeleiteten Schemas und die Beziehungsdiagramme ansehen.

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Navigationsmenü auf Governance > Metadaten-Kurierung.

  3. Klicken Sie im Bereich Cloud Storage-Erkennung auf den Erkennungsscan, den Sie für unstrukturierte Daten ausgeführt haben.

    • Im Bereich Scandetails werden Details zum Erkennungsscan angezeigt.
    • Im Abschnitt Scanstatus werden die Ergebnisse des letzten Scanjobs angezeigt.

  4. Klicken Sie auf den Link für Veröffentlichtes Dataset.

  5. Wählen Sie in der Liste der Tabellen, die für das BigQuery-Dataset angezeigt werden, die Objekttabelle aus, die für den Discovery-Datenscan generiert wurde.

  6. Kopieren Sie die Tabellen-ID. Sie benötigen sie im nächsten Abschnitt.

Ergebnisse von Erkennungsscans ansehen

Sie können die Objekttabelle und die abgeleiteten semantischen Graphen im Knowledge Catalog ansehen.

  1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

    Zur Suche

  2. Fügen Sie die Objekt-ID ein, die Sie im vorherigen Abschnitt ausgewählt haben, und suchen Sie danach.

  3. Klicken Sie in den Suchergebnissen auf die Tabelle, um die zugehörige Eintragsseite zu öffnen.

  4. Prüfen Sie auf dem Tab Details unter Aspekte, ob der Aspekt Graph Profile (dataplex-types.global.graph-profile) vorhanden ist. Dieser Aspekt enthält die abgeleiteten Schemas für Entitäten und Beziehungen.

  5. Klicken Sie auf den Tab Statistiken. Auf dem Tab Statistiken finden Sie die folgenden Informationen:

    • Semantische Extraktion: Ein Banner weist darauf hin, dass extrahierbare Entitäten und Beziehungen erkannt wurden. Sie enthält die Schaltfläche Extrahieren, mit der die Daten mithilfe von SQL oder der Bereitstellung einer Pipeline materialisiert werden können.

    • Beschreibung: Eine KI-generierte, für Menschen lesbare Zusammenfassung erklärt die Inhalte der unstrukturierten Daten. Es beschreibt die primären Knoten (Entitäten), die erkannt wurden, und wie sie durch Kanten (Beziehungen) einander zugeordnet werden.

    • Pipelines: Eine Liste der zuvor bereitgestellten Datenextraktionspipelines, die mit dieser Ressource verknüpft sind. Sie können den Anzeigenamen, die Region, die Erstellungszeit und den Nutzer sehen, der die Pipeline erstellt hat.

    • Abgeleitete Entitäten und Beziehungen: Ein visuelles, interaktives Diagramm zeigt die erkannte semantische Struktur Ihrer unstrukturierten Daten. Das Diagramm enthält Knoten, die unterschiedliche Entitäten darstellen, z. B. Recipe und Ingredient, sowie Kanten, die die Verbindungen zwischen ihnen darstellen, z. B. HasAllergenStatus. Mithilfe der Legende können Sie bestimmte Knoten und Kanten filtern und untersuchen.

    • Entitäten: Eine detaillierte Liste der erkannten primären Einheiten. Sie können jede Einheit maximieren, um die KI-generierte Beschreibung und das abgeleitete Schema zu sehen. Das Schema enthält Feldnamen, Datentypen und Feldbeschreibungen.

    • Beziehungen: Eine detaillierte Liste der erkannten Verbindungen zwischen Entitäten. Sie können jede Beziehung maximieren, um die Beschreibung und das Schema zu sehen, das definiert, wie die Entitäten einander zugeordnet werden.

Abgeleitete Statistiken aktualisieren

Abgeleitete Statistiken werden im Knowledge Catalog als Aspekt gespeichert, der an die Objekttabelle angehängt ist. Sie können diese Statistiken manuell über die REST API aktualisieren.

REST

So aktualisieren Sie abgeleitete Statistiken mit der REST API:

  1. Erstellen Sie eine Datei mit dem Namen payload.json und fügen Sie den JSON-Inhalt des Aspekts hinzu, den Sie aktualisieren möchten. Beispiel:

    {
  "aspects": {
    "dataplex-types.global.graph-profile": {
      "data": {
        "nodeTypes": [],
        "edgeTypes": []
      }
    }
  }
}

  2. Führen Sie in Ihrem Terminal den folgenden Befehl aus:

    curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d @payload.json \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID?updateMask=aspects"

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die ID Ihres Projekts, z. B. example-project
    • LOCATION: der Speicherort des Eintrags, z. B. us-central1
    • ENTRY_GROUP_ID: die ID der Eintragsgruppe, z. B. example-entry-group (für BigQuery-Objekttabellen verwenden Sie @bigquery)
    • ENTRY_ID: die ID des Eintrags, z. B. example-entry (diese finden Sie in der Google Cloud -Konsole auf der Seite mit den Eintragsdetails auf dem Tab Übersicht)

Weitere Informationen und Codebeispiele in anderen Sprachen finden Sie unter Eintragselement aktualisieren.

Daten in BigQuery extrahieren

Sie können die abgeleiteten Einheiten und Beziehungen mithilfe von SQL oder einer automatisierten Pipeline in strukturierte Tabellen oder Ansichten in BigQuery umwandeln.

  1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

    Zur Suche

  2. Suchen Sie nach der Objekttabelle, die durch Ihren Scan generiert wurde.

  3. Klicken Sie in den Suchergebnissen auf die Tabelle, um die zugehörige Eintragsseite zu öffnen.

  4. Klicken Sie auf den Tab Statistiken.

  5. Klicken Sie auf dem Tab Statistiken auf Extraktion.

  6. Wählen Sie je nach Ihren Analyseanforderungen und dem Umfang Ihrer unstrukturierten Daten eine der folgenden Methoden aus:

    • Extract by SQL (Mit SQL extrahieren): Wählen Sie diese Option für schnelle Ad-hoc-Analysen, kleine bis mittelgroße Datasets oder wenn Sie einen Ansatz ohne Infrastruktur mit BigQuery-Remotemodellen verwenden möchten.

      So extrahieren Sie Daten mit SQL:

      1. Wählen Sie Mit SQL extrahieren aus.
      2. Wählen Sie im Bereich Mit SQL extrahieren ein Ziel-Dataset aus. Das Dataset muss sich am selben Standort wie die Quelle befinden.
      3. Klicken Sie auf Extract.
      4. Im BigQuery-Editor wird eine vorausgefüllte Abfrage mit der Funktion ML.PROCESS_DOCUMENT geöffnet. Führen Sie die Abfrage aus, um Standardtabellen und ‑ansichten zu erstellen.

      Weitere Informationen zum Extrahieren von Dokumentinformationen mit SQL finden Sie unter Dokumente mit der Funktion ML.PROCESS_DOCUMENT verarbeiten.

    • Extrahieren nach Pipeline:Wählen Sie diese Option für die Verarbeitung von Daten im großen Maßstab oder wenn Sie eine robuste Wiederholungslogik, Fehlerbehandlung und automatisierte Orchestrierung für die Verarbeitung großer Mengen von Dokumenten benötigen.

      So extrahieren Sie Daten mit einer Pipeline:

      1. Wählen Sie Mit Pipeline extrahieren aus.
      2. Geben Sie im Bereich Mit Pipeline extrahieren einen Anzeigenamen für die Pipeline ein.
      3. Wählen Sie eine Region aus.
      4. Wählen Sie ein Zieldataset aus. Das Dataset muss sich am selben Speicherort wie die Quelle befinden.
      5. Klicken Sie auf Extract. Dadurch wird eine BigQuery-Pipeline erstellt, die die Datenmaterialisierung mit Dataform orchestriert.
      6. Führen Sie alle Aufgaben in der Pipeline aus, um strukturierte Knoten- und Edge-Ansichten zu generieren.

      Weitere Informationen zum Ausführen von Daten-Workflows finden Sie unter Einführung in Dataform.

Nachdem Sie die semantischen Statistiken extrahiert und in BigQuery materialisiert haben, können Sie die folgenden Aufgaben ausführen:

  • Strukturierte Daten abfragen Führen Sie Standard-SQL-Abfragen für die neu erstellten Tabellen aus, um die extrahierten Einheiten und Beziehungen zu analysieren.

  • Mit vorhandenen Daten zusammenführen: Kombinieren Sie die qualitativen Erkenntnisse aus Ihren unstrukturierten Dateien mit Ihren vorhandenen strukturierten BigQuery-Datasets, z. B. durch Zusammenführen von geparsten Rechnungsdaten mit Ihren Buchhaltungstabellen.

  • Datenstatistiken ansehen Mit der Funktion Datenstatistiken in BigQuery Studio können Sie automatisch Fragen in natürlicher Sprache und SQL-Abfragen für Ihre neuen strukturierten Assets generieren lassen.

  • Mit Gemini analysieren Mit Gemini in BigQuery können Sie Analysen auf Grundlage von Unterhaltungen durchführen, Trends zusammenfassen oder Dashboards in Data Studio erstellen, die auf den extrahierten Daten basieren.

Nächste Schritte