Statistiken zu unstrukturierten Daten

Bei einem Datenprofilscan für unstrukturierte Daten in Knowledge Catalog werden Dark Data oder unstrukturierte Dateien wie PDFs in Cloud Storage in strukturierte, abfragbare Assets in BigQuery umgewandelt. Während Standard-Erkennungstools auf Metadaten auf Dateiebene wie Größe und Typ beschränkt sind, werden bei einem Datenprofilscan für unstrukturierte Daten, der auf Vertex AI Gemini-Modellen basiert, die Dateiinhalte analysiert. Dabei wird automatisch der geschäftliche Kontext extrahiert, der erforderlich ist, um KI-Agenten zu fundieren und erweiterte Analysen zu ermöglichen.

Durch diese Automatisierung entfällt die manuelle Dokumentanalyse und der benutzerdefinierte ETL-Code. So können Sie Daten ermitteln, klassifizieren und verwenden, die zuvor nicht zugänglich waren.

Bei einem Datenprofilscan für unstrukturierte Daten wird der Inhalt unstrukturierter Dateien analysiert, um Informationen zu extrahieren und Schemas abzuleiten. Dies unterscheidet sich von der Funktion „Data Insights für strukturierte Daten “, bei der Beschreibungen und SQL-Abfragen auf Grundlage der Metadaten vorhandener strukturierter Tabellen generiert werden, und von der Standard-Datenprofilerstellung, bei der Messwerte wie Nullwerte und Wertverteilungen berechnet werden.

Automatisierte Erkennung und semantische Profilerstellung

Je nach Ausgangspunkt können Sie die Profilerstellung für unstrukturierte Daten mit zwei verschiedenen Workflows durchführen:

  • Während eines Cloud Storage-Erkennungsscans: Bei einem Erkennungs scan werden Ihre unstrukturierten Dateien automatisch in Cloud Storage gesucht und in einer oder mehreren Objekttabellen in BigQuery zur Analyse katalogisiert. Eine Objekttabelle ist eine schreibgeschützte Tabelle über unstrukturierte Datenobjekte, die sich in Cloud Storage befinden. Wenn Sie einen Erkennungsscan mit aktivierter Option Semantische Inferenz aktivieren ausführen, dient er als automatisierter Einstiegspunkt für die Profilerstellung für unstrukturierte Daten.

  • Als eigenständiger Datenprofilscan für unstrukturierte Daten:Wenn Sie bereits BigQuery-Objekttabellen haben, können Sie einen Datenprofilscan für unstrukturierte Daten direkt für diese Tabellen ausführen. In diesem eigenständigen Workflow können Sie die Extraktion auch steuern, indem Sie in der DataScan-Spezifikation einen benutzerdefinierten Prompt angeben.

Wenn die Profilerstellung für unstrukturierte Daten durchgeführt wird (entweder automatisch während eines Erkennungsscans oder als eigenständiger Scan), werden die Objekttabellen als Einträge in Knowledge Catalog registriert. Ein Eintrag stellt ein Daten-Asset dar, für das Sie Metadaten erfassen. Wenn aufgrund eines Erkennungsscans mehrere Tabellen erstellt werden, hat jeder Eintrag einen eigenen Tab „Statistiken“. Sie können diesen Eintrag dann öffnen, um die generierten Data Insights zu untersuchen. Das System führt folgende Aktionen aus:

  1. Dateien identifizieren und gruppieren (nur Erkennungsscan) Unstrukturierte Dateien in Cloud Storage werden automatisch identifiziert und in Objekttabellen organisiert. Diese Objekttabellen sind schreibgeschützte Tabellen, die eine strukturierte Schnittstelle zu Ihren unstrukturierten Daten bieten.

  2. Datenprofilscan für unstrukturierte Daten ausführen Vertex AI Gemini-Modelle werden verwendet, um den Inhalt der Dateien zu analysieren und ihre Bedeutung und Struktur zu verstehen. Dazu gehört die Entitätsinferenz, bei der generative KI verwendet wird, um bestimmte Attribute zu extrahieren, z. B. Company, Product, oder Serial Number, aus dem Dateiinhalts. Außerdem wird die Beziehungsextraktion verwendet, um zu ermitteln, wie diese Entitäten miteinander verbunden sind, z. B. Component is_part_of Product, um einen semantischen Graphen zu erstellen. Wenn Sie einen eigenständigen Profilscan ausführen, können Sie diese Extraktion steuern, indem Sie in der DataScan-Spezifikation einen benutzerdefinierten Prompt angeben.

  3. Schemas und Graphprofile generieren Es wird ein von der KI vorgeschlagenes relationales Schema bereitgestellt und dem Katalogeintrag, der die Objekttabelle darstellt, ein Graph Profile Aspekt (dataplex-types.global.graph-profile) angehängt. Aspekte werden verwendet, um Metadaten in Einträgen zu erfassen. Dieser Metadatenaspekt enthält die abgeleiteten Schemas für die Entitäten (NodeType) und Beziehungen (EdgeType).

  4. Metadaten anreichern Knowledge Catalog wird automatisch mit von der KI generierten Metadaten gefüllt. Dadurch können die Daten durchsucht und für die Extraktion vorbereitet werden.

Anstatt Datenbankschemas manuell zu entwerfen, können Sie die Datenextraktion mit SQL- oder Pipeline-Orchestrierung mit einem Klick durchführen. Bei diesem Prozess werden abgeleitete Entitäten und Beziehungen in strukturierte Formate wie physische BigQuery-Tabellen oder -Ansichten umgewandelt.

API-Methoden

Mit den folgenden REST API-Methoden können Sie Datenprofilscans für unstrukturierte Daten und die daraus resultierenden Katalogeinträge konfigurieren, ausführen und verwalten:

API-Methode Beschreibung
projects.locations.dataScans.create Erstellt einen Erkennungsscan (dataDiscoverySpec) oder einen eigenständigen Datenprofilscan für unstrukturierte Daten (unstructuredDataProfileSpec).
projects.locations.dataScans.run Löst einen On-Demand-Datenprofilscan oder einen Erkennungsscan-Job aus, um unstrukturierte Dateien zu analysieren und semantische Statistiken zu generieren.
projects.locations.dataScans.get Ruft die Konfigurationsdetails und die neuesten Job-Ergebnisse eines vorhandenen Datenprofilscans ab.
projects.locations.dataScans.jobs.list Listet frühere Scan-Jobs für einen bestimmten Datenprofilscan oder Erkennungsscan auf.
projects.locations.dataScans.jobs.get Ruft detaillierte Ausführungsergebnisse und Logs für einen bestimmten Datenprofilscan-Job ab.
projects.locations.entryGroups.entries.get Ruft einen Katalogeintrag ab, der eine Objekttabelle darstellt, einschließlich der angehängten von der KI generierten Metadatenaspekte (z. B. GraphProfile).
projects.locations.entryGroups.entries.patch Aktualisiert einen Katalogeintrag, um Metadatenaspekte anzuhängen, zu ändern oder zu kuratieren (z. B. dataplex-types.global.graph-profile).

Anwendungsfälle

Sie können Datenprofilscans für unstrukturierte Daten für verschiedene Zwecke in unterschiedlichen Branchen verwenden, z. B.:

  • Pipeline-Einrichtung und Zero-ETL-Normalisierung Erleichtern Sie die Datenextraktion aus Cloud Storage nach BigQuery, indem Sie benutzerdefinierte Parser durch automatische Schemavorschläge und die Bereitstellung mit einem Klick ersetzen, um Daten in BigQuery-Tabellen, -Ansichten oder semantischen Graphen zu materialisieren.

    Im E‑Commerce und Einzelhandel kann ein Marktplatz beispielsweise Lieferantenrechnungen und Bestellungen in Hunderten von unterschiedlichen PDF-Layouts automatisch in ein einheitliches BigQuery-Schema normalisieren (Zuordnung von Unit Pr., Price/Pkg und Item Cost zu einer einzelnen Spalte Unit_Price), ohne benutzerdefinierten Parsing-Code schreiben zu müssen. Im Gesundheitswesen können Biostatistiker Protokolle für multizentrische klinische Studien und Fallberichtsformulare (Case Report Forms, CRFs) in strukturierte Tabellen aufnehmen, um schnelle Kohortenanalysen durchzuführen.

  • Inhaltsklassifizierung und ‑validierung Dark Data werden automatisch in durchsuchbare Assets gruppiert, die mit von der KI generierten Metadaten angereichert sind. So können Datenverantwortliche die Validierung und Überwachung extrahierter Entitäten im großen Maßstab durchführen.

    In den Finanzdienstleistungen kann eine Investmentbank, die eine Due-Diligence-Prüfung im Rahmen einer Fusion oder Übernahme durchführt, beispielsweise große Repositories mit historischen Verträgen und Kreditvereinbarungen automatisch klassifizieren und komplexe Rechtseinheiten extrahieren (Contracting_Parties, Indemnity_Cap, Governing_Law). Datenverantwortliche können den visuellen Knowledge Graph auf dem Tab Statistiken untersuchen, um risikoreiche Verbindlichkeiten zu identifizieren, bevor sie Daten in Managementberichte exportieren.

  • KI-Agenten fundieren Fundieren Sie Retrieval-Augmented Generation (RAG)-Agenten mit verifizierten Graphen. So entsteht eine klare „Kette der Nachvollziehbarkeit“, die Rohdateien mit strukturierter Geschäftslogik verbindet. Dadurch werden Halluzinationen reduziert und KI-Agenten können mehrtabellare Joins ohne Unklarheiten ausführen.

    In der Fertigung und im industriellen Betrieb kann ein Unternehmen für schwere Maschinen beispielsweise Beziehungen zwischen Geräten aus jahrzehntelangen unstrukturierten Wartungsprotokollen und Vorfallberichten extrahieren. Wenn ein Techniker vor Ort einen Conversational AI-Agenten fragt, wie er einen ungewöhnlichen Abfall des Hydraulik drucks beheben kann, verwendet der Agent den verifizierten Beziehungs-Graph (Error_Code indicates_failure Hydraulic_Valve), um einen genauen Schritt-für-Schritt Reparaturplan zu liefern, in dem der genaue Vorfallbericht zitiert wird.

Beschränkungen

Beachten Sie die folgenden Einschränkungen, bevor Sie Datenprofilscans für unstrukturierte Daten verwenden:

  • Unterstützte Formate Bei Erkennungsscans werden verschiedene unstrukturierte Dateitypen automatisch identifiziert und in BigQuery-Objekttabellen gruppiert. Die semantische Inferenz-Engine für Datenprofilscans für unstrukturierte Daten ist jedoch hauptsächlich für PDF-Dokumente optimiert.

  • Standorte Datenprofilscans für unstrukturierte Daten sind nur verfügbar an Standorten, die Vertex AI Gemini 2.5 Pro-Modelle unterstützen (z. B. us-central1, europe-west1, asia-southeast1). Eine Liste der unterstützten Regionen finden Sie im Abschnitt Unterstützte Regionen unter Gemini 2.5 Pro. Bei Scans, die in nicht unterstützten Regionen erstellt wurden, werden Validierungs- oder Ausführungsfehler zurückgegeben.

  • Ressourcenbereich Datenprofilscans für unstrukturierte Daten werden ausschließlich für BigQuery-Objekttabellen ausgeführt. Standardmäßige strukturierte BigQuery-Tabellen, externe Tabellen mit strukturierten Daten oder BigQuery-Ansichten werden nicht unterstützt.

Preise

Während der öffentlichen Vorschau sind Datenprofilscans für unstrukturierte Daten für Tests und Experimente zu speziellen Aktionsbedingungen verfügbar:

  • Semantische Inferenz Die Verwendung von Vertex AI Gemini-Modellen zum Extrahieren semantischer Informationen und zum Ableiten von Graphprofilen während Erkennungsscans ist während der gesamten Vorschauzeit kostenlos.

  • Kosten für zugrunde liegende Ressourcen Für die Ressourcen, die zum Speichern und Verarbeiten Ihrer Daten erforderlich sind, fallen die Standardgebühren an:

    • Knowledge Catalog

      • Erkennungsscans werden basierend auf den Knowledge Catalog Premium-Verarbeitungs-SKUs (DCU-Stunden) für das Scannen und Gruppieren unstrukturierter Dateien abgerechnet. Weitere Informationen finden Sie unter Knowledge Catalog-Preise.

      • Für von der KI generierte Metadatenaspekte, einschließlich Graphprofile, fallen die Standardgebühren für die Speicherung von Knowledge Catalog-Katalogen an.

    • BigQuery und Dataform

      • Bei Verwendung der Pipeline-Extraktionsmethode fallen die Standardgebühren für die Dataform-Ausführung und BigQuery-Jobs an.

      • Bei Verwendung der SQL-Methode fallen die Standardgebühren für BigQuery ML (ML.PROCESS_DOCUMENT) und die Gebühren für die BigQuery-Abfrageverarbeitung an.

      • Für alle Daten, die in BigQuery materialisiert werden, einschließlich Objekttabellen, abgeleiteter Metadaten und extrahierter Entitäten, fallen die Standardgebühren für BigQuery-Speicher und ‑Abfragen an. Weitere Informationen finden Sie unter BigQuery Preise.

Offizielle Abrechnungsstrukturen für Datenprofilscans für unstrukturierte Daten und semantische Inferenz werden mit der allgemeinen Verfügbarkeit eingeführt.

Kontingente

Für jeden einzelnen Erkennungsscan oder Datenprofilscan-Job gelten die Standardkontingente für DataScan-Ressourcen und ‑APIs. Für das Volumen der semantischen Inferenz gilt ein bestimmtes Kontingent: Die Gesamtzahl der täglichen Ausführungen von Datenprofilscans für unstrukturierte Daten in BigQuery-Objekttabellen ist auf 140 Ausführungen pro Projekt und Tag begrenzt.

Wenn die Profilerstellung für unstrukturierte Daten während eines Erkennungsscans durchgeführt wird, gelten auch die Limits für die Anzahl der Tabellen, die ein Erkennungsscan unterstützt. Weitere Informationen finden Sie unter BigQuery-Kontingente und ‑Limits.

Nächste Schritte