Informazioni sugli approfondimenti sui dati non strutturati

Una scansione del profilo di dati per i dati non strutturati in Knowledge Catalog trasforma i dati oscuri o i file non strutturati, come i PDF in Cloud Storage, in asset strutturati e su cui è possibile eseguire query in BigQuery. Mentre gli strumenti di rilevamento standard sono limitati ai metadati a livello di file, come dimensioni e tipo, una scansione del profilo di dati per i dati non strutturati basata sui modelli Vertex AI Gemini analizza i contenuti dei file. Estrae automaticamente il contesto aziendale necessario per basare gli agenti AI e potenziare l'analisi avanzata.

Questa automazione elimina la necessità di analizzare manualmente i documenti e di utilizzare codice ETL personalizzato, consentendoti di scoprire, classificare e utilizzare dati che in precedenza non erano accessibili.

Una scansione del profilo di dati per i dati non strutturati analizza il contenuto dei file non strutturati per estrarre informazioni e dedurre gli schemi. Questa funzionalità è diversa dalla funzionalità di insight sui dati per i dati strutturati, che genera descrizioni e query SQL in base ai metadati delle tabelle strutturate esistenti, e dalla profilazione statistica standard dei dati, che calcola metriche come i conteggi dei valori nulli e le distribuzioni dei valori.

Rilevamento automatico e profilazione semantica

Puoi eseguire la profilazione dei dati non strutturati utilizzando due flussi di lavoro diversi, a seconda del punto di partenza:

  • Durante una scansione di rilevamento di Cloud Storage: Una scansione di rilevamento individua automaticamente i file non strutturati in Cloud Storage e li cataloga in una o più tabelle di oggetti in BigQuery per l'analisi. Una tabella di oggetti è una tabella di sola lettura degli oggetti di dati non strutturati che risiedono in Cloud Storage. Quando esegui una scansione di rilevamento con l'opzione Attiva inferenza semantica abilitata, questa funge da punto di ingresso automatico per la profilazione dei dati non strutturati.

  • Come scansione del profilo di dati autonoma per i dati non strutturati: se hai già tabelle di oggetti BigQuery esistenti, puoi eseguire una scansione del profilo di dati per i dati non strutturati direttamente su queste tabelle. In questo flusso di lavoro autonomo, puoi anche guidare l'estrazione fornendo un prompt personalizzato nella specifica DataScan.

Quando viene eseguita la profilazione dei dati non strutturati (automaticamente durante una scansione di rilevamento o come scansione autonoma), il sistema registra le tabelle di oggetti come voci in Knowledge Catalog. Una voce rappresenta un asset di dati per il quale acquisisci i metadati. Quando vengono create più tabelle a causa di una scansione di rilevamento, ogni voce ha la propria scheda degli insight. Puoi quindi aprire questa voce per esplorare gli insight sui dati generati. Il sistema esegue queste azioni:

  1. Identifica e raggruppa i file (solo scansione di rilevamento). Identifica e organizza automaticamente i file non strutturati in Cloud Storage in tabelle di oggetti. Queste tabelle di oggetti sono tabelle di sola lettura che forniscono un'interfaccia strutturata ai dati non strutturati.

  2. Esegue una scansione del profilo di dati per i dati non strutturati. Utilizza i modelli Vertex AI Gemini per analizzare il contenuto dei file per comprenderne il significato e la struttura. Ciò include l'inferenza delle entità, che utilizza l'AI generativa per estrarre attributi specifici, ad esempio Company, Product, o Serial Number, dal contenuto del file. Include anche l'estrazione delle relazioni, che identifica il modo in cui queste entità sono collegate, ad esempio Component is_part_of Product, per creare un grafico semantico. Se esegui una scansione di profilazione autonoma, puoi guidare questa estrazione fornendo un prompt personalizzato nella specifica DataScan.

  3. Genera schemi e profili grafici. Fornisce uno schema relazionale suggerito dall'AI e collega un Graph Profile aspetto (dataplex-types.global.graph-profile) alla voce di catalogo che rappresenta la tabella di oggetti. Gli aspetti permettono di acquisire metadati all'interno delle voci. Questo aspetto dei metadati contiene gli schemi dedotti per le entità (NodeType) e le relazioni (EdgeType).

  4. Arricchisce i metadati. Compila automaticamente Knowledge Catalog con i metadati generati dall'AI. In questo modo i dati sono ricercabili e pronti per l'estrazione.

Anziché progettare manualmente gli schemi di database, puoi eseguire l'estrazione dei dati utilizzando l'orchestrazione di pipeline o SQL con un clic. Questo processo materializza le entità e le relazioni dedotte in formati strutturati, come tabelle o viste BigQuery fisiche.

Metodi dell'API

Puoi configurare, eseguire e gestire le scansioni del profilo di dati per i dati non strutturati e le voci di catalogo risultanti utilizzando i seguenti metodi dell'API REST:

Metodo dell'API Descrizione
projects.locations.dataScans.create Crea una scansione di rilevamento (utilizzando dataDiscoverySpec) o una scansione del profilo di dati autonoma per i dati non strutturati (utilizzando unstructuredDataProfileSpec).
projects.locations.dataScans.run Attiva un job di scansione del profilo di dati o di rilevamento on demand per analizzare i file non strutturati e generare insight semantici.
projects.locations.dataScans.get Recupera i dettagli di configurazione e gli ultimi risultati del job di una scansione del profilo di dati esistente.
projects.locations.dataScans.jobs.list Elenca i job di scansione storici per una scansione del profilo di dati o di rilevamento specifica.
projects.locations.dataScans.jobs.get Recupera i log e i risultati di esecuzione dettagliati per un job di scansione del profilo di dati specifico.
projects.locations.entryGroups.entries.get Recupera una voce di catalogo che rappresenta una tabella di oggetti, inclusi gli aspetti dei metadati generati dall'AI collegati (ad esempio GraphProfile).
projects.locations.entryGroups.entries.patch Aggiorna una voce di catalogo per collegare, modificare o curare gli aspetti dei metadati (ad esempio dataplex-types.global.graph-profile).

Casi d'uso

Puoi utilizzare le scansioni del profilo di dati per i dati non strutturati per vari scopi in diversi settori, tra cui:

  • Configurazione della pipeline e normalizzazione zero-ETL. Semplifica l'estrazione dei dati da Cloud Storage a BigQuery sostituendo i parser personalizzati con il suggerimento automatico dello schema e il deployment con un clic per materializzare i dati in tabelle, viste o grafici semantici BigQuery.

    Ad esempio, nell'e-commerce e nella vendita al dettaglio, un marketplace può normalizzare automaticamente le fatture dei fornitori e gli ordini di acquisto in centinaia di layout PDF diversi in uno schema BigQuery coeso e unificato (mapping di Unit Pr., Price/Pkg e Item Cost a una singola colonna Unit_Price) senza scrivere codice di analisi personalizzato. Nel settore sanitario, i biostatistici possono acquisire protocolli di studi clinici multicentrici e questionari (CRF) in tabelle strutturate per un'analisi di coorte rapida.

  • Classificazione e convalida dei contenuti. Raggruppa automaticamente i dati oscuri in asset ricercabili arricchiti con metadati generati dall'AI, consentendo ai responsabili dei dati di eseguire la convalida e il monitoraggio delle entità estratte su larga scala con l'intervento umano.

    Ad esempio, nei servizi finanziari, una banca di investimento che esegue la due diligence per fusioni e acquisizioni può classificare automaticamente grandi repository di contratti storici e accordi di credito, estraendo entità legali complesse (Contracting_Parties, Indemnity_Cap, Governing_Law). I responsabili dei dati possono esplorare il grafico di conoscenza visivo nella scheda Insight per identificare le passività ad alto rischio prima di esportare i dati nei report esecutivi.

  • Grounding degli agenti AI. Basare gli agenti di generazione Retrieval-Augmented Generation (RAG) con grafici verificati. In questo modo si ottiene una chiara "catena di tracciabilità" che collega i file non elaborati alla logica di business strutturata, riducendo le allucinazioni e consentendo agli agenti AI di navigare tra le unioni di più tabelle senza ambiguità.

    Ad esempio, nelle operazioni di produzione e industriali, un'azienda di macchinari pesanti può estrarre le relazioni tra le attrezzature dai log di manutenzione sul campo e dai report sugli incidenti non strutturati di decenni. Quando un tecnico in loco chiede a un agente AI conversazionale come risolvere un calo di pressione idraulica non caratteristico, l'agente utilizza il grafico delle relazioni verificato (Error_Code indicates_failure Hydraulic_Valve) per fornire un piano di riparazione accurato e dettagliato citando la segnalazione di un problema storico esatto.

Limitazioni

Esamina le seguenti limitazioni prima di utilizzare le scansioni del profilo di dati per i dati non strutturati:

  • Formati supportati. Sebbene le scansioni di rilevamento identifichino e raggruppino automaticamente vari tipi di file non strutturati in tabelle di oggetti BigQuery, il motore di inferenza semantica per le scansioni del profilo di dati per i dati non strutturati è ottimizzato principalmente per i documenti PDF.

  • Posizione. Le scansioni del profilo di dati per i dati non strutturati sono disponibili solo nelle località che supportano i modelli Vertex AI Gemini 2.5 Pro (ad esempio, us-central1, europe-west1, asia-southeast1). Per un elenco delle regioni supportate, consulta la sezione Regioni supportate in Gemini 2.5 Pro. Le scansioni create in regioni non supportate restituiscono errori di convalida o di esecuzione.

  • Ambito delle risorse. Le scansioni del profilo di dati per i dati non strutturati operano esclusivamente sulle tabelle di oggetti BigQuery. Non supportano le tabelle strutturate BigQuery standard, le tabelle esterne sui dati strutturati o le viste BigQuery.

Prezzi

Durante la fase di anteprima pubblica, le scansioni del profilo di dati per i dati non strutturati sono disponibili per la sperimentazione e il test in base a termini promozionali specializzati:

  • Inferenza semantica. Non è previsto alcun costo per l'utilizzo dei modelli Vertex AI Gemini per estrarre informazioni semantiche e dedurre i profili grafici durante le scansioni di rilevamento per tutto il periodo di anteprima.

  • Costi delle risorse sottostanti. Vengono applicati gli addebiti standard per le risorse necessarie per archiviare ed elaborare i dati:

    • Knowledge Catalog

      • Le scansioni di rilevamento vengono fatturate in base agli SKU di elaborazione Premium di Knowledge Catalog (ore DCU) per la scansione e il raggruppamento di base dei file non strutturati. Per ulteriori informazioni, consulta la sezione Prezzi di Knowledge Catalog.

      • Gli aspetti dei metadati generati dall'AI, inclusi i profili grafici, comportano addebiti standard per l'archiviazione del catalogo di Knowledge Catalog.

    • BigQuery e Dataform

      • Se utilizzi il metodo di estrazione della pipeline, vengono applicati gli addebiti standard per l'esecuzione di Dataform e i job BigQuery.

      • Se utilizzi il metodo SQL, vengono applicati gli addebiti standard di BigQuery ML (ML.PROCESS_DOCUMENT) e le tariffe di elaborazione delle query BigQuery.

      • Tutti i dati materializzati in BigQuery, incluse le tabelle di oggetti, i metadati dedotti e le entità estratte, comportano addebiti standard per l'archiviazione e le query BigQuery. Per ulteriori informazioni, vedi Prezzi di BigQuery.

Le strutture di fatturazione dedicate ufficiali per le scansioni del profilo di dati per i dati non strutturati e l'inferenza semantica iniziano con la disponibilità generale (GA).

Quote

Le quote standard delle risorse e delle API DataScan si applicano a ogni singolo job di scansione del profilo di dati o di rilevamento. Una quota specifica regola il volume di inferenza semantica: le esecuzioni giornaliere totali delle scansioni del profilo di dati per i dati non strutturati nelle tabelle di oggetti BigQuery sono limitate a 140 esecuzioni per progetto al giorno.

Quando viene eseguita la profilazione dei dati non strutturati durante una scansione di rilevamento, si applicano anche i limiti al numero di tabelle supportate da una scansione di rilevamento. Per ulteriori informazioni, vedi Quote e limiti di BigQuery.

Passaggi successivi