Utilizzare l'analizzatore di layout di Document AI con il motore RAG di Vertex AI

Il controllo di sicurezza VPC-SC è supportato da RAG Engine. I controlli di sicurezza di residenza dei dati, CMEK e AXT non sono supportati.

Questa pagina illustra l'analizzatore sintattico del layout di Document AI e come viene utilizzato con RAG Engine.

Document AI

Document AI è una piattaforma per l'elaborazione e la comprensione dei documenti che acquisisce i dati non strutturati dai documenti e li trasforma in campi adatti per l'archiviazione in un database. I dati strutturati generano dati che puoi comprendere, analizzare e utilizzare.

Document AI è basato sui prodotti di Vertex AI con l'IA generativa per aiutarti a creare applicazioni di elaborazione di documenti scalabili, end-to-end e basate su cloud. Per utilizzare questi prodotti non è richiesta alcuna competenza specializzata in machine learning.

Parser del layout di Document AI

Il parser del layout estrae elementi di contenuto dal documento, ad esempio testo, tabelle ed elenchi. Il parser del layout crea poi blocchi sensibili al contesto che facilitano il recupero di informazioni nell'AI generativa e nelle applicazioni di scoperta.

Quando viene utilizzato per il recupero e la generazione di LLM, il layout del documento viene preso in considerazione durante il processo di suddivisione in blocchi, il che migliora la coerenza semantica e riduce il rumore nei contenuti. Tutto il testo di un chunk proviene dalla stessa entità di layout, ad esempio l'intestazione, il sottotitolo o l'elenco.

Per i tipi di file utilizzati dal rilevamento del layout, consulta Rilevamento del layout per tipo di file.

Utilizzare l'analizzatore di layout in Vertex AI RAG Engine

Per utilizzare l'analizzatore di layout nel motore RAG di Vertex AI, devi creare un corpus. Per creare un corpus:

1. Nella Google Cloud console, vai alla pagina RAG Engine.

   Vai a RAG Engine

2. Seleziona Crea corpus.

3. Nel campo Regione, seleziona la tua regione.

4. Nel campo Nome del corpus, inserisci il nome del corpus.

5. Nel campo Descrizione, inserisci una descrizione.

6. Nella sezione Dati, seleziona dove vuoi caricare i dati.

7. Espandi la sezione Opzioni avanzate.

   1. Nella sezione Strategia di suddivisione in blocchi, sono consigliate le seguenti dimensioni predefinite:

      • Dimensione chunking: 1024
      • Sovrapposizione dei chunk: 256

   2. Nella sezione Parser del layout, seleziona l'opzione Parser LLM, che offre la massima precisione per i documenti con immagini o grafici.

      1. Nel campo Modello, seleziona il modello.

      2. (Facoltativo) Nel campo Numero massimo di richieste di analisi al minuto, inserisci il numero massimo di richieste di analisi.

      3. (Facoltativo) Nel campo Prompt di analisi personalizzato, inserisci il prompt di analisi.

      4. Fai clic su Continua.

8. Nella pagina Configura datastore vettoriale, segui questi passaggi:

   1. Nel campo Modello di embedding, seleziona il modello di embedding.

   2. Nella sezione Database di vettori, seleziona il database.

9. Fai clic su Crea corpus.

Limitazioni

L'API ImportRagFiles supporta l'analisi del layout, tuttavia si applicano i seguenti limiti:

• Inserisci la dimensione massima del file di 20 MB per tutti i tipi di file.
• È possibile inserire un massimo di 500 pagine per file PDF.

Si applicano le quote e i prezzi di Document AI.

Abilita l'API Document AI

Devi abilitare l'API Document AI per il progetto. Per ulteriori informazioni sull'abilitazione delle API, consulta la documentazione di Service Usage.

Enable the Document AI API.

Enable the API

Attivare l'analizzatore del layout

Per attivare l'analisi del layout:

1. Crea un'analisi del layout seguendo le istruzioni riportate in Creare e gestire i processori.

   Il nome del tipo di processore è LAYOUT_PARSER_PROCESSOR.

2. Attiva l'analisi del layout seguendo le istruzioni riportate in Attivare un processore.

La tua knowledge base (corpus) RAG

Se non hai un corpus RAG, creane uno. Ad esempio, consulta Esempio di creazione di un corpus RAG.

Se hai già un corpus RAG, i file esistenti importati senza un parser del layout non verranno reimportati quando importi i file utilizzando il parser del layout. Se vuoi utilizzare un'analisi del layout con i tuoi file, eliminali prima. Ad esempio, consulta l'esempio di eliminazione di un file RAG.

Importazione dei file utilizzando il parser di layout

I file e le cartelle di varie origini possono essere importati utilizzando l'analizzatore del layout.

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Python.

Sostituisci le seguenti variabili utilizzate nell'esempio di codice:

• PROJECT_ID: il tuo ID progetto.
• LOCATION: la regione in cui elaborare la richiesta.
• RAG_CORPUS_ID: l'ID della risorsa del corpus RAG.
• GCS_URIS: un elenco di località di Cloud Storage. Ad esempio: "gs://my-bucket1", "gs://my-bucket2".
• LAYOUT_PARSER_PROCESSOR_NAME: il percorso della risorsa al processatore del parser del layout creato. Ad esempio: "projects/{project}/locations/{location}/processors/{processor_id}".
• CHUNK_SIZE: facoltativo. Il numero di token che deve avere ogni chunk.

from vertexai import rag
import vertexai

PROJECT_ID = YOUR_PROJECT_ID
corpus_name = "projects/{PROJECT_ID}/locations/us-central1/ragCorpora/{rag_corpus_id}"
paths = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]  # Supports Cloud Storage and Google Drive.

# Initialize Vertex AI API once per session
vertexai.init(project=PROJECT_ID, location="us-central1")

response = rag.import_files(
    corpus_name=corpus_name,
    paths=paths,
    transformation_config=rag.TransformationConfig(
        rag.ChunkingConfig(chunk_size=1024, chunk_overlap=256)
    ),
    import_result_sink="gs://sample-existing-folder/sample_import_result_unique.ndjson",  # Optional: This must be an existing storage bucket folder, and the filename must be unique (non-existent).
    llm_parser=rag.LlmParserConfig(
      model_name="gemini-2.5-pro-preview-05-06",
      max_parsing_requests_per_min=100,
    ),  # Optional
    max_embedding_requests_per_min=900,  # Optional
)
print(f"Imported {response.imported_rag_files} files.")

REST

Il esempio di codice mostra come importare i file di Cloud Storage utilizzando il parser del layout. Per altre opzioni di configurazione, inclusa l'importazione di file da un'altra fonte, consulta la documentazione di riferimento di ImportRagFilesConfig.

Prima di utilizzare i dati della richiesta, sostituisci le seguenti variabili utilizzate nell'esempio di codice:

• PROJECT_ID: il tuo ID progetto.
• LOCATION: la regione in cui elaborare la richiesta.
• RAG_CORPUS_ID: l'ID della risorsa del corpus RAG.
• GCS_URIS: un elenco di località di Cloud Storage. Ad esempio: "gs://my-bucket1", "gs://my-bucket2".
• LAYOUT_PARSER_PROCESSOR_NAME: il percorso della risorsa al processatore del parser del layout creato. Ad esempio: "projects/{project}/locations/{location}/processors/{processor_id}".
• CHUNK_SIZE: facoltativo. Il numero di token che deve avere ogni chunk.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import

Corpo JSON della richiesta:

{
  "import_rag_files_config": {
    "gcs_source": {
      "uris": "GCS_URIS"
    },
    "rag_file_parsing_config": {
      "layout_parser": {
        "processor_name": "LAYOUT_PARSER_PROCESSOR_NAME"
      }
    },
    "rag_file_transformation_config": {
      "rag_file_chunking_config": {
        "fixed_length_chunking": {
          "chunk_size": CHUNK_SIZE
        }
      }
    },
  }
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando Google Cloud con il tuo account utente eseguendo gcloud CLI init o gcloud CLI auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando Google Cloud . Puoi controllare l'account attivo eseguendo gcloud CLI auth list.

Salva il corpo della richiesta in un file denominato request.json ed esegui il seguente comando:

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import"

Powershell

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud CLI init o gcloud CLI auth login. Puoi controllare l'account attivo eseguendo gcloud CLI auth list.

Salva il corpo della richiesta in un file denominato request.json ed esegui il seguente comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_ID/ragFiles:import" | Select-Object -Expand Content

Query di recupero

Quando un utente pone una domanda o fornisce un prompt, il componente di recupero in RAG esamina la knowledge base per trovare informazioni pertinenti alla query.

Per un esempio di recupero di file RAG da un corpus in base al testo di una query, consulta Query di recupero.

Previsione

La previsione genera una risposta fondata utilizzando i contesti recuperati. Per un esempio, consulta Generare.

Passaggi successivi

• Scelte di database vettoriali in Vertex AI RAG Engine
• Per scoprire come importare i file RAG, consulta l'esempio di importazione dei file RAG.