Analizzare i PDF in una pipeline di Retrieval Augmented Generation

Questo tutorial ti guida nella procedura di creazione di una pipeline di generazione Retrieval-Augmented Generation (RAG) basata su contenuti PDF analizzati.

I file PDF, come i documenti finanziari, possono essere difficili da utilizzare nelle pipeline RAG a causa della loro struttura complessa e del mix di testo, cifre e tabelle. Questo tutorial mostra come utilizzare la funzione AI.PARSE_DOCUMENT in combinazione con il parser di layout di Document AI per creare una pipeline RAG basata sulle informazioni chiave estratte da un file PDF.

Obiettivi

Questo tutorial spiega le seguenti attività:

  • Crea un bucket Cloud Storage e carica un file PDF di esempio.
  • Crea un processore Document AI che puoi utilizzare per analizzare il file PDF.
  • Utilizza la funzione AI.PARSE_DOCUMENT per analizzare i contenuti del PDF in blocchi e poi scriverli in una tabella BigQuery.
  • Genera incorporamenti dai contenuti PDF analizzati e poi scrivili in una tabella BigQuery. Gli incorporamenti sono rappresentazioni numeriche dei contenuti PDF che ti consentono di eseguire la ricerca semantica e il recupero dei contenuti PDF.
  • Utilizza la funzione VECTOR_SEARCH sugli incorporamenti per identificare contenuti PDF semanticamente simili.
  • Esegui la Retrieval Augmented Generation (RAG) utilizzando la funzione AI.GENERATE per generare testo, utilizzando i risultati della ricerca vettoriale per migliorare l'input del prompt e migliorare i risultati.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi utenti di Google Cloud potrebbero avere diritto a una prova senza costi.

Al termine delle attività descritte in questo documento, puoi evitare l'addebito di ulteriori costi eliminando le risorse che hai creato. Per saperne di più, consulta Esegui la pulizia.

Prima di iniziare

Console

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

  8. Assicurati di disporre dei seguenti ruoli nel progetto: Amministratore Storage, Editor Document AI, Amministratore BigQuery, Amministratore IAM progetto

    Controlla i ruoli

    1. Nella console Google Cloud vai alla pagina IAM.

      Vai a IAM
    2. Seleziona il progetto.

    3. Nella colonna Entità, trova tutte le righe che identificano te o un gruppo di cui fai parte. Per scoprire a quali gruppi appartieni, contatta il tuo amministratore.

    4. Per tutte le righe che ti specificano o ti includono, controlla la colonna Ruolo per verificare se l'elenco dei ruoli include i ruoli richiesti.

    Concedi i ruoli

    1. Nella console Google Cloud vai alla pagina IAM.

      Vai a IAM
    2. Seleziona il progetto.
    3. Fai clic su Concedi l'accesso.

    4. Nel campo Nuove entità, inserisci il tuo identificatore dell'utente. In genere si tratta dell'indirizzo email di un Account Google.

    5. Fai clic su Seleziona un ruolo, quindi cerca il ruolo.
    6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo successivo.
    7. Fai clic su Salva.

gcloud

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

  2. Installa Google Cloud CLI.

  3. Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  4. Per inizializzare gcloud CLI, esegui questo comando: 

    gcloud init

  5. Crea o seleziona un Google Cloud progetto.

    Ruoli richiesti per selezionare o creare un progetto

    • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
    • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

    • Creare un progetto Google Cloud :

      gcloud projects create PROJECT_ID

      Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

    • Seleziona il progetto Google Cloud che hai creato:

      gcloud config set project PROJECT_ID

      Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

  6. Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .

  7. Abilita le API BigQuery, BigQuery Connection, Vertex AI, Document AI e Cloud Storage:

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli. 

    gcloud services enable bigquery.googleapis.com bigqueryconnection.googleapis.com aiplatform.googleapis.com documentai.googleapis.com storage.googleapis.com

  8. Installa Google Cloud CLI.

  9. Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  10. Per inizializzare gcloud CLI, esegui questo comando: 

    gcloud init

  11. Crea o seleziona un Google Cloud progetto.

    Ruoli richiesti per selezionare o creare un progetto

    • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
    • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

    • Creare un progetto Google Cloud :

      gcloud projects create PROJECT_ID

      Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

    • Seleziona il progetto Google Cloud che hai creato:

      gcloud config set project PROJECT_ID

      Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

  12. Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .

  13. Abilita le API BigQuery, BigQuery Connection, Vertex AI, Document AI e Cloud Storage:

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli. 

    gcloud services enable bigquery.googleapis.com bigqueryconnection.googleapis.com aiplatform.googleapis.com documentai.googleapis.com storage.googleapis.com
    14.

  14. Concedi ruoli al tuo account utente. Esegui il seguente comando una volta per ciascuno dei seguenti ruoli IAM: roles/storage.admin, roles/documentai.editor, roles/bigquery.admin, roles/resourcemanager.projectIamAdmin 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • USER_IDENTIFIER: l'identificatore del tuo account utente . Ad esempio: myemail@example.com.
    • ROLE: il ruolo IAM che concedi al tuo account utente.

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML.

Console

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai alla pagina BigQuery

  2. Nel riquadro Explorer, fai clic sul nome del progetto.

  3. Fai clic su Visualizza azioni > Crea set di dati.

  4. Nella pagina Crea set di dati, segui questi passaggi:

    • In ID set di dati, inserisci bqml_tutorial.

    • Per Tipo di località, seleziona Multi-regione e poi Stati Uniti.

    • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

bq

Per creare un nuovo set di dati, utilizza il comando bq mk --dataset.

  1. Crea un set di dati denominato bqml_tutorial con la località dei dati impostata su US.

    bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial

  2. Verifica che il set di dati sia stato creato:

    bq ls

API

Chiama il metodo datasets.insert con una risorsa dataset definita.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Carica il PDF di esempio su Cloud Storage

Per caricare il PDF di esempio in Cloud Storage:

  1. Scarica il PDF di esempio scf23.pdf all'indirizzo https://www.federalreserve.gov/publications/files/scf23.pdf e fai clic su Scarica .
  2. Crea un bucket Cloud Storage.
  3. Carica il file scf23.pdf nel bucket.

Crea un processore di documenti

Crea un processore di documenti basato sul processore dell'analizzatore sintattico di layout nella multi-regione us. Copia l'endpoint di previsione dalla pagina Dettagli processore da utilizzare nella sezione successiva.

Analizzare il file PDF in blocchi

Utilizza il processore di documenti con la funzione AI.PARSE_DOCUMENT per analizzare il file PDF in blocchi e poi scrivere i contenuti in una tabella.

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor di query, esegui la seguente istruzione: 

    CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf
AS (
  SELECT *
  FROM
    AI.PARSE_DOCUMENT(
      (
        SELECT
          OBJ.MAKE_REF("gs://BUCKET/scf23.pdf") AS ref
      ),
      endpoint => "PREDICTION_ENDPOINT",
      chunk_size => 250)
);

Genera embedding

Genera incorporamenti per i contenuti PDF analizzati e scrivili in una tabella:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor di query, esegui la seguente istruzione:

    CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
  SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005') AS embedding
  FROM bqml_tutorial.parsed_pdf
);

Esegui una ricerca vettoriale sui contenuti PDF analizzati.

La seguente query accetta l'input di testo, crea un embedding per questo input utilizzando la funzione AI.EMBED e poi utilizza la funzione VECTOR_SEARCH per abbinare l'embedding di input agli embedding dei contenuti PDF più simili. I risultati sono i dieci blocchi PDF più correlati alle variazioni del patrimonio netto familiare.

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor di query, esegui la seguente istruzione SQL:

    SELECT distance, base.chunk_id, base.start_page, base.end_page, base.content
FROM
  VECTOR_SEARCH(
    TABLE `bqml_tutorial.embeddings`,
    'embedding',
    query_value =>
      AI.EMBED(
        'Did the typical family net worth increase? If so, by how much?',
        endpoint => 'text-embedding-005').result,
    top_k => 3,
    OPTIONS => '{"fraction_lists_to_search": 0.01}')
ORDER BY distance DESC;

    L'output è simile al seguente:

    +----------+----------+------------+----------+-----------------------------------+
| distance | chunk_id | start_page | end_page | content                           |
+----------+----------+------------+----------+-----------------------------------+
| 0.645685 | 26       | 17         | 18       | 18 Between the first quarter of   |
|          |          |            |          | 2019 and the first quarter of...  |
+----------+----------+------------+----------+-----------------------------------+
| 0.602665 | 30       | 19         | 21       | ## Net Worth by Family            |
|          |          |            |          | Characteristics...                |
+----------+----------+------------+----------+-----------------------------------+
| 0.599438 | 24       | 17         | 21       | # Net Worth                       |
|          |          |            |          | The net improvements in...        |
+----------+----------+------------+----------+-----------------------------------+

Generare testo arricchito dai risultati della ricerca vettoriale

Esegui una ricerca vettoriale sugli incorporamenti per identificare contenuti PDF semanticamente simili, quindi utilizza la funzione AI.GENERATE_TEXT con i risultati della ricerca vettoriale per aumentare l'input del prompt e migliorare i risultati della generazione di testo. In questo caso, la query utilizza le informazioni dei blocchi PDF per rispondere a una domanda sulla variazione del patrimonio netto familiare nell'ultimo decennio.

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor di query, esegui la seguente istruzione:

    SELECT
  AI.GENERATE(
    CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
            STRING_AGG(FORMAT("context: %s", base.content), ',\n')
    )
  ).result AS response
FROM
  VECTOR_SEARCH(
    TABLE `bqml_tutorial.embeddings`,
    'embedding',
    query_value =>
      AI.EMBED(
        'Did the typical family net worth increase? If so, by how much?',
        endpoint => 'text-embedding-005').result,
    top_k => 3,
    OPTIONS => '{"fraction_lists_to_search": 0.01}')

    L'output è simile al seguente:

    +-------------------------------------------------------------------------+
| response                                                                |
+-------------------------------------------------------------------------+
| Yes, the typical family net worth changed significantly.                |
|                                                                         |
| Real median net worth surged 37% between the 2019 and 2022 SCF surveys. |
| This contrasts sharply with a decade earlier (2010-2013), when real     |
| median net worth decreased 2%.                                          |
+-------------------------------------------------------------------------+

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

    Elimina un progetto Google Cloud :

    gcloud projects delete PROJECT_ID

Passaggi successivi

- Scopri di più sulla funzione AI.PARSE_DOCUMENT. - Scopri di più su come eseguire la ricerca semantica e la RAG.