PDFs in einer Retrieval-Augmented-Generation-Pipeline parsen

In dieser Anleitung erfahren Sie, wie Sie eine RAG-Pipeline (Retrieval-Augmented Generation) auf Grundlage von geparsten PDF-Inhalten erstellen.

PDF-Dateien, z. B. Finanzdokumente, können aufgrund ihrer komplexen Struktur und der Mischung aus Text, Abbildungen und Tabellen schwierig in RAG-Pipelines zu verwenden sein. In dieser Anleitung erfahren Sie, wie Sie die AI.PARSE_DOCUMENT-Funktion in Kombination mit dem Layout-Parser von Document AI verwenden, um eine RAG-Pipeline zu erstellen, die auf Schlüsselinformationen basiert, die aus einer PDF-Datei extrahiert wurden.

Ziele

In dieser Anleitung werden die folgenden Aufgaben behandelt:

  • Cloud Storage-Bucket erstellen und eine Beispiel-PDF-Datei hochladen
  • Erstellen Sie einen Document AI-Prozessor, mit dem Sie die PDF-Datei parsen können.
  • Verwenden Sie die Funktion AI.PARSE_DOCUMENT, um den PDF-Inhalt in Chunks zu parsen und dann in eine BigQuery-Tabelle zu schreiben.
  • Generieren Sie Einbettungen aus dem geparsten PDF-Inhalt und schreiben Sie diese Einbettungen dann in eine BigQuery-Tabelle. Einbettungen sind numerische Darstellungen des PDF-Inhalts, mit denen Sie eine semantische Suche und den Abruf von PDF-Inhalten durchführen können.
  • Verwenden Sie die Funktion VECTOR_SEARCH für die Einbettungen, um semantisch ähnliche PDF-Inhalte zu identifizieren.
  • Führen Sie RAG (Retrieval Augmented Generation) durch, indem Sie die Funktion AI.GENERATE verwenden, um Text zu generieren, und Vektorsuchergebnisse verwenden, um die Prompt-Eingabe zu erweitern und die Ergebnisse zu verbessern.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.

Neuen Nutzern von Google Cloud steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweis

Console

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

  8. Sie benötigen die folgenden Rollen für das Projekt: Storage-Administrator, Document AI-Bearbeiter, BigQuery-Administrator, Project IAM-Administrator

    Rollen prüfen

    1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

      IAM aufrufen
    2. Wählen Sie das Projekt aus.

    3. Suchen Sie in der Spalte Hauptkonto nach allen Zeilen, in denen Sie oder eine Gruppe, zu der Sie gehören, angegeben sind. Fragen Sie Ihren Administrator, zu welchen Gruppen Sie gehören.

    4. Prüfen Sie in allen Zeilen, in denen Sie angegeben oder enthalten sind, die Spalte Rolle, um zu sehen, ob die Liste der Rollen die erforderlichen Rollen enthält.

    Rollen zuweisen

    1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

      IAM aufrufen
    2. Wählen Sie das Projekt aus.
    3. Klicken Sie auf Zugriffsrechte erteilen.

    4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Das ist in der Regel die E‑Mail-Adresse eines Google-Kontos.

    5. Klicken Sie auf Rolle auswählen und suchen Sie nach der Rolle.
    6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
    7. Klicken Sie auf Speichern.

gcloud

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. Installieren Sie die Google Cloud CLI.

  3. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  4. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

    gcloud init

  5. Erstellen Sie ein Google Cloud Projekt oder wählen Sie eines aus.

    Rollen, die zum Auswählen oder Erstellen eines Projekts erforderlich sind

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Weitere Informationen zum Zuweisen von Rollen

    • So erstellen Sie ein Google Cloud -Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud -Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Projekts in Google Cloud .

  6. Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

  7. Aktivieren Sie die BigQuery API, die BigQuery Connection API, die Vertex AI API, die Document AI API und die Cloud Storage API:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen 

    gcloud services enable bigquery.googleapis.com bigqueryconnection.googleapis.com aiplatform.googleapis.com documentai.googleapis.com storage.googleapis.com

  8. Installieren Sie die Google Cloud CLI.

  9. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  10. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

    gcloud init

  11. Erstellen Sie ein Google Cloud Projekt oder wählen Sie eines aus.

    Rollen, die zum Auswählen oder Erstellen eines Projekts erforderlich sind

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Weitere Informationen zum Zuweisen von Rollen

    • So erstellen Sie ein Google Cloud -Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud -Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Projekts in Google Cloud .

  12. Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

  13. Aktivieren Sie die BigQuery API, die BigQuery Connection API, die Vertex AI API, die Document AI API und die Cloud Storage API:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen 

    gcloud services enable bigquery.googleapis.com bigqueryconnection.googleapis.com aiplatform.googleapis.com documentai.googleapis.com storage.googleapis.com
    14.

  14. Weisen Sie Ihrem Nutzerkonto Rollen zu. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus: roles/storage.admin, roles/documentai.editor, roles/bigquery.admin, roles/resourcemanager.projectIamAdmin 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Ihre Projekt-ID.
    • USER_IDENTIFIER: Die Kennung für Ihr Nutzerkonto . Beispiel: myemail@example.com
    • ROLE: Die IAM-Rolle, die Sie Ihrem Nutzerkonto zuweisen.

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.

Console

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    Zur Seite "BigQuery"

  2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

  3. Klicken Sie auf  Aktionen ansehen > Dataset erstellen.

  4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

    • Geben Sie unter Dataset-ID bqml_tutorial ein.

    • Wählen Sie als Standorttyp die Option Multiregional und dann USA aus.

    • Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk --dataset.

  1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial und legen Sie den Datenspeicherort auf US fest.

    bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial

  2. Prüfen Sie, ob das Dataset erstellt wurde:

    bq ls

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Beispiel-PDF in Cloud Storage hochladen

So laden Sie das Beispiel-PDF in Cloud Storage hoch:

  1. Laden Sie die scf23.pdf-Beispiel-PDF-Datei unter https://www.federalreserve.gov/publications/files/scf23.pdf herunter, indem Sie auf „Herunterladen“  klicken.
  2. Cloud Storage-Bucket erstellen
  3. Laden Sie die Datei scf23.pdf in den Bucket hoch.

Dokumentprozessor erstellen

Erstellen Sie einen Dokumentprozessor, der auf dem Prozessor für Layoutparser in der multiregionalen Region us basiert. Kopieren Sie den Vorhersageendpunkt von der Seite Prozessordetails, um ihn im nächsten Abschnitt zu verwenden.

PDF-Datei in Abschnitte parsen

Verwenden Sie den Dokumentprozessor mit der Funktion AI.PARSE_DOCUMENT, um die PDF-Datei in Chunks zu parsen und die Inhalte dann in eine Tabelle zu schreiben.

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor folgende Abfrage aus: 

    CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf
AS (
  SELECT *
  FROM
    AI.PARSE_DOCUMENT(
      (
        SELECT
          OBJ.MAKE_REF("gs://BUCKET/scf23.pdf") AS ref
      ),
      endpoint => "PREDICTION_ENDPOINT",
      chunk_size => 250)
);

Einbettungen generieren

Generieren Sie Einbettungen für den geparsten PDF-Inhalt und schreiben Sie sie dann in eine Tabelle:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor folgende Abfrage aus:

    CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
  SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005') AS embedding
  FROM bqml_tutorial.parsed_pdf
);

Führen Sie eine Vektorsuche für die geparsten PDF-Inhalte aus.

In der folgenden Abfrage wird Texteingabe verwendet, eine Einbettung für diese Eingabe mit der Funktion AI.EMBED erstellt und dann die Funktion VECTOR_SEARCH verwendet, um die Eingabe-Einbettung mit den ähnlichsten PDF-Inhaltseinbettungen abzugleichen. Die Ergebnisse sind die zehn PDF-Abschnitte, die am stärksten mit Änderungen des Familiennettovermögens in Verbindung stehen.

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor folgende SQL-Anweisung aus:

    SELECT distance, base.chunk_id, base.start_page, base.end_page, base.content
FROM
  VECTOR_SEARCH(
    TABLE `bqml_tutorial.embeddings`,
    'embedding',
    query_value =>
      AI.EMBED(
        'Did the typical family net worth increase? If so, by how much?',
        endpoint => 'text-embedding-005').result,
    top_k => 3,
    OPTIONS => '{"fraction_lists_to_search": 0.01}')
ORDER BY distance DESC;

    Die Ausgabe sieht etwa so aus:

    +----------+----------+------------+----------+-----------------------------------+
| distance | chunk_id | start_page | end_page | content                           |
+----------+----------+------------+----------+-----------------------------------+
| 0.645685 | 26       | 17         | 18       | 18 Between the first quarter of   |
|          |          |            |          | 2019 and the first quarter of...  |
+----------+----------+------------+----------+-----------------------------------+
| 0.602665 | 30       | 19         | 21       | ## Net Worth by Family            |
|          |          |            |          | Characteristics...                |
+----------+----------+------------+----------+-----------------------------------+
| 0.599438 | 24       | 17         | 21       | # Net Worth                       |
|          |          |            |          | The net improvements in...        |
+----------+----------+------------+----------+-----------------------------------+

Durch Vektorsuchergebnisse erweiterten Text generieren

Führen Sie eine Vektorsuche für die Einbettungen durch, um semantisch ähnliche PDF-Inhalte zu identifizieren. Verwenden Sie dann die Funktion AI.GENERATE_TEXT mit den Vektorsuchergebnissen, um die Prompt-Eingabe zu erweitern und die Ergebnisse der Textgenerierung zu verbessern. In diesem Fall werden in der Abfrage Informationen aus den PDF-Chunks verwendet, um eine Frage zur Änderung des Familiennettovermögens im letzten Jahrzehnt zu beantworten.

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Führen Sie im Abfrageeditor folgende Abfrage aus:

    SELECT
  AI.GENERATE(
    CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
            STRING_AGG(FORMAT("context: %s", base.content), ',\n')
    )
  ).result AS response
FROM
  VECTOR_SEARCH(
    TABLE `bqml_tutorial.embeddings`,
    'embedding',
    query_value =>
      AI.EMBED(
        'Did the typical family net worth increase? If so, by how much?',
        endpoint => 'text-embedding-005').result,
    top_k => 3,
    OPTIONS => '{"fraction_lists_to_search": 0.01}')

    Die Ausgabe sieht in etwa so aus:

    +-------------------------------------------------------------------------+
| response                                                                |
+-------------------------------------------------------------------------+
| Yes, the typical family net worth changed significantly.                |
|                                                                         |
| Real median net worth surged 37% between the 2019 and 2022 SCF surveys. |
| This contrasts sharply with a decade earlier (2010-2013), when real     |
| median net worth decreased 2%.                                          |
+-------------------------------------------------------------------------+

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

    Google Cloud -Projekt löschen:

    gcloud projects delete PROJECT_ID

Nächste Schritte

– Weitere Informationen zur AI.PARSE_DOCUMENT-Funktion – Weitere Informationen zur semantischen Suche und zu RAG