在檢索增強生成管道中剖析 PDF

本教學課程會逐步說明如何根據剖析的 PDF 內容，建立檢索增強生成 (RAG) 管道。

由於 PDF 檔案 (例如財務文件) 結構複雜，且包含文字、圖表和表格，因此難以在 RAG 管道中使用。本教學課程說明如何搭配使用 AI.PARSE_DOCUMENT 函式和 Document AI 的版面配置剖析器，根據從 PDF 檔案擷取的關鍵資訊，建構 RAG pipeline。

目標

本教學課程涵蓋下列工作：

• 建立 Cloud Storage bucket 並上傳範例 PDF 檔案。
• 建立 Document AI 處理器，用於剖析 PDF 檔案。
• 使用 AI.PARSE_DOCUMENT 函式將 PDF 內容剖析為區塊，然後將該內容寫入 BigQuery 資料表。
• 從剖析的 PDF 內容生成嵌入項目，然後將這些嵌入項目寫入 BigQuery 資料表。嵌入是 PDF 內容的數值表示法，可讓您對 PDF 內容執行語意搜尋和擷取。
• 在嵌入上使用 VECTOR_SEARCH 函式，找出語意相似的 PDF 內容。
• 使用 AI.GENERATE 函式生成文字，並運用向量搜尋結果加強提示輸入內容，進而提升結果品質，執行檢索增強生成 (RAG) 作業。

費用

在本文件中，您會使用下列 Google Cloud的計費元件：

• BigQuery: You incur costs for the data that you process in BigQuery.
• Gemini Enterprise Agent Platform: You incur costs for calls to Agent Platform models.
• Document AI: You incur costs for calls to the Document AI API.
• Cloud Storage: You incur costs for object storage in Cloud Storage.

如要根據預測用量估算費用，請使用 Pricing Calculator。

初次使用 Google Cloud 的使用者可能符合免費試用期資格。

完成本文所述工作後，您可以刪除建立的資源，避免繼續計費，詳情請參閱「清除所用資源」。

事前準備

控制台

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. 請確認您在專案中具備下列一或多個角色： Storage 管理員、 Document AI 編輯者、 BigQuery 管理員、 專案 IAM 管理員

   檢查角色

   1. 前往 Google Cloud 控制台的「IAM」頁面。

      前往「IAM」頁面
   2. 選取專案。

   3. 在「主體」欄中，找出所有識別您或您所屬群組的資料列。如要瞭解自己所屬的群組，請與管理員聯絡。

   4. 針對指定或包含您的所有列，請檢查「角色」欄，確認角色清單是否包含必要角色。

   授予角色

   1. 前往 Google Cloud 控制台的「IAM」頁面。

      前往「IAM」頁面
   2. 選取專案。
   3. 按一下「Grant access」(授予存取權)。

   4. 在「New principals」(新增主體) 欄位中，輸入您的使用者 ID。 這通常是指 Google 帳戶的電子郵件地址。

   5. 按一下「選取角色」，然後搜尋角色。
   6. 如要授予其他角色，請按一下「Add another role」(新增其他角色)，然後新增其他角色。
   7. 按一下「Save」(儲存)。

gcloud

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

安裝 Google Cloud CLI。

若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

執行下列指令，初始化 gcloud CLI：

gcloud init

建立或選取 Google Cloud 專案。

選取或建立專案所需的角色

• 選取專案：選取專案時，不需要具備特定 IAM 角色，只要您已獲授角色，即可選取任何專案。
• 建立專案：如要建立專案，您需要「專案建立者」角色 (roles/resourcemanager.projectCreator)，其中包含 resourcemanager.projects.create 權限。瞭解如何授予角色。

注意：如果您不打算保留在這項程序中建立的資源，請建立新專案，而不要選取現有專案。完成這些步驟後，您就可以刪除專案，並移除與該專案相關聯的所有資源。

• 建立 Google Cloud 專案：

  gcloud projects create PROJECT_ID

  將 PROJECT_ID 替換為您要建立的 Google Cloud 專案名稱。

• 選取您建立的 Google Cloud 專案：

  gcloud config set project PROJECT_ID

  將 PROJECT_ID 替換為 Google Cloud 專案名稱。

確認專案已啟用計費功能 Google Cloud 。

啟用 BigQuery、BigQuery Connection、Vertex AI、Document AI 和 Cloud Storage API：

啟用 API 時所需的角色

如要啟用 API，您需要具備服務使用情形管理員 IAM 角色 (roles/serviceusage.serviceUsageAdmin)，其中包含 serviceusage.services.enable 權限。瞭解如何授予角色。

gcloud services enable bigquery.googleapis.com bigqueryconnection.googleapis.com aiplatform.googleapis.com documentai.googleapis.com storage.googleapis.com

安裝 Google Cloud CLI。

若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

執行下列指令，初始化 gcloud CLI：

gcloud init

建立或選取 Google Cloud 專案。

選取或建立專案所需的角色

• 選取專案：選取專案時，不需要具備特定 IAM 角色，只要您已獲授角色，即可選取任何專案。
• 建立專案：如要建立專案，您需要「專案建立者」角色 (roles/resourcemanager.projectCreator)，其中包含 resourcemanager.projects.create 權限。瞭解如何授予角色。

注意：如果您不打算保留在這項程序中建立的資源，請建立新專案，而不要選取現有專案。完成這些步驟後，您就可以刪除專案，並移除與該專案相關聯的所有資源。

• 建立 Google Cloud 專案：

  gcloud projects create PROJECT_ID

  將 PROJECT_ID 替換為您要建立的 Google Cloud 專案名稱。

• 選取您建立的 Google Cloud 專案：

  gcloud config set project PROJECT_ID

  將 PROJECT_ID 替換為 Google Cloud 專案名稱。

確認專案已啟用計費功能 Google Cloud 。

啟用 BigQuery、BigQuery Connection、Vertex AI、Document AI 和 Cloud Storage API：

啟用 API 時所需的角色

如要啟用 API，您需要具備服務使用情形管理員 IAM 角色 (roles/serviceusage.serviceUsageAdmin)，其中包含 serviceusage.services.enable 權限。瞭解如何授予角色。

gcloud services enable bigquery.googleapis.com bigqueryconnection.googleapis.com aiplatform.googleapis.com documentai.googleapis.com storage.googleapis.com

1. 將角色授予使用者帳戶。針對下列每個 IAM 角色，執行一次下列指令： roles/storage.admin, roles/documentai.editor, roles/bigquery.admin, roles/resourcemanager.projectIamAdmin

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

   更改下列內容：

   • PROJECT_ID：專案 ID。
   • USER_IDENTIFIER：使用者帳戶的 ID。 例如：[e-mail]。
   • ROLE：授予使用者帳戶的 IAM 角色。

建立資料集

建立 BigQuery 資料集來儲存機器學習模型。

控制台

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery 頁面

2. 在「Explorer」窗格中，按一下專案名稱。

3. 依序點按 「View actions」(查看動作) >「Create dataset」(建立資料集)

4. 在「建立資料集」頁面中，執行下列操作：

   • 在「Dataset ID」(資料集 ID) 中輸入 bqml_tutorial。

   • 針對「位置類型」選取「多區域」，然後選取「美國」。

   • 其餘設定請保留預設狀態，然後按一下「建立資料集」。

bq

如要建立新的資料集，請使用 bq mk --dataset 指令。

1. 建立名為 bqml_tutorial 的資料集，並將資料位置設為 US。

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. 確認資料集已建立完成：

   bq ls

API

請呼叫 datasets.insert 方法，搭配已定義的資料集資源。

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

將範例 PDF 上傳至 Cloud Storage

如要將範例 PDF 上傳至 Cloud Storage，請按照下列步驟操作：

1. 前往 https://www.federalreserve.gov/publications/files/scf23.pdf，然後按一下下載圖示 ，即可下載 scf23.pdf 範例 PDF。
2. 建立 Cloud Storage bucket。
3. 上傳 scf23.pdf 檔案至 bucket。

建立文件處理器

建立文件處理器，以 us 多區域中的版面配置剖析器處理器為基礎。從「處理器詳細資料」頁面複製預測端點，以供下一節使用。

將 PDF 檔案剖析為區塊

使用 AI.PARSE_DOCUMENT 函式搭配文件處理器，將 PDF 檔案剖析為區塊，然後將該內容寫入表格。

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在查詢編輯器中執行下列陳述式：

   CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf
   AS (
     SELECT *
     FROM
       AI.PARSE_DOCUMENT(
         (
           SELECT
             OBJ.MAKE_REF("gs://BUCKET/scf23.pdf") AS ref
         ),
         endpoint => "PREDICTION_ENDPOINT",
         chunk_size => 250)
   );

生成嵌入項目

為剖析的 PDF 內容生成嵌入項目，然後寫入資料表：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在查詢編輯器中執行下列陳述式：

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
     SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005') AS embedding
     FROM bqml_tutorial.parsed_pdf
   );

執行向量搜尋

對剖析的 PDF 內容執行向量搜尋。

下列查詢會接收文字輸入內容、使用 AI.EMBED 函式為該輸入內容建立嵌入，然後使用 VECTOR_SEARCH 函式，將輸入嵌入與最相似的 PDF 內容嵌入進行比對。結果會顯示與家庭淨資產變動最相關的十個 PDF 區塊。

1. 前往「BigQuery」頁面

   前往「BigQuery」

2. 在查詢編輯器中，執行下列 SQL 陳述式：

   SELECT distance, base.chunk_id, base.start_page, base.end_page, base.content
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   輸出結果會與下列內容相似：

   +----------+----------+------------+----------+-----------------------------------+
   | distance | chunk_id | start_page | end_page | content                           |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.645685 | 26       | 17         | 18       | 18 Between the first quarter of   |
   |          |          |            |          | 2019 and the first quarter of...  |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.602665 | 30       | 19         | 21       | ## Net Worth by Family            |
   |          |          |            |          | Characteristics...                |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.599438 | 24       | 17         | 21       | # Net Worth                       |
   |          |          |            |          | The net improvements in...        |
   +----------+----------+------------+----------+-----------------------------------+
   

根據向量搜尋結果生成文字

對嵌入執行向量搜尋，找出語意相似的 PDF 內容，然後搭配向量搜尋結果使用 AI.GENERATE_TEXT 函式，擴增提示輸入內容並提升文字生成結果。在本例中，查詢會使用 PDF 區塊中的資訊，回答有關過去十年家庭淨值變化的問題。

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在查詢編輯器中執行下列陳述式：

   SELECT
     AI.GENERATE(
       CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
               STRING_AGG(FORMAT("context: %s", base.content), ',\n')
       )
     ).result AS response
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')

   輸出結果會與下列內容相似：

   +-------------------------------------------------------------------------+
   | response                                                                |
   +-------------------------------------------------------------------------+
   | Yes, the typical family net worth changed significantly.                |
   |                                                                         |
   | Real median net worth surged 37% between the 2019 and 2022 SCF surveys. |
   | This contrasts sharply with a decade earlier (2010-2013), when real     |
   | median net worth decreased 2%.                                          |
   +-------------------------------------------------------------------------+
   

清除所用資源

為避免因為本教學課程所用資源，導致系統向 Google Cloud 收取費用，請刪除含有相關資源的專案，或者保留專案但刪除個別資源。

刪除專案

注意：刪除專案會造成以下結果：

• 專案中的所有內容都會遭到刪除。如果使用現有專案來進行本文中的任務，刪除專案將一併移除當中已完成的其他任務'。
• 自訂專案 ID 會消失。當您之前建立這個專案時，可能建立了想要在日後使用的自訂專案 ID。如要保留使用該專案 ID 的網址 (例如 appspot.com 網址)，請刪除在該專案中選取的資源，而不是刪除整個專案。

如果打算探索多種架構、教學課程或快速入門導覽課程，重複使用專案可避免超出專案配額限制。

刪除 Google Cloud 專案：

gcloud projects delete PROJECT_ID

後續步驟

- 進一步瞭解 AI.PARSE_DOCUMENT 函式。- 進一步瞭解如何執行語意搜尋和 RAG。