在 Visual Studio Code 中使用資料工程代理程式

預覽

這項功能適用《服務專屬條款》中「一般服務條款」一節的《正式發布前產品條款》。正式發布前功能是依「原樣」提供，支援服務可能受限。 詳情請參閱推出階段說明。

附註： 如要提供意見回饋或提出與這項預先發布版功能相關的問題，請傳送電子郵件至 [e-mail]。

Google Cloud Data Agent Kit 擴充功能的資料工程代理可協助您在整合式開發環境 (IDE) 中建立及建構調度管理管道。資料工程代理會運用 Gemini for Google Cloud提供自然語言介面，自動生成、修改及管理複雜的調度管理工作流程。

Data Agent Kit 擴充功能支援 VS Code。

Data Engineering Agent 支援下列常見的資料工程工作：

• 建立協調管道：在空白工作區中產生新管道，或將其他管道新增至現有專案。
• 修改管道結構：使用自然語言在協調管道中新增、移除或更新個別動作。
• 管理執行中繼資料：變更管道名稱及更新執行時間表，例如從手動執行改為每日執行。
• 排解管道執行問題：主動找出管道執行失敗的根本原因，並套用代理程式建議的修正方式。

事前準備

在 IDE 中使用 Data Engineering Agent 之前，請先完成本節中的步驟。

1. 安裝 Visual Studio Code 適用的 Data Agent Kit 擴充功能。資料工程代理包含在 Data Agent Kit 擴充功能中。

2. 啟用 Gemini Data Analytics API 和 Dataform API。

   啟用 API

3. 安裝 Google Cloud SDK 563.0.0 以上版本。

4. 安裝 gcloud beta 指令。

5. 在 Managed Service for Apache Airflow 中設定環境。使用預設的 Managed Service for Apache Airflow 環境設定。然後在 Data Agent Kit 擴充功能的排程器設定中，輸入 Managed Service for Apache Airflow 環境的名稱、環境代管所在Google Cloud 專案的 ID，以及環境所在的區域。

必要的角色

如要取得與資料工程代理程式及其基礎服務互動所需的權限，請要求管理員授予您專案的下列 IAM 角色：

• Gemini Data Analytics 無狀態對話使用者 (roles/geminidataanalytics.dataAgentStatelessUser)
• Dataform 程式碼編輯器 (roles/dataform.codeEditor)
• BigQuery 工作使用者 (roles/bigquery.jobUser)
• 如要列出環境及管理 Apache Airflow DAG，請使用： Composer 使用者 (roles/composer.user)
• 如要使用指定的 Managed Airflow 環境服務帳戶部署或更新協調管道，請授予「服務帳戶使用者」 (roles/iam.serviceAccountUser) 角色。

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

最佳做法

• 請瞭解代理程式會遵循多步驟迴圈。代理程式會先生成計畫，供您核准。接著，代理程式會執行動作 (例如編寫程式碼)。最後，代理程式會使用試運轉或測試驗證結果。
• 代理程式的效能取決於工作區中開啟的檔案。請使用 @file 語法或開啟相關 SQLX 檔案，為代理程式提供建構協調邏輯所需的背景資訊。

建立自動化調度管理管道

如要在空白工作區中建立編排管道，或在現有工作區中新增其他編排管道，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 開啟「詢問代理」面板。

3. 輸入自然語言提示詞，生成協調管道。例如：

    Create an orchestration pipeline that unifies my Google Ads and YouTube Ads
    data into a single marketing table.
   

   輸入提示後，按一下「傳送」。

4. 查看產生的管道結構，然後套用變更。

更新管道排程

如要變更自動化調度管理管道名稱或更新執行時間表 (例如從手動改為每日)，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 前往現有的自動化調度管理管道設定。
3. 開啟「詢問代理」面板。

4. 輸入自然語言提示，更新管道排程。例如：

   Update the execution schedule for this pipeline to run daily at 2 AM.
   

   代理程式會更新基礎設定，例如 Apache Airflow DAG 設定。

5. 查看並儲存更新後的管道時間表。

修改管道動作

如要在協調流程管道中新增或刪除個別動作，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 找出要新增或刪除的管道動作。
3. 開啟「詢問代理」面板。

4. 輸入自然語言提示詞來修改管道動作。例如：

   Add a new action to the pipeline that runs the daily_sales_aggregation table
   task.
   

5. 查看並儲存更新後的管道定義。

疑難排解

如果在產生自動化調度管理管道時發生任何錯誤，請確認您已完成執行資料工程代理程式的所有必要條件。詳情請參閱事前準備說明。

如要排解協調或資料管道執行失敗的問題，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 在管道或開發工作區中，按一下「執行」分頁標籤。
3. 在執行作業清單中，找出失敗的資料管道執行作業。您可以在執行作業的「狀態」欄中，找出失敗的執行作業。
4. 將滑鼠游標懸停在失敗圖示上，然後點選「調查」。資料工程代理程式會分析記錄並找出根本原因，例如結構定義漂移或資料類型不符。
5. 在「詢問代理」面板中，查看建議的修正方式。
6. 如要解決這個問題，請輸入提示，例如 Apply the suggested fix to the pipeline。或者，您也可以根據代理程式的分析結果，手動更新 SQLX 程式碼。

後續步驟

• 瞭解如何部署自動化調度管道。
• 瞭解如何建立執行協調流程管道的 Runner 環境。
• 瞭解如何手動定義及微調管道和部署設定。
• 瞭解如何使用 Google Cloud CLI 指令建構及修改協調流程管道。
• 瞭解如何使用資料工程代理，在 Google Cloud 控制台中建構及修改資料管道。