在 Visual Studio Code 中使用資料工程代理程式

預覽

這項功能適用《服務專屬條款》中「一般服務條款」一節的《正式發布前產品條款》。正式發布前功能是依「原樣」提供，支援服務可能受限。 詳情請參閱推出階段說明。

附註： 如要提供意見回饋或提出與這項預先發布版功能相關的問題，請傳送電子郵件至 [e-mail]。

Google Cloud Data Agent Kit 中的資料工程代理程式可協助您在整合式開發環境 (IDE) 中建立及建構自動化調度管理管道。資料工程代理運用 Gemini for Google Cloud，提供自然語言介面，可自動生成、修改及管理複雜的協調工作流程。

Data Agent Kit支援 VS Code、以 VS Code 為基礎的 IDE，以及支援代理程式的 CLI。

Data Engineering Agent 支援下列常見的資料工程工作：

• 建立協調管道：在空白工作區中產生新管道，或將其他管道新增至現有專案。
• 修改管道結構：使用自然語言在協調管道中新增、移除或更新個別動作。
• 管理執行中繼資料：變更管道名稱及更新執行時間表，例如從手動執行改為每日執行。
• 排解管道執行問題：主動找出管道執行失敗的根本原因，並套用代理程式建議的修正方式。

事前準備

在 IDE 中使用 Data Engineering Agent 前，請先完成本節中的步驟。

1. 安裝 Data Agent Kit 擴充功能。資料工程代理包含在 Data Agent Kit 中。

2. 啟用 Gemini Data Analytics API 和 Dataform API。

   啟用 API

3. 安裝 Google Cloud SDK 563.0.0 以上版本。

4. 安裝 gcloud beta 指令。

5. 在 Managed Service for Apache Airflow 中設定環境。使用 預設的 Managed Service for Apache Airflow 環境設定。 接著，在 Data Agent Kit 的排程器設定中，輸入 Managed Service for Apache Airflow 環境的名稱、環境代管的Google Cloud 專案 ID，以及環境所在的區域。

必要的角色

如要取得與 Data Engineering Agent 及其基礎服務互動所需的權限，請要求管理員授予您專案的下列 IAM 角色：

• Gemini Data Analytics 無狀態對話使用者 (roles/geminidataanalytics.dataAgentStatelessUser)
• Dataform 程式碼編輯器 (roles/dataform.codeEditor)
• BigQuery 工作使用者 (roles/bigquery.jobUser)
• 如要列出環境及管理 Apache Airflow DAG，請使用： Composer 使用者 (roles/composer.user)
• 如要使用指定的 Managed Airflow 環境服務帳戶部署或更新流程管道，請授予「服務帳戶使用者」 (roles/iam.serviceAccountUser) 角色。

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

最佳做法

• 瞭解代理會遵循多步驟迴圈。代理會先生成計畫，接著，代理程式會執行動作 (例如編寫程式碼)。最後，代理會使用模擬測試或測試驗證結果。
• 代理程式的效能取決於工作區中開啟的檔案。使用 @file 語法或開啟相關 SQLX 檔案，為代理程式提供必要的脈絡，以建構協調邏輯。

建立自動調度管理管道

如要在空白工作區中建立編排管道，或在現有工作區中新增其他編排管道，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 開啟「詢問代理」面板。

3. 輸入自然語言提示詞，生成自動調度管理管道。例如：

    Create an orchestration pipeline that unifies my Google Ads and YouTube Ads
    data into a single marketing table.
   

   輸入提示後，按一下「傳送」。

4. 查看系統產生的管道結構，並套用變更。

更新管道排程

如要變更自動化調度管理管道名稱或更新執行排程 (例如從手動改為每日)，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 前往現有的自動化調度管理管道設定。
3. 開啟「詢問代理」面板。

4. 輸入自然語言提示詞，更新管道排程。例如：

   Update the execution schedule for this pipeline to run daily at 2 AM.
   

   代理程式會更新基礎設定，例如 Apache Airflow DAG 設定。

5. 查看並儲存更新後的管道時間表。

修改管道動作

如要在協調流程管道中新增或刪除個別動作，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 找出要新增或刪除的管道動作。
3. 開啟「詢問代理」面板。

4. 輸入自然語言提示詞來修改管道動作。例如：

   Add a new action to the pipeline that runs the daily_sales_aggregation table
   task.
   

5. 查看並儲存更新後的管道定義。

疑難排解

如果在產生自動化調度管理管道時發生任何錯誤，請確認您已完成執行資料工程代理程式的所有必要條件。詳情請參閱事前準備說明。

如要排解協調或資料管道執行失敗的問題，請按照下列步驟操作：

1. 開啟已安裝 Data Agent Kit 擴充功能的 IDE。
2. 在管道或開發工作區中，按一下「執行」分頁標籤。
3. 在執行作業清單中，找出失敗的資料管道執行作業。您可以在執行作業的「狀態」欄中找出失敗的執行作業。
4. 將滑鼠游標懸停在失敗圖示上，然後按一下「調查」。資料工程師代理程式會分析記錄，找出根本原因，例如結構定義偏移或資料類型不符。
5. 在「詢問代理」面板中，查看建議的修正方式。
6. 如要解決這個問題，請輸入提示，例如 Apply the suggested fix to the pipeline。或者，您也可以根據代理程式的分析結果，手動更新 SQLX 程式碼。

後續步驟

• 瞭解如何部署自動調度管理管道。
• 瞭解如何建立執行自動調度管理管道的執行器環境。
• 瞭解如何手動定義及微調管道和部署設定。
• 瞭解如何使用 Google Cloud CLI 指令建構及修改協調流程管道。
• 瞭解如何使用資料工程代理，在 Google Cloud 控制台中建構及修改資料管道。