排定管道

本文說明如何排定 BigQuery 管道的執行時間，包括如何排定管道執行時間，以及檢查排定的管道執行作業。

管道是由 Dataform 支援。 每個管道排程都會使用 Google 帳戶使用者憑證或自訂服務帳戶執行，您可以在設定排程時選取。

您對管道所做的變更會自動儲存，但只有您和專案中獲派 Dataform 管理員角色的使用者可以存取。如要使用新版管道更新排程，請部署管道。部署作業會更新排程，改用目前版本的管道。排程一律會執行最新部署的版本。

含有 Notebook 的管道排程會使用預設執行階段規格。在排定執行的管道 (內含筆記本) 期間，BigQuery 會將筆記本輸出內容寫入排程建立期間選取的 Cloud Storage 值區。

事前準備

請先建立管道。

啟用管道排程

如要排定管道執行時間，請將下列角色授予您打算用於管道排程的自訂服務帳戶：

服務帳戶使用者 (roles/iam.serviceAccountUser)

按照「為服務帳戶授予單一角色」一文中的步驟，將服務帳戶新增為自己的主體。換句話說，請將服務帳戶新增為同一個服務帳戶的主體。然後將服務帳戶使用者角色授予這個主體。

如果管道包含 SQL 查詢，您必須將下列角色授予您打算用於管道排程的自訂服務帳戶或 Google 帳戶：

BigQuery 工作使用者 (roles/bigquery.jobUser)

按照「在專案中授予單一角色」一文的說明，將 BigQuery 工作使用者角色授予自訂服務帳戶或 Google 帳戶，這些帳戶位於管道讀取資料的專案中。

BigQuery 資料檢視者 (roles/bigquery.dataViewer)

按照「在專案中授予單一角色」一文的說明，將 BigQuery 資料檢視者角色授予自訂服務帳戶或 Google 帳戶，這些帳戶位於管道讀取資料的專案中。

BigQuery 資料編輯者 (roles/bigquery.dataEditor)

按照「在專案中授予單一角色」一文的說明，在管道寫入資料的專案中，將 BigQuery 資料編輯者角色授予自訂服務帳戶或 Google 帳戶。

如果管道包含 Notebook，您必須將下列角色授予打算用於管道排程的自訂服務帳戶或 Google 帳戶：

筆記本執行程式使用者 (roles/aiplatform.notebookExecutorUser)

按照「在專案中授予單一角色」一文的說明，在所選專案中，將 Notebook 執行者使用者角色授予自訂服務帳戶或 Google 帳戶。

儲存空間管理員 (roles/storage.admin)

按照「將主體新增至值區層級政策」一文的說明，將自訂服務帳戶或 Google 帳戶新增為主體，加入您打算用來儲存排定管道執行作業筆記本輸出的 Cloud Storage 值區，然後將「Storage 管理員」角色授予這些主體。

此外，您必須將下列角色授予預設的 Dataform 服務代理：

服務帳戶憑證建立者 (roles/iam.serviceAccountTokenCreator)

按照「授予服務帳戶權杖建立存取權」一文的說明，將預設 Dataform 服務代理新增為服務帳戶的主體，並將「服務帳戶權杖建立者」角色授予這個主體。

服務帳戶使用者 (roles/iam.serviceAccountUser)

按照「使用 Google Cloud console 授予或撤銷多個 IAM 角色」一文的說明，在自訂服務帳戶中，將服務帳戶使用者角色授予預設的 Dataform 服務代理程式。

如要在 Knowledge Catalog (搶先版) 中啟用中繼資料擴充功能，請啟用 Dataplex API。此外，您必須在專案或 @bigquery 項目群組中，將下列角色授予您打算用於管道排程的自訂服務帳戶或 Google 帳戶：

Dataplex Catalog 編輯者角色 (roles/dataplex.catalogEditor)

按照「在專案中授予單一角色」一文的說明，將 Dataplex 目錄編輯者角色授予專案或 @bigquery 項目群組中的自訂服務帳戶或 Google 帳戶。

如要進一步瞭解 Dataform 中的服務帳戶，請參閱「關於 Dataform 中的服務帳戶」。

VPC Service Controls 規定

如果您使用 VPC Service Controls 保護管道，請注意排定執行的作業是由 Dataform 支援。為排定執行時間設定 VPC Service Controls 時，請確保符合下列規定：

• 您必須設定dataform.restrictGitRemotes組織政策服務。
• Dataform 和 BigQuery 必須受限於相同的 VPC Service Controls 服務範圍。
• 如要允許使用者在排定或手動觸發執行作業時，使用 Google 帳戶的使用者憑證進行驗證，請將使用者身分新增至連入規則。詳情請參閱「更新 service perimeter 的輸入和輸出政策」和「輸入規則參考資料」。

如需詳細設定步驟和安全性考量事項，請參閱「為 Dataform 設定 VPC Service Controls」。

必要的角色

如要取得管理管道所需的權限，請要求管理員授予您下列 IAM 角色：

• 查看及管理時間表：
  • 管道的 Dataform 管理員 (roles/dataform.admin)
  • 專案的 Dataform 編輯者 (roles/dataform.editor)
• 查看及執行管道：
  • 專案的 Dataform 檢視者 (roles/dataform.viewer)
  • 專案的 BigQuery 工作使用者 (roles/bigquery.jobUser)
• 使用 Google 帳戶的使用者憑證執行管道排程： 專案的 BigQuery 工作使用者 (roles/bigquery.jobUser)
• 使用自訂服務帳戶執行管道排程： 自訂服務帳戶的「服務帳戶使用者」 (roles/iam.serviceAccountUser)
• 管理使用者資料夾中的管道時間表：
  • 程式碼擁有者 (roles/dataform.codeOwner) 資料夾
  • 資料夾上的程式碼編輯器 (roles/dataform.codeEditor)
• 管理團隊資料夾中的管道時間表：
  • 團隊資料夾擁有者 (roles/dataform.teamFolderOwner) 團隊資料夾
  • 團隊資料夾協作者 (roles/dataform.teamFolderContributor) 團隊資料夾
• 管理 Git 存放區中的管道： 專案的 Developer Connect OAuth 使用者 (roles/developerconnect.oauthUser)
• 啟用中繼資料擴充功能：專案或 @bigquery 項目群組的 Dataplex Catalog 編輯者 (roles/dataplex.catalogEditor)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

如要提升排程安全性，請參閱「實作進階排程權限」。

如要進一步瞭解 Dataform IAM，請參閱「使用 IAM 控管存取權」。

如要進一步瞭解資料夾的角色，請參閱「建立及管理資料夾」。

如要進一步瞭解 Git 存放區的角色，請參閱使用 BigQuery Studio Git 存放區管理程式碼。

如要在排定管道時使用 Colab 筆記本執行階段範本，您需要筆記本執行階段使用者角色 (roles/aiplatform.notebookRuntimeUser)。

建立管道排程

您也可以使用「管道和連線」頁面，透過簡化、BigQuery 專屬的工作流程排定 Dataform 管道。 這項功能為預先發布版。

注意： 如果是儲存在 BigQuery Studio Git 資料夾中的管道，排程會透過 Dataform 部署作業管理。

如要建立管道排程，請按照下列步驟操作：

「檔案」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」，開啟檔案瀏覽器。

   如果沒有看到左側窗格，請按一下 「Expand left pane」(展開左側窗格)，開啟窗格。

3. 在「檔案」窗格中，展開「使用者」資料夾或「團隊資料夾」，然後選取管道。

4. 在「Pipeline Viewer」(管線檢視器) 工具列中，按一下「Schedule」(排程) 或「Trigger」(觸發)。

5. 在「排定管道」窗格的「排程名稱」欄位中，輸入排程名稱。

6. 在「驗證」部分，使用 Google 帳戶使用者憑證或服務帳戶授權管道。

   • 如要使用 Google 帳戶使用者憑證 (預覽)，請選取「以我的使用者憑證執行」。

     選用：在「Extended access options」(擴充存取權選項) 部分，選取管道所需的其他服務：

     • Knowledge Catalog：可更新 Google Cloud Knowledge Catalog 中繼資料。
     • Google 雲端硬碟：允許唯讀存取 Google 雲端硬碟檔案。
     • Bigtable：可讀取 Google Bigtable 資料 (唯讀)。

   • 如要使用服務帳戶，請選取「以所選服務帳戶執行」，然後選取服務帳戶。

7. 如果管道包含筆記本，請在「Notebook options」(筆記本選項) 區段的「Runtime template」(執行階段範本) 欄位中，選取 Colaboratory 筆記本執行階段範本或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本，請參閱「建立執行階段範本」。

   注意：筆記本執行階段範本必須與管道位於相同區域。
   注意：如果您沒有使用 Colab 筆記本執行階段範本的必要角色，仍可使用預設執行階段規格執行及排定管道。

8. 如果管道包含筆記本，請在「Notebook options」(筆記本選項) 部分，點選「Cloud Storage bucket」(Cloud Storage bucket) 欄位中的「Browse」(瀏覽)，然後選取或建立 Cloud Storage bucket，用於儲存管道中筆記本的輸出內容。

   您選取的服務帳戶必須獲得所選 bucket 的 Storage 管理員 IAM 角色。詳情請參閱「啟用管道排程」。

9. 在「設定類型」下方，選取「時間表 (以時間為準的週期性)」。

10. 在「排程頻率」下方，執行下列操作：

    1. 在「Repeats」(重複時間間隔) 選單中，選取排定管道執行的頻率。
    2. 在「At time」(時間) 欄位中，輸入排定管道執行的時間。
    3. 在「時區」選單中，選取時間表的時區。

11. 使用「以高優先順序執行互動式工作 (預設)」選項，設定 BigQuery 查詢工作優先順序。根據預設，BigQuery 會以互動式查詢工作的形式執行查詢，這類工作會盡快開始執行。如果清除這個選項，查詢就會以優先順序較低的批次查詢工作形式執行。

12. 按一下「建立時間表」。如果選取「使用我的使用者憑證執行」做為驗證方法，您必須授權 Google 帳戶 (預覽)。

建立時間表時，系統會自動部署管道的目前版本。如要使用新版管道更新排程，請部署管道。

系統會以所選時間和頻率，執行最新部署的管道版本。

注意： 如果預定管道執行作業未在下一次預定執行作業開始前完成，系統會略過下一次預定執行作業，並標示為錯誤。

「Explorer」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 「Explorer」。

   

   如果沒有看到左側窗格，請按一下 「Expand left pane」(展開左側窗格)，開啟窗格。

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」，然後選取管道。

4. 按一下「Schedule」(排程)。

5. 在「排定管道」窗格的「排程名稱」欄位中，輸入排程名稱。

6. 在「驗證」部分，使用 Google 帳戶使用者憑證或服務帳戶授權管道。

   • 如要使用 Google 帳戶使用者憑證 (預覽)，請選取「以我的使用者憑證執行」。

     選用：在「Extended access options」(擴充存取權選項) 部分，選取管道所需的其他服務：

     • Knowledge Catalog：可更新 Google Cloud Knowledge Catalog 中繼資料。
     • Google 雲端硬碟：允許唯讀存取 Google 雲端硬碟檔案。
     • Bigtable：可讀取 Google Bigtable 資料 (唯讀)。

   • 如要使用服務帳戶，請選取「以所選服務帳戶執行」，然後選取服務帳戶。

7. 如果管道包含筆記本，請在「Notebook options」(筆記本選項) 區段的「Runtime template」(執行階段範本) 欄位中，選取 Colaboratory 筆記本執行階段範本或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本，請參閱「建立執行階段範本」。

   注意：筆記本執行階段範本必須與管道位於相同區域。
   注意：如果您沒有使用 Colab 筆記本執行階段範本的必要角色，仍可使用預設執行階段規格執行及排定管道。

8. 如果管道包含筆記本，請在「Notebook options」(筆記本選項) 部分，點選「Cloud Storage bucket」(Cloud Storage bucket) 欄位中的「Browse」(瀏覽)，然後選取或建立 Cloud Storage bucket，用於儲存管道中筆記本的輸出內容。

   您選取的服務帳戶必須獲得所選 bucket 的 Storage 管理員 IAM 角色。詳情請參閱「啟用管道排程」。

9. 在「設定類型」下方，選取「時間表 (以時間為準的週期性)」。

10. 在「排程頻率」下方，執行下列操作：

    1. 在「Repeats」(重複時間間隔) 選單中，選取排定管道執行的頻率。
    2. 在「At time」(時間) 欄位中，輸入排定管道執行的時間。
    3. 在「時區」選單中，選取時間表的時區。

11. 使用「以高優先順序執行互動式工作 (預設)」選項，設定 BigQuery 查詢工作優先順序。根據預設，BigQuery 會以互動式查詢工作的形式執行查詢，這類工作會盡快開始執行。如果清除這個選項，查詢就會以優先順序較低的批次查詢工作形式執行。

12. 按一下「建立時間表」。如果選取「使用我的使用者憑證執行」做為驗證方法，您必須授權 Google 帳戶 (預覽)。

建立時間表時，系統會自動部署管道的目前版本。如要使用新版管道更新排程，請部署管道。

系統會以所選時間和頻率，執行最新部署的管道版本。

注意： 如果預定管道執行作業未在下一次預定執行作業開始前完成，系統會略過下一次預定執行作業，並標示為錯誤。

「排定時間」頁面

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 按一下「建立」，然後從選單中選取「管道時間表」。

3. 在「Schedule pipeline」(排程管道) 窗格中，選取要排程的管道。

4. 在「排程名稱」欄位中，輸入排程名稱。

5. 在「驗證」部分，使用 Google 帳戶使用者憑證或服務帳戶授權管道。

   • 如要使用 Google 帳戶使用者憑證 (預覽)，請選取「以我的使用者憑證執行」。

     選用：在「Extended access options」(擴充存取權選項) 部分，選取管道所需的其他服務：

     • Knowledge Catalog：可更新 Google Cloud Knowledge Catalog 中繼資料。
     • Google 雲端硬碟：允許唯讀存取 Google 雲端硬碟檔案。
     • Bigtable：可讀取 Google Bigtable 資料 (唯讀)。

   • 如要使用服務帳戶，請選取「以所選服務帳戶執行」，然後選取服務帳戶。

6. 如果管道包含筆記本，請在「筆記本選項」部分，選取「執行階段範本」欄位中的 Colab 筆記本執行階段範本，或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本，請參閱「建立執行階段範本」一文。

   注意：筆記本執行階段範本必須與管道位於相同區域。
   注意：如果您沒有使用 Colab 筆記本執行階段範本的必要角色，仍可使用預設執行階段規格執行及排定管道。

7. 如果管道包含筆記本，請在「Cloud Storage bucket」(Cloud Storage bucket) 欄位中，按一下「Browse」(瀏覽)，然後選取或建立 Cloud Storage bucket，用來儲存管道中筆記本的輸出內容。

   您選取的服務帳戶必須獲得所選 bucket 的 Storage 管理員 IAM 角色。詳情請參閱「啟用管道排程」。

8. 在「設定類型」下方，選取「時間表 (以時間為準的週期性)」。

9. 在「排程頻率」下方，執行下列操作：

   1. 在「Repeats」(重複時間間隔) 選單中，選取排定管道執行的頻率。
   2. 在「At time」(時間) 欄位中，輸入排定管道執行的時間。
   3. 在「時區」選單中，選取時間表的時區。

10. 使用「以高優先順序執行互動式工作 (預設)」選項，設定 BigQuery 查詢工作優先順序。根據預設，BigQuery 會以互動式查詢工作的形式執行查詢，這類工作會盡快開始執行。如果清除這個選項，查詢就會以優先順序較低的批次查詢工作形式執行。

11. 按一下「建立時間表」。如果選取「使用我的使用者憑證執行」做為驗證方法，您必須授權 Google 帳戶 (預覽)。

注意： 如果預定管道執行作業未在下一次預定執行作業開始前完成，系統會略過下一次預定執行作業，並標示為錯誤。

授權給您的 Google 帳戶

預覽

這項產品或功能適用《服務專屬條款》中「一般服務條款」一節的《正式發布前產品條款》。正式發布前的產品和功能是按照「原樣」提供，支援範圍可能有限。 詳情請參閱推出階段說明。

注意： 如要尋求支援或針對這項功能提供意見回饋，請傳送電子郵件至 [e-mail]。

如要使用Google 帳戶使用者憑證驗證資源，您必須手動授予 BigQuery 管道權限，讓管道取得 Google 帳戶的存取權杖，並代表您存取來源資料。您可以使用 OAuth 對話方塊介面手動授予核准。如果您選取任何擴充存取權選項，就必須授予這些服務的存取權，例如 Google 雲端硬碟或知識目錄。

注意： 使用 Google 帳戶的使用者憑證執行或排定 BigQuery 管道時，系統不支援情境感知存取權 (CAA) 政策，包括以 IP 為準、以地理位置為準和裝置合規政策，因為權杖要求來自 Google 基礎架構。除非豁免 Dataform OAuth 用戶端 ID 遵守政策，否則 CAA 政策會封鎖這些執行作業。

您只需要授予 BigQuery 管道一次權限。

如要撤銷授予的權限，請按照下列步驟操作：

1. 前往 Google 帳戶頁面。
2. 按一下「BigQuery Pipelines」。
3. 按一下 [移除存取權]。

警告： 撤銷存取權後，這個 Google 帳戶在所有區域擁有的管道日後都無法執行。

如果新的 Google 帳戶擁有者從未建立過時間表，更新憑證以變更管道時間表擁有者時，也需要手動核准。

如果管道包含筆記本，您也必須手動授予 Colab Enterprise 權限，才能取得 Google 帳戶的存取權杖，並以您的名義存取來源資料。你只需要授予一次權限。您可以在 Google 帳戶頁面撤銷這項權限。

依指定條件觸發的排程

預覽

這項功能適用《服務專屬條款》中「一般服務條款」一節的《正式發布前產品條款》。正式發布前功能是依「原樣」提供，支援服務可能受限。 詳情請參閱推出階段說明。

注意： 如要尋求支援或針對這項功能提供意見回饋，請傳送電子郵件至 [e-mail]。

您可以設定 BigQuery 管道，根據指定 BigQuery 資料表的更新內容，自動觸發執行作業。您可以建立以觸發條件為依據的排程，在 BigQuery 資料變更時自動執行管道，不必採用固定排程。

當管道偵測到指定資料表發生變更時，就會觸發相關聯工作流程的新執行作業。您可以根據單一資料表、一組資料表或一組資料表中的任一資料表的更新來定義條件。

您也可以調整觸發條件排程的選用設定，控管管道觸發條件之間的最小間隔。舉例來說，您可以調整「最短執行時間」值，確保觸發條件排程的啟動頻率不會超出預期。您也可以調整「最長等待時間」值，確保即使系統未偵測到任何表格更新，觸發條件式排程也會在該時間範圍內強制啟動一次。

限制

觸發條件排程有下列限制：

• 觸發條件排程不會立即執行，設定以觸發條件為準的排程時，管道大約每 3 分鐘會檢查一次 BigQuery 資料表的狀態。這段時間稱為輪詢間隔，可能會導致表格修改與觸發程序啟動之間出現延遲。
• 在每個輪詢間隔期間，系統會針對每個受監控的資料表，向 BigQuery 發出 API 呼叫。監控大量資料表可能會導致耗用 BigQuery API 配額。

建立觸發條件

如要建立觸發條件，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 如要在管道檢視器中開啟管道，請執行下列任一操作：

   • 在左側窗格中，按一下「檔案」，展開「使用者」資料夾或「團隊資料夾」，然後選取管道。
   • 在左側窗格中，按一下「Explorer」，展開專案，按一下「Pipelines」，然後選取管道。

3. 在 Pipeline Viewer 工具列中，按一下「觸發」。

4. 在「觸發條件」欄位中，輸入觸發條件的名稱。

5. 在「驗證」部分，使用 Google 帳戶使用者憑證或服務帳戶授權管道。

   • 如要使用 Google 帳戶使用者憑證 (預覽)，請選取「以我的使用者憑證執行」。
   • 如要使用服務帳戶，請選取「以所選服務帳戶執行」，然後選取服務帳戶。

6. 如果管道包含筆記本，請在「Notebook options」(筆記本選項) 區段的「Runtime template」(執行階段範本) 欄位中，選取 Colaboratory 筆記本執行階段範本或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本，請參閱「建立執行階段範本」。

   注意：筆記本執行階段範本必須與管道位於相同區域。
   注意：如果您沒有使用 Colab 筆記本執行階段範本的必要角色，仍可使用預設執行階段規格執行及排定管道。

7. 如果管道包含筆記本，請在「Notebook options」(筆記本選項) 部分，點選「Cloud Storage bucket」(Cloud Storage bucket) 欄位中的「Browse」(瀏覽)，然後選取或建立 Cloud Storage bucket，用於儲存管道中筆記本的輸出內容。

   您選取的服務帳戶必須獲得所選 bucket 的 Storage 管理員 IAM 角色。詳情請參閱「啟用管道排程」。

8. 在「設定類型」下方，選取「觸發條件 (以事件為基礎的執行方式)」。

9. 在「Search tables」(搜尋資料表) 欄位中，新增要監控觸發條件的資料表。

10. 在「觸發條件」下方，選取下列任一選項：

    • 等待「所有」資料表更新：只有在上次檢查後，所有列出的資料表都已更新時，才會觸發工作流程。
    • 「任意」資料表更新就會觸發：如果自上次檢查後，清單中的任何資料表有更新，就會觸發這項工作流程。

11. (選用) 輸入「最長等待時間」，如果在這段時間內未偵測到任何資料表更新，系統就會強制啟動觸發程序。支援的值介於 1 秒到 7 天之間。如未指定，工作流程只會在監控的資料表更新時執行，且須符合最短執行時間。

12. (選用) 選取「最短執行時間」，避免觸發條件的啟動頻率高於這個最短時間。支援 3 分鐘到 24 小時之間的值。如未指定，預設值為 3 分鐘。

13. 按一下「建立時間表」。如果選取「使用我的使用者憑證執行」做為驗證方法，您必須授權 Google 帳戶 (預覽)。

排解觸發條件式排程問題

本節說明觸發條件排程的常見問題，以及解決方法。

問題：觸發條件未啟動

解決方法：請嘗試下列任一步驟：

• 確認使用者憑證或服務帳戶具備所有必要權限。
• 確認指定的 BigQuery 資料表正在修改中。
• 確認觸發條件未受到輪詢間隔影響。
• 檢查最低執行時間或「最低執行時間」值，是否會導致執行頻率降低。您可以調低這個值，提高觸發條件啟用的頻率。
• 檢查觸發條件選項 (「全部」或「任一」) 是否會影響觸發條件的啟用。
• 檢查稽核記錄，確認 Dataform 嘗試呼叫 BigQuery API 來檢查受監控資料表狀態時是否發生錯誤。

問題：觸發條件的啟動頻率過高

解決方式：調整執行時間下限，或「執行時間下限」值。您可以增加這個值，降低觸發條件啟用的頻率。

部署管道

部署管道時，系統會使用管道的目前版本更新管道的排程或自動化調度設定。排定的執行作業一律會執行最新部署的管道版本。

部署儲存在資料夾中的管道

如要部署獨立管道和儲存在資料夾中的管道，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在管道檢視器中開啟管道，方法如下：

   • 在左側窗格中，按一下「檔案」，展開「使用者」資料夾或「團隊資料夾」，然後選取管道。
   • 在左側窗格中，按一下「Explorer」，展開專案，按一下「Pipelines」，然後選取管道。

3. 在「Pipeline Viewer」(管道檢視器) 工具列中，按一下「Deploy」(部署)。

系統會以目前版本的管道更新對應的排程。 系統會在排定的時間執行管道的最新部署版本。

部署儲存在 Git 存放區的管道

預覽

這項功能適用《服務專屬條款》中「一般服務條款」一節的《正式發布前產品條款》。正式發布前功能是依「原樣」提供，支援服務可能受限。 詳情請參閱推出階段說明。

儲存在 Git 資料夾中的管道會使用 Dataform 部署進行協調及排程。您可以透過 Deployment 設定版本設定、工作流程設定、編譯覆寫和多環境自動化調度管理。

如要部署儲存在 Git 存放區的管道，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」。

3. 在檔案樹狀結構中，展開已連結的 Git 存放區資料夾，然後選取管道，或按一下 Git 存放區資料夾 (如果是根層級管道)。

4. 在「Pipeline Viewer」(管道檢視器) 工具列中，按一下「Deploy」(部署)。

5. 在部署對話方塊中，設定發布設定、工作流程設定和執行設定。

6. 點選「Deploy」(部署)。

如要進一步瞭解如何設定部署作業、發布設定和工作流程設定，請參閱「Dataform 部署作業」。

停用時間表

如要暫停所選管道的排定執行作業，但不想刪除時間表，可以停用時間表。

如要為所選管道停用排程，請按照下列步驟操作：

「檔案」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」。

3. 在「檔案」窗格中，展開「使用者」資料夾或「團隊資料夾」，然後選取管道。

4. 在 Pipeline Viewer 工具列中，按一下「View trigger」(查看觸發條件)。

5. 在「時間表詳細資料」表格的「時間表狀態」列中，點按「時間表已啟用」切換鈕。

「Explorer」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 「Explorer」。

   

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」，然後選取管道。

4. 按一下「查看觸發條件」。

5. 在「時間表詳細資料」表格的「時間表狀態」列中，點按「時間表已啟用」切換鈕。

「排定時間」頁面

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 按一下所選管道的名稱。

3. 在「排程詳細資料」頁面中，按一下「停用」。

啟用時間表

如要恢復已停用管道排程的排定執行作業，請按照下列步驟操作：

「檔案」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」。

3. 在「檔案」窗格中，展開「使用者」資料夾或「團隊資料夾」，然後選取管道。

4. 在「Pipeline Viewer」(管道檢視器) 工具列中，按一下「View trigger」(查看觸發條件)。

5. 在「排程詳細資料」表格的「排程狀態」列中，點選「排程已停用」切換鈕。

「Explorer」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 「Explorer」。

   

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」，然後選取管道。

4. 按一下「查看觸發條件」。

5. 在「排程詳細資料」表格的「排程狀態」列中，點選「排程已停用」切換鈕。

「排定時間」頁面

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 按一下所選管道的名稱。

3. 在「時間表詳細資料」頁面中，按一下「啟用」。

手動執行已部署的管道

手動執行在所選時間表部署的管道時，BigQuery 會執行一次部署的管道，與時間表無關。

如要手動執行已部署的管道，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 按一下所選管道排程的名稱。

3. 在「排程詳細資料」頁面中，按一下「執行」。

查看所有管道排程

如要查看專案中的所有管道時間表，請按照下列步驟操作： Google Cloud

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 選用：如要顯示含有管道時間表詳細資料的其他資料欄，請按一下「資料欄顯示選項」，然後選取資料欄並按一下「確定」。

查看管道排程詳細資料

如要查看所選管道排程的詳細資料，請按照下列步驟操作：

「檔案」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」。

3. 在「檔案」窗格中，展開「使用者」資料夾或「團隊資料夾」，然後選取管道。

4. 在「Pipeline Viewer」工具列中，按一下「View trigger」 (或「View trigger」)。

「Explorer」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 「Explorer」。

   

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」，然後選取管道。

4. 按一下「查看觸發條件」。

「排定時間」頁面

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 按一下所選管道排程的名稱。

查看過去的排程執行作業

如要查看所選管道排程的過往執行記錄，請按照下列步驟操作：

「檔案」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」。

3. 在「檔案」窗格中，展開「使用者」資料夾、「團隊資料夾」或 Git 存放區，然後選取管道。

4. 在「Pipeline Viewer」(管道檢視器) 工具列中，按一下「Executions」(執行作業)。

5. 選用：如要重新整理過往執行記錄清單，請按一下「重新整理」。

「Explorer」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 「Explorer」。

   

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」，然後選取管道。

4. 按一下「執行」。

5. 選用：如要重新整理過往執行記錄清單，請按一下「重新整理」。

「排定時間」頁面

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 按一下所選管道的名稱。

3. 在「排程詳細資料」頁面的「過去的執行作業」部分，檢查過去的執行作業。

4. 選用：如要重新整理過往執行記錄清單，請按一下「重新整理」。

編輯管道排程

如要編輯管道排程，請按照下列步驟操作：

「檔案」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」。

3. 在「檔案」窗格中，展開「使用者」資料夾或「團隊資料夾」，然後選取管道。

4. 在「Pipeline Viewer」(管線檢視器) 工具列中，依序點按「View trigger」(查看觸發條件) 和「Edit」(編輯)。

5. 在「Schedule pipeline」(排定管道) 對話方塊中編輯排程，然後按一下「Update schedule」(更新排程)。

「Explorer」窗格

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 「Explorer」。

   

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」，然後選取管道。

4. 依序點選「查看觸發條件」和「編輯」。

5. 在「Schedule pipeline」(排定管道) 對話方塊中編輯排程，然後按一下「Update schedule」(更新排程)。

「排定時間」頁面

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 按一下所選管道的名稱。

3. 在「排程詳細資料」頁面中，按一下「編輯」。

4. 依序點選「查看觸發條件」和「編輯」。

5. 在「Schedule pipeline」(排定管道) 對話方塊中編輯排程，然後按一下「Update schedule」(更新排程)。

刪除管道排程

如要永久刪除管道排程，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「排程」

2. 執行下列任一操作：

   • 按一下所選管道排程的名稱，然後在「排程詳細資料」頁面中，按一下「刪除」。

   • 在包含所選管道排程的資料列中，按一下「Actions」(動作) 欄中的「View actions」(查看動作) ，然後按一下「Delete」(刪除)。

3. 在隨即出現的對話方塊中，按一下「刪除」。

後續步驟

• 進一步瞭解 BigQuery 中的管道。
• 瞭解如何建立管道。
• 瞭解如何管理管道。
• 瞭解如何使用 BigQuery Studio Git 存放區管理程式碼。
• 瞭解如何使用資料夾整理程式碼資產。
• 進一步瞭解 Dataform Deployment。