在 BigQuery 中執行轉換

Cloud Data Fusion 的轉換下推功能可讓您在 BigQuery (而非 Spark) 中執行管道轉換。直接在 BigQuery 中執行轉換,有助於提高管道執行速度,並最佳化運算資源成本。

詳情請參閱「轉換下推總覽」。

事前準備

轉換下推功能適用於 6.5.0 以上版本。如果管道在舊版環境中執行,可以將執行個體升級至最新版本。

在管道啟用轉換下推

控制台

如要為已部署的管道啟用轉換下推功能,請按照下列步驟操作:

  1. 前往執行個體:

    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. 依序按一下 「選單」 > 「清單」。

    已部署的管道分頁隨即開啟。

  3. 按一下要開啟的已部署管道,在 Pipeline Studio 中開啟。

  4. 依序點選「Configure」(設定) >「Transformation Pushdown」(轉換下推)。

    啟用轉換下推。

  5. 按一下「Enable Transformation Pushdown」(啟用轉換下推)。

  6. 在「Dataset」(資料集) 欄位中,輸入 BigQuery 資料集名稱。

    選用:如要使用巨集,請按一下「M」。詳情請參閱「資料集」。

  7. 選用:視需要調整選項。

  8. 按一下 [儲存]。

選用設定

.
屬性 支援巨集 支援的 Cloud Data Fusion 版本 說明
使用連線 否 6.7.0 以上版本 是否使用現有連線。
連線 是 6.7.0 以上版本 連線名稱。這個連線會提供專案和服務帳戶資訊。
選用:使用巨集函式 ${conn(connection_name)}。
資料集專案 ID 是 6.5.0 如果資料集與 BigQuery 工作執行的專案不同,請輸入資料集的專案 ID。如未提供值,系統預設會使用執行工作的專案 ID。
專案 ID 是 6.5.0 Google Cloud 專案 ID。
服務帳戶類型 是 6.5.0 選取下列其中一個選項:
  • File Path:服務帳戶的檔案路徑。
  • JSON:服務帳戶的 JSON 內容。
預設值為 JSON。
服務帳戶檔案路徑 是 6.5.0 本機檔案系統中,用於授權的服務帳戶金鑰路徑。在 Managed Service for Apache Spark 叢集上執行時,這個值會設為 auto-detect。在其他叢集上執行時,叢集中的每個節點都必須有這個檔案。預設為 auto-detect。
服務帳戶 JSON 是 6.5.0 服務帳戶 JSON 檔案的內容。
臨時 bucket 名稱 是 6.5.0 儲存暫存資料的 Cloud Storage bucket。如果不存在,系統會自動建立,但不會自動刪除。Cloud Storage 資料載入 BigQuery 後就會刪除。如未提供這個值,系統會建立專屬 bucket,並在管道執行完畢後刪除。服務帳戶必須具備在設定的專案中建立 bucket 的權限。
位置 是 6.5.0 建立 BigQuery 資料集的位置。如果資料集或臨時 bucket 已存在,系統會忽略這個值。預設值為 US 多區域。
加密金鑰名稱 是 6.5.1/0.18.1 客戶自行管理的加密金鑰 (CMEK),用於加密外掛程式建立的任何 bucket、資料集或資料表寫入的資料。如果 bucket、資料集或資料表已存在,系統會忽略這個值。
完成後保留 BigQuery 資料表 是 6.5.0 是否要保留管道執行期間建立的所有 BigQuery 臨時資料表,以便偵錯及驗證。預設為「No」(否)。
臨時資料表存留時間 (以小時為單位) 是 6.5.0 設定 BigQuery 臨時資料表的存留時間 (以小時為單位)。如果管道取消且清除程序中斷 (例如執行叢集突然關閉),這項功能可做為安全防護機制。將這個值設為 0,即可停用資料表存留時間。預設值為 72 (3 天)。
工作優先順序 是 6.5.0 執行 BigQuery 工作的優先順序。選取下列其中一個選項:
  1. Batch:批次工作會排入佇列,並在閒置資源可用時立即啟動,通常會在幾分鐘內完成。如果工作未在三小時內啟動,優先順序會切換為互動式。
  2. 互動式:互動式工作會盡快執行,並計入並行頻率限制和每日頻率限制。
預設為「Batch」。
強制下推的階段 是 6.7.0 一律在 BigQuery 中執行的支援階段。每個階段名稱必須單獨一行。
略過下推的階段 是 6.7.0 不應在 BigQuery 執行的支援階段。每個階段名稱都必須位於獨立的一行。
使用 BigQuery Storage Read API 是 6.7.0 在管道執行期間,是否要使用 BigQuery Storage Read API 從 BigQuery 擷取記錄。這個選項可以提升轉換下推的效能,但會產生額外費用。執行環境必須安裝 Scala 2.12。

監控記錄中的成效變化

管道執行階段記錄包含訊息,顯示在 BigQuery 中執行的 SQL 查詢。您可以監控哪些階段的資料會推送至 BigQuery。

以下範例顯示管道執行作業開始時的記錄項目。記錄顯示,管道中的 JOIN 作業已推送至 BigQuery 執行:

  INFO  [Driver:i.c.p.g.b.s.BigQuerySQLEngine@190] - Validating join for stage 'Users' can be executed on BigQuery: true
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'UserProfile'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'UserDetails'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@292] - Starting join for dataset 'Users'
  INFO  [Driver:i.c.p.g.b.s.BigQuerySQLEngine@190] - Validating join for stage 'UserPurchases' can be executed on BigQuery: true
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'Purchases'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@292] - Starting join for dataset 'UserPurchases'
  INFO  [Driver:i.c.p.g.b.s.BigQuerySQLEngine@190] - Validating join for stage 'MostPopularNames' can be executed on BigQuery: true
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'FirstNameCounts'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@292] - Starting join for dataset 'MostPopularNames'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@193] - Starting pull for dataset 'MostPopularNames'

以下範例顯示下推執行作業中,各個資料集會指派的資料表名稱:

  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset Purchases stored in table <TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset UserDetails stored in table <TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset FirstNameCounts stored in table <TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset UserProfile stored in table <TABLE_ID>

隨著執行作業繼續進行,記錄會顯示推送階段完成,最後執行 JOIN 作業。例如:

  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@133] - Completed push for dataset 'UserProfile'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@133] - Completed push for dataset 'UserDetails'
  DEBUG [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@235] - Executing join operation for dataset Users
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQueryJoinDataset@118] - Creating table `<TABLE_ID>` using job: <JOB_ID> with SQL statement: SELECT `UserDetails`.id AS `id` , `UserDetails`.first_name AS `first_name` , `UserDetails`.last_name AS `last_name` , `UserDetails`.email AS `email` , `UserProfile`.phone AS `phone` , `UserProfile`.profession AS `profession` , `UserProfile`.age AS `age` , `UserProfile`.address AS `address` , `UserProfile`.score AS `score` FROM `your_project.your_dataset.<DATASET_ID>` AS `UserProfile` LEFT JOIN `your_project.your_dataset.<DATASET_ID>` AS `UserDetails` ON `UserProfile`.id = `UserDetails`.id
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQueryJoinDataset@151] - Created BigQuery table `<TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@245] - Executed join operation for dataset Users

所有階段都完成後,系統會顯示訊息,指出 Pull 作業已完成。這表示 BigQuery Export 程序已觸發,且這項匯出工作開始後,記錄就會開始讀入管道。例如:

DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@196] - Completed pull for dataset 'MostPopularNames'

如果管道執行時發生錯誤,記錄中會說明錯誤。

如要瞭解 BigQuery JOIN 作業的執行詳情,例如資源使用率、執行時間和錯誤原因,您可以使用工作記錄中顯示的工作 ID 查看 BigQuery 工作資料。

查看管道指標

如要進一步瞭解 Cloud Data Fusion 為在 BigQuery 中執行的管道部分提供的指標,請參閱「BigQuery 下推管道指標」。

後續步驟