管理運算設定檔

運算設定檔會指定管道執行的方式和地點。這個檔案會封裝管道實際執行環境設定及刪除所需的資訊，運算設定檔會指定佈建工具名稱，以及該佈建工具的設定。

每個運算設定檔都有範圍：系統或使用者。您可以為其下方的任何命名空間使用系統運算設定檔。使用者運算設定檔位於命名空間內，只有該命名空間中的管道可以使用使用者運算設定檔。運算設定檔可指派給批次管道。將運算設定檔指派給管道後，系統會使用設定檔中指定的佈建工具建立叢集，並在該叢集中執行管道。

舉例來說，管理員可能會決定建立小型、中型和大型的運算設定檔。他們會為每個設定檔設定必要的 Google Cloud憑證，以便在公司 Google Cloud 帳戶中建立及刪除 Managed Service for Apache Spark 叢集。

  • 小型設定檔會建立 5 節點叢集。
  • 中型設定檔會建立 20 個節點的叢集。
  • 大型設定檔會建立 50 個節點的叢集。

管理員會將小型設定檔指派給排定每小時執行一次的管道，這些管道會處理少量資料。他們將大型設定檔指派給排定每天對大量資料執行的管道。

預設運算設定檔

根據預設，Cloud Data Fusion 會使用 Autoscale 做為運算設定檔。估算工作負載適用的叢集工作站 (節點) 數量並不容易，而且整個管道通常不適合使用單一叢集大小。Apache Spark 自動調度資源代管服務提供叢集資源管理自動化機制，並啟用叢集 worker VM 自動調度資源。詳情請參閱「自動調度資源」。

在「計算設定」頁面 (您可以在這裡查看設定檔清單)，有一個「總核心數」欄，其中顯示設定檔可擴充的最大 vCPU 數量，例如 Up to 84。

系統和使用者運算設定檔

運算設定檔會指出建立叢集時要使用的佈建器，並指定叢集設定。此外，他們也會指定建立叢集時應使用的佈建工具設定。

  • 如要建立系統運算設定檔，請前往 Cloud Data Fusion Studio 的「系統管理員」頁面。這個頁面會列出所有系統運算設定檔，並允許您建立新的系統運算設定檔。
  • 如要建立使用者運算設定檔，請前往 Cloud Data Fusion Studio 的「Namespace administration」(命名空間管理) 頁面，然後選取要建立設定檔的命名空間。然後，您就可以建立僅存在於該命名空間中的設定檔。

指派運算設定檔

您可以透過下列方式將運算設定檔指派給批次管道：

  • 為 Cloud Data Fusion 執行個體指派預設設定檔。
  • 為特定命名空間指派預設設定檔。
  • 將設定檔指派給批次管道，用於手動啟動的執行作業。
  • 為管道排程指派設定檔。

如果排程中設定了會觸發執行的設定檔，或是您手動執行管道，且該管道已指派設定檔，Cloud Data Fusion 就會使用該運算設定檔。

如未設定設定檔，Cloud Data Fusion 會使用命名空間的預設設定檔。如果未為命名空間設定預設設定檔，

Cloud Data Fusion 會使用系統預設設定檔。如果未設定系統預設設定檔，系統會使用內建設定檔。

指派預設運算設定檔

如要將預設設定檔指派給 Cloud Data Fusion 命名空間或執行個體，請前往 Cloud Data Fusion Studio，然後依序點選「系統管理」>「設定」>「系統運算設定檔」。如要選取預設設定檔，請按一下設定檔名稱旁的 星號。

選用：使用偏好設定微服務設定預設設定檔

  • 如要設定預設設定檔，請在 Cloud Data Fusion 執行個體上設定偏好設定，金鑰為 system.profile.name，值為 system:<profile-name>。
  • 如要為命名空間設定預設設定檔，請在所選命名空間中設定偏好設定，並將鍵設為 system.profile.name，值設為 <scope>:<profile-name>。

為手動執行作業指派運算設定檔

如要指派用於手動管道執行的設定檔，請按照下列步驟操作：

  1. 前往管道詳細資料頁面。
  2. 按一下「設定」>「運算設定」。
  3. 選取設定檔，然後按一下「儲存」。手動執行管道時，系統一律會使用所選設定檔。

或者，您也可以使用偏好設定微服務，在 DataPipelineWorkflow 實體上設定偏好設定，並將鍵設為 system.profile.name，值設為 <scope>:<profile-name>，為手動執行設定設定檔。

將運算設定檔指派給時間表

為管道建立時間表時，隨時可以指派設定檔。 每當排程觸發管道執行時，系統都會使用該設定檔執行。時間表和其他管道觸發的排程都是如此。

覆寫運算設定檔設定

建立設定檔時，您可以鎖定各項設定，使其無法變更。不過，如果設定未鎖定，則可在執行階段覆寫設定。如要覆寫設定檔設定，請按照下列步驟操作：

  1. 在「管道清單」頁面中，選取要執行的已部署管道。
  2. 在「Pipeline Details」(管道詳細資料) 頁面中，按一下「Configure」(設定)。
  3. 選擇運算設定檔，然後按一下「自訂」。
  4. 變更任何設定，然後按一下「儲存」。

您可以使用執行階段引數和排程屬性，修改叢集大小和其他設定。

  • 如要覆寫使用的設定檔，請使用鍵 system.profile.name 和值 <scope>:<profile-name> 設定執行階段引數。
  • 如要覆寫設定檔屬性，請設定執行階段引數，並將鍵設為 system.profile.properties.<property-name>，值則設為該屬性的值。

舉例來說，如要將 numWorkerssetting 覆寫為 10 值，請設定偏好設定或執行階段引數，並將鍵設為 system.profile.properties.numWorkers，值設為 10。

後續步驟