Dataproc 自動選擇可用區位置功能

建立 Dataproc 叢集時，叢集資源會依據 Compute Engine 可用區使用區域端點。選擇區域時，可選取當中的可用區。如果不選取可用區，Dataproc 自動選擇可用區功能就會從選擇的地區中自動選取一個可用區。選取後，該叢集的所有節點都會部署至該可用區。

自動選擇可用區及預留資源

自動選擇可用區功能會優先在有預留資源的可用區建立叢集，規則如下：

  • 如果可用區的預留和隨需資源 (如有必要) 加總後，可以滿足叢集的資源要求，自動選擇可用區功能就會使用這些資源，在該可用區建立叢集。

  • 自動選擇可用區功能會依據可用區的預留 CPU 核心 (vCPU) 總數，優先選取可用區。

    範例：叢集建立要求指定 20 個 n2-standard-2 和 1 個 n2-standard-64 (共要求 40 + 64 個 vCPUs)。自動選擇可用區功能會依據可用區能使用的預留 vCPU 總數，優先選取下列可用區：

    1. zone-c 可用的預留項目：3 個 n2-standard-2 和 1 個 n2-standard-64 (70 個 vCPUs)
    2. zone-b 可用的預留項目：1 個 n2-standard-64 (64 個 vCPUs)

    3. zone-a 可用的預留項目：25 個 n2-standard-2 (50 個 vCPUs)

      假設這些可用區都有額外隨需 vCPU 和其他資源，可以滿足叢集要求，自動選擇可用區功能會選取 zone-c 來建立叢集。

  • 如果可用區的預留和隨需資源加總後，仍無法完全滿足資源要求，自動選擇可用區功能就會選取使用隨選資源後，最有機會滿足要求的可用區來建立叢集。

使用自動選擇可用區位置功能

控制台

如要建立能自動選擇可用區位置的 Dataproc 叢集，請按照下列步驟操作：

  1. 在 Google Cloud 控制台，開啟 Dataproc 的「Create a Dataproc cluster on Compute Engine」(在 Compute Engine 建立 Dataproc 叢集) 頁面，系統會選取「Set up cluster」(設定叢集) 面板。
  2. 在「Location」(位置) 部分，執行下列操作：
    • 在「Region」(區域) 部分，為叢集選取區域。
    • 在「Zone」(可用區) 下方，選取「Any」(任意)。

gcloud 指令

如要建立可以自動選擇可用區位置的 Dataproc 叢集，請執行 gcloud dataproc clusters create 指令。將 --region 旗標設為特定區域，並省略 --zone 旗標 (或將旗標留空：--zone= 或 zone="")。

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

如要建立可以自動選擇可用區位置的 Dataproc 叢集，請建構 JSON clusters.create API 要求，並將 gceClusterConfig.zoneUri 欄位留空。將區域名稱插入 REST 端點 https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters。Dataproc 自動選擇可用區功能就會在指定區域為叢集選擇一個可用區。

使用自動選擇可用區位置功能時，請使用簡短資源名稱：在自動選擇可用區位置功能的 REST API 叢集建立要求中，指定資源 URI (如 machineTypeUri 或 acceleratorTypeUri) 時，請使用簡短資源名稱，且不要指定可用區，例如「n1-standard-2」或「nvidia-tesla-t4」。