建立共用叢集，執行容器工作負載

本文說明如何在 Google Distributed Cloud (GDC) 實體隔離區域中建立共用 Kubernetes 叢集。共用叢集涵蓋多個專案，並包含由 GDC 管理的完整服務，提供高度主觀的 Kubernetes 叢集設定，可設定的項目比標準叢集少。如要進一步瞭解標準叢集，請參閱「Kubernetes 叢集設定」。

共用叢集是可用區資源，無法跨越多個可用區。如要在多區域的環境中運作叢集，必須在每個區域中手動建立叢集。

本文適用於應用程式運算子群組中的應用程式開發人員等對象，他們負責管理機構內的容器工作負載。詳情請參閱 GDC air-gapped 的目標對象說明文件。

事前準備

  • 如要取得建立共用叢集所需的權限，請要求組織 IAM 管理員授予您使用者叢集管理員角色 (user-cluster-admin)。這個角色不會繫結至命名空間。

  • 規劃 Kubernetes 叢集的下列 Google Distributed Cloud (GDC) 氣隙隔離限制：

    • 每個機構 16 個叢集
    • 每個叢集 42 個工作站節點，最少三個工作站節點
    • 每個叢集 4620 個 Pod
    • 每個節點 110 個 Pod

規劃 Pod CIDR 區塊

如要為工作負載分配適當大小的 Pod CIDR 區塊，您必須先計算 Kubernetes 叢集所需的 IP 位址數量，再建立叢集。叢集建立後，大多數網路參數就無法再變更。

Kubernetes 叢集會遵循下列邏輯分配 IP 位址：

  • Kubernetes 會為每個節點指派 /24 CIDR 區塊，內含 256 個位址。這個數量符合 Kubernetes 叢集每個節點預設最多 110 個 Pod 的上限。
  • 指派給節點的 CIDR 區塊大小取決於每個節點的最大 Pod 數值。
  • 區塊一律包含每個節點的最大 Pod 數至少兩倍的位址。

請參閱以下範例，瞭解如何計算 Per node mask size= /24 的預設值，以容納 110 個 Pod：

Maximum pods per node = 110
Total number of IP addresses required = 2 * 110 = 220

Per node mask size = /24
Number of IP addresses in a /24 = 2(32 - 24) = 256

根據所需節點數，判斷要為 Kubernetes 叢集設定的必要 Pod CIDR 遮罩。設定 CIDR 範圍時，請規劃叢集未來新增節點的作業：

  Total number of nodes supported = 2(Per node mask size - pod CIDR mask)

由於每個節點的遮罩大小預設為 /24，請參閱下表，瞭解 Pod CIDR 遮罩對應支援的節點數量。

Pod CIDR 遮罩 計算方式： 2(每個節點的遮罩大小 - CIDR 遮罩) 支援的節點數量上限，包括控制層節點
/21 2(24 - 21) 8
/20 2(24-20) 16
/19 2(24 - 19) 32
/18 2(24 - 18) 64

計算 Kubernetes 叢集的 Pod CIDR 區塊後，請在下一節中，於叢集建立工作流程中設定該區塊。

建立共用叢集

如要建立共用 Kubernetes 叢集，請完成下列步驟：

控制台

  1. 在導覽選單中，依序選取「Kubernetes Engine」>「叢集」。

  2. 點選「建立叢集」。

  3. 在「Name」(名稱) 欄位中，指定叢集的名稱。

  4. 選取叢集的 Kubernetes 版本。

  5. 選取要建立叢集的可用區。

  6. 按一下「附加專案」，然後選取要附加至叢集的現有專案。點選這個選項後，按一下 [儲存]。建立叢集後，您可以前往專案詳細資料頁面附加或卸離專案。您必須先將專案附加至叢集，才能部署容器工作負載。

    使用控制台建立叢集。

  7. 點選「下一步」。

  8. 設定叢集的網路設定。叢集建立後，您就無法變更這些網路設定。Kubernetes 叢集的預設網際網路通訊協定是網際網路通訊協定第 4 版 (IPv4)，且僅支援此通訊協定。

    1. 如要建立專屬的負載平衡器節點，請輸入要建立的節點數。根據預設，您會收到零個節點，而負載平衡器流量會透過控制節點執行。

    2. 選取要使用的「服務 CIDR」(無類別跨網域路由)。系統會從這個範圍為您部署的服務 (例如負載平衡器) 分配 IP 位址。

    3. 選取要使用的 Pod CIDR。叢集會從這個範圍將 IP 位址分配給 Pod 和 VM。

    4. 點選「下一步」。

  9. 查看叢集自動產生的預設節點集區詳細資料。按一下「編輯」，修改預設節點集區。

  10. 如要建立其他節點集區，請選取「新增節點集區」。編輯預設節點集區或新增節點集區時，您可以透過下列選項自訂節點集區：

    1. 指派節點集區的名稱。節點集區建立後，您就無法修改名稱。
    2. 指定要在節點集區中建立的工作站節點數量。

    3. 選取最符合工作負載需求的機器類別。 查看下列設定清單：

      • 機型
      • CPU
      • 記憶體

    4. 按一下 [儲存]。

  11. 點選「建立」來建立叢集。

建立共用叢集最多可能需要 90 分鐘。

API

如要直接使用 API 建立新叢集，請將自訂資源套用至 GDC 區域：

  1. 建立 Cluster 自訂資源，並儲存為 YAML 檔案，例如 cluster.yaml：

    apiVersion: cluster.gdc.goog/v1
kind: Cluster
metadata:
  name: CLUSTER_NAME
  namespace: platform
spec:
  clusterNetwork:
    podCIDRSize: POD_CIDR
    serviceCIDRSize: SERVICE_CIDR
  initialVersion:
    kubernetesVersion: KUBERNETES_VERSION
  nodePools:
  - machineTypeName: MACHINE_TYPE
    name: NODE_POOL_NAME
    nodeCount: NUMBER_OF_WORKER_NODES
    taints: TAINTS
    labels: LABELS
    acceleratorOptions:
      gpuPartitionScheme: GPU_PARTITION_SCHEME
  releaseChannel:
    channel: UNSPECIFIED

    更改下列內容：

    • CLUSTER_NAME：叢集名稱。叢集名稱結尾不得為 -system。-system 後置字串保留給 GDC 建立的叢集。
    • POD_CIDR：網路範圍的大小，Pod 虛擬 IP 位址會從這個範圍分配。如未設定，系統會使用預設值 21。
    • SERVICE_CIDR：網路範圍的大小，服務虛擬 IP 位址會從這個範圍分配。如未設定，系統會使用預設值 23。
    • KUBERNETES_VERSION：叢集的 Kubernetes 版本，例如 1.26.5-gke.2100。如要列出可供設定的 Kubernetes 版本，請參閱「列出叢集可用的 Kubernetes 版本」。
    • MACHINE_TYPE：節點集區工作站節點的機型。如要瞭解可設定的項目，請參閱可用的機器類型。
    • NODE_POOL_NAME：節點集區的名稱。
    • NUMBER_OF_WORKER_NODES：要在節點集區中佈建的 worker 節點數量。
    • TAINTS：要套用至這個節點集區節點的 taint。此為選填欄位。
    • LABELS：要套用至這個節點集區節點的標籤。其中包含鍵/值組合清單。這是選填欄位。
    • GPU_PARTITION_SCHEME：GPU 分割配置，如果您執行的是 GPU 工作負載。此為選填欄位。 例如，mixed-2。如果未設定這個欄位，GPU 就不會分割。如要進一步瞭解可用的多重執行個體 GPU (MIG) 設定檔，請參閱「支援的 MIG 設定檔」。

  2. 將自訂資源套用至 GDC 執行個體：

    kubectl apply -f cluster.yaml --kubeconfig MANAGEMENT_API_SERVER

    將 MANAGEMENT_API_SERVER 替換為區域 API 伺服器的 kubeconfig 路徑。如果您尚未在目標區域中為 API 伺服器產生 kubeconfig 檔案，請參閱「登入」。

建立共用叢集最多可能需要 90 分鐘。

Terraform

  1. 在 Terraform 設定檔中，插入下列程式碼片段：

    provider "kubernetes" {
  config_path = "MANAGEMENT_API_SERVER"
}

resource "kubernetes_manifest" "cluster-create" {
  manifest = {
    "apiVersion" = "cluster.gdc.goog/v1"
    "kind" = "Cluster"
    "metadata" = {
      "name" = "CLUSTER_NAME"
      "namespace" = "platform"
    }
    "spec" = {
      "clusterNetwork" = {
        "podCIDRSize" = "POD_CIDR"
        "serviceCIDRSize" = "SERVICE_CIDR"
      }
      "initialVersion" = {
        "kubernetesVersion" = "KUBERNETES_VERSION"
      }
      "nodePools" = [{
        "machineTypeName" = "MACHINE_TYPE"
        "name" = "NODE_POOL_NAME"
        "nodeCount" = "NUMBER_OF_WORKER_NODES"
        "taints" = "TAINTS"
        "labels" = "LABELS"
        "acceleratorOptions" = {
          "gpuPartitionScheme" = "GPU_PARTITION_SCHEME"
        }
      }]
      "releaseChannel" = {
        "channel" = "UNSPECIFIED"
      }
    }
  }
}

    更改下列內容：

    • MANAGEMENT_API_SERVER：區域 API 伺服器的 kubeconfig 路徑。如果您尚未在目標區域中為 API 伺服器產生 kubeconfig 檔案，請參閱「登入」。
    • CLUSTER_NAME：叢集名稱。叢集名稱結尾不得為 -system。-system 後置字串保留給 GDC 建立的叢集。
    • POD_CIDR：網路範圍的大小，Pod 虛擬 IP 位址會從這個範圍分配。如未設定，系統會使用預設值 21。
    • SERVICE_CIDR：網路範圍的大小，服務虛擬 IP 位址會從這個範圍分配。如未設定，系統會使用預設值 23。
    • KUBERNETES_VERSION：叢集的 Kubernetes 版本，例如 1.26.5-gke.2100。如要列出可供設定的 Kubernetes 版本，請參閱「列出叢集可用的 Kubernetes 版本」。
    • MACHINE_TYPE：節點集區工作站節點的機型。如要瞭解可設定的項目，請參閱可用的機器類型。
    • NODE_POOL_NAME：節點集區的名稱。
    • NUMBER_OF_WORKER_NODES：要在節點集區中佈建的 worker 節點數量。
    • TAINTS：要套用至這個節點集區節點的 taint。此為選填欄位。
    • LABELS：要套用至這個節點集區節點的標籤。其中包含鍵/值組合清單。這是選填欄位。
    • GPU_PARTITION_SCHEME：GPU 分割配置，如果您執行的是 GPU 工作負載。此為選填欄位。 例如，mixed-2。如果未設定這個欄位，GPU 就不會分割。如要進一步瞭解可用的多重執行個體 GPU (MIG) 設定檔，請參閱「支援的 MIG 設定檔」。

  2. 使用 Terraform 部署新的共用 Kubernetes 叢集：

    terraform apply

建立共用叢集最多可能需要 90 分鐘。

後續步驟