创建使用 N1 的自定义 AI 优化型 GKE 集群

本文档介绍了如何创建自定义 Google Kubernetes Engine (GKE) 集群，该集群使用 N1 通用机器系列并挂接 NVIDIA T4 或 V100 GPU，以支持人工智能 (AI) 和机器学习 (ML) 工作负载。挂接了 GPU 的 N1 机器被视为通用 GPU，可提供独立的计算资源，专为小型到中型推理和图形密集型应用等主流 AI 任务而设计。

GKE 提供了一个统一的平台，可为组织运行各种工作负载，从而减轻管理多个平台的运营负担。

如需创建使用 N1 机器系列的 AI 优化型 GKE 集群，您需要执行以下操作：

  1. 创建 GKE 环境
  2. 连接到集群
  3. 配置 Pod 清单

准备工作

在开始之前，请确保您已执行以下任务：

  • 启用 Google Kubernetes Engine API。
    • 启用 Google Kubernetes Engine API
  • 如果您要使用 Google Cloud CLI 执行此任务，请安装并初始化 gcloud CLI。如果您之前安装了 gcloud CLI，请通过运行 gcloud components update 命令来获取最新版本。较早版本的 gcloud CLI 可能不支持运行本文档中的命令。

所需的角色

如需获得创建和管理 GKE 集群所需的权限，请让您的管理员为您授予项目的以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

选择使用选项并获取容量

  1. 选择使用选项。您可以根据自己希望如何获取和使用 GPU 资源来做出选择。如需了解详情，请参阅选择消费方案。

  2. 获取容量。了解如何为您的消费选项获取容量。

要求

对于使用 N1 的 AI 优化 GKE 集群，您的节点必须使用 535 或更高版本的 NVIDIA 驱动程序。

限制

以下限制适用于作为通用 GPU 机器系列的 N1：

  • 多实例 GPU (NVIDIA)：N1 机器系列不支持多实例 GPU (NVIDIA)。
  • NCCL Fast Socket：您无法在 GKE 上将 NCCL Fast Socket 与 N1 机器搭配使用。虽然 N1 机器支持多节点通信，但它们使用标准 VPC 网络。对于需要最大网络吞吐量的大规模分布式训练，我们建议使用集群 GPU 机器系列，例如 A3 High 或 A3 Mega（使用 GPUDirect TCPX）或 A3 Ultra 和 A4（使用 GPUDirect RDMA）。

创建 GKE 环境

您可以在 Autopilot 或标准模式下创建集群。

Autopilot

如需创建 Autopilot 集群，请运行以下命令：

gcloud container clusters create-auto CLUSTER_NAME \
    --region=REGION

替换以下内容：

  • CLUSTER_NAME：您的集群的名称。
  • REGION：集群所在的区域。

标准

创建 Standard 集群和 GPU 节点池：

  1. 如需创建 Standard 集群，请运行以下命令：

    gcloud container clusters create CLUSTER_NAME \
    --region=REGION \
    --enable-ip-alias

    替换以下内容：

    • CLUSTER_NAME：您的集群的名称。
    • REGION：集群所在的区域。

  2. 创建节点池。 创建集群后，您可以添加一个节点池，其中包含挂接了 T4 或 V100 GPU 的 N1 机器。

    如需创建节点池，请使用以下命令：

    挂接了 T4 GPU 的 N1

    gcloud container node-pools create NODE_POOL_NAME \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --node-locations=ZONE \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=nvidia-tesla-t4,count=AMOUNT,gpu-driver-version=LATEST \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --local-ssd-count=LOCAL_SSD_COUNT

    挂接了 V100 GPU 的 N1

    gcloud container node-pools create NODE_POOL_NAME \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --node-locations=ZONE \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=nvidia-tesla-v100,count=AMOUNT,gpu-driver-version=LATEST \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --local-ssd-count=LOCAL_SSD_COUNT

    替换以下内容：

    • CLUSTER_NAME：您的集群的名称。
    • REGION：集群所在的区域。
    • ZONE：您所在区域内提供所请求 GPU 的一个或多个可用区，例如 us-central1-a。使用紧凑放置时，必须设置此参数。
    • NODE_POOL_NAME：节点池的名称。
    • MACHINE_TYPE：节点的 N1 机器类型，例如 n1-standard-4。
    • AMOUNT：要挂接到每个节点的 GPU 数量。
    • LOCAL_SSD_COUNT：每个节点上预配的本地 SSD 卷的数量。

连接到集群

连接到集群，以便运行下一部分中的 kubectl 命令：

gcloud container clusters get-credentials CLUSTER_NAME \
    --region=REGION

替换以下内容：

  • CLUSTER_NAME：您的集群的名称。
  • REGION：集群所在的区域。

如需了解详情，请参阅安装 kubectl 并配置集群访问权限。

配置 Pod 清单（仅限 Autopilot）

如果您创建了 Autopilot 集群，则必须在 Pod 清单中选择合适的 GPU，以便 GKE 预配硬件。

  1. 使用节点选择器指定所选 GPU 类型和特定预留：

    spec:
  nodeSelector:
    cloud.google.com/gke-accelerator: ACCELERATOR
    cloud.google.com/gke-gpu-driver-version: latest
    # Optional: Include if using reserved capacity
    cloud.google.com/reservation-name: RESERVATION_NAME
    cloud.google.com/reservation-affinity: "specific"

    替换以下内容：

    • ACCELERATOR：您要使用的加速器。对于 T4 GPU，请使用 nvidia-tesla-t4；对于 V100 GPU，请使用 nvidia-tesla-v100。
    • RESERVATION_NAME：Compute Engine 容量预留的名称。如需使用共享预留或预留的特定块和子块，请参阅使用预留的可用区级路径资源中的相应部分。

  2. 将以下资源添加到请求 GPU 的容器：

    containers:
  - name: my-container
    resources:
      limits:
        nvidia.com/gpu: AMOUNT

    将 AMOUNT 替换为要附加到每个节点的 GPU 数量。

后续步骤