创建带有 GPU 的机密虚拟机实例

如需将 GPU 与机密虚拟机实例搭配使用, 您必须使用受支持的机器类型和实例 预配模型创建虚拟机实例。创建虚拟机实例后,您需要在挂接的 GPU 上启用机密计算模式。

以下机器类型提供搭载 NVIDIA GPU 的机密虚拟机实例:

  • A3 High 机器类型:搭载 Intel TDX 的 NVIDIA H100 GPU。支持 Spot 和灵活启动预配模型。

  • G4 机器类型:搭载 AMD SEV 的 NVIDIA RTX PRO 6000。支持标准 (按需)、Spot 和灵活启动预配模型,以及 预留。

    将 NVIDIA RTX Pro 6000 GPU 与机密 G4 虚拟机实例搭配使用会自动产生 NVIDIA 机密计算软件和服务的许可费。如需了解详情,请参阅 搭载 GPU 的机密计算价格。

在创建搭载 GPU 的机密虚拟机实例之前,请确保您有足够的 GPU 配额。如需了解详情,请参阅 配额。

创建搭载 GPU 的机密虚拟机实例

如需创建挂接了 GPU 的机密虚拟机实例,请使用以下预配模型之一:

标准(按需)或 Spot 模型

gcloud

如需使用 gcloud CLI 创建加速器优化型标准(按需)或 Spot 虚拟机实例,请使用带有 instances create 子命令的 --provisioning-model 标志。

gcloud compute instances create INSTANCE_NAME \
    --provisioning-model=PROVISIONING_MODEL \
    --confidential-compute-type=CONFIDENTIAL_COMPUTING_TECHNOLOGY \
    --machine-type=MACHINE_TYPE_NAME \
    --maintenance-policy=TERMINATE \
    --zone=ZONE_NAME \
    --image-project=IMAGE_PROJECT \
    --image-family=IMAGE_FAMILY_NAME \
    --boot-disk-size=30G

如需启用 安全启动, 您可以使用 --shielded-secure-boot 标志来启动虚拟机实例。

请提供以下值:

  • INSTANCE_NAME:新虚拟机实例的名称。

  • PROVISIONING_MODEL:机器类型支持的预配模型。请按以下方式之一操作:

    • A3 High 机器类型:对于 Spot 虚拟机实例,请使用 SPOT。

    • G4 机器类型:对于标准(按需)虚拟机实例,请使用 STANDARD;对于 Spot 虚拟机实例,请使用 SPOT。如果未指定,此值默认为 STANDARD。

  • CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:

    • A3 High 机器类型 (a3-highgpu-1g):TDX

    • G4 机器类型 (g4-standard-48):SEV

  • MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:

    • a3-highgpu-1g

    • g4-standard-48

  • ZONE_NAME:用于创建虚拟机的 受支持可用区 。

  • IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。

  • IMAGE_FAMILY_NAME:受 机密虚拟机支持的 GPU 操作系统映像的系列。

REST

如需创建标准(按需)或 Spot 虚拟机实例,请发送以下 POST 请求并提供相应的内容。

使用以下 HTTP 方法和网址:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances

使用以下请求 JSON 正文:

{
  "name": "INSTANCE_NAME",
  "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE_NAME",
  "confidentialInstanceConfig": {
    "confidentialInstanceType": "CONFIDENTIAL_COMPUTING_TECHNOLOGY"
  },
  "scheduling": {
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": true,
    "provisioningModel": "PROVISIONING_MODEL"
  },
  "disks": [
    {
      "boot": true,
      "autoDelete": true,
      "initializeParams": {
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY",
        "diskSizeGb": "30"
      }
    }
  ],
  "networkInterfaces": [
    {
      "network": "global/networks/default"
    }
  ]
}

请提供以下值:

  • PROJECT_ID:可选。要在其中创建虚拟机的项目的 ID。

  • ZONE:用于创建虚拟机的 受支持可用区 。

  • INSTANCE_NAME:新虚拟机实例的名称。

  • MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:

    • a3-highgpu-1g

    • g4-standard-48

  • CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:

    • A3 High 机器类型 (a3-highgpu-1g):TDX

    • G4 机器类型 (g4-standard-48):SEV

  • PROVISIONING_MODEL:机器系列支持的预配模型。请按以下方式之一操作:

    • A3 High 机器类型:对于 Spot 虚拟机实例,请使用 SPOT。

    • G4 机器类型:对于 标准(按需)虚拟机实例,请使用 STANDARD;对于 Spot 虚拟机实例,请使用 SPOT。如果未指定,此值默认为 STANDARD。

  • IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。

  • IMAGE_FAMILY:受 机密虚拟机支持的 GPU 操作系统映像的系列。

灵活启动模型

如需使用 灵活启动模型, 请先创建实例模板,然后使用该模板创建 托管式实例组 (MIG)。 之后,您可以使用 规模调整请求将 GPU 虚拟机实例添加到 MIG。

将 MIG 调整大小请求与灵活启动预配模型结合使用可提高 GPU 虚拟机实例的获取率。如需了解详情,请参阅 关于 MIG 中的规模调整请求。

准备工作

创建包含 GPU 虚拟机实例的 MIG

如需创建实例模板,然后使用该模板创建 MIG,请完成以下步骤。

  1. 创建一个实例模板。

    gcloud

    gcloud beta compute instance-templates create INSTANCE_TEMPLATE_NAME \
        --provisioning-model=FLEX_START \
        --confidential-compute-type=CONFIDENTIAL_COMPUTING_TECHNOLOGY \
        --machine-type=MACHINE_TYPE_NAME \
        --maintenance-policy=TERMINATE \
        --image-project=IMAGE_PROJECT \
        --image-family=IMAGE_FAMILY_NAME \
        --boot-disk-size=30G \
        --instance-termination-action=DELETE \
        --max-run-duration=RUN_DURATION \
        --project=PROJECT_ID
    

    请提供以下值:

    • INSTANCE_TEMPLATE_NAME:新虚拟机实例模板的名称。

    • CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:

      • A3 High 机器类型 (a3-highgpu-1g):TDX

      • G4 机器类型 (g4-standard-48):SEV

    • MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:

      • a3-highgpu-1g

      • g4-standard-48

    • IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。

    • IMAGE_FAMILY_NAME:受 机密虚拟机支持的 GPU 操作系统映像的系列。

    • RUN_DURATION:您希望请求的虚拟机实例运行的时长。您必须将该值格式化为天数、小时数、分钟数或秒数,后跟 d、h、m 和 s。例如:6d8h44m。

    • PROJECT_ID:要在其中创建虚拟机的项目的 ID。

    REST

    如需创建机密虚拟机实例模板,请发送以下 POST 请求并提供相应的内容。

    使用以下 HTTP 方法和网址:

    POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/regions/REGION/instanceTemplates
    

    使用以下请求 JSON 正文:

    {
      "name": "INSTANCE_TEMPLATE_NAME",
      "properties": {
        "confidentialInstanceConfig": {
          "confidentialInstanceType": "CONFIDENTIAL_COMPUTING_TECHNOLOGY"
        },
        "machineType": "MACHINE_TYPE_NAME",
        "scheduling": {
          "instanceTerminationAction": "DELETE",
          "maxRunDuration": {
            "seconds": "RUN_DURATION_IN_SECONDS"
          },
          "automaticRestart": true,
          "onHostMaintenance": "TERMINATE",
          "provisioningModel": "FLEX_START",
          "preemptible": false
        },
        "disks": [
          {
            "autoDelete": true,
            "index": 0,
            "boot": true,
            "kind": "compute#attachedDisk",
            "mode": "READ_WRITE",
            "initializeParams": {
              "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY_NAME",
              "diskSizeGb": "30"
            },
            "type": "PERSISTENT"
          }
        ],
        "networkInterfaces": [
          {
            "accessConfigs": [
              {
                "kind": "compute#accessConfig",
                "name": "external-nat",
                "networkTier": "PREMIUM",
                "type": "ONE_TO_ONE_NAT"
              }
            ],
            "kind": "compute#networkInterface",
            "name": "nic0",
            "network": "projects/PROJECT_ID/global/networks/default"
          }
        ],
        "canIpForward": false
      }
    }
    

    如需启用安全启动,您可以添加以下对象来启动虚拟机实例。

    "shieldedInstanceConfig": {
      "enableIntegrityMonitoring": true,
      "enableSecureBoot": true,
      "enableVtpm": true
    }
    

    请提供以下值:

    • PROJECT_ID:要在其中创建模板的项目的 ID。

    • REGION:要在其中创建模板的区域。

    • INSTANCE_TEMPLATE_NAME:新虚拟机实例模板的名称。

    • CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:

      • A3 High 机器类型 (a3-highgpu-1g):TDX

      • G4 机器类型 (g4-standard-48):SEV

    • MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:

      • a3-highgpu-1g

      • g4-standard-48

    • RUN_DURATION_IN_SECONDS:您希望请求的虚拟机实例运行的时长(以秒为单位)。该值必须介于 600 秒和 604800 秒之间。

    • IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。

    • IMAGE_FAMILY_NAME:受 机密虚拟机支持的 GPU 操作系统映像的系列。

  2. 创建 MIG 和规模调整请求 以一次性添加 GPU 虚拟机实例。

  3. 列出 MIG 中存在的实例。

    gcloud

    gcloud compute instance-groups managed list-instances INSTANCE_GROUP_NAME \
        --zone=ZONE_NAME \
        --project=PROJECT_ID
    

    请提供以下值:

    • INSTANCE_GROUP_NAME:MIG 的名称。

    • ZONE_NAME:用于获取虚拟机实例列表的 受支持可用区 。

    • PROJECT_ID:可选。用于获取虚拟机实例列表的项目的 ID。

    REST

    如需列出所有模板,请发送以下 GET 请求。

    使用以下 HTTP 方法和网址:

    GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates
    

    如需将实例列表缩小到特定可用区,请发送以下 GET 请求。

    使用以下 HTTP 方法和网址:

    GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/ZONE_NAME/instanceTemplates
    

    请提供以下值:

    • ZONE_NAME:用于获取虚拟机实例列表的 受支持可用区 。

    • PROJECT_ID:用于获取虚拟机实例列表的项目的 ID。

将预留与机密虚拟机实例搭配使用

您可以使用 预留来 确保仅使用 G4 机器类型时,机密虚拟机实例有足够的容量。

如需将预留用于机密虚拟机实例,请执行以下操作:

  1. 在受支持的可用区中创建标准预留。 您可以在创建预留期间使用 --require-specific-reservation 标志来控制实例如何使用此预留。

  2. 创建机密虚拟机实例以使用预留。 创建虚拟机实例时,请添加 --confidential-compute-type=SEV 标志,使其成为机密虚拟机实例。此实例如何使用预留取决于预留的关联性设置。

以下示例展示了如何将预留与机密虚拟机实例搭配使用。使用预留的方法取决于预留的创建方式:

  • 自动使用:如果创建预留时没有使用 --require-specific-reservation标志,您可以 创建具有匹配属性(例如机器类型或可用区)的 G4 机密虚拟机实例 以自动使用 预留。

  • 特定使用:如果创建预留时使用了 --require-specific-reservation标志,则在创建实例时,您必须使用 --reservation-affinity=specific和 --reservation=RESERVATION_NAME标志来指定预留:

    gcloud compute instances create INSTANCE_NAME \
        --project=PROJECT_ID \
        --zone=ZONE_NAME \
        --machine-type=g4-standard-48 \
        --confidential-compute-type=SEV \
        --image-project=ubuntu-os-cloud \
        --image-family=ubuntu-2404-lts-amd64 \
        --reservation-affinity=specific \
        --reservation=RESERVATION_NAME
    

    请提供以下值:

    • INSTANCE_NAME:新虚拟机实例的名称。

    • PROJECT_ID:可选。要在其中创建虚拟机的项目的 ID。

    • ZONE_NAME:用于创建虚拟机的 受支持可用区 。

    • RESERVATION_NAME:预留的名称。

如需了解虚拟机实例如何使用预留以及关联性的工作原理,请参阅 使用预留。

在 GPU 上启用机密计算模式

  1. 使用 gcloud compute ssh 命令连接到 MIG 中的虚拟机实例。

    gcloud compute ssh
    
  2. 更新软件包列表并安装必要的工具和库。

    sudo apt-get update --yes
    sudo apt-get install linux-headers-$(uname -r)
    sudo apt install -y build-essential libxml2 libncurses5-dev pkg-config libvulkan1 gcc-12
    
  3. 在虚拟机实例上安装相应的 GPU 驱动程序。 对于启用了安全启动的虚拟机实例,请参阅 安装 GPU 驱动程序(安全启动虚拟机)。 我们建议使用 NVIDIA 开源内核模块驱动程序的 580 或更高版本。

  4. 如需配置 GPU 和 GPU 驱动程序之间的安全通信,请启用 Linux 内核加密 API (LKCA)。

    echo "install nvidia /sbin/modprobe ecdsa_generic; /sbin/modprobe ecdh; /sbin/modprobe --ignore-install nvidia" | sudo tee /etc/modprobe.d/nvidia-lkca.conf
    sudo update-initramfs -u
    
  5. 启用持久模式,以在 GPU 和 GPU 驱动程序之间建立安全的 Security Protocol and Data Model (SPDM) 连接。

    sudo test -f /usr/lib/systemd/system/nvidia-persistenced.service && sudo sed -i "s/no-persistence-mode/uvm-persistence-mode/g" /usr/lib/systemd/system/nvidia-persistenced.service
    sudo systemctl daemon-reload
    
  6. 重新启动虚拟机实例以应用 LKCA 和持久模式配置。

    sudo reboot
    
  7. 使用 gcloud compute ssh 命令连接到 MIG 中的虚拟机实例。

    gcloud compute ssh
    
  8. (可选)安装 CUDA 示例 ,这些示例支持您需要的驱动程序版本。

    wget -O cuda-samples.tar.gz https://github.com/NVIDIA/cuda-samples/archive/refs/tags/v12.9.tar.gz
    tar xzvf cuda-samples.tar.gz
    

后续步骤