如需将 GPU 与机密虚拟机实例搭配使用, 您必须使用受支持的机器类型和实例 预配模型创建虚拟机实例。创建虚拟机实例后,您需要在挂接的 GPU 上启用机密计算模式。
以下机器类型提供搭载 NVIDIA GPU 的机密虚拟机实例:
A3 High 机器类型:搭载 Intel TDX 的 NVIDIA H100 GPU。支持 Spot 和灵活启动预配模型。
G4 机器类型:搭载 AMD SEV 的 NVIDIA RTX PRO 6000。支持标准 (按需)、Spot 和灵活启动预配模型,以及 预留。
将 NVIDIA RTX Pro 6000 GPU 与机密 G4 虚拟机实例搭配使用会自动产生 NVIDIA 机密计算软件和服务的许可费。如需了解详情,请参阅 搭载 GPU 的机密计算价格。
在创建搭载 GPU 的机密虚拟机实例之前,请确保您有足够的 GPU 配额。如需了解详情,请参阅 配额。
创建搭载 GPU 的机密虚拟机实例
如需创建挂接了 GPU 的机密虚拟机实例,请使用以下预配模型之一:
标准(按需):创建标准(按需)加速器优化型 虚拟机实例。此模型仅适用于 G4 机器类型。如需了解 详细步骤,请参阅 标准(按需)或 Spot 模型。
Spot:为 A3 High 或 G4 机器类型创建加速器优化型 Spot 虚拟机实例。如需了解详细步骤,请参阅 标准(按需)或 Spot 模型。
灵活启动:为 A3 High 或 G4 机器类型创建 托管式实例组 (MIG) 。如需了解详细步骤,请参阅 灵活启动模型。
标准(按需)或 Spot 模型
gcloud
如需使用 gcloud CLI 创建加速器优化型标准(按需)或
Spot 虚拟机实例,请使用带有
instances create
子命令的 --provisioning-model 标志。
gcloud compute instances create INSTANCE_NAME \
--provisioning-model=PROVISIONING_MODEL \
--confidential-compute-type=CONFIDENTIAL_COMPUTING_TECHNOLOGY \
--machine-type=MACHINE_TYPE_NAME \
--maintenance-policy=TERMINATE \
--zone=ZONE_NAME \
--image-project=IMAGE_PROJECT \
--image-family=IMAGE_FAMILY_NAME \
--boot-disk-size=30G
如需启用 安全启动,
您可以使用 --shielded-secure-boot 标志来启动虚拟机实例。
请提供以下值:
INSTANCE_NAME:新虚拟机实例的名称。PROVISIONING_MODEL:机器类型支持的预配模型。请按以下方式之一操作:A3 High 机器类型:对于 Spot 虚拟机实例,请使用
SPOT。G4 机器类型:对于标准(按需)虚拟机实例,请使用
STANDARD;对于 Spot 虚拟机实例,请使用SPOT。如果未指定,此值默认为STANDARD。
CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:A3 High 机器类型 (
a3-highgpu-1g):TDXG4 机器类型 (
g4-standard-48):SEV
MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:a3-highgpu-1gg4-standard-48
ZONE_NAME:用于创建虚拟机的 受支持可用区 。IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。IMAGE_FAMILY_NAME:受 机密虚拟机支持的 GPU 操作系统映像的系列。
REST
如需创建标准(按需)或 Spot 虚拟机实例,请发送以下 POST 请求并提供相应的内容。
使用以下 HTTP 方法和网址:
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
使用以下请求 JSON 正文:
{
"name": "INSTANCE_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE_NAME",
"confidentialInstanceConfig": {
"confidentialInstanceType": "CONFIDENTIAL_COMPUTING_TECHNOLOGY"
},
"scheduling": {
"onHostMaintenance": "TERMINATE",
"automaticRestart": true,
"provisioningModel": "PROVISIONING_MODEL"
},
"disks": [
{
"boot": true,
"autoDelete": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY",
"diskSizeGb": "30"
}
}
],
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}
请提供以下值:
PROJECT_ID:可选。要在其中创建虚拟机的项目的 ID。ZONE:用于创建虚拟机的 受支持可用区 。INSTANCE_NAME:新虚拟机实例的名称。MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:a3-highgpu-1gg4-standard-48
CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:A3 High 机器类型 (
a3-highgpu-1g):TDXG4 机器类型 (
g4-standard-48):SEV
PROVISIONING_MODEL:机器系列支持的预配模型。请按以下方式之一操作:A3 High 机器类型:对于 Spot 虚拟机实例,请使用
SPOT。G4 机器类型:对于 标准(按需)虚拟机实例,请使用
STANDARD;对于 Spot 虚拟机实例,请使用SPOT。如果未指定,此值默认为STANDARD。
IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。IMAGE_FAMILY:受 机密虚拟机支持的 GPU 操作系统映像的系列。
灵活启动模型
如需使用 灵活启动模型, 请先创建实例模板,然后使用该模板创建 托管式实例组 (MIG)。 之后,您可以使用 规模调整请求将 GPU 虚拟机实例添加到 MIG。
将 MIG 调整大小请求与灵活启动预配模型结合使用可提高 GPU 虚拟机实例的获取率。如需了解详情,请参阅 关于 MIG 中的规模调整请求。
准备工作
创建包含 GPU 虚拟机实例的 MIG
如需创建实例模板,然后使用该模板创建 MIG,请完成以下步骤。
创建一个实例模板。
gcloud
gcloud beta compute instance-templates create INSTANCE_TEMPLATE_NAME \ --provisioning-model=FLEX_START \ --confidential-compute-type=CONFIDENTIAL_COMPUTING_TECHNOLOGY \ --machine-type=MACHINE_TYPE_NAME \ --maintenance-policy=TERMINATE \ --image-project=IMAGE_PROJECT \ --image-family=IMAGE_FAMILY_NAME \ --boot-disk-size=30G \ --instance-termination-action=DELETE \ --max-run-duration=RUN_DURATION \ --project=PROJECT_ID请提供以下值:
INSTANCE_TEMPLATE_NAME:新虚拟机实例模板的名称。CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:A3 High 机器类型 (
a3-highgpu-1g):TDXG4 机器类型 (
g4-standard-48):SEV
MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:a3-highgpu-1gg4-standard-48
IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。IMAGE_FAMILY_NAME:受 机密虚拟机支持的 GPU 操作系统映像的系列。RUN_DURATION:您希望请求的虚拟机实例运行的时长。您必须将该值格式化为天数、小时数、分钟数或秒数,后跟d、h、m和s。例如:6d8h44m。PROJECT_ID:要在其中创建虚拟机的项目的 ID。
REST
如需创建机密虚拟机实例模板,请发送以下 POST 请求并提供相应的内容。
使用以下 HTTP 方法和网址:
POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/regions/REGION/instanceTemplates使用以下请求 JSON 正文:
{ "name": "INSTANCE_TEMPLATE_NAME", "properties": { "confidentialInstanceConfig": { "confidentialInstanceType": "CONFIDENTIAL_COMPUTING_TECHNOLOGY" }, "machineType": "MACHINE_TYPE_NAME", "scheduling": { "instanceTerminationAction": "DELETE", "maxRunDuration": { "seconds": "RUN_DURATION_IN_SECONDS" }, "automaticRestart": true, "onHostMaintenance": "TERMINATE", "provisioningModel": "FLEX_START", "preemptible": false }, "disks": [ { "autoDelete": true, "index": 0, "boot": true, "kind": "compute#attachedDisk", "mode": "READ_WRITE", "initializeParams": { "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY_NAME", "diskSizeGb": "30" }, "type": "PERSISTENT" } ], "networkInterfaces": [ { "accessConfigs": [ { "kind": "compute#accessConfig", "name": "external-nat", "networkTier": "PREMIUM", "type": "ONE_TO_ONE_NAT" } ], "kind": "compute#networkInterface", "name": "nic0", "network": "projects/PROJECT_ID/global/networks/default" } ], "canIpForward": false } }如需启用安全启动,您可以添加以下对象来启动虚拟机实例。
"shieldedInstanceConfig": { "enableIntegrityMonitoring": true, "enableSecureBoot": true, "enableVtpm": true }请提供以下值:
PROJECT_ID:要在其中创建模板的项目的 ID。REGION:要在其中创建模板的区域。INSTANCE_TEMPLATE_NAME:新虚拟机实例模板的名称。CONFIDENTIAL_COMPUTING_TECHNOLOGY:要使用的 机密计算技术 类型。请按以下方式之一操作:A3 High 机器类型 (
a3-highgpu-1g):TDXG4 机器类型 (
g4-standard-48):SEV
MACHINE_TYPE_NAME:虚拟机机器类型。请按以下方式之一操作:a3-highgpu-1gg4-standard-48
RUN_DURATION_IN_SECONDS:您希望请求的虚拟机实例运行的时长(以秒为单位)。该值必须介于600秒和604800秒之间。IMAGE_PROJECT:包含受 机密虚拟机支持的 GPU 操作系统映像的项目。IMAGE_FAMILY_NAME:受 机密虚拟机支持的 GPU 操作系统映像的系列。
创建 MIG 和规模调整请求 以一次性添加 GPU 虚拟机实例。
列出 MIG 中存在的实例。
gcloud
gcloud compute instance-groups managed list-instances INSTANCE_GROUP_NAME \ --zone=ZONE_NAME \ --project=PROJECT_ID请提供以下值:
INSTANCE_GROUP_NAME:MIG 的名称。ZONE_NAME:用于获取虚拟机实例列表的 受支持可用区 。PROJECT_ID:可选。用于获取虚拟机实例列表的项目的 ID。
REST
如需列出所有模板,请发送以下 GET 请求。
使用以下 HTTP 方法和网址:
GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates如需将实例列表缩小到特定可用区,请发送以下 GET 请求。
使用以下 HTTP 方法和网址:
GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/ZONE_NAME/instanceTemplates请提供以下值:
ZONE_NAME:用于获取虚拟机实例列表的 受支持可用区 。PROJECT_ID:用于获取虚拟机实例列表的项目的 ID。
将预留与机密虚拟机实例搭配使用
您可以使用 预留来 确保仅使用 G4 机器类型时,机密虚拟机实例有足够的容量。
如需将预留用于机密虚拟机实例,请执行以下操作:
在受支持的可用区中创建标准预留。 您可以在创建预留期间使用
--require-specific-reservation标志来控制实例如何使用此预留。创建机密虚拟机实例以使用预留。 创建虚拟机实例时,请添加
--confidential-compute-type=SEV标志,使其成为机密虚拟机实例。此实例如何使用预留取决于预留的关联性设置。
以下示例展示了如何将预留与机密虚拟机实例搭配使用。使用预留的方法取决于预留的创建方式:
自动使用:如果创建预留时没有使用
--require-specific-reservation标志,您可以 创建具有匹配属性(例如机器类型或可用区)的 G4 机密虚拟机实例 以自动使用 预留。特定使用:如果创建预留时使用了
--require-specific-reservation标志,则在创建实例时,您必须使用--reservation-affinity=specific和--reservation=RESERVATION_NAME标志来指定预留:gcloud compute instances create INSTANCE_NAME \ --project=PROJECT_ID \ --zone=ZONE_NAME \ --machine-type=g4-standard-48 \ --confidential-compute-type=SEV \ --image-project=ubuntu-os-cloud \ --image-family=ubuntu-2404-lts-amd64 \ --reservation-affinity=specific \ --reservation=RESERVATION_NAME请提供以下值:
INSTANCE_NAME:新虚拟机实例的名称。PROJECT_ID:可选。要在其中创建虚拟机的项目的 ID。ZONE_NAME:用于创建虚拟机的 受支持可用区 。RESERVATION_NAME:预留的名称。
如需了解虚拟机实例如何使用预留以及关联性的工作原理,请参阅 使用预留。
在 GPU 上启用机密计算模式
使用 gcloud compute ssh 命令连接到 MIG 中的虚拟机实例。
gcloud compute ssh更新软件包列表并安装必要的工具和库。
sudo apt-get update --yes sudo apt-get install linux-headers-$(uname -r) sudo apt install -y build-essential libxml2 libncurses5-dev pkg-config libvulkan1 gcc-12在虚拟机实例上安装相应的 GPU 驱动程序。 对于启用了安全启动的虚拟机实例,请参阅 安装 GPU 驱动程序(安全启动虚拟机)。 我们建议使用 NVIDIA 开源内核模块驱动程序的 580 或更高版本。
如需配置 GPU 和 GPU 驱动程序之间的安全通信,请启用 Linux 内核加密 API (LKCA)。
echo "install nvidia /sbin/modprobe ecdsa_generic; /sbin/modprobe ecdh; /sbin/modprobe --ignore-install nvidia" | sudo tee /etc/modprobe.d/nvidia-lkca.conf sudo update-initramfs -u启用持久模式,以在 GPU 和 GPU 驱动程序之间建立安全的 Security Protocol and Data Model (SPDM) 连接。
sudo test -f /usr/lib/systemd/system/nvidia-persistenced.service && sudo sed -i "s/no-persistence-mode/uvm-persistence-mode/g" /usr/lib/systemd/system/nvidia-persistenced.service sudo systemctl daemon-reload重新启动虚拟机实例以应用 LKCA 和持久模式配置。
sudo reboot使用 gcloud compute ssh 命令连接到 MIG 中的虚拟机实例。
gcloud compute ssh(可选)安装 CUDA 示例 ,这些示例支持您需要的驱动程序版本。
wget -O cuda-samples.tar.gz https://github.com/NVIDIA/cuda-samples/archive/refs/tags/v12.9.tar.gz tar xzvf cuda-samples.tar.gz
后续步骤
了解如何 验证 GPU 上是否启用了机密模式。
详细了解GPU 配额。
如需了解配额用量,请参阅 GPU 虚拟机和抢占式分配配额。