本文說明如何建立使用 A4X 機器類型的代管執行個體群組 (MIG)。如要進一步瞭解這款加速器最佳化機器類型,請參閱 A4X。
如要將多部虛擬機器 (VM) 視為單一實體來管理,請建立 MIG。如要進一步瞭解 MIG,請參閱 Compute Engine 說明文件中的代管執行個體群組。
如要瞭解建立 VM 或叢集的其他方式,請參閱「部署選項總覽」。
限制
使用 A4X VM 建立 MIG 時,請考量機型和 MIG 的限制。
A4X VM 的限制
以下是機器專屬的限制:
- 使用這些機器類型的執行個體無法享有續用折扣或彈性承諾使用折扣。此外,A4X Max 機型不支援依資源計算的承諾使用折扣。
- 您只能在特定區域和可用區建立執行個體。
- 您無法使用永久磁碟 (區域或可用區)。只能使用 Google Cloud Hyperdisk。
- 這些機器類型僅適用於 NVIDIA Grace 平台。
- A4X Max 或 A4X 不支援變更機器類型。如要切換至或切換出這些機器類型,您必須建立新的 A4X Max 或 A4X 執行個體。
- 您無法在這些機器類型上執行 Windows 作業系統。
- 如果是 A4X 執行個體,使用
ethtool -S監控 GPU 網路時,結尾為_phy的實體連接埠計數器不會更新。如果執行個體使用 MRDMA 虛擬函式 (VF) 架構,就會出現這種預期行為。詳情請參閱「MRDMA functions and network monitoring tools」。 - A4X Max 和 A4X 執行個體不支援下列項目:
- 您無法將 2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟附加至 A4X 機器類型。
MIG 的限制
使用 A4X VM 建立 MIG 時,須遵守下列限制:
如果您建立區域性 MIG,則 MIG 只能在包含虛擬私有雲網路設定檔的可用區中建立 VM。
您無法在 MIG 中設定執行個體彈性。
如果將工作負載政策套用至 MIG,且群組內有 VM,就無法變更 MIG 中的政策。如要變更含有 VM 的 MIG 政策,請先將 MIG調整為零。
您無法使用指定配置政策的執行個體範本,建立使用工作負載政策的 MIG。
事前準備
建立 MIG 前,請先完成下列步驟 (如尚未完成):
必要的角色
如要取得建立 MIG 所需的權限,請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
這個預先定義的角色具備建立 MIG 所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:
所需權限
如要建立 MIG,必須具備下列權限:
-
如要建立 MIG,請在專案上按一下
compute.instanceGroupManagers.create。
A4X 基礎知識
A4X 叢集會整理成區塊和子區塊的階層,以利大規模、無阻斷的網路效能。預留容量及部署工作負載時,瞭解這項拓撲是關鍵。
- A4X 執行個體
- A4X 執行個體是單一 A4X 機器類型,連接了 4 個 GPU。
- NVLink 網域或子區塊
- NVLink 網域 (也稱為子區塊) 是 A4X 容量的基本單位。NVLink 網域包含 18 個 A4X 執行個體 (72 個 GPU),並使用多節點 NVLink 系統互連。您可以套用指定
1x72拓撲的工作負載政策,建立 A4X NVLink 網域或子區塊。 - 封鎖
- 一個 A4X 區塊由 25 個子區塊 (NVLink 網域) 組成,最多可容納 450 個 A4X 執行個體 (1,800 個 GPU)。子區塊會與軌道對齊,以利有效擴充。每個子區塊都需要 MIG。因此,您可以在單一 A4X 區塊中建立 25 個 MIG。
下表列出 A4X 執行個體支援的拓撲選項:
拓撲 (acceleratorTopology) |
GPU 數量 | 執行個體數量 |
|---|---|---|
1x72 |
72 | 18 |
總覽
使用 A4X 機器類型建立 MIG 的步驟如下:
建立虛擬私有雲網路
如要為 A4X 機型設定網路,請為下列網路介面建立三個虛擬私有雲網路:
- gVNIC 網路介面 (NIC) 適用 2 個一般虛擬私有雲網路。這些位址用於主機間的通訊。
- 建立多個 A4X 子區塊時,CX-7 NIC 需要 1 個具備 RoCE 網路設定檔的 VPC 網路。RoCE 虛擬私有雲網路需要有 4 個子網路,每個 CX-7 NIC 各有一個子網路。這些 NIC 使用 RDMA over Converged Ethernet (RoCE),提供高頻寬、低延遲的通訊,對於擴展至多個 A4X 子區塊至關重要。如果是單一 A4X 子區塊,您可以略過這個 VPC 網路,因為在單一子區塊中,GPU 對 GPU 的直接通訊是由多節點 NVLink 處理。
如要進一步瞭解 NIC 配置,請參閱「查看網路頻寬和 NIC 配置」。
您可以按照操作說明手動建立網路,也可以使用提供的指令碼自動建立網路。
操作指南
如要建立網路,請按照下列操作說明進行:
- 如要為 gVNIC 建立一般虛擬私有雲網路,請參閱「建立及管理虛擬私有雲網路」。
- 如要建立 RoCE 虛擬私有雲網路,請參閱「為 RDMA NIC 建立虛擬私有雲網路」。
對於這些虛擬私有雲網路,建議您將最大傳輸單元 (MTU) 設為較大的值。如果是 A4X 機型,建議的 MTU 為 8896 位元組。
如要查看其他 GPU 機型的建議 MTU 設定,請參閱「GPU 機型的 MTU 設定」。
指令碼
如要建立網路,請按照下列步驟操作。
對於這些虛擬私有雲網路,建議您將最大傳輸單元 (MTU) 設為較大的值。如果是 A4X 機型,建議的 MTU 為 8896 位元組。
如要查看其他 GPU 機型的建議 MTU 設定,請參閱「GPU 機型的 MTU 設定」。
請使用下列指令碼為 gVNIC 建立一般 VPC 網路。
#!/bin/bash # Create regular VPC networks and subnets for the gVNICs for N in $(seq 0 1); do gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \ --subnet-mode=custom \ --mtu=8896 gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \ --network=GVNIC_NAME_PREFIX-net-$N \ --region=REGION \ --range=192.168.$N.0/24 gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \ --network=GVNIC_NAME_PREFIX-net-$N \ --action=ALLOW \ --rules=tcp:0-65535,udp:0-65535,icmp \ --source-ranges=192.168.0.0/16 done # Create SSH firewall rules gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \ --network=GVNIC_NAME_PREFIX-net-0 \ --action=ALLOW \ --rules=tcp:22 \ --source-ranges=IP_RANGE # Assumes that an external IP is only created for vNIC 0 gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \ --network=GVNIC_NAME_PREFIX-net-0 \ --action=ALLOW \ --rules=icmp \ --source-ranges=IP_RANGE如需多個 A4X 子區塊,請使用下列指令碼,為每個 A4X 執行個體上的四個 CX-7 NIC 建立 RoCE 虛擬私有雲網路和子網路。
# List and make sure network profiles exist in the machine type's zone gcloud compute network-profiles list --filter "location.name=ZONE" # Create network for CX-7 gcloud compute networks create RDMA_NAME_PREFIX-mrdma \ --network-profile=ZONE-vpc-roce \ --subnet-mode custom \ --mtu=8896 # Create subnets for N in $(seq 0 3); do gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \ --network=RDMA_NAME_PREFIX-mrdma \ --region=REGION \ --range=192.168.$((N+2)).0/24 & # offset to avoid overlap with gVNICs done更改下列內容:
GVNIC_NAME_PREFIX:用於 gVNIC 的一般虛擬私有雲網路和子網路的自訂名稱前置字元。RDMA_NAME_PREFIX:用於 CX-7 NIC 的 RoCE 虛擬私有雲網路和子網路的自訂名稱前置字元。ZONE:指定要使用的機型所在的可用區域,例如us-central1-a。如需地區相關資訊,請參閱「各個地區和區域的 GPU 供應情形」。REGION:要建立子網路的區域。這個區域必須與指定的可用區相符。舉例來說,如果可用區是us-central1-a,則區域為us-central1。IP_RANGE:用於 SSH 防火牆規則的 IP 範圍。
- 選用:如要確認虛擬私有雲網路資源是否建立成功,請在 Google Cloud 控制台中檢查網路設定:
- 前往 Google Cloud 控制台的「VPC Networks」(虛擬私有雲網路) 頁面。
- 在清單中搜尋您在上一個步驟中建立的網路。
- 如要查看子網路、防火牆規則和其他網路設定,請按一下網路名稱。
建立工作負載政策
工作負載政策建立後即無法更新。如要變更工作負載政策,請建立新的政策。
如要建立工作負載政策,請選取下列任一選項:
gcloud
如要建立工作負載政策,請使用
gcloud compute resource-policies create workload-policy 指令。
如要設定加速器間的網路,請在指令中指定 --accelerator-topology 標記。
請使用下列 A4X 機型指令。1x72 加速器拓撲顯示 72 個 GPU,透過區塊內的 NVLink 連線。
gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
--type=high-throughput \
--accelerator-topology=1x72 \
--region=REGION
更改下列內容:
WORKLOAD_POLICY_NAME:工作負載政策的名稱。REGION:要建立工作負載政策的區域。指定要建立 MIG 的區域,以及可用的機器類型。如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
REST
如要建立工作負載政策,請對 resourcePolicies.insert 方法發出 POST 要求。
acceleratorTopology 欄位。
對 A4X 機型發出下列要求。1x72 的加速器拓撲表示 72 個 GPU 在區塊內透過 NVLink 連線。
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
{
"name": "WORKLOAD_POLICY_NAME"
"workloadPolicy": {
"type": "HIGH_THROUGHPUT",
"acceleratorTopology": "1x72"
}
}
更改下列內容:
PROJECT_ID:專案 IDREGION:要建立工作負載政策的區域。指定要建立 MIG 的區域,以及要使用的機器類型。如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。WORKLOAD_POLICY_NAME:工作負載政策的名稱。
建立執行個體範本
建立執行個體範本,指定 MIG 的 VM 屬性。
如要建立執行個體範本,請選取下列任一選項。
下列指令也會設定執行個體的存取範圍。為簡化權限管理,Google 建議您將執行個體的存取權範圍設為cloud-platform 存取權,然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。gcloud
如要建立區域執行個體範本,請使用
gcloud compute instance-templates create 指令。
gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
--machine-type=a4x-highgpu-4g \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--instance-template-region=REGION \
--boot-disk-type=hyperdisk-balanced \
--boot-disk-size=DISK_SIZE \
--scopes=cloud-platform \
--network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
--network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
--reservation-affinity=specific \
--reservation=RESERVATION \
--provisioning-model=RESERVATION_BOUND \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE \
--restart-on-failure
更改下列內容:
INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。IMAGE_FAMILY:您要使用的 OS 映像檔映像檔系列。 如需支援的作業系統清單,請參閱「支援的作業系統」。IMAGE_PROJECT:OS 映像檔的專案 ID。REGION:要建立執行個體範本的區域。指定您要使用的機器類型適用的地區。如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。DISK_SIZE:開機磁碟的大小,單位為 GB。GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準 VPC 網路和子網路時指定的名稱前置字元。RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時指定的名稱前置字元。-
RESERVATION:預留項目名稱、區塊或預留項目內的子區塊。如要取得預留名稱或可用區塊,請參閱「查看預留容量」。根據執行個體放置位置的需求,選擇下列其中一個選項:- 如要在任何單一區塊上建立執行個體,請執行下列操作:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME - 如要在特定區塊上建立執行個體,請執行下列步驟:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME - 如要在特定子區塊中建立執行個體:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
- 如要在任何單一區塊上建立執行個體,請執行下列操作:
REST
如要建立區域執行個體範本,請對
regionInstanceTemplates.insert 方法發出 POST 要求。
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
"name":"INSTANCE_TEMPLATE_NAME",
"properties":{
"machineType":"a4x-highgpu-4g",
"disks":[
{
"boot":true,
"initializeParams":{
"diskSizeGb":"DISK_SIZE",
"diskType":"hyperdisk-balanced",
"sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
},
"mode":"READ_WRITE",
"type":"PERSISTENT"
}
],
"serviceAccounts": [
{
"email": "default",
"scopes": [
"https://www.googleapis.com/auth/cloud-platform"
]
}
],
"networkInterfaces": [
{
"accessConfigs": [
{
"name": "external-nat",
"type": "ONE_TO_ONE_NAT"
}
],
"network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
"nicType": "GVNIC",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
"nicType": "GVNIC",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
}
],
"reservationAffinity":{
"consumeReservationType":"SPECIFIC_RESERVATION",
"key":"compute.googleapis.com/reservation-name",
"values":[
"RESERVATION"
]
},
"scheduling":{
"provisioningModel":"RESERVATION_BOUND",
"instanceTerminationAction":"DELETE",
"onHostMaintenance": "TERMINATE",
"automaticRestart":true
}
}
}
更改下列內容:
INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。IMAGE_FAMILY:您要使用的 OS 映像檔映像檔系列。 如需支援的作業系統清單,請參閱「支援的作業系統」。IMAGE_PROJECT:OS 映像檔的專案 ID。REGION:要建立執行個體範本的區域。 指定您要使用的機器類型適用的區域。 如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。DISK_SIZE:開機磁碟的大小,單位為 GB。NETWORK_PROJECT_ID:網路的專案 ID。GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準 VPC 網路和子網路時指定的名稱前置字元。REGION:子網路的區域。RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時指定的名稱前置字元。-
RESERVATION:預留項目名稱、區塊或預留項目內的子區塊。如要取得預留名稱或可用區塊,請參閱「查看預留容量」。根據執行個體放置位置的需求,選擇下列其中一個選項:- 如要在任何單一區塊上建立執行個體,請執行下列操作:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME - 如要在特定區塊上建立執行個體,請執行下列步驟:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME - 如要在特定子區塊中建立執行個體:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
- 如要在任何單一區塊上建立執行個體,請執行下列操作:
建立 MIG
使用 A4X 機器類型時,您必須指定目標大小來建立 MIG。
如要取得 1x72 的 GPU 拓撲,請建立含有 18 個執行個體的 MIG。建立 MIG 時,請套用指定 acceleratorTopology 欄位的工作負載政策。套用這項政策後,Compute Engine 會在一個子區塊中建立所有 18 個執行個體,以使用 NVLink 網域。
如果子區塊的容量不足以容納所有 18 個執行個體,則無法立即建立的任何代管執行個體都會維持 CREATING 狀態,直到容量足夠為止。這些受管理執行個體代表 MIG 在有容量時建立的 VM。
如果套用工作負載政策時,acceleratorTopology 欄位設為 1x72,則 MIG 中最多只能建立 18 個執行個體。如果指定超過 18 個執行個體,MIG 建立作業就會失敗。如要建立多個 NVLink 網域,請為每個網域分別建立 MIG,並對每個 MIG 套用相同的工作負載政策。
如要建立 MIG,請選取下列任一選項:
gcloud
如要建立具有指定目標大小的 MIG,請使用 instance-groups managed
create 指令。
請按照下列步驟建立可用區或區域性 MIG:
- 如要建立可用區 MIG,請使用下列指令:
gcloud compute instance-groups managed create MIG_NAME \ --template=INSTANCE_TEMPLATE_URL \ --size=TARGET_SIZE \ --workload-policy=WORKLOAD_POLICY_URL \ --zone=ZONE
- 如要建立區域性 MIG,請使用下列指令:
gcloud compute instance-groups managed create MIG_NAME \ --template=INSTANCE_TEMPLATE_URL \ --size=TARGET_SIZE \ --workload-policy=WORKLOAD_POLICY_URL \ --region=REGION
MIG_NAME:MIG 的名稱。INSTANCE_TEMPLATE_URL:您要用來在 MIG 中建立 VM 的執行個體範本網址。網址可以包含執行個體範本的 ID 或名稱。指定下列其中一個值:- 如果是區域執行個體範本:
projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID - 全域執行個體範本:
INSTANCE_TEMPLATE_ID
- 如果是區域執行個體範本:
TARGET_SIZE:MIG 中所需的 VM 數量。將1x72的加速器拓撲目標大小設為18。WORKLOAD_POLICY_URL: 工作負載政策的網址。例如:projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy。ZONE:要建立 MIG 的可用區。在工作負載政策的區域中指定可用區。REGION:要建立 MIG 的區域。指定與工作負載政策相同的區域。 如果是區域性 MIG,您可以使用--zones旗標指定該區域中的可用區,而非區域。
REST
如要建立具有指定目標大小的 MIG,請發出 POST 要求。
請按照下列步驟建立可用區或區域性 MIG:
- 如要建立區域 MIG,請向
instanceGroupManagers.insert方法發出POST要求。POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers { "versions": [ { "instanceTemplate": "INSTANCE_TEMPLATE_URL" } ], "name": "MIG_NAME", "instanceTemplate": "INSTANCE_TEMPLATE_URL", "targetSize": "TARGET_SIZE", "resourcePolicies": { "workloadPolicy": WORKLOAD_POLICY_URL } } - 如要建立區域 MIG,請向
regionInstanceGroupManagers.insert方法發出POST要求。POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers { "versions": [ { "instanceTemplate": "INSTANCE_TEMPLATE_URL" } ], "name": "MIG_NAME", "instanceTemplate": "INSTANCE_TEMPLATE_URL", "targetSize": "TARGET_SIZE", "resourcePolicies": { "workloadPolicy": WORKLOAD_POLICY_URL } }
PROJECT_ID:專案 ID。ZONE:要建立 MIG 的可用區。在工作負載政策的區域中指定可用區。REGION:要建立 MIG 的區域。指定的區域必須與工作負載政策的區域相同。INSTANCE_TEMPLATE_URL:您要用來在 MIG 中建立 VM 的執行個體範本網址。網址可以包含執行個體範本的 ID 或名稱。指定下列其中一個值:- 如果是區域執行個體範本:
projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID - 全域執行個體範本:
INSTANCE_TEMPLATE_ID
- 如果是區域執行個體範本:
MIG_NAME:MIG 的名稱。TARGET_SIZE:MIG 中所需的 VM 數量。 針對1x72的加速器拓撲,將目標大小設為18。WORKLOAD_POLICY_URL: 工作負載政策的網址。例如:projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy。