可用的 GPU

GPU 可用於加速工作負載,Cloud Workstations 支援將 GPU 附加至工作站。Cloud Workstations 支援許多可附加至 Compute Engine VM 的各種 GPU 模型。工作站設定會指定要連結至各工作站的 GPU 型號和數量。Cloud Workstations 會處理 GPU 的附加作業,並安裝裝置驅動程式。

將 GPU 附加至工作站會影響費用,詳情請參閱 Cloud Workstations 定價總覽。

限制

工作站設定可以指定 GPU,但須遵守下列限制:

  • Cloud Workstations 僅支援指定N1 機器系列、A2 機器系列或 A3 機器系列機型的設定。詳情請參閱支援的 GPU 模型。
  • 設定必須指定副本可用區,且該可用區必須提供所選 GPU 模型。
  • 工作站一次只能附加一個 GPU 模型。
  • 指定 A2 Ultra 機型的設定不得指定永久儲存空間。如需永久檔案儲存空間,建議使用 Filestore 或 Cloud Storage FUSE 等 NFS 解決方案。請注意,A2 Standard 機型支援永久儲存空間。 如要建立不含永久儲存空間的設定,請使用下列 Google Cloud CLI 指令:

      gcloud workstations configs create CONFIG_NAME \
        --project=PROJECT_ID \
        --cluster=CLUSTER_NAME \
        --region=LOCATION \
        --machine-type=A2_MACHINE_TYPE \
        --no-persistent-storage
    

    更改下列內容:

    • PROJECT_ID:工作站設定所在專案的 ID。
    • LOCATION:工作站叢集的區域。
    • CLUSTER_NAME:工作站設定所在的工作站叢集名稱。
    • CONFIG_NAME:工作站設定的名稱。
    • A2_MACHINE_TYPE:A2 機型類型。
  • 指定 A3 機型的設定僅支援 Hyperdisk 永久磁碟。

  • 只有下列機器系列支援使用 Google Cloud Hyperdisk 磁碟類型:

    • A3
    • C3
    • C4
    • G4
    • M3
    • N4
    • N4D
    • Z3

支援的 GPU 型號

Cloud Workstations 支援 Compute Engine 提供的許多 GPU 模型。支援的模型取決於工作站設定所選的機器系列,如下表所示。

N1 機器系列

N1 一般用途機器系列支援多種 GPU 型號,指定任何 N1 機器類型的工作站設定,也可以指定下列其中一種 GPU 型號。針對所選 GPU 模型,設定可能會指定要附加至每個工作站的 GPU 卡數量。

GPU 模型 GPU 數量
NVIDIA T4 (nvidia-tesla-t4) 1 個、2 個或 4 個 GPU
NVIDIA P4 (nvidia-tesla-p4) 1、2 或 4 個 GPU
NVIDIA V100 (nvidia-tesla-v100) 1、2、4 或 8 個 GPU
NVIDIA P100 (nvidia-tesla-p100) 1 個、2 個或 4 個 GPU

A2 機器系列

A2 標準和 A2 Ultra 加速器最佳化機器系列連接的 NVIDIA A100 GPU 數量固定,完全取決於所選機型。

下表顯示機型與附加卡片數量的對應關係。

GPU 模型 機器類型 GPU 數量
NVIDIA A100 40GB (nvidia-tesla-a100) a2-highgpu-1g 1 個 GPU
a2-highgpu-2g 2 個 GPU
a2-highgpu-4g 4 個 GPU
a2-highgpu-8g 8 個 GPU
a2-megagpu-16g 16 個 GPU
NVIDIA A100 80GB (nvidia-a100-80gb) a2-ultragpu-1g 1 個 GPU
a2-ultragpu-2g 2 個 GPU
a2-ultragpu-4g 4 個 GPU
a2-ultragpu-8g 8 個 GPU

A3 機器系列

A3 Mega 和 A3 High 加速器最佳化機器系列連接固定數量的 NVIDIA H100 GPU,完全取決於所選的機器類型。

下表顯示機型與附加卡片數量的對應關係。

GPU 模型 機器類型 GPU 數量
NVIDIA H100 80GB (nvidia-tesla-h100) a3-highgpu-8g 8 個 GPU
a3-megagpu-8g 8 個 GPU

Google Cloud Hyperdisk 支援

部分 GPU 工作負載需要極高的磁碟輸送量。為滿足這個用途,Cloud Workstations 允許使用 Google Cloud Hyperdisk Balanced High Availability 磁碟,做為先前列舉機型的持續性目錄。

您可以透過控制台和 gcloud CLI 設定 Hyperdisk 儲存空間。建立工作站設定後,即無法變更磁碟類型。

將 Hyperdisk 連結至工作站會影響費用,詳情請參閱 Google Cloud Hyperdisk 定價。

為現有工作站設定新增 GPU

如要將 GPU 新增至工作站設定,請完成下列任一分頁中的步驟。

事前準備

選取這個頁面上範例的預計用途分頁:

控制台

使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時,不需要設定驗證。

gcloud

安裝 Google Cloud CLI。 安裝完成後,請執行下列指令,初始化 Google Cloud CLI:

gcloud init

若您採用的是外部識別資訊提供者 (IdP),請先 使用聯合身分登入 gcloud CLI。

請參閱 Cloud Workstations 定價總覽,瞭解設定 GPU 對費用的影響。請注意,GPU 會附加至設定「快速啟動集區大小」指定的預先啟動虛擬機器 (VM)。

更新現有設定

控制台

如要透過Google Cloud 控制台,在現有工作站設定中設定 GPU,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「工作站設定」頁面。

    前往工作站設定頁面

  2. 在「工作站設定」清單中,按一下要新增 GPU 的設定「名稱」。

  3. 在「Workstation configuration details」(工作站設定詳細資料) 頁面中,按一下 edit「Edit」(編輯)。

  4. 在「編輯工作站設定」頁面,點選導覽選單中的「機器設定」。

  5. 按一下切換按鈕,選取「GPU」,而非「一般用途」機器家族。

    在「GPU type」(GPU 類型) 欄位中,選取要使用的 GPU 模型。

    在「Number of GPUs」(GPU 數量) 欄位中,選取要附加至各工作站的 GPU 介面卡數量。

    在「Machine type」(機型) 欄位中,選取要使用的機型。

  6. 按一下「儲存」,更新設定。

gcloud

如要在現有工作站設定中設定 GPU,請執行 gcloud workstations configs update 指令。

不過,請先收集一些資訊,瞭解有哪些可用的 GPU 型號,並選擇一個用於設定:

  1. 執行下列 gcloud CLI 指令,檢查設定指定的副本區域:

    gcloud workstations configs describe \
      --format="table(name.scope(workstationConfigs),replicaZones.list())" \
      --project=PROJECT_ID \
      --region=LOCATION \
      --cluster=CLUSTER_NAME \
      CONFIG_NAME
    

    更改下列內容:

    • PROJECT_ID:包含工作站設定的專案 ID。
    • LOCATION:工作站叢集的位置。
    • CLUSTER_NAME:工作站設定所在的工作站叢集名稱。
    • CONFIG_NAME:工作站設定的名稱。
  2. 執行 gcloud compute accelerator-types list 指令,在設定的副本區域兩者中,選擇支援的 GPU 模型:

    gcloud compute accelerator-types list \
      --format="table(name:sort=1,zone,description,maximumCardsPerInstance)" \
      --filter='zone.basename()=(ZONES) AND name~"nvidia-tesla-(a100|p100|p4|t4|v100)$"' \
      --project=PROJECT_ID
    

    將 ZONES 替換為上一個步驟中確定的副本可用區清單,並以半形逗號分隔 (例如 us-central1-a,us-central1-c)。

    選擇在表格中列出兩次的 GPU 模型,表示這類模型在兩個副本區域都可用。

    請注意所選 GPU 型號可附加的卡片數量上限。

  3. 使用 gcloud compute machine-types list 指令,判斷設定的兩個副本可用區中,有哪些支援的機型可用。

    1. 如果您在上一步選擇 NVIDIA A100 40GB GPU 模型,設定必須使用 A2 機器系列:

      gcloud compute machine-types list \
        --format="table(name,zone,guestCpus:sort=1)" \
        --filter="name:a2-highgpu- OR name:a2-megagpu-" \
        --zones=ZONES \
        --project=PROJECT_ID
      
    2. 如果您在上一步選擇任何其他 GPU 模型,設定必須使用 N1 系列機型:

      gcloud compute machine-types list \
        --format="table(name,zone,guestCpus:sort=1)" \
        --filter="name:n1-standard-" \
        --zones=ZONES \
        --project=PROJECT_ID
      

    請選擇在表格中列出兩次的機型,表示該機型在兩個副本可用區中都適用。

  4. 選取 GPU 模型和相容的機型後,請更新設定:

    1. 如要使用 NVIDIA A100 40GB GPU,請執行下列指令來更新設定:

      gcloud beta workstations configs update \
        --project=PROJECT_ID \
        --region=LOCATION \
        --cluster=CLUSTER_NAME \
        CONFIG_NAME \
        --machine-type=A2_MACHINE_TYPE
      

      將 A2_MACHINE_TYPE 替換為上一個步驟中選取的 A2 機型 (例如 a2-highgpu-1g)。

    2. 如為其他 GPU 型號,請執行下列指令:

      gcloud beta workstations configs update \
        --project=PROJECT_ID \
        --region=LOCATION \
        --cluster=CLUSTER_NAME \
        CONFIG_NAME \
        --machine-type=N1_MACHINE_TYPE \
        --accelerator-type=ACCELERATOR_TYPE \
        --accelerator-count=ACCELERATOR_COUNT
      

      更改下列內容:

      • N1_MACHINE_TYPE:從 N1 系列中選擇的機器類型 (例如 n1-standard-2)。
      • ACCELERATOR_TYPE:所選 GPU 模型的名稱 (例如 nvidia-tesla-t4)。
      • ACCELERATOR_COUNT:要附加至每個工作站的 GPU 數量 (例如 1、2、4)。必須是 2 的次方,且小於 GPU 型號的上限。

建立含有 GPU 的新工作站設定

如要建立新的工作站設定,將 GPU 附加至以該設定為基礎的工作站,請完成下列任一分頁中的步驟。

事前準備

選取這個頁面上範例的預計用途分頁:

控制台

使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時,不需要設定驗證。

gcloud

安裝 Google Cloud CLI。 完成後,執行下列指令來初始化 Google Cloud CLI:

gcloud init

若您採用的是外部識別資訊提供者 (IdP),請先 使用聯合身分登入 gcloud CLI。

REST

如要在本機開發環境中使用本頁的 REST API 範例,請使用您提供給 gcloud CLI 的憑證。

    安裝 Google Cloud CLI。

    若您採用的是外部識別資訊提供者 (IdP),請先 使用聯合身分登入 gcloud CLI。

詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」。

選擇 GPU 型號,並參閱 GPU 可用性表格,選取至少有兩個可用區提供所選 GPU 型號的區域。

如果您在所選區域中沒有叢集,無法建立新設定,請按照步驟在該區域建立工作站叢集。

請參閱 Cloud Workstations 定價 總覽,瞭解設定 GPU 對費用的影響。請注意,GPU 會附加至設定「快速啟動集區大小」指定的預先啟動虛擬機器 (VM)。

建立新的設定

控制台

透過Google Cloud 控制台建立新的 GPU 工作站設定,方法如下:

  1. 前往 Google Cloud 控制台的「工作站設定」頁面。

    前往工作站設定頁面

  2. 在「工作站設定」頁面中,按一下 add_box「建立」。

  3. 在「建立工作站設定」頁面的「基本資訊」步驟中,於「名稱」欄位指定設定名稱。

    在「工作站叢集」欄位中,選取所選區域中的叢集。

    按一下「Continue」(繼續),前往「Machine settings」(機器設定) 步驟。

  4. 在「Create workstation configuration」(建立工作站設定) 頁面的「Machine settings」(機器設定) 步驟中,先按一下切換鈕,選取「GPUs」(GPU),而非「General purpose」(一般用途) 機器家族。

    1. 然後在「可用區」欄位中,選取所選 GPU 型號適用的兩個可用區旁的核取方塊 (請參閱 GPU 可用性表格)。

    2. 在「GPU type」欄位中,選取要使用的 GPU 模型。

    3. 在「Number of GPUs」(GPU 數量) 欄位中,選取要附加至各工作站的 GPU 介面卡數量。

    4. 在「Machine type」(機型) 欄位中,選取相容的機型。

  5. 選用:UI 尚不支援這項功能,請參閱 gcloud 指令操作說明,瞭解如何使用 CLI 設定這項功能。

  6. 按一下「繼續」,設定環境設定和身分與存取權管理 (IAM) 政策,然後按一下「建立」,佈建新的工作站設定。

gcloud

使用 gcloud CLI 執行 gcloud workstations configs create 指令,建立搭載 GPU 的新工作站設定。

  • 如要使用 NVIDIA A100 40GB GPU,請執行下列指令來建立設定:

    gcloud beta workstations configs create \
      --project=PROJECT_ID \
      --region=LOCATION \
      --cluster=CLUSTER_NAME \
      CONFIG_NAME \
      --replica-zones=REPLICA_ZONES \
      --machine-type=A2_MACHINE_TYPE
    

    更改下列內容:

    • PROJECT_ID:將包含新工作站設定的專案 ID。
    • LOCATION:工作站叢集的位置,其中包含設定。
    • CLUSTER_NAME:要包含新工作站設定的工作站叢集名稱。
    • CONFIG_NAME:新工作站設定的名稱。
    • REPLICA_ZONES:叢集所在區域中,有兩個可用區提供所選 GPU 模型 (例如 us-central1-a,us-central1-c)。
    • A2_MACHINE_TYPE:所選 A2 系列機型 (例如 a2-highgpu-1g)。
  • 如為其他 GPU 型號,請執行下列指令來建立設定:

    gcloud beta workstations configs create \
      --project=PROJECT_ID \
      --region=LOCATION \
      --cluster=CLUSTER_NAME \
      CONFIG_NAME \
      --replica-zones=REPLICA_ZONES \
      --machine-type=N1_MACHINE_TYPE \
      --accelerator-type=ACCELERATOR_TYPE \
      --accelerator-count=ACCELERATOR_COUNT
    

    更改下列內容:

    • PROJECT_ID:將包含新工作站設定的專案 ID。
    • LOCATION:工作站叢集的位置,其中包含設定。
    • CLUSTER_NAME:要包含新工作站設定的工作站叢集名稱。
    • CONFIG_NAME:新工作站設定的名稱。
    • REPLICA_ZONES:叢集所在區域中,有兩個可用區提供所選 GPU 模型 (例如 us-central1-a,us-central1-c)。
    • N1_MACHINE_TYPE:所選 N1 系列機型 (例如 n1-standard-2)。
    • ACCELERATOR_TYPE:所選 GPU 型號的名稱 (例如 nvidia-tesla-t4)。
    • ACCELERATOR_COUNT:要附加至各工作站的 GPU 數量 (例如 1、2、4)。
  • 選用:如要使用 Hyperdisk,請新增 --disk-type=hyperdisk-balanced-ha 旗標。例如:

    gcloud beta workstations configs create \
      ... \
      --disk-type=hyperdisk-balanced-ha \
      --disk-size=200
    

    這個指令會建立大小為 200 GB 的 Hyperdisk。 建立工作站設定後,即無法變更磁碟類型。

NVIDIA GPU 裝置驅動程式

Cloud Workstations 會在 VM 啟動期間,在工作站的代管 VM 上安裝 NVIDIA 裝置驅動程式。

如要判斷工作站上安裝的裝置驅動程式版本,請執行下列指令:

nvidia-smi --query-gpu=name,driver_version --format=csv

各區域和可用區的 GPU 可用性

您可以依位置或 GPU 型號搜尋,也可以同時依這兩項條件搜尋。

可用區 位置 GPU 平台
asia-east1-a 台灣 P100、RTX 6000、T4
asia-east1-b 台灣 RTX 6000
asia-east1-c 台灣 H100、P100、T4、V100
asia-east2-a 香港 T4
asia-east2-b 香港
asia-east2-c 香港 T4
asia-northeast1-a 東京 A100 40 GB、T4
asia-northeast1-b 東京 H100
asia-northeast1-c 東京 A100 40GB、T4
asia-northeast3-a 首爾 A100 40GB、H100
asia-northeast3-b 首爾 A100 40GB、T4
asia-northeast3-c 首爾 H100、T4
asia-south1-a
asia-south1-b
孟買 T4
asia-south1-c 孟買 H100、RTX 6000
asia-southeast1-a 新加坡 A100 40GB、P4、RTX 6000、T4
asia-southeast1-b 新加坡 A100 40GB、H100、P4、RTX 6000、T4
asia-southeast1-c 新加坡 A100 40GB、A100 80GB、H100、P4、RTX 6000、T4
australia-southeast1-a 雪梨 P4、T4
australia-southeast1-b 雪梨 P100、P4
australia-southeast1-c 雪梨 H100、T4
australia-southeast2-a
australia-southeast2-b
australia-southeast2-c
墨爾本
europe-central2-a 華沙
europe-central2-b
europe-central2-c
華沙 T4
europe-north1-a
europe-north1-b
芬蘭 RTX 6000
europe-north1-c 芬蘭 H100、RTX 6000
europe-southwest1-a
europe-southwest1-b
europe-southwest1-c
馬德里
europe-west1-b 比利時 H100、P100、T4
europe-west1-c 比利時 H100、RTX 6000、T4
europe-west1-d 比利時 P100、T4
europe-west12-a
europe-west12-b
杜林
europe-west2-a 倫敦 T4
europe-west2-b 倫敦 H100、RTX 6000、T4
europe-west2-c 倫敦 RTX 6000
europe-west3-a 法蘭克福 H100
europe-west3-b 法蘭克福 T4
europe-west3-c 法蘭克福 H100
europe-west4-a 荷蘭 A100 40GB、A100 80GB、P100、RTX 6000、T4、V100
europe-west4-b 荷蘭 A100 40GB、H100、P4、RTX 6000、T4、V100
europe-west4-c 荷蘭 H100、P4、T4、V100
europe-west6-a
europe-west6-b
europe-west6-c
蘇黎世
europe-west8-a 米蘭
europe-west8-b 米蘭 RTX 6000
europe-west8-c 米蘭 H100
europe-west9-a
europe-west9-b
巴黎
europe-west9-c 巴黎 H100
me-central2-a
me-central2-b
me-central2-c
達曼
me-west1-a 特拉維夫 A100 40GB
me-west1-b 特拉維夫 T4
me-west1-c 特拉維夫 A100 40GB、T4
northamerica-northeast1-a
northamerica-northeast1-b
蒙特婁 P4
northamerica-northeast1-c 蒙特婁 P4、T4
southamerica-east1-a
southamerica-east1-b
southamerica-east1-c
聖保羅 T4
southamerica-west1-a
southamerica-west1-b
southamerica-west1-c
聖地亞哥
us-central1-a 愛荷華州 A100 40GB、A100 80GB、H100、P4、T4、V100
us-central1-b 愛荷華州 A100 40GB、H100、RTX 6000、T4、V100
us-central1-c 愛荷華州 A100 40 GB、A100 80 GB、H100、P100、P4、T4、V100
us-central1-f 愛荷華州 A100 40GB、P100、RTX 6000、T4、V100
us-east1-b 南卡羅來納州 A100 40GB、P100、RTX 6000、T4、V100
us-east1-c 南卡羅來納州 P100、T4、V100
us-east1-d 南卡羅來納州 RTX 6000、T4
us-east4-a 北維吉尼亞州 H100、P4、T4
us-east4-b 北維吉尼亞州 H100、P4、RTX 6000、T4
us-east4-c 北維吉尼亞州 A100 80GB、H100、P4、RTX 6000、T4
us-east5-a 哥倫布 A100 80GB、H100、RTX 6000
us-east5-b 哥倫布 A100 80GB、RTX 6000
us-east5-c 哥倫布 RTX 6000
us-west1-a 奧勒岡州 H100、P100、RTX 6000、T4、V100
us-west1-b 奧勒岡州 A100 40GB、H100、P100、RTX 6000、T4、V100
us-west1-c 奧勒岡州 RTX 6000
us-west4-a 拉斯維加斯 H100、RTX 6000、T4
us-west4-b 拉斯維加斯 A100 40GB、T4
us-west4-c 拉斯維加斯 RTX 6000

後續步驟