使用 IRDMA Cloud RDMA 驅動程式

Cloud RDMA 使用 IRDMA RDMA 驅動程式，提供低延遲的可靠訊息傳輸功能。這個驅動程式支援 Compute Engine 執行個體之間的遠端直接記憶體存取 (RDMA)。RDMA 會透過網路介面在遠端機器和本機記憶體之間傳輸資料，不需要使用主機 CPU 或中繼主機緩衝區。

支援 Cloud RDMA 的執行個體至少需要兩個虛擬網路介面 (vNIC)：

  • 用於 Cloud RDMA 通訊的 vNIC，使用 IDPF 網路和 IRDMA RDMA 驅動程式。這個 vNIC 無法連上網際網路。執行個體只能有一個使用 Cloud RDMA 的 vNIC。
  • 用於一般網路流量的 vNIC。這個 vNIC 已完全連線至「Google Cloud 」網路，且可以連線至網際網路。這個 vNIC 使用 gVNIC 網路驅動程式。您最多可以新增八個額外的 gVNIC 網路介面，因此每個執行個體最多可有 10 個 vNIC。

H4D 執行個體支援 IRDMA 驅動程式。

設定使用 IRDMA 驅動程式的 vNIC 時，必須指定使用 Falcon RDMA 網路設定檔建立的虛擬私有雲網路。

事前準備

  • 如果尚未設定驗證，請先完成設定。 驗證可確認您的身分，以便存取 Google Cloud 服務和 API。如要從本機開發環境執行程式碼或範例，可以選取下列任一選項，向 Compute Engine 進行驗證：

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. 安裝 Google Cloud CLI。 完成後，執行下列指令來初始化 Google Cloud CLI： 

      gcloud init

      若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

    2. Set a default region and zone.

    REST

    如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。

      安裝 Google Cloud CLI。 完成後，執行下列指令來初始化 Google Cloud CLI： 

      gcloud init

      若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

    詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」。

作業系統支援

Google 建議使用HPC VM 映像檔，其中已預先安裝 Cloud RDMA 驅動程式。

在為 Google Cloud提供的公開 OS 映像檔中，下列映像檔支援 IRDMA RDMA 驅動程式：

  • Container-Optimized OS 117 LTS 以上版本
  • Rocky Linux 8，已針對 Google Cloud 和 Google Cloud以上版本最佳化

搭配 Compute Engine 執行個體使用 Cloud RDMA 的總覽

如要建立使用 Cloud RDMA 的運算執行個體，您必須至少有一個一般 VPC 網路和一個 Falcon VPC 網路。Falcon 虛擬私有雲網路會使用 Falcon RDMA 網路設定檔，在 H4D 執行個體之間啟用 Cloud RDMA 流量。這個網路與一般虛擬私有雲網路不同，後者會將非 RDMA 流量傳輸至其他Google Cloud 服務或網際網路。

如要建立使用 Cloud RDMA 的運算執行個體，請完成下列工作：

  1. 選擇支援 Cloud RDMA 的公開 OS 映像檔，或建立標記為使用 IRDMA 的自訂 OS 映像檔。

  2. 找出或建立至少兩個虛擬私有雲網路：

    • 用於透過 gVNIC 網路介面傳輸流量的一般 VPC 網路
    • 用於 Cloud RDMA 流量的 Falcon 虛擬私有雲網路

  3. 使用公開或自訂 OS 映像檔建立運算執行個體。建立執行個體時，請設定至少兩個網路介面：一個使用 gVNIC 網路驅動程式，另一個使用 IRDMA RDMA 驅動程式。

  4. 確認已啟用 Cloud RDMA。

建立支援 Cloud RDMA 的自訂 OS 映像檔

您可以使用 Google Cloud CLI 或 REST 建立 OS 映像檔。如需建立自訂 OS 映像檔的詳細資訊和最佳做法，請參閱「建立自訂 OS 映像檔」。

gcloud

  1. 選取支援 IRDMA 驅動程式和介面的 OS 映像檔或映像檔系列。詳情請參閱「作業系統詳細資料」，然後選取「介面」分頁標籤。

  2. 使用上一個步驟中選取的 OS 映像檔或映像檔系列，建立自訂 OS 映像檔。如要建立自訂 OS 映像檔，請使用 gcloud compute images create 指令。舉例來說，下列指令會建立支援 IRDMA 驅動程式的自訂 OS 映像檔，並以特定 OS 映像檔為基礎。

    gcloud compute images create IMAGE_NAME \
    --source-image=SOURCE_IMAGE \
    --source-image-project=SOURCE_IMAGE_PROJECT \

    更改下列內容：

    • IMAGE_NAME：要建立的映像檔名稱

    • SOURCE_IMAGE：支援 IRDMA 驅動程式的特定 OS 映像檔，例如：hpc-rocky-linux-8-v20250721

      如要使用映像檔系列中的最新作業系統映像檔，請將 --source-image 標記替換為 --source-image-family 標記，並將其值設為支援 IRDMA 驅動程式的映像檔系列。例如：--source-image-family=hpc-rocky-linux-8。

    • SOURCE_IMAGE_PROJECT：包含來源 OS 映像檔或映像檔系列的專案名稱

    如要進一步瞭解何時該使用映像檔系列，請參閱映像檔系列最佳做法。

REST

  1. 選取支援 IRDMA 網路介面的 OS 映像檔或映像檔系列。詳情請參閱「作業系統詳細資料」。

  2. 使用上一步選取的 OS 映像檔或映像檔系列，透過 images.insert 方法建立 OS 映像檔。

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/images
{
  "name":"IMAGE_NAME",
  "sourceImage":"SOURCE_IMAGE_URI"
}

    更改下列內容：

    • PROJECT_ID：要在哪個專案中建立新映像檔
    • IMAGE_NAME：自訂映像檔的名稱

    • SOURCE_IMAGE_URI：要使用的特定 OS 映像檔或映像檔系列的 URI

      例如：

      • 特定 OS 映像檔："sourceImage": "projects/rocky-linux-cloud/global/images/hpc-rocky-linux-8-v20250721"
      • 映像檔系列："sourceImage": "projects/rocky-linux-cloud/global/images/family/hpc-rocky-linux-8"

      指定映像檔系列時，Compute Engine 會從該系列中未淘汰的最新 OS 映像檔建立 VM。如要進一步瞭解何時該使用映像檔系列，請參閱映像檔系列最佳做法。

建立支援 IRDMA 驅動程式的 VM

您可以透過支援的公開 OS 映像檔建立 VM，也可以使用按照「建立支援 IRDMA 的自訂 OS 映像檔」一文步驟建立的自訂 OS 映像檔。

如要在執行個體中使用 Cloud RDMA，您必須為執行個體設定多個網路介面 (NIC)。其中一個 NIC 必須使用 GVNIC 驅動程式 (指定 nic-type=GVNIC)，另一個 NIC 則必須使用 IRDMA 驅動程式 (指定 nic-type=IRDMA)。

使用公開 OS 映像檔建立 VM

如要使用 HPC VM 映像檔或支援 Cloud RDMA 的公開 OS 映像檔建立 VM，請按照下列頁面的操作說明進行：

使用自訂 OS 映像檔建立 VM

如果您已建立支援 Cloud RDMA 的自訂 OS 映像檔，可以使用該自訂 OS 映像檔，透過 Google Cloud 控制台、Google Cloud CLI 或 REST 建立 VM。

如要瞭解如何使用自訂映像檔建立執行個體，請參閱透過自訂映像檔建立執行個體。

確認已啟用 Cloud RDMA

部署 VM 後，請執行下列效能頻寬測試，確保您是在啟用 Cloud RDMA 的健康 VM 執行個體上執行。

ib_send_bw -aF & # start the server
ib_send_bw -aF $(hostname) # start the client (can be done on the same machine)

如果資料列大於 4096 B，回報的單一連線頻寬 BW average [MB/s] 應至少達到 11,000 MBps。如果訊息較小，預期值也會較小。

後續步驟