查看 GKE 節點拓撲

本文說明如何查看 A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High Compute Engine 執行個體上 Google Kubernetes Engine (GKE) 節點的實體拓撲。瞭解節點的實際位置有助於最佳化 Pod 放置位置，以利 AI 工作負載。

事前準備

開始之前，請務必先完成下列工作：

  • 啟用 Google Kubernetes Engine API。
    • 啟用 Google Kubernetes Engine API
  • 如要使用 Google Cloud CLI 執行這項工作，請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI，請執行 gcloud components update 指令，取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。

連結叢集

  • 執行下列指令，連線到您的叢集：

    gcloud container clusters get-credentials CLUSTER_NAME

    將 CLUSTER_NAME 替換為叢集名稱。

瞭解 GKE 節點拓撲

如要瞭解 A4X Max、A4X、A4 和 A3 Ultra Compute Engine 執行個體上的 GKE 節點實體拓撲，請參閱下列節點標籤：

  • cloud.google.com/gce-topology-block：VM 所在的預留區塊專屬 ID。區塊是由一層分散式網路架構連接的子區塊集合。
  • cloud.google.com/gce-topology-subblock：VM 所在的子區塊專屬 ID。子區塊是一組主機和相關連線硬體：
    • 對於 A4 和 A3 Ultra VM，主機會透過大規模分散式 Jupiter 網路架構連線。
    • A4X Max 和 A4X Compute Engine 執行個體會劃分為子區塊，每個子區塊都構成一個 NVIDIA NVLink 網域 (NVL72)。在每個 NVL72 中，GPU 會透過專屬的高頻寬 NVLink 架構緊密互連。在子模塊之間，GPU 可以透過 RDMA NIC 使用 RoCE 結構連線。子區塊間的主機通訊，以及儲存空間等其他網路流量，都會透過高速前端乙太網路 NIC 使用 Jupiter 網路架構。
  • cloud.google.com/gce-topology-host：VM 所在主機的機構專屬 ID。主機或節點是資料中心內的單一實體伺服器機器。每個 GKE 節點都會在實體主機上佈建的 VM 執行個體上佈建。
  • kubernetes.io/hostname：Kubernetes 節點的主機名稱。 這通常也是 GKE 節點名稱。

查看 GKE 叢集節點的實體拓撲

執行下列指令，取得具有特定加速器的 GKE 叢集節點的節點標籤：

kubectl get nodes -l cloud.google.com/gke-accelerator=ACCELERATOR \
    -ocustom-columns='0-NAME:.metadata.name,0-BLOCK:.metadata.labels.cloud\.google\.com/gce-topology-block,0-SUBBLOCK:.metadata.labels.cloud\.google\.com/gce-topology-subblock,0-HOST:.metadata.labels.cloud\.google\.com/gce-topology-host'| sort -k2,4

請將 ACCELERATOR 替換成加速器名稱，例如 nvidia-h200-141gb。

輸出內容會顯示每個 GKE 節點的區塊、子區塊和主機，以及指定的加速器。

詳情請參閱「查看預留項目的拓撲」。

後續步驟