このドキュメントでは、NVIDIA Blackwell GPU 以降のアーキテクチャを使用する Compute Engine VM と Google Kubernetes Engine(GKE)ノードの包括的な GPU バグレポートを生成する方法について説明します。マシンタイプで使用されている GPU モデルを確認するには、GPU モデルをご覧ください。
NVIDIA Blackwell 以降の GPU アーキテクチャでは、標準の nvidia-bug-report.sh スクリプトは、GPU Xid エラーやマルチノードのパフォーマンス低下などの問題のトラブルシューティングに必要な低レベルのハードウェア データとファブリック データをすべてキャプチャするわけではありません。包括的な GPU バグレポートには、次の診断データが含まれます。
- 標準の GPU とシステム診断: GPU の状態、ドライバログ、PCI バス情報、
nvidia-bug-report.shのカーネルログ、GPU、NIC、CPU の相互接続トポロジ、ストレージ I/O 統計、RDMA デバイスとポートのステータス(NVIDIA ConnectX NIC リンクを使用するマシンタイプに有用)。 - NVIDIA ファームウェア ツール(MFT)データ: Blackwell 以降の GPU では、
nvidia-bug-report.shは NVIDIA MFT を使用して、NVLink 接続の物理層のステータス、内部 GPU レジスタ値、ファームウェアからの未加工の診断セグメントを収集します。 - NVIDIA IMEX ドメイン診断: A4X や A4X Max などのマルチノード NVLink マシンタイプは、NVIDIA Internode Memory Exchange(IMEX)デーモンを使用してマルチノード NVLink ドメインを管理します。NVLink ドメインの問題を診断するには、ノード間の IMEX ドメイン ステータスと IMEX デーモンログが必要です。
始める前に
前提条件と設定手順の詳細については、GPU バグレポートの README をご覧ください。前提条件を以下にまとめます。
- Compute Engine VM または GKE ノードに NVIDIA GPU ドライバがインストールされていることを確認します。
- Compute Engine VM で、Docker がコレクタ コンテナ イメージを pull できるように、Artifact Registry に対する認証を行うように Docker を構成します。
- 省略可: COS 以外の OS(Ubuntu、Debian、RHEL ファミリー OS など)を実行する Compute Engine VM に、Docker 用の NVIDIA Container Toolkit をインストールして構成します。ツールキットが使用できない場合、
run-goog-gpu-bug-report.shは代わりにホストの NVIDIA ドライバ ディレクトリをマウントしようとします。 - 省略可: バグレポートを Cloud Storage バケットにアップロードするには、VM または GKE ノードのサービス アカウントにバケットへの書き込みアクセス権があることを確認します。
包括的な GPU バグレポートを生成する
オープンソースの Google Cloud GPU バグレポート コレクタを使用すると、Container-Optimized OS(COS)とその他の Linux ディストリビューション(Ubuntu、Debian、RHEL ファミリーのゲスト オペレーティング システム(Rocky Linux など))で、x86(linux/amd64)インスタンスと Arm(linux/arm64)インスタンスの両方で、上記のすべての診断ログを 1 つのコマンドで収集できます。
MFT カーネル モジュールの処理方法
Blackwell 以降の GPU の場合、コレクタはコンテナ内に MFT ユーザースペース ツールを自動的にインストールし、ゲスト オペレーティング システムに基づいて MFT カーネル モジュール(mst_pci と mst_pciconf)を処理します。
- Container-Optimized OS(COS): 実行中の COS カーネル バージョンと一致する、プリコンパイル済みの COS 署名付き MFT カーネル モジュールをダウンロードして読み込みます。
- その他の Linux ディストリビューション(Ubuntu、Debian、RHEL ファミリー OS など): ホストの実行中のカーネル ヘッダーに対して DKMS を使用して、ソースから MFT カーネル モジュールをビルドして読み込もうとします。
- 自動ドライバレス フォールバック: COS と他の Linux ディストリビューションの両方で、MFT カーネル モジュールの読み込みまたはビルドに失敗すると、コレクタは自動的にドライバレス MFT モードにフォールバックします。このモードでも、NVIDIA ドライバを介して GPU NVLink 診断が収集されます。
コレクタを実行する
環境に応じてコレクタを実行します。
Compute Engine VM の場合:
run-goog-gpu-bug-report.shをダウンロードして実行します。bash run-goog-gpu-bug-report.sh生成された
.tar.gzアーカイブを Cloud Storage バケットにアップロードするには、--の後に--gcs_bucketを渡します。bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAMEGKE クラスタの場合:
bug-report-pod.yamlのGKE_NODE_NAMEとNUMBER_OF_GPUSを更新し、Pod マニフェストを適用します(詳細については、README をご覧ください)。kubectl apply -f bug-report-pod.yaml
コレクタフラグと出力場所
デフォルトでは、コレクタは個々の診断ファイルを書き込み、ホスト VM の次のパスにある単一のアーカイブにバンドルします。
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
次のコレクタフラグを渡すことができます(run-goog-gpu-bug-report.sh を使用する場合は -- の後)。
| コレクタフラグ | 説明 |
|---|---|
--gcs_bucket=BUCKET_NAME |
バンドルされた .tar.gz バグレポート アーカイブを、指定された Cloud Storage バケット(gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/)にアップロードします。 |
--mft_kernel_modules=auto |
デフォルト: MFT カーネル モジュール(COS 上の COS 署名付きモジュール、または他の Linux ディストリビューション上の DKMS ビルド)の読み込みを試みます。モジュールの読み込みに失敗した場合は、ドライバレス MFT に自動的にフォールバックします。 |
--mft_kernel_modules=never |
ホストでの MFT カーネル モジュールのビルドまたは読み込みをスキップし(すでに読み込まれている場合はアンロード)、ドライバレス モードで MFT を実行します。 |
たとえば、ホストにカーネル モジュールを読み込まずにドライバレス モードで MFT を実行し、レポートを Cloud Storage バケットにアップロードするには、次のようにします。
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
直接 docker run コマンド、カスタム イメージのビルド、nvidia-bug-report.log.gz 内の MFT 出力を確認する手順については、コレクタの README をご覧ください。