クライアント接続のトラブルシューティング

クライアント マシンまたは GKE クラスタから Managed Lustre ファイル システムをマウントまたは接続する際に問題が発生した場合は、次の手順で問題を診断します。

Managed Lustre インスタンスにアクセスできることを確認する

クライアント環境から Managed Lustre インスタンスにアクセスできることを確認します。

lctl ping を使用してネットワーク到達性を直接テストするには、クライアント マシンまたは GKE Standard ノードへの SSH アクセスが必要です。

sudo lctl ping IP_ADDRESS@tcp

IP_ADDRESS の値を取得するには、インスタンスを取得するをご覧ください。

ping が成功すると、次のようなレスポンスが返されます。

12345-0@lo
12345-10.115.0.3@tcp

ping が失敗すると、次の出力が返されます。

failed to ping 10.115.0.3@tcp: Input/output error

GKE Autopilot はノードの SSH アクセスをブロックし、lctl ping の直接使用を防止します。

ping が失敗した場合、または Autopilot クラスタからの接続を診断する場合:

  • Managed Lustre インスタンスとクライアント マシンまたは GKE クラスタが同じ VPC ネットワーク内にあることを確認します。

    Compute Engine クライアント マシンの場合は、次のコマンドの出力を比較します。

    gcloud compute instances describe VM_NAME \
      --zone=VM_ZONE \
      --format='get(networkInterfaces[0].network)'
    
    gcloud lustre instances describe INSTANCE_NAME \
      --location=ZONE --format='get(network)'
    

    GKE クラスタの場合は、次のコマンドの出力を比較します。

    gcloud container clusters describe CLUSTER_NAME \
      --location=LOCATION \
      --format='get(networkConfig.network)'
    
    gcloud lustre instances describe INSTANCE_NAME \
      --location=ZONE --format='get(network)'
    

    gcloud compute instances describe コマンドと gcloud container clusters describe コマンドの出力には https://www.googleapis.com/compute/v1/ の接頭辞が付きます。その文字列に続くすべての文字列は、gcloud lustre instances describe コマンドの出力と一致する必要があります。

  • VPC ネットワークのファイアウォール ルールとルーティング構成を確認して、クライアント サブネットと Managed Lustre インスタンス間のトラフィックが許可されていることを確認します。

レガシー インスタンスの LNet accept ポートを確認する

--gke-support-enabled フラグは非推奨となり、新しい Managed Lustre インスタンスの作成時に不要になりましたが、このフラグを使用して作成された古いインスタンスが存在する場合があります。

GKE サポートが有効になっている以前のインスタンスに接続する場合は、ポート 6988 を使用するように LNet または CSI ドライバを構成します。

既存のインスタンスがこの以前のフラグで構成されているかどうかを確認するには、次のコマンドを実行します。

gcloud lustre instances describe INSTANCE_NAME \
  --location=LOCATION | grep gkeSupportEnabled

コマンドが gkeSupportEnabled: true を返した場合は、クライアント マシンで LNet を構成するか、GKE クラスタで以前のポートフラグを有効にする必要があります。

Ubuntu カーネル バージョンが Lustre クライアントと一致しない

Ubuntu を実行している Compute Engine インスタンスの場合、Ubuntu カーネルのバージョンは Lustre クライアント パッケージの特定のバージョンと一致する必要があります。Lustre クライアント ツールが失敗した場合は、Compute Engine インスタンスが新しいカーネルに自動アップグレードされているかどうかを確認します。

カーネル バージョンを確認するには:

uname -r

レスポンスは次のようになります。

6.8.0-1029-gcp

Lustre クライアント パッケージのバージョンを確認するには:

dpkg -l | grep -i lustre

レスポンスは次のようになります。

ii  lustre-client-modules-6.8.0-1029-gcp 2.14.0-ddn198-1  amd64  Lustre Linux kernel module (kernel 6.8.0-1029-gcp)
ii  lustre-client-utils                  2.14.0-ddn198-1  amd64  Userspace utilities for the Lustre filesystem (client)

両方のコマンドで表示されるカーネル バージョンが一致しない場合は、Lustre クライアント パッケージを再インストールする必要があります。

dmesg で Lustre エラーを確認する

多くの Lustre の警告とエラーは、Linux カーネル リング バッファに記録されます。dmesg コマンドは、カーネル リング バッファを出力します。

Lustre 固有のメッセージを検索するには、grep と dmesg を組み合わせて使用します。

dmesg | grep -i lustre

または、関連する可能性のある一般的なエラーを探すには、次のコマンドを実行します。

dmesg | grep -i error

マルチ NIC クライアント マシンに Lustre をマウントできない

クライアント マシンに複数のネットワーク インターフェース コントローラがあり、Managed Lustre インスタンスがセカンダリ NIC(eth1 など)に接続された VPC ネットワーク上にある場合、インスタンスのマウントに失敗することがあります。この問題を解決するには、セカンダリ NIC を使用してマウントするの手順に沿って操作します。

172.17.0.0/16 サブネット範囲から接続できない

172.17.0.0/16 サブネット範囲の IP アドレスを持つ Compute Engine クライアント マシンと GKE クラスタは、Managed Lustre インスタンスをマウントできません。GKE の場合は、ノードのサブネット、Pod のアドレス範囲、Service のアドレス範囲が 172.17.0.0/16 と重複しないようにします。

ピアリングされたプロジェクトから Managed Lustre にアクセスできない

クライアント マシンまたは GKE クラスタがピアリングされた VPC ネットワークにあり、Managed Lustre インスタンスに接続できない場合は、次の点を確認してください。

  • VPC ピアリングだけでは、Managed Lustre で使用されるプライベート サービス アクセス接続にトラフィックがルーティングされません。ピアリングされた VPC ネットワーク間で接続するには、Network Connectivity Center を介して両方のネットワークを接続します。

  • ホスト VPC ネットワークとピアリングされた VPC ネットワークの両方のファイアウォール ルールで、クライアント サブネットとインスタンスの割り当てられた IP アドレス範囲間のポート 988 と 6988 で TCP トラフィックが許可されていることを確認します。

設定手順と gcloud コマンドについては、VPC ネットワークを構成するをご覧ください。

セキュアブートが有効な Shielded VM でマウントが失敗する

Managed Lustre は、Shielded VM など、セキュアブートが有効になっているクライアント マシンにマウントできません。セキュアブート環境で Lustre カーネル モジュールを読み込もうとすると、ERROR: could not insert 'lustre': Required key not available. というエラーが発生します。

サポート リクエストに含める情報

マウント エラーを解決できない場合は、サポートケースを作成する前に診断情報を収集してください。sosreport を使用して診断ログを生成するには、クライアント マシンまたはノードへの SSH アクセスが必要です。

Compute Engine と GKE Standard ノード

SSH アクセスが有効になっている Compute Engine クライアント マシンと GKE Standard ノードの場合は、sosreport ユーティリティを使用して診断ログを収集します。sosreport ユーティリティは、システムログと構成情報を収集し、圧縮されたアーカイブ ファイルを生成します。

sosreport をインストールする

sosreport パッケージがインストールされ、Lustre のサポートが含まれていることを確認するには、クライアント マシンに SSH 接続して次のコマンドを実行します。

sudo sos report --list-plugins | grep lustre

コマンドが見つからない場合、またはコマンドが出力を返さない場合は、オペレーティング システムに sosreport をインストールするか、更新します。

Rocky Linux と RHEL

dnf パッケージ マネージャーを使用して sos パッケージをインストールします。

sudo dnf install -y sos

Ubuntu

Ubuntu クライアント マシンで Lustre 診断を収集するには、snap の latest/edge チャンネルの sosreport が必要です。apt を使用してインストールされたパッケージには、Lustre プラグインは含まれていません。

以前のバージョンの sosreport が apt を使用してインストールされている場合は、まずパッケージを削除します。

sudo apt remove -y sosreport

snap を使用して sosreport をインストールします。

sudo snap install sosreport --classic --channel=latest/edge

Container-Optimized OS

toolbox 内から apt パッケージ マネージャーを使用して、sosreport パッケージをインストールします。

sudo toolbox
sudo apt install sosreport -y

レポートを生成する

sosreport を生成するには、次のコマンドを実行します。

sudo sos report --all-logs --batch --tmp-dir=/var

sosreport アーカイブをサポートケースに添付します。

sosreport ユーティリティの詳細については、sosreport を使用してデバッグ情報を収集するをご覧ください。

GKE Autopilot クラスタ

GKE Autopilot は、ノードへの SSH アクセスをブロックし、特権デバッグ コンテナを制限します。Autopilot ノードまたはワークロード コンテナ内から sosreport を実行することはできません。

Autopilot クラスタでマウントに失敗した場合は、Cloud カスタマーケアにお問い合わせください。

GKE ボリューム エラーの診断の詳細については、Managed Lustre CSI ドライバのトラブルシューティングをご覧ください。