ワークロード フレームワークの指標をモニタリングする

このドキュメントでは、Google Kubernetes Engine(GKE)で実行されている Cloud TPU ワークロードの Megascale XLA(MXLA)、Orbax、PyGrain(Grain)の指標を収集して表示する方法と、これらの指標に基づいて構築されたアナライザを ML 診断プラットフォームで表示する方法について説明します。これらの指標をモニタリングすることで、マルチスライス通信、チェックポイント、データ読み込みにおけるパフォーマンスのボトルネックを特定してトラブルシューティングできます。

各指標セットは、ワークロードの個別のコンポーネントを対象としており、パイプラインのさまざまなステージで問題を診断するのに役立ちます。

  • Megascale XLA(MXLA)指標: マルチスライス TPU ワークロードで、クロススライス データセンター ネットワーク(DCN)転送レイテンシ、デバイスからホスト(D2H)およびホストからデバイス(H2D)への転送時間、コンピューティング レイテンシ、エンドツーエンドの集合オペレーションを測定します。これらの指標を使用して、ストラグラーとハードウェアのボトルネックを特定します。
  • Orbax 指標: Orbax チェックポイント ライブラリから、非同期チェックポイントの保存と復元の期間、データ量、書き込みスループットを追跡します。これらの指標を使用して、チェックポイント処理の遅延、停止、過剰なトレーニング スレッドのブロック時間を検出します。
  • PyGrain(Grain)指標: PyGrain データ読み込みライブラリから、データセットのイテレーション レイテンシ、データソースの読み取り時間、読み取られた合計バイト数、プリフェッチ バッファの準備状況を測定します。これらの指標を使用して、I/O またはデータ読み込みのボトルネックによりワークロードが入力バウンドになっているかどうかを判断します。

これらの指標には、直接読み取る Prometheus ポート、TPU Monitoring Library、tpu-info CLI、または Cloud Monitoring を介してアクセスできます。

ML Diagnostics プラットフォームには、ワークロードのパフォーマンスが低下したときにこれらの指標を自動的に分析するワークロード モニタリング アナライザも含まれています。これらのアナライザは、TPU デューティ サイクルの低下が MXLA ネットワーク転送レイテンシ、Orbax 非同期チェックポイント、PyGrain データ読み込みのいずれによって引き起こされているかを判断します。

Megascale の指標

Megascale XLA(MXLA)は、データセンター ネットワーク(DCN)を介して複数の TPU スライスにまたがる集団演算を調整する通信ランタイムとコンパイラ拡張機能です。チップ間相互接続(ICI)リンクは、単一のスライス内の TPU チップ間の高速通信を処理しますが、MXLA は、スライス間のデータ転送、ホスト側の削減、ホストメモリと TPU 高帯域幅メモリ(HBM)間のデータ移動を管理します。

TPU でマルチスライス ワークロードを実行すると、MXLA 指標を収集して、スライス間のネットワークとホスト処理のボトルネックをトラブルシューティングできます。GKE は、これらの指標を GKE システム指標としてデフォルトで収集します。これらの指標は Cloud Monitoring で表示できます。これらの指標は、ML Diagnostics のシステム指標タブでも自動的に利用可能になり、ML 実行ワークロードのコンテキストで自動的に集計されます。

次の表に、使用可能な Megascale 指標を示します。

指標名 GKE 指標名 説明
MXLA DCN 転送レイテンシ container/multislice/network/dcn_transfer_latencies

データチャンクごとに、データセンター ネットワーク(DCN)の往復転送レイテンシを測定します。外れ値は、ネットワーク ハードウェアの障害に関連している可能性があります。

この指標には次のプロパティがあります。

  • 指標の種類: CUMULATIVE
  • 値の型: DISTRIBUTION
  • 単位: マイクロ秒(us)
MXLA 受信転送レイテンシ container/multislice/network/dcn_inbound_transfer_latencies

データチャンクごとに、一方向のインバウンド DCN 転送レイテンシを測定します。外れ値は、ネットワーク ハードウェアの障害に関連している可能性があります。

この指標には次のプロパティがあります。

  • 指標の種類: CUMULATIVE
  • 値の型: DISTRIBUTION
  • 単位: マイクロ秒(us)
MXLA のコンピューティング レイテンシ container/multislice/accelerator/compute_latencies

リダクション オペレーションの完了に必要なホスト コンピューティングのレイテンシを測定します。外れ値は、デュアル インライン メモリ モジュール(DIMM)障害などの CPU またはメモリの問題を示している可能性があります。

この指標には次のプロパティがあります。

  • 指標の種類: CUMULATIVE
  • 値の型: DISTRIBUTION
  • 単位: マイクロ秒(us)
MXLA e2e グループ レイテンシ container/multislice/network/collective_end_to_end_latencies

ホストがオペレーションを開始してから、すべてのピアが出力を受信するまでの DCN を介したエンドツーエンドのグループ レイテンシを測定します。これには、ホスト側のデータ削減と TPU への出力の送信が含まれます。結果は、バッファサイズ、オペレーション タイプ、平均、P50、P90、P95、P99.9 のレイテンシを詳細に説明する文字列です。

この指標には次のプロパティがあります。

  • 指標の種類: CUMULATIVE
  • 値の型: DISTRIBUTION
  • 単位: マイクロ秒(us)
MXLA d2h レイテンシ container/multislice/accelerator/device_to_host_transfer_latencies

データチャンクごとに、デバイスからホストへの一方向の転送レイテンシ(D2H)を測定します。外れ値は、ネットワーク ハードウェアの障害に関連している可能性があります。

この指標には次のプロパティがあります。

  • 指標の種類: CUMULATIVE
  • 値の型: DISTRIBUTION
  • 単位: マイクロ秒(us)
MXLA h2d レイテンシ container/multislice/accelerator/host_to_device_transfer_latencies

データチャンクごとに、ホストからデバイスへの一方向の転送レイテンシ(H2D)を測定します。外れ値は、ネットワーク ハードウェアの障害に関連している可能性があります。

この指標には次のプロパティがあります。

  • 指標の種類: CUMULATIVE
  • 値の型: DISTRIBUTION
  • 単位: マイクロ秒(us)

Orbax の指標

Orbax は、JAX ワークロード用の分散チェックポインティング ライブラリです。単一ホスト環境とマルチホスト環境でモデルの重み、オプティマイザーの状態、データセット イテレータを保存して復元します。トレーニングのダウンタイムを最小限に抑えるため、Orbax は非同期チェックポイントをサポートしています。これは、同期フェーズ中に TPU メモリからホストメモリに状態をコピーし、トレーニングの継続中にバックグラウンド スレッドでチェックポイントをストレージに書き込みます。

ワークロードでチェックポイントに Orbax を使用している場合は、Orbax 指標を収集して、チェックポイントの遅延、書き込みスループットの低下、停止のトラブルシューティングを行うことができます。Orbax は、これらの指標を Prometheus ポートにエクスポートします。このポートは、直接読み取ることも、Google Cloud Managed Service for Prometheus を使用して Cloud Monitoring に送信することもできます。GKE、Cloud Monitoring、ML Diagnostics でこれらの指標を有効にするには、Orbax と PyGrain の指標にアクセスするをご覧ください。

次の表に、使用可能な Orbax 指標を示します。

Prometheus 指標名 説明
jax_checkpoint_write_async_total_duration_secs

非同期チェックポイント書き込みパイプライン全体の合計時間。

この指標には次のプロパティがあります。

  • 指標パス: /jax/checkpoint/write/async/total_duration_secs
  • 指標タイプ: ヒストグラム
  • 単位: 秒(s)
jax_orbax_write_gbytes

チェックポイント保存オペレーション中に書き込まれた合計ギガバイト数。

この指標には次のプロパティがあります。

  • 指標パス: /jax/orbax/write/gbytes
  • 指標タイプ: ヒストグラム
  • 単位: ギガバイト(GBy)
jax_orbax_write_gbytes_per_sec

チェックポイント保存オペレーションの同期フェーズと非同期フェーズの両方における書き込みスループット(GB/秒)。

この指標には次のプロパティがあります。

  • 指標パス: /jax/orbax/write/gbytes_per_sec
  • 指標タイプ: ヒストグラム
  • 単位: ギガビット/秒(GBps)
jax_checkpoint_write_async_blocking_duration_secs

バックグラウンド スレッドにハンドオフする前に、非同期チェックポイント保存のブロッキング フェーズで費やされた時間。

この指標には次のプロパティがあります。

  • 指標パス: /jax/checkpoint/write/async/blocking_duration_secs
  • 指標タイプ: ヒストグラム
  • 単位: 秒(s)
jax_orbax_read_total_duration_secs

チェックポイント復元オペレーションの最初から最後までの合計時間。

この指標には次のプロパティがあります。

  • 指標パス: /jax/orbax/read/total_duration_secs
  • 指標タイプ: ヒストグラム
  • 単位: 秒(s)
jax_orbax_read_blocking_duration_secs

チェックポイント復元オペレーションの同期(ブロッキング)準備フェーズの期間。

この指標には次のプロパティがあります。

  • 指標パス: /jax/orbax/read/blocking_duration_secs
  • 指標タイプ: ヒストグラム
  • 単位: 秒(s)
jax_orbax_write_async_start_total

開始された非同期チェックポイント書き込みオペレーションの数。

この指標には次のプロパティがあります。

  • 指標パス: /jax/orbax/write/async/start
  • 指標タイプ: カウンタ
  • 単位: 数(1)

PyGrain 指標

PyGrain(Grain)は、機械学習(ML)のトレーニングと評価のワークロード用の入力データを読み取り、前処理、バッチ処理するための Python ライブラリです。PyGrain は、ホスト CPU でレコードをプリフェッチして変換する、決定的で再現可能なデータ パイプラインを提供します。これにより、TPU アクセラレータが入力バッチを待機して停止することがなくなります。

ワークロードで PyGrain を使用してデータを読み込む場合は、PyGrain 指標を収集して、入力パイプラインのボトルネック、ストレージ読み取りの遅延、プリフェッチ バッファの枯渇をトラブルシューティングできます。PyGrain は、これらの指標を Prometheus ポートにエクスポートします。このポートは、直接読み取ることも、Google Cloud Managed Service for Prometheus を使用して Cloud Monitoring に送信することもできます。GKE、Cloud Monitoring、ML 診断でこれらの指標を有効にするには、Orbax 指標と PyGrain 指標にアクセスするをご覧ください。

次の表に、使用可能な PyGrain 指標を示します。

Prometheus 指標名 説明
grain_python_dataset_next_duration_ns

データセットの next メソッド呼び出しに費やされた時間。

この指標には次のプロパティがあります。

  • 指標パス: /grain/python/dataset/next_duration_ns
  • 指標タイプ: ヒストグラム
  • 単位: ナノ秒(ns)
grain_python_dataset_prefetch_buffer_ready_count

プリフェッチ バッファ内の準備完了要素の数。

この指標には次のプロパティがあります。

  • 指標パス: /grain/python/dataset/prefetch_buffer_ready_count
  • 指標タイプ: ヒストグラム
  • 単位: 数(1)
grain_python_data_sources_bytes_read_total

データソースから読み取られた合計バイト数。

この指標には次のプロパティがあります。

  • 指標パス: /grain/python/data_sources/bytes_read
  • 指標タイプ: カウンタ
  • 単位: バイト(By)
grain_python_dataset_source_read_time_ns

データソースからの読み取りに費やされた時間。

この指標には次のプロパティがあります。

  • 指標パス: /grain/python/dataset/source_read_time_ns
  • 指標タイプ: ヒストグラム
  • 単位: ナノ秒(ns)
grain_python_data_loader_iterator_get_next

DataLoaderIterator クラスの next メソッド呼び出しに費やされた時間。

この指標には次のプロパティがあります。

  • 指標パス: /grain/python/data_loader/iterator_get_next
  • 指標タイプ: ヒストグラム
  • 単位: ナノ秒(ns)

前提条件

Megascale、Orbax、PyGrain の指標を収集する、または関連する ML 診断アナライザを使用する前に、環境が次のセクションの要件を満たしていることを確認してください。

メガスケールの要件

Megascale 指標を収集して Cloud Monitoring で表示するには、次のバージョン要件を満たす必要があります。

  • LibTPU バージョン 0.40.0 以降をインストールします。
  • これらの指標を Cloud Monitoring で表示するには、GKE バージョン 1.36.4-gke.1247000 以降をインストールします。

Orbax と PyGrain の要件

ワークロードから Orbax と PyGrain の指標をエクスポートするには、次のパッケージとコンテナの要件を満たす必要があります。

  • Python パッケージ:
    • Orbax(orbax-checkpoint)バージョン 0.12.1 以降をインストールします。
    • PyGrain(grain)バージョン 0.2.18 以降をインストールします。
    • コンテナ イメージに prometheus-client Python パッケージをインストールします。orbax-checkpoint パッケージは依存関係として prometheus-client を自動的にインストールしますが、grain はインストールしません。ワークロードで PyGrain のみを使用する場合は、pip install prometheus-client を実行してパッケージをインストールします。
  • ワークロード コンテナの構成:
    • 次の環境変数を設定します。
      • ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true"(Orbax 指標を有効にする)
      • ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true"(PyGrain 指標を有効にする)
    • ワークロード コンテナで TCP ポート 9431 を公開します。

次のコンテナ仕様の例では、テレメトリー環境変数を設定し、TCP ポート 9431 を公開します。

containers:
- name: WORKLOAD_CONTAINER
  env:
  - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
    value: "true"
  - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
    value: "true"
  ports:
  - name: framework-metrics
    containerPort: 9431
    protocol: TCP

WORKLOAD_CONTAINER は、ワークロード コンテナの名前に置き換えます。

ML 診断アナライザの要件

Megascale、Orbax、PyGrain の指標に ML Diagnostics アナライザを使用するには、GKE バージョン 1.36.4-gke.1247000 以降をインストールします。

Megascale の指標にアクセスする

クラスタでサポートされている GKE バージョンと LibTPU が実行されている場合、GKE は Megascale 指標を自動的に収集し、Cloud Monitoring で表示できるようにします。任意の Prometheus コレクタをデプロイして、MXLA ランタイムの Prometheus ポートから Megascale 指標を直接読み取ることもできます。

Orbax と PyGrain の指標にアクセスする

ワークロード コンテナで Prometheus テレメトリーを有効にすると、Orbax と PyGrain は TCP ポート 9431 で指標をエクスポートします。これらの指標には、次のいずれかの方法でアクセスできます。

  • Prometheus エンドポイントを直接読み取る: 任意の Prometheus コレクタをデプロイして、ワークロード コンテナのポート 9431 から Orbax 指標と PyGrain 指標を読み取ります。
  • 指標を Cloud Monitoring に送信する: Google Cloud Managed Service for Prometheus を使用して、各ノードのポート 9431 を読み取り、指標を Cloud Monitoring に送信します。

Google Cloud Managed Service for Prometheus で指標を表示する

ポート 9431 から Cloud Monitoring に Orbax 指標と PyGrain 指標を送信するには、GKE クラスタに Google Cloud Managed Service for Prometheus の PodMonitoring カスタム リソースをデプロイします。PodMonitoring リソースは、各ノードの Google Cloud Managed Service for Prometheus コレクタに、ポート 9431 を読み取り、指標を Cloud Monitoring に送信するように指示します。詳細については、PodMonitoring リソースを構成するをご覧ください。

prometheus.googleapis.com エンドポイントと Google Cloud Managed Service for Prometheus コレクタは、GKE クラスタでデフォルトで有効になっています。Google Cloud Managed Service for Prometheus を使用すると、追加料金が発生します。

マネージド コレクションを有効にする

Google Cloud Managed Service for Prometheus のマネージド コレクションは、GKE バージョン 1.27 以降を実行している GKE Standard クラスタでデフォルトで有効になっています。詳細については、マネージド コレクションを有効にするをご覧ください。

クラスタでマネージド コレクションが無効になっている場合は、有効にします。

gcloud container clusters update CLUSTER_NAME \
  --enable-managed-prometheus \
  --region=REGION

次のように置き換えます。

  • CLUSTER_NAME: GKE クラスタの名前。
  • REGION: クラスタが配置されているリージョン。

ノード サービス アカウントのデフォルトの権限を変更した場合は、モニタリング指標の書き込み(roles/monitoring.metricWriter)ロールが付与されていることを確認します。

ワークロード Pod テンプレートを構成する

スクレイピング用にワークロード Pod を準備するには、JobSet、Job、または Deployment マニフェストの Pod テンプレートを更新します。

  1. PodMonitoring リソースがワークロード Pod を選択できるように、ml-framework-metrics: "enabled" などの Pod ラベルを追加します。
  2. ENABLE_ORBAX_PROMETHEUS_TELEMETRY 環境変数と ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY 環境変数を "true" に設定します。
  3. TCP ポート 9431 を公開し、framework-metrics などのポート名を割り当てます。

次の Pod テンプレートの例では、これらのフィールドを構成しています。

template:
  metadata:
    labels:
      ml-framework-metrics: "enabled"     # used by the PodMonitoring selector
  spec:
    containers:
    - name: WORKLOAD_CONTAINER
      env:
      - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
        value: "true"
      - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
        value: "true"
      ports:
      - name: framework-metrics
        containerPort: 9431
        protocol: TCP

WORKLOAD_CONTAINER は、ワークロード コンテナの名前に置き換えます。

指標エンドポイントを確認する

PodMonitoring リソースをデプロイする前に、ワークロード コンテナがポート 9431 で指標をエクスポートすることを確認します。実行中のワークロード Pod からポート 9431 を転送し、/metrics エンドポイントをクエリします。

kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'

次のように置き換えます。

  • NAMESPACE: ワークロードが実行される Kubernetes Namespace。
  • WORKLOAD_POD: 実行中のワークロード Pod の名前。

Orbax は、値を初めて記録するときに各指標を初期化します。そのため、Orbax 指標は、最初のチェックポイントの保存または復元オペレーションの後にのみ表示されます。

PodMonitoring リソースをデプロイする

ワークロード Pod を読み取るように Google Cloud Managed Service for Prometheus を構成するには、次の操作を行います。

  1. 次のマニフェストを orbax-grain-podmonitoring.yaml として保存します。

    apiVersion: monitoring.googleapis.com/v1
    kind: PodMonitoring
    metadata:
      name: orbax-grain-metrics
      namespace: WORKLOAD_NAMESPACE  # must match the workload namespace
    spec:
      selector:
        matchLabels:
          ml-framework-metrics: "enabled"
      endpoints:
      - port: framework-metrics             # the named containerPort (9431)
        path: /metrics
        interval: 30s                        # a longer interval reduces sample volume and cost
        metricRelabeling:                    # optional: keep only Orbax and PyGrain series to control cost
        - action: keep
          sourceLabels: [__name__]
          regex: (jax_orbax_|jax_checkpoint_|grain_python_).+
      targetLabels:                          # optional: copy the JobSet name onto every series
        fromPod:
        - from: jobset.sigs.k8s.io/jobset-name
          to: jobset_name
    

    WORKLOAD_NAMESPACE は、ワークロードが実行される Kubernetes Namespace に置き換えます。

  2. マニフェストを適用し、PodMonitoring リソースが作成されたことを確認します。

    kubectl apply -f orbax-grain-podmonitoring.yaml
    kubectl get podmonitoring -A
    

PodMonitoring リソースは、独自の Namespace 内の Pod のみを読み取ります。ワークロードが複数の Namespace で実行される場合は、kind: ClusterPodMonitoring で同じ仕様を使用し、metadata.namespace フィールドを省略します。ClusterPodMonitoring リソースは、すべての Namespace で一致する Pod を検出します。

省略可: Google Cloud Managed Service for Prometheus が Pod をスクレイピングしていることを確認する

Google Cloud Managed Service for Prometheus がワークロード Pod をアクティブにスクレイピングしていることを確認するには、次の手順を完了します。

  1. gmp-public 名前空間で、OperatorConfig リソースを編集し、features.targetStatus.enabled を true に設定します。
  2. PodMonitoring リソースを検査し、ターゲットが Health: up を報告していることを確認します。

    kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metrics
    

    NAMESPACE は、ワークロードが実行される Kubernetes Namespace に置き換えます。

  3. トラブルシューティングが完了したら、OperatorConfig リソースで features.targetStatus.enabled を false に戻します。ターゲット ステータスを有効にすることは、アクティブな問題を調査する場合にのみおすすめします。

Cloud Monitoring で指標をクエリする

Cloud Monitoring に送信された指標をクエリする手順は次のとおりです。

  1. Google Cloud コンソールで、[Monitoring] > [Metrics Explorer] に移動します。
  2. [PromQL] を選択し、次のクエリを入力して、ターゲットがレポートしていることを確認します。

    up{namespace="NAMESPACE"}
    

    NAMESPACE は、ワークロードの Kubernetes Namespace に置き換えます。

メニューベースの指標選択ツールでは、指標は prometheus.googleapis.com/METRIC_NAME/TYPE の形式で保存されます。ここで、TYPE は counter、histogram、または gauge です。各ライブラリは、/ を _ に置き換えて、指標パスから Prometheus 指標名を構築します。カウンタには _total サフィックスが追加され、ヒストグラムは _bucket、_sum、_count の時系列としてエクスポートされます。

次の PromQL クエリの例を使用して、Orbax と PyGrain の指標を分析できます。

# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))

# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
  / sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))

# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))

# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))

# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))

費用に関する考慮事項

Google Cloud Managed Service for Prometheus の課金は、取り込まれたサンプル数に基づきます。費用を削減するには、スクレイピング interval を長く構成し、metricRelabeling を使用して必要な時系列のみを保持します。各指標の取り込み量は、Cloud Monitoring の [指標の管理] ページで確認できます。

ML 診断でアナライザの出力を表示する

ML Diagnostics ワークロード モニタリングとワークロード コンテキスト化システム指標は、GKE バージョン 1.36.4-gke.1247000 以降で実行されている GKE TPU JobSet ワークロードと Job ワークロードで自動的に有効になります。ワークロード モニタリングでは、ワークロードの集計された TPU デューティ サイクルが追跡されます。デューティ サイクル(performance degradation)が 15% 以上低下した場合、ML 診断はインフラストラクチャ、オーケストレーター、フレームワークの各レイヤでアナライザを実行します。

ワークロードが複数のスライスで実行されている場合(MXLA レイヤを使用)、または PyGrain ライブラリや Orbax ライブラリを使用している場合、ML 診断は次のフレームワーク アナライザを実行して、パフォーマンスの低下がネットワーク転送レイテンシ、データ読み込み、非同期チェックポイントのいずれによって発生したかを判断します。

ML Diagnostics アナライザ レポートは追加料金なしで提供されます。アナライザの結果を生成するために、Orbax 指標と PyGrain 指標用に Google Cloud Managed Service for Prometheus を構成する必要はありません。ML Diagnostics Google Cloud コンソールの [システム指標] タブで、サポートされている LibTPU と GKE のバージョンを使用すると、Megascale 指標が自動的に表示されます。

アナライザの出力は、次のいずれかの方法で確認できます。

  • Google Cloud コンソール: ML Diagnostics Google Cloud コンソール(機械学習の実行を表示するを参照)で、[モニタリングの概要] タブを開き、performance degradation イベントを見つけて、[詳細を表示] をクリックしてアナライザ レポートを調べます。
  • Google Cloud CLI または REST API: monitored-events コマンドを使用して、イベントとそのアナライザ レポートを一覧表示して説明します。詳細については、ML Diagnostics CLI を使ってみるをご覧ください。