Grafana ダッシュボードを使用して、Spanner Omni デプロイの健全性とパフォーマンスをモニタリングします。これらのダッシュボードは、Prometheus に取り込まれた Spanner Omni の指標を可視化し、デプロイの運用状態に関する包括的な分析情報を提供します。システム全体の健全性、リソース消費量、重要な内部プロセスを可視化できます。
ダッシュボード インベントリ
次の表に、使用可能なダッシュボードの概要を示します。
| ダッシュボード | 主な指標 | 主な目的 |
|---|---|---|
| 概要 | QPS、レイテンシ、スループット |
1 秒あたりのクエリ数
（QPS）、リクエスト レイテンシ、データ スループットなど、デプロイの全体的なパフォーマンスをモニタリングします。
|
| システム分析情報 | CPU、メモリ、ロック待機時間 |
選択したデータベースのデータベース レベルのリソース消費量と健全性（例:
CPU、メモリ、ロック待機時間など）に焦点を当てます。
|
| デプロイの分析情報 | CPU、メモリ、ネットワーク使用率 |
デプロイ全体のリソース消費量 とネットワーク統計に関する詳細な分析情報を提供します。 |
| Spanner Omni ファイル システム | ファイル オペレーション、レイテンシ、スループット | 基盤となるファイル システムのオペレーション、パフォーマンス、レイテンシ、および スループットをモニタリングします。 |
| gRPC | RPC の数、ステータス、レイテンシ |
サーバーサイドとクライアントサイドの通信の詳細な RPC 統計を追跡します。 |
| コンパクション | コンパクションの成功率と失敗率、コンパクション ラグ | バックグラウンド データ メンテナンスのパフォーマンスを可視化します。 コンパクションの成功率と失敗率、コンパクション ラグに焦点を当てます。 |
| 分割、マージ、移動 | 分割、マージ、移動の数、グループサイズ | ディレクトリ オペレーション （分割、マージ、移動）、データグループのサイズ設定、潜在的なホットスポットなど、データの動的な分布をモニタリングします。 |
| タブレット | タブレット数、負荷分散 | タブレットの統計情報、オペレーション、負荷 分散に関する詳細な分析情報を提供し、潜在的なホットスポットを特定します。 |
| TrueTime | ドリフト、不確実性、SLA 違反 | Spanner Omni TrueTime サービスの健全性と信頼性をモニタリングします。これには、ドリフト、不確実性、SLA 違反が含まれます。 |
| 共有ログ | 書き込みレート、並べ替えエラー率 | 共有ログのパフォーマンス（特に書き込みレートと並べ替え エラー率 ）をモニタリングします。 |
ダッシュボードで使用できるグラフの一部を次に示します。
コンピューティング容量（vCPU）: デプロイ全体でプロビジョニングされた
vCPUsの合計数。メモリ容量: デプロイ全体でプロビジョニングされた物理メモリの合計。
ストレージ容量: ファイル システムの合計ストレージ容量と使用可能なストレージ容量。
ノードのステータス: デプロイ内のサーバーの合計数と異常なサーバーの数を追跡します。
コンピューティング使用率: 使用中の
vCPU容量の合計の割合。メモリ使用率: デプロイ全体の合計メモリ使用量。Spanner Omni はキャッシュの目的でアイドル状態のメモリを使用するため、使用率が高くなることが予想されます。
ストレージ使用率: 使用中の合計ストレージ容量の割合。
vCPU あたりの使用ストレージ: 使用済みストレージの合計と 合計
vCPU数の比率。サーバー: サーバーごと、ゾーンごとの指標（
CPU使用率、メモリ使用率、稼働時間、合計vCPU、合計メモリ、 使用済みストレージ、ストレージ容量）を示す詳細な表。
システム分析情報ダッシュボード
システム分析情報ダッシュボードは、デプロイ内のデータベースの健全性とパフォーマンスに焦点を当てています。このダッシュボードには、以下のグラフがあります。
CPU 使用率の概要: 選択したサーバー全体で集計されたデータベース全体の
CPU使用率。ユーザーとシステム別の CPU 使用率: 選択した データベースの
CPU使用率（ユーザー タスクとシステム タスク、優先度でグループ化）。オペレーション タイプ別の CPU 使用率: 選択したデータベースの
CPU使用率（ オペレーション タイプでグループ化）。選択した サーバー全体で集計されます。オペレーション タイプ別の CPU 使用率 - 高優先度: 選択したデータベースの
CPU使用率（オペレーション タイプでグループ化）。選択したサーバー全体で集計され、高優先度でフィルタされます。オペレーション タイプ別の CPU 使用率 - 中優先度:
CPUオペレーション タイプでグループ化され、選択したデータベースについて、選択したサーバー全体で集計され、中優先度でフィルタされた使用率。オペレーション タイプ別の CPU 使用率 - 低優先度: 選択したデータベースの
CPU使用率（オペレーション タイプでグループ化）。選択したサーバー全体で集計され、低優先度でフィルタされます。リクエスト レイテンシ （
P50、P90、P99）: 選択したデータベース内のレイテンシ。選択したサーバー全体で読み取りメソッドと書き込みメソッドでグループ化されます。メソッド別のリクエスト レイテンシ （
P50、P90、P99）: 選択したデータベース内のレイテンシ。選択したサーバー全体で API メソッドでグループ化されます。トランザクション レイテンシ （
P50、P90、P99）: 選択したデータベース内のリクエスト レイテンシ。選択したサーバー全体でトランザクション タイプとリーダーの関与でグループ化されます。スループット: 選択したサーバー全体で、選択したデータベース内の読み取りスループットと書き込みスループット。
メソッド別のスループット: 選択したデータベース内のスループット（選択したサーバー全体で メソッド別にグループ化）。
1 秒あたりのオペレーション数: 選択したデータベース内の 1 秒あたりのオペレーション数（選択したサーバー全体で読み取りメソッドと書き込みメソッドでグループ化）。
メソッド別の 1 秒あたりのオペレーション数: 選択した データベース内の 1 秒あたりのオペレーション数（選択したサーバー全体でメソッド別にグループ化）。
データベース別のストレージ使用率: 各データベースで使用されるレプリケートされていない物理バイト数。各グループのリーダー タブレットは、この指標を提供します。グループのすべてのタブレットでレプリケートされた実際の物理バイト数は、各タブレットのコンパクションの状態によって異なる場合がありますが、この指標は、各データベースが使用するレプリケートされていない物理ストレージの量のおおよその目安となります。
ロック待機時間: 5 分間隔で、選択した データベースのロック競合のロック待機時間の合計。
トランザクション中止率: 中止またはキャンセルされた トランザクションの割合。トランザクション間で競合が発生すると、キャンセル率が高くなる可能性があります。
スキーマ オブジェクト数: 選択したデータベースのスキーマ オブジェクトの数。
トランザクション参加者: データベースの各 commit 試行におけるトランザクション 参加者数の分布。
デプロイの分析情報ダッシュボード
デプロイの分析情報ダッシュボードでは、デプロイのリソース消費量に関する詳細な分析情報を確認できます。このダッシュボードには、以下のグラフがあります。
CPU 使用率: 選択したサーバーの集計された
CPU使用率。サーバーの CPU 使用率:
CPU選択した各サーバーの使用率。プロセスの CPU 使用率:
CPU選択したサーバー全体で集計された各プロセスの使用率 。メモリ使用率: 選択した サーバーの集計されたメモリ使用率。Spanner Omni はデータをメモリにキャッシュに保存するため、値が高くなることが予想されます。Spanner Omni は必要に応じてメモリを解放できます。
サーバーのメモリ使用率: 選択した各 サーバーのメモリ使用率。Spanner Omni はデータをメモリにキャッシュに保存するため、値が高くなることが予想されます。Spanner Omni は必要に応じてメモリを解放できます。
プロセスの常駐メモリサイズ: 選択したサーバーの各プロセスの常駐メモリサイズ。
プロセスの仮想メモリサイズ: 選択したサーバーの各プロセスの仮想メモリサイズ。
サーバーのメモリの内訳: 選択したサーバー全体で集計されたカテゴリ（キャッシュ、 断片化、
memtable_pinned、システム、更新、その他）別のメモリ使用率。このメモリはspan_serverプロセスに固有のものです。送信済みネットワーク バイト数: すべての サーバーで集計されたインターフェースごとの送信バイト数。
受信済みネットワーク バイト数: すべてのサーバーで集計されたインターフェースごとの受信バイト数。
送信済みネットワーク バイト数による上位 10 サーバー: 送信済みネットワーク バイト数による上位 10 サーバー（表形式）。
受信済みネットワーク バイト数による上位 10 サーバー: 受信済みネットワーク バイト数による上位 10 サーバー（表形式）。
Spanner Omni ファイル システム ダッシュボード
Spanner Omni ファイル システム ダッシュボードは、パフォーマンスに不可欠な基盤となるファイル システムのオペレーション（オペレーション レート、レイテンシ、スループットなど）をモニタリングします。このダッシュボードには、以下のグラフがあります。
ファイル オペレーション グラフ:
1 秒あたりのオペレーション数: オペレーション別にグループ化されたファイル オペレーションの合計レートを追跡します。
1 秒あたりのローカル オペレーションとリモート オペレーション: ローカル アクセスとリモート アクセスで区切られたファイル オペレーションのレートを追跡します。
1 秒あたりのオペレーション エラー: オペレーションとステータス別にグループ化された、失敗したファイル システム オペレーションのレートを示します。
レイテンシ グラフ:
P50、P90、P99レイテンシのグラフが含まれます。 ローカル ファイル オペレーションとリモート ファイル オペレーションについて、オペレーション別にグループ化されます。スループット グラフ:
ローカルとリモートの読み取りスループットと書き込みスループット: ローカル アクセスとリモート アクセスで区別された、読み取りスループットと書き込みスループットのレートを追跡します。
オペレーションあたりのバイト数: ローカル アクセスとリモート アクセスの オペレーションあたりの転送バイト数（
P50とP90）が含まれます。
ファイル システムの統計情報:
ゾーン別のファイル システムの合計サイズ: プロビジョニングされた ファイル システムの合計サイズを Spanner Omni ゾーン別にグループ化して表示します。
ゾーン別のファイル システムの使用量: 現在使用されているファイル システムの サイズを Spanner Omni ゾーン別にグループ化して表示します。
gRPC ダッシュボード
gRPC ダッシュボードは、デプロイ内のすべてのサーバーの詳細な RPC 統計を追跡します。このダッシュボードには、以下のグラフがあります。
サーバーサイドの指標: サーバーの視点から
RPCパフォーマンスをモニタリングします。メソッド別の RPC レイテンシ （
P50、P90、P99）: サーバーサイドのRPCメソッドごとのレイテンシ。メソッド別のサーバー送信スループット: メソッドごとの 1 秒あたりの送信バイト数 選択したサーバーの場合。
プロセス別のサーバー送信スループット: 選択したサーバーの プロセスごとの 1 秒あたりの送信バイト数。
メソッド別のサーバー受信スループット: 選択したサーバーの メソッドごとの 1 秒あたりの受信バイト数。
プロセス別のサーバー受信スループット: 選択したサーバーのプロセスごとの 1 秒あたりの受信バイト数。
メソッド別のサーバーの正規ステータス数: 選択したサーバーのメソッドごとの 正規ステータス コードの発生率。
メソッド別のサーバー完了 RPC 数: 選択したサーバーのメソッドごとの完了した
RPCsのレート。サーバーのアクティブ チャネル: アプリケーションの起動後に作成され、アクティブな状態を維持しているサーバーサイドの
gRPCチャネルの合計数。
クライアントサイドの指標: クライアントの視点から
RPCのパフォーマンスをモニタリングします。メソッド別のクライアント ラウンドトリップ レイテンシ（
P50、P90、P99）: メソッドごとのラウンドトリップRPCレイテンシ。サーバーのレイテンシ、ネットワーク、 キュー時間を含みます。メソッド別のクライアント送信スループット: 選択したサーバーのメソッドごとの 1 秒あたりの送信バイト数。
プロセス別のクライアント送信スループット: 選択したサーバーの プロセスごとの 1 秒あたりの送信バイト数。
メソッド別のクライアント受信スループット: 選択したサーバーの メソッドごとの 1 秒あたりの受信バイト数。
プロセス別のクライアント受信スループット: 選択したサーバーのプロセスごとの 1 秒あたりの受信バイト数。
メソッド別のクライアントの正規ステータス数: 選択した サーバーの
gRPCクライアントとしての メソッドごとの正規ステータス コードの発生率。メソッド別のクライアント完了 RPC 数: 選択したサーバーのメソッドごとの完了したクライアント
RPCsのレート。
コンパクション ダッシュボード
コンパクション ダッシュボードには、バックグラウンド コンパクション タスクのパフォーマンスが可視化されます。このダッシュボードには、以下のグラフがあります。
成功したコンパクションと失敗したコンパクション（過去 1 時間）: コンパクション タイプとサーバー別にグループ化されたコンパクション タイプの成功数と 失敗数を追跡します。
コンパクションの出力バイト数レート: コンパクションの出力バイト数レートを 2 分間隔で追跡します。コンパクション タイプとサーバー別にグループ化されます。
コンパクションの入力サイズ分布: ヒートマップには、 コンパクションの入力サイズの分布が表示されます。
コンパクションの入力サイズ（平均）: コンパクションの平均入力サイズを コンパクション タイプとサーバー別にグループ化して表示します。
コンパクションの入力サイズ（パーセンタイル推定）: コンパクションの入力サイズのパーセンタイル 推定（
P50、P95、P99）をコンパクション タイプとサーバー別にグループ化して提供します。メジャー コンパクション ラグの分布: ヒートマップには、 すべてのサーバーで集計されたメジャー コンパクション ラグの分布が表示されます。
サーバー別のメジャー コンパクション ラグ（平均）: サーバー別のメジャー コンパクション ラグの平均を示します。
サーバー別のメジャー コンパクション ラグ（パーセンタイル推定）: サーバー別のメジャー コンパクション ラグの パーセンタイル推定（
P50、P90、P99）を提供します。
分割、マージ、移動ダッシュボード
分割、マージ、移動ダッシュボードは、ディレクトリ オペレーションやグループのサイズ設定など、クラスタ全体でのデータの動的な分布を追跡します。このダッシュボードには、以下のグラフがあります。
分割サイズ分布: ディレクトリ分割のサイズ（
P50、P90、P99、P100パーセンタイルを含む）。選択した サーバー全体で集計されます。グループサイズ分布: グループに割り当てられたすべてのバイト数（永続的 およびインメモリ）。
P50、P90、P99、P100パーセンタイル。選択したサーバー全体で集計されます。メモリ内グループサイズ分布: グループのインメモリ データ構造に割り当てられたすべてのバイト数。
P50、P90、P99、P100パーセンタイル。選択したサーバー全体で集計されます。ゾーン別のグループサイズ: グループに割り当てられたすべてのバイト数（永続的およびインメモリ）の
P50、P90、P99、P100サイズ。 Spanner Omni ゾーン別にグループ化されます。内部データの移動の成功数: 1 時間のウィンドウでのディレクトリとグループの 移動、分割、マージの数。イニシエータ、 アクション、移動タイプ別にグループ化されます。
内部データの移動の失敗数: 1 時間のウィンドウでの ディレクトリとグループの移動、分割、マージの試行におけるエラー数。
理由とタイプ別の分割できないエラー: 分割できないエラーのレート 範囲を分割できないため、過負荷のスプリットが無視される分割できないエラー。
ピーク スプリット CPU 使用率スコア: 各データベースのすべての スプリットにおける最大
CPU使用率の負荷。
タブレット ダッシュボード
タブレット ダッシュボードでは、タブレットの統計情報、オペレーション、潜在的なホットスポットに関する詳細な分析情報を確認できます。このダッシュボードには、以下のグラフがあります。
タブレットの合計数: デプロイ全体の Paxos タブレットの合計数。
ゾーン別のタブレット数: タブレット数（ Spanner Omni ゾーン別にグループ化）。
サーバー別のタブレット数: 選択したサーバーのタブレット数。
ゾーン別のリーダー数: リーダー タブレットの数（ Spanner Omni ゾーン別にグループ化）。
サーバー別のリーダー数: 選択したサーバーのリーダー タブレットの数。
ゾーン別の未割り当てタブレット: ゾーンごとの未割り当てタブレットの数。
ゾーン別のタブレットの読み込み: ゾーン別にグループ化されたタブレットの読み込みレート。
理由別のゾーン別のタブレットのアンロード: ゾーン別のタブレットのアンロード レート。 アンロードの理由別に分類されます。
各サーバーのタブレットの最大負荷: 表形式で、各サーバーのタブレットの最大 コンピューティング負荷が表示されます。
ホット タブレット数: ホット タブレット（ コンピューティング負荷のしきい値を超えるタブレット）の合計数。
タブレットの負荷分散: タブレットごとのコンピューティング負荷の分布。
P50とP90のパーセンタイル推定値と正確なMAX値が表示されます。
TrueTime ダッシュボード
TrueTime ダッシュボードでは、Spanner Omni TrueTime サービスの健全性と信頼性を可視化できます。このダッシュボードには、以下のグラフがあります。
TrueTime の可用性: TrueTime サービスの全体的な可用性をモニタリングします。
P99 TrueTime ドリフト: TrueTime ドリフトの 99 パーセンタイルを追跡します。
P99 TrueTime の不確実性: TrueTime の不確実性の 99 パーセンタイルを追跡します。
クロック SLA 違反: クロック サービスレベル契約（SLA）に対する違反の数を示します。
VM 移行数: 仮想マシンの移行数を追跡します。
リーダーの TrueTime ドリフト: リーダーノードの TrueTime ドリフトをモニタリングします。
TrueTime の目標ステアリング ppm と実際のステアリング ppm: 目標値と実際の ppm（100 万分の 1）のステアリング値を比較します。
ppmTrueTime ステアリング エラー: TrueTime ステアリング メカニズムのエラーを追跡します。
共有ログ ダッシュボード
共有ログ ダッシュボードは、共有ログのパフォーマンスと復旧ステータスをモニタリングするための専用ダッシュボードです。このダッシュボードには、以下のグラフがあります。
共有ログの書き込みレート: 1 秒あたりの共有ログエントリ数。集計され、 データベース別に分類されます。
共有ログの書き込みバイト数: 1 秒あたりの共有ログの書き込みバイト数 （スループット）。集計され、データベース別に分類されます。
共有ログのバッチ書き込みレート: 選択したサーバー全体で集計された、1 秒あたりの共有ログバッチの書き込み数
共有ログバッチの書き込みレイテンシ分布: 共有ログバッチの書き込みの
P50、P90、P99レイテンシ分布。共有ログバッチのエントリ数分布: 共有ログバッチ内のエントリ数の
P50、P90、P99分布。LogSort リクエスト レート:
LogSortリクエストのレート。 選択したサーバー全体で集計。LogSort の並べ替えエラー率: 選択したサーバー全体で集計された
LogSort並べ替えエラー のレート。進行中の共有ログ リーダー: タブレットの復旧に関与している共有ログ リーダーの合計数。