Grafana ダッシュボードを使用して、Spanner Omni デプロイの健全性とパフォーマンスをモニタリングします。これらのダッシュボードは、Prometheus に取り込まれた Spanner Omni 指標を可視化し、デプロイの運用状態に関する包括的な分析情報を提供します。システム全体の健全性、リソース使用量、重要な内部プロセスを可視化できます。
ダッシュボードのインベントリ
次の表に、使用可能なダッシュボードの概要を示します。
| ダッシュボード | 主な指標 | 主な目的 |
|---|---|---|
| 概要 | QPS、レイテンシ、スループット |
秒あたりのクエリ数（QPS）、リクエスト レイテンシ、データ スループットなど、デプロイのパフォーマンスの概要をモニタリングします。 |
| システム分析情報 | CPU、メモリ、ロック待機時間 |
選択したデータベースのデータベース レベルのリソース消費量と健全性（CPU、メモリ、ロック待機時間など）に焦点を当てます。 |
| デプロイに関する分析情報 | CPU、メモリ、ネットワーク使用率 |
デプロイ リソースの全体的な消費量とネットワーク統計に関する詳細な分析情報を提供します。 |
| Spanner Omni ファイル システム | ファイル オペレーション、レイテンシ、スループット | 基盤となるファイル システムのオペレーション、パフォーマンス、レイテンシ、スループットをモニタリングします。 |
| gRPC | RPC の数、ステータス、レイテンシ |
サーバーサイドとクライアントサイドの通信に関する詳細な RPC 統計情報を追跡します。 |
| コンパクション | 圧縮の成功率と失敗率、圧縮の遅延 | バックグラウンド データ メンテナンスのパフォーマンスを可視化します。具体的には、圧縮の成功率と失敗率、圧縮の遅延に焦点を当てます。 |
| 分割、結合、移動 | 分割、統合、移動のカウント、グループ サイズ | ディレクトリ オペレーション（分割、統合、移動）、データグループのサイズ設定、潜在的なホットスポットなど、データの動的な分散をモニタリングします。 |
| タブレット | タブレット数、負荷分散 | タブレットの統計情報、オペレーション、負荷分散に関する詳細な分析情報を提供し、潜在的なホットスポットを特定します。 |
| TrueTime | ドリフト、不確実性、SLA 違反 | ドリフト、不確実性、SLA 違反など、Spanner Omni TrueTime サービスの健全性と信頼性をモニタリングします。 |
| 共有ログ | 書き込みレート、並べ替えエラー率 | 共有ログのパフォーマンス（特に書き込み率と並べ替えエラー率）をモニタリングします。 |
ダッシュボードで使用できるグラフの一部を次に示します。
コンピューティング容量（vCPU）: デプロイ全体でプロビジョニングされた
vCPUsの合計数。メモリ容量: デプロイ全体でプロビジョニングされた物理メモリの合計。
ストレージ容量: ファイル システムの合計ストレージ容量と使用可能なストレージ容量。
ノードのステータス: デプロイ内のサーバーの合計数と異常なサーバーの数を追跡します。
コンピューティング使用率: 使用中の
vCPU容量の合計の割合。メモリ使用率: デプロイ全体の合計メモリ使用量。Spanner Omni はキャッシュの目的でアイドル状態のメモリを使用するため、使用率が高くなることが予想されます。
ストレージ使用率: 使用中の合計ストレージ容量の割合。
vCPU あたりの使用済みストレージ: 使用済みストレージの合計と
vCPUの合計数の比率。サーバー:
CPU使用率、メモリ使用率、稼働時間、合計vCPU、合計メモリ、使用済みストレージ、ストレージ容量のサーバーごと、ゾーンごとの指標を示す詳細な表。
システム分析情報ダッシュボード
システム分析情報ダッシュボードは、デプロイ内のデータベースの健全性とパフォーマンスに焦点を当てています。このダッシュボードには、次のグラフが含まれています。
CPU 使用率の概要: 選択したサーバー全体で集計されたデータベースの全体的な
CPU使用率。ユーザーとシステム別の CPU 使用率: 選択したデータベースの
CPU使用率（ユーザー タスクとシステム タスク、優先度でグループ化）。オペレーション タイプ別の CPU 使用率: 選択したデータベースの
CPU使用率（オペレーション タイプでグループ化）。選択したサーバー全体で集計されます。オペレーション タイプ別の CPU 使用率 - 高優先度: 選択したデータベースの
CPU使用率（オペレーション タイプでグループ化し、選択したサーバーで集計された高優先度でフィルタリング）。オペレーション タイプ別の CPU 使用率 - 中優先度: 選択したデータベースの
CPUの使用率（オペレーション タイプでグループ化し、中優先度でフィルタリング）。選択したサーバー全体で集計されます。オペレーション タイプ別の CPU 使用率 - 低優先度: 選択したデータベースの
CPU使用率（オペレーション タイプでグループ化し、選択したサーバー全体で集計された低優先度でフィルタリング）。リクエスト レイテンシ（
P50、P90、P99）: 選択したデータベース内のレイテンシ。選択したサーバーの読み取りメソッドと書き込みメソッドでグループ化されます。メソッド別のリクエスト レイテンシ（
P50、P90、P99）: 選択したデータベース内のレイテンシ。選択したサーバーの API メソッド別にグループ化されます。トランザクション レイテンシ（
P50、P90、P99）: 選択したデータベース内のリクエスト レイテンシ。選択したサーバー全体でトランザクション タイプとリーダーの関与によってグループ化されます。スループット: 選択したサーバーの選択したデータベース内の読み取りと書き込みのスループット。
メソッド別のスループット: 選択したサーバー間でメソッド別にグループ化された、選択したデータベース内のスループット。
1 秒あたりのオペレーション数: 選択したデータベース内の 1 秒あたりのオペレーション数（選択したサーバーの読み取りメソッドと書き込みメソッドでグループ化）。
メソッド別の 1 秒あたりのオペレーション数: 選択したサーバーのメソッド別にグループ化された、選択したデータベース内の 1 秒あたりのオペレーション数。
データベース別のストレージ使用率: 各データベースで使用される非レプリケートの物理バイト数。各グループのリーダー タブレットがこの指標を提供します。グループ内のすべてのタブレットで複製された実際の物理バイト数は、各タブレットの圧縮状態によって増減する可能性がありますが、この指標は、各データベースが使用する非複製物理ストレージの量のおおよその目安となります。
ロック待機時間: 選択したデータベースのロック競合のロック待機時間の合計（5 分間隔）。
トランザクション中止率: 中止またはキャンセルされたトランザクションの割合。トランザクション間で競合が発生すると、キャンセル率が高くなる可能性があります。
スキーマ オブジェクト数: 選択したデータベースのスキーマ オブジェクトの数。
トランザクション参加者: データベースの各 commit 試行におけるトランザクション参加者数の分布。
デプロイの分析情報ダッシュボード
デプロイの分析情報ダッシュボードでは、デプロイ リソースの使用状況に関する詳細な分析情報が提供されます。このダッシュボードには、次のグラフが含まれています。
CPU 使用率: 選択したサーバーの
CPU使用率の集計。サーバーの CPU 使用率: 選択した各サーバーの
CPU使用率。プロセスの CPU 使用率: 選択したサーバーで集計された各プロセスの
CPU使用率。メモリ使用率: 選択したサーバーの集計されたメモリ使用率。Spanner Omni はメモリにデータをキャッシュ保存するため、値が高くなることが予想されます。Spanner Omni は必要に応じてメモリを解放できます。
サーバーのメモリ使用率: 選択した各サーバーのメモリ使用率。Spanner Omni はメモリにデータをキャッシュ保存するため、値が高くなることが予想されます。Spanner Omni は必要に応じてメモリを解放できます。
プロセスの常駐メモリサイズ: 選択したサーバーの各プロセスの常駐メモリサイズ。
プロセスの仮想メモリ サイズ: 選択したサーバーの各プロセスの仮想メモリ サイズ。
サーバーのメモリの内訳: 選択したサーバー全体で集計されたカテゴリ（キャッシュ、フラグメント化、
memtable_pinned、システム、更新、その他）別のメモリ使用率。このメモリはspan_serverプロセスに固有のものです。ネットワーク送信バイト数: すべてのサーバーで集計されたインターフェースあたりの送信バイト数。
ネットワーク受信バイト数: すべてのサーバーで集計されたインターフェースあたりの受信バイト数。
ネットワーク送信バイト数上位 10 台のサーバー: ネットワーク送信バイト数上位 10 台のサーバー（表形式）。
ネットワーク受信バイト数上位 10 個のサーバー: ネットワーク受信バイト数上位 10 個のサーバー（表形式）。
Spanner Omni ファイル システム ダッシュボード
Spanner Omni ファイル システム ダッシュボードは、オペレーション率、レイテンシ、スループットなど、パフォーマンスに不可欠な基盤となるファイル システム オペレーションをモニタリングします。このダッシュボードには、次のグラフが含まれています。
ファイル オペレーション グラフ:
1 秒あたりのオペレーション数: ファイル オペレーションの合計レートを追跡します（オペレーション別にグループ化）。
ローカル オペレーションとリモート オペレーション（秒単位）: ファイル オペレーションのレートを、ローカル アクセスとリモート アクセスに分けて追跡します。
1 秒あたりのオペレーション エラー数: 失敗したファイル システム オペレーションのレートが、オペレーションとステータス別にグループ化されて表示されます。
レイテンシ グラフ: ローカル ファイル オペレーションとリモート ファイル オペレーションの
P50、P90、P99レイテンシのグラフが含まれます。オペレーションごとにグループ化されています。スループット グラフ:
ローカルとリモートの読み取り / 書き込みスループット: 読み取り / 書き込みスループットのレートを、ローカル アクセスとリモート アクセスに分けて追跡します。
オペレーションあたりのバイト数: ローカル アクセスとリモート アクセスでオペレーションごとに転送される
P50バイトとP90バイトが含まれます。
ファイル システムの統計情報:
ゾーン別の合計ファイル システム サイズ: プロビジョニングされたファイル システムの合計サイズを、Spanner Omni ゾーン別に表示します。
ゾーン別のファイル システム使用量: 現在使用されているファイル システムのサイズを Spanner Omni ゾーン別に表示します。
gRPC ダッシュボード
gRPC ダッシュボードには、デプロイ内のすべてのサーバーの詳細な RPC 統計情報が表示されます。このダッシュボードには、次のグラフが含まれています。
サーバーサイドの指標: サーバーの視点から
RPCのパフォーマンスをモニタリングします。RPC Latency Per Method（
P50、P90、P99）: サーバー側のRPCメソッドごとのレイテンシ。メソッドごとのサーバー送信スループット: 選択したサーバーのメソッドごとの 1 秒あたりの送信バイト数。
プロセスあたりのサーバー送信スループット: 選択したサーバーのプロセスあたりの 1 秒あたりの送信バイト数。
メソッドあたりのサーバー受信スループット: 選択したサーバーのメソッドあたりの 1 秒あたりの受信バイト数。
プロセスあたりのサーバー受信スループット: 選択したサーバーのプロセスあたりの受信バイト数 / 秒。
メソッドあたりのサーバー正規ステータス数の割合: 選択したサーバーのメソッドあたりの正規ステータス コードの発生率。
Server Completed RPCs Per Method: 選択したサーバーのメソッドごとの完了した
RPCsの割合。Server Active Channels: アプリケーションの起動以降に作成され、アクティブな状態が維持されているサーバーサイドの
gRPCチャネルの合計数。
クライアントサイドの指標: クライアントの視点から
RPCのパフォーマンスをモニタリングします。メソッドあたりのクライアント ラウンドトリップ レイテンシ（
P50、P90、P99）: メソッドあたりのラウンドトリップRPCレイテンシ。サーバー レイテンシ、ネットワーク、キュー時間を含みます。クライアントのメソッド別送信スループット: 選択したサーバーのメソッドあたりの 1 秒あたりの送信バイト数。
プロセスあたりのクライアント送信スループット: 選択したサーバーのプロセスあたりの 1 秒あたりの送信バイト数。
メソッドあたりのクライアント受信スループット: 選択したサーバーのメソッドあたりの 1 秒あたりの受信バイト数。
プロセスごとのクライアント受信スループット: 選択したサーバーのプロセスごとの 1 秒あたりの受信バイト数。
メソッドあたりのクライアントの正規ステータス数のカウント: 選択したサーバーの
gRPCクライアントとしてのメソッドあたりの正規ステータス コードの発生率。メソッドあたりのクライアント完了 RPC: 選択したサーバーのメソッドあたりの完了したクライアント
RPCsのレート。
コンパクション ダッシュボード
コンパクション ダッシュボードには、バックグラウンド コンパクション タスクのパフォーマンスの可視化が表示されます。このダッシュボードには、次のグラフが含まれています。
成功した圧縮と失敗した圧縮（過去 1 時間）: 圧縮タイプ別にグループ化された圧縮タイプの成功数と失敗数をサーバーごとに追跡します。
圧縮出力バイトレート: 2 分間隔で圧縮の出力バイトレートを追跡します。圧縮タイプとサーバーごとにグループ化されます。
コンパクション入力サイズの分布: ヒートマップにコンパクション入力サイズの分布が表示されます。
コンパクション入力サイズ（平均）: コンパクション タイプとサーバーごとにグループ化された、コンパクション入力サイズの平均が表示されます。
コンパクション入力サイズ（パーセンタイル推定値）: コンパクション タイプとサーバーごとにグループ化されたコンパクション入力サイズのパーセンタイル推定値（
P50、P95、P99）を提供します。メジャー コンパクション ラグの分布: すべてのサーバーで集計されたメジャー コンパクション ラグの分布がヒートマップに表示されます。
サーバーごとのメジャー コンパクション ラグ（平均）: サーバーごとのメジャー コンパクション ラグの平均を示します。
サーバーごとのメジャー コンパクションの遅延（パーセンタイル推定値）: サーバーごとのメジャー コンパクションの遅延のパーセンタイル推定値（
P50、P90、P99）を提供します。
ダッシュボードの分割、統合、移動
分割、結合、移動のダッシュボードには、ディレクトリ オペレーションやグループ サイズ設定など、クラスタ全体でのデータの動的な分散が記録されます。このダッシュボードには、次のグラフが含まれています。
分割サイズ分布: 選択したサーバーで集計された、
P50、P90、P99、P100のパーセンタイルを含むディレクトリ分割のサイズ。グループ サイズ分布: グループに割り当てられたすべてのバイト数（永続メモリとインメモリ）。
P50、P90、P99、P100の各パーセンタイルが、選択したサーバー全体で集計されます。Group Size In Memory Distribution: 選択したサーバーで集計された、グループのインメモリ データ構造に割り当てられたすべてのバイト数（
P50、P90、P99、P100のパーセンタイルを含む）。Group Size By Zone: グループに割り当てられたすべてのバイト（永続とインメモリ）の
P50、P90、P99、P100のサイズ。Spanner Omni ゾーンごとにグループ化されます。内部データ移動の成功数: 1 時間のウィンドウでディレクトリとグループの移動、分割、統合の数をカウントし、開始者、アクション、移動タイプ別にグループ化します。
内部データ移動の失敗数: 1 時間のウィンドウで試行されたディレクトリとグループの移動、分割、統合のエラー数。
理由とタイプ別の分割できないエラー: 範囲が分割できないため、過負荷の分割が無視された分割できないエラーの割合。
ピーク スプリットの CPU 使用率スコア: 各データベースのすべてのスプリットにおける
CPU使用率の最大負荷。
タブレット ダッシュボード
タブレット ダッシュボードでは、タブレットの統計情報、オペレーション、潜在的なホットスポットに関する詳細な分析情報を確認できます。このダッシュボードには、次のグラフが含まれています。
Total Tablet Count: デプロイ全体の Paxos タブレットの合計数。
Tablet Count By Zone: Spanner Omni ゾーン別にグループ化されたタブレットの数。
Tablet Count By Server: 選択したサーバー上のタブレットの数。
ゾーン別のリーダー数: リーダー タブレットの数。Spanner Omni ゾーン別にグループ化されます。
Leader Count By Server: 選択したサーバー上のリーダー タブレットの数。
ゾーンごとの未割り当てのタブレット: ゾーンごとの未割り当てのタブレットの数。
Tablet Loads By Zone: ゾーン別にグループ化されたタブレットの読み込み率。
ゾーン別、理由別のタブレットのアンロード数: ゾーン別のタブレットのアンロード率。アンロードの理由別に分類されています。
各サーバーのタブレットの最大負荷: 各サーバーのタブレットの最大コンピューティング負荷が表形式で表示されます。
ホット タブレット数: ホット タブレット（コンピューティング負荷のしきい値を超えるタブレット）の合計数。
タブレットの負荷分布: タブレットごとのコンピューティング負荷の分布。
P50とP90のパーセンタイル推定値と、正確なMAX値が表示されます。
TrueTime ダッシュボード
TrueTime ダッシュボードでは、Spanner Omni TrueTime サービスの健全性と信頼性を確認できます。このダッシュボードには、次のグラフが含まれています。
TrueTime の可用性: TrueTime サービスの全体的な可用性をモニタリングします。
P99 TrueTime ドリフト: TrueTime ドリフトの 99 パーセンタイルを追跡します。
P99 TrueTime 不確実性: TrueTime 不確実性の 99 パーセンタイルを追跡します。
時計の SLA 違反: 時計のサービスレベル契約（SLA）に対する違反の数を示します。
VM 移行数: 仮想マシンの移行数を追跡します。
リーダーの TrueTime ドリフト: リーダーノードの TrueTime ドリフトをモニタリングします。
TrueTime の目標値と実際のステアリング ppm: 目標値と実際のステアリング ppm（
ppm）値を比較します。TrueTime ステアリング エラー: TrueTime ステアリング メカニズムのエラーをトラッキングします。
共有ログ ダッシュボード
共有ログ ダッシュボードは、共有ログのパフォーマンスと復元ステータスをモニタリングするための専用ダッシュボードです。このダッシュボードには、次のグラフが含まれています。
共有ログ書き込みレート: 1 秒あたりの共有ログエントリ数。データベースごとに集計され、内訳が表示されます。
共有ログバイトの書き込み: 1 秒あたりの共有ログバイトの書き込み（スループット）。データベースごとに集計され、内訳が表示されます。
共有ログバッチの書き込み率: 選択したサーバーで集計された、1 秒あたりに書き込まれた共有ログバッチ数。
共有ログ バッチ書き込みレイテンシ分布: 共有ログ バッチ書き込みの
P50、P90、P99レイテンシ分布。共有ログ バッチ エントリ数の分布: 共有ログ バッチ内のエントリ数の
P50、P90、P99の分布。LogSort リクエスト率: 選択したサーバーで集計された
LogSortリクエストのレート。LogSort ソートエラー率: 選択したサーバー全体で集計された
LogSortソートエラーの割合。進行中の共有ログリーダー: タブレットの復元に関与している共有ログリーダーの合計数。