このドキュメントでは、Google Distributed Cloud(GDC)エアギャップ アプライアンスのロギング コンポーネントとモニタリング コンポーネントでデプロイの失敗を特定し、運用インシデントを解決するためのトラブルシューティング手順と、事前定義されたシステム アラートのリファレンスについて説明します。これらの手順とアラート定義を使用して、ロギングとモニタリングのスタックが実行されていることを確認し、パイプライン構成を検査して、コンポーネントの問題をトラブルシューティングできます。
オブザーバビリティ コンポーネントを特定する
オブザーバビリティ プラットフォームは、コンポーネントを組織インフラストラクチャ クラスタの obs-system Namespace にデプロイします。
Infrastructure Operator(IO)の Grafana インスタンスは、組織レベルの指標へのアクセスを提供し、CPU 使用率やストレージ消費量などのインフラストラクチャ コンポーネントをモニタリングします。また、運用ログと監査ログへのアクセスも提供します。また、GDC の操作可能なコンポーネントからのアラート、ログ、指標にアクセスできます。
GDC のモニタリング スタックとロギング スタックは、オブザーバビリティ プラットフォームの一部としてオープンソース ソリューションを使用します。これらのコンポーネントは、Kubernetes Pod、ベアメタル マシン、ネットワーク スイッチ、ストレージ、マネージド サービスからログと指標を収集します。
次の表に、オブザーバビリティ プラットフォームを統合するすべてのコンポーネントの説明を示します。
| コンポーネント | 説明 |
|---|---|
Prometheus |
Prometheus は、指標の収集と保存、アラートの評価を行うための時系列データベースです。Prometheus は、長期保存のために組織インフラストラクチャ クラスタの Cortex インスタンスに指標を保存します。Prometheus は、ラベルを Key-Value ペアとして追加し、Kubernetes ノード、Pod、ベアメタル マシン、ネットワーク スイッチ、ストレージ アプライアンスから指標を収集します。 |
Alertmanager |
Alertmanager は、ログまたは指標がシステム コンポーネントの障害または正常に動作していないことを示している場合にアラートを送信する、ユーザー定義のマネージャー システムです。Prometheus アラートのルーティング、サイレント化、集約を管理します。 |
Loki |
Loki は、さまざまなソースからのログを保存して集計する時系列データベースです。効率的なクエリのためにログにインデックスを付ける。 |
Grafana |
Grafana には、Prometheus が収集する指標を表示し、対応する Loki インスタンスから監査ログと運用ログをクエリするためのユーザー インターフェース(UI)が用意されています。UI を使用すると、指標とアラートのダッシュボードを可視化できます。 |
Fluent Bit |
Fluent Bit は、さまざまなコンポーネントや場所からログを pull して Loki に送信するプロセッサです。すべてのクラスタのすべてのノードで実行されます。 |
デプロイの失敗を特定する
デプロイが実行中で正常な状態の場合、コンポーネントは READY 状態で実行されます。
次の手順に沿って、デプロイの失敗を特定します。
コンポーネントの現在の状態を確認します。
kubectl get -n obs-system TYPE/COMPONENT次のように置き換えます。
TYPE: コンポーネント タイプCOMPONENT: コンポーネント名
次のような出力が表示されます。
NAME READY AGE COMPONENT 1/1 23hコンポーネントが正常な場合、出力の
READY列に値としてN/Nが表示されます。READY列に値が表示されない場合でも、必ずしも失敗を示すわけではありません。サービスの処理に時間がかかることがあります。各コンポーネントの Pod を確認します。
kubectl get pods -n obs-system | awk 'NR==1 | /COMPONENT/'COMPONENTは、コンポーネント名に置き換えます。次のような出力が表示されます。
NAME READY STATUS RESTARTS AGE COMPONENT 1/1 Running 0 23hREADY列に値としてN/Nが表示され、STATUS列にRunning値が表示され、RESTARTSの数が2の値を超えていないことを確認します。再起動回数が多い場合は、次の症状を示しています。
- Pod が失敗し、Kubernetes が Pod を再起動します。
STATUS列にはCrashLoopBackoffの値が表示されます。
失敗ステータスを解決するには、Pod のログを表示します。
Pod が
PENDING状態の場合、この状態は次の 1 つ以上の症状を示します。- Pod が、必要なコンテナをダウンロードするためのネットワーク アクセスを待機しています。
- 構成の問題により、Pod が起動しません。たとえば、Pod に必要な
Secret値がありません。 - Kubernetes クラスタで Pod をスケジュールするためのリソースが不足している。これは、クラスタで多数のアプリケーションが実行されている場合に発生します。
PENDING状態の原因を特定します。kubectl describe -n obs-system pod/POD_NAMEPOD_NAMEは、PENDING状態を示す Pod の名前に置き換えます。出力には、Pod の詳細が表示されます。
出力の
Eventsセクションに移動して、Pod の最近のイベントを一覧表示するテーブルと、PENDING状態の原因の概要を確認します。次の出力は、Grafana
StatefulSetオブジェクトのEventsセクションの例を示しています。Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SuccessfulCreate 13s (x3 over 12d) statefulset-controller create Pod grafana-0 in StatefulSet grafana successfulPod や他のリソースにイベントが長時間発生しない場合は、次の出力が表示されます。
Events: <none>
オブザーバビリティ ロギング スタックが実行されていることを確認する
次の手順に沿って、ロギング スタックが実行されていることを確認します。
すべての Loki インスタンスまたは Pod に Istio サイドカー インジェクションが挿入されていることを確認します。
anthos-audit-logs-forwarder-SUFFIXとanthos-log-forwarder-SUFFIXという名前のすべての Fluent Bit Pod に Istio サイドカー インジェクションが適用されていることを確認します。すべての Loki インスタンスが、組織インフラストラクチャ クラスタでエラーなく実行されていることを確認します。
anthos-audit-logs-forwarderオブジェクトとanthos-log-forwarderDaemonSetオブジェクトのステータスをチェックして、すべてのインスタンスがすべてのノードでエラーなく実行されていることを確認します。すべてのクラスタで、過去 5 分間の
kube-apiserver-SUFFIXコンテナのオペレーション ログと Kubernetes API サーバーの監査ログが取得されていることを確認します。これを行うには、Grafana インスタンスで次のクエリを実行します。- オペレーション ログ:
sum (count_over_time({service_name="apiserver"} [5m])) by (cluster, fluentbit_pod) - 監査ログ:
sum (count_over_time({cluster=~".+"} [5m])) by (cluster, node)
組織インフラストラクチャ クラスタ内のすべてのコントロール プレーン ノードで、ゼロ以外の値を取得する必要があります。
- オペレーション ログ:
オブザーバビリティ モニタリング スタックが実行されていることを確認する
次の手順に沿って、モニタリング スタックが実行されていることを確認します。
Grafana インスタンスが組織インフラストラクチャ クラスタで実行されていることを確認します。
grafana-0Pod は、次の Namespace でエラーなしで実行される必要があります。obs-systeminfra-obs-obs-systemplatform-obs-obs-system
すべてのモニタリング コンポーネントが Istio サービス メッシュ内にあることを確認します。デプロイエラーを特定するセクションの手順に沿って操作します。次の各 Pod で、すべてのコンテナが準備完了であることが
READY列に表示されている必要があります。たとえば、値が3/3の場合、3 つのコンテナのうち 3 つが準備完了であることを意味します。また、Pod にはistio-proxyコンテナが必要です。Pod がこれらの条件を満たしていない場合は、Pod を再起動します。Pod 名 準備完了状態のコンテナの数 cortex-2/2cortex-etcd-02/2cortex-proxy-server-2/2cortex-tenant-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-2/2meta-prometheus-04/4cortex-alertmanager-2/2cortex-compactor-2/2cortex-distributor-2/2cortex-etcd-02/2cortex-ingester-2/2cortex-querier-2/2cortex-query-frontend-2/2cortex-query-scheduler-2/2cortex-ruler-2/2cortex-store-gateway-2/2cortex-tenant-2/2grafana-proxy-server-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-*2/2meta-prometheus-04/4Cortex がエラーなく実行されていることを確認します。
オブザーバビリティ ログを取得する
次の表に、オブザーバビリティ プラットフォームがデプロイする各コンポーネントのログを取得するために実行する必要があるコマンドを示します。
| コンポーネント | ログ取得コマンド |
|---|---|
grafana |
kubectl logs -n obs-system statefulset/grafana |
anthos-prometheus-k8s |
kubectl logs -n obs-system statefulset/anthos-prometheus-k8s |
alertmanager |
kubectl logs -n obs-system statefulset/alertmanager |
ops-logs-loki-io |
kubectl logs -n obs-system statefulset/ops-logs-loki-io |
ops-logs-loki-io-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-io-read |
ops-logs-loki-all |
kubectl logs -n obs-system statefulset/ops-logs-loki-all |
ops-logs-loki-all-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-all-read |
audit-logs-loki-io |
kubectl logs -n obs-system statefulset/audit-logs-loki-io |
audit-logs-loki-io-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-io-read |
audit-logs-loki-pa |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa |
audit-logs-loki-pa-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa-read |
audit-logs-loki-all |
kubectl logs -n obs-system statefulset/audit-logs-loki-all |
audit-logs-loki-all-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-all-read |
anthos-log-forwarder |
kubectl logs -n obs-system daemonset/anthos-log-forwarder |
anthos-audit-logs-forwarder |
kubectl logs -n obs-system daemonset/anthos-audit-logs-forwarder |
oplogs-forwarder |
kubectl logs -n obs-system daemonset/oplogs-forwarder |
logmon-operator |
kubectl logs -n obs-system deployment/logmon-operator |
コンポーネントの以前のインスタンスのログを表示するには、各コマンドの末尾に -p フラグを追加します。-p フラグを追加すると、現在実行中のインスタンスではなく、以前に失敗したインスタンスのログを確認できます。
構成を表示する
オブザーバビリティ スタックは、Kubernetes API カスタム リソースを使用して、モニタリングとロギングのパイプラインを構成します。
LoggingPipeline カスタム リソースは、組織のインフラストラクチャ クラスタにデプロイされ、Loki インスタンスを構成します。
次のコマンドは、ロギング パイプラインで実行できるアクションを示しています。
ロギング パイプラインのデプロイの現在の構成を表示します。
kubectl get loggingpipeline -n obs-system default -o yamlロギング パイプラインのデプロイの構成を変更します。
kubectl edit loggingpipeline -n obs-system default
GDC は、logmon-operator という名前のロギングとモニタリングのオペレーターを使用して、Prometheus や Fluent Bit などのオブザーバビリティ コンポーネントのデプロイを管理します。logmon-operator コンポーネントへの API は、logmon カスタム リソース定義です。logmon カスタム リソース定義は、デプロイのオブザーバビリティを構成する方法を logmon-operator に指示します。このカスタム リソース定義には、指標を保存するボリュームのプロパティ、Alertmanager のアラートルール、指標を収集する Prometheus 構成、ダッシュボードの Grafana 構成が含まれています。
次のコマンドは、logmon カスタム リソース定義に対して実行できる操作を示しています。
Observability デプロイの現在の構成を表示します。
kubectl get logmon -n obs-system logmon-default -o yamlObservability デプロイの構成を変更します。
kubectl edit logmon -n obs-system logmon-default
どちらのコマンドを実行しても、出力には、さらに構成するための複数の Kubernetes ConfigMap オブジェクトが参照される場合があります。たとえば、別の ConfigMap オブジェクトで Alertmanager ルールを構成できます。このオブジェクトは、logmon カスタム リソース定義で名前で参照されます。Alertmanager の構成は、gpc-alertmanager-config という名前の logmon カスタム リソース定義を使用して変更および表示できます。
Alertmanager の構成を表示するには、次のコマンドを実行します。
kubectl get configmap -n obs-system gpc-alertmanager-config -o yaml
一般的な問題
このセクションでは、オブザーバビリティ プラットフォームのデプロイ時に発生する可能性のある一般的な問題について説明します。
Grafana にアクセスできない
デフォルトでは、Grafana は Kubernetes クラスタの外部のマシンに公開されません。組織インフラストラクチャ クラスタの外部から Grafana インターフェースに一時的にアクセスするには、Service を localhost にポート転送します。Service をポート転送するには、次のコマンドを実行します。
kubectl port-forward -n gpc-system service/grafana 33000\:3000
ウェブブラウザで http://localhost:33000 に移動して、デプロイの Grafana ダッシュボードを表示します。プロセスを終了するには、Ctrl+C キーを押します。
Grafana の動作が遅い
Grafana の実行速度が遅い場合は、次のことを示しています。
- Prometheus または Loki へのクエリが過剰なデータを返す。
- クエリから返されるデータが、1 つのグラフに表示するには多すぎる。
Grafana 内の速度低下を解決するには、カスタム Grafana ダッシュボードでクエリを確認します。クエリが 1 つのグラフに表示するには多すぎるデータを返す場合は、表示されるデータの量を減らしてダッシュボードのパフォーマンスを向上させることを検討してください。
Grafana ダッシュボードに指標やログが表示されない
Grafana に指標やログが表示されない原因としては、次のことが考えられます。
- Grafana データソースが正しく設定されていない。
- システムに、モニタリングまたはロギングのデータソースへの接続の問題がある。
- システムが指標またはログを収集していない。
ログと指標を表示する手順は次のとおりです。
- Grafana ユーザー インターフェースで、 [Dashboard settings] をクリックします。
- [データソース] を選択します。
- [データソース] ページに、次のソースが表示されていることを確認します。
| 名前 | 組織 | URL |
|---|---|---|
Audit Logs |
All |
http://audit-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Root |
http://ops-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Org |
http://ops-logs-loki-all-read.obs-system.svc:3100 |
prometheus |
http://anthos-prometheus-k8s.obs-system.svc:9090 |
これらのデータソースがない場合は、オブザーバビリティ スタックが Grafana を正しく構成できなかったことを示します。
データソースを正しく構成してもデータが表示されない場合は、Prometheus または Loki にフィードする指標またはログを収集する Service オブジェクトに問題がある可能性があります。
Prometheus は指標を収集する際、pull モデルに従って Service オブジェクトに指標を定期的にクエリし、見つかった値を保存します。Prometheus が指標収集のために Service オブジェクトを検出するには、次の条件を満たす必要があります。
Serviceオブジェクトのすべての Pod に'monitoring.gke.io/scrape: "true"'アノテーションが付けられます。Prometheus 指標形式は、HTTP 経由で Pod 指標を公開します。デフォルトでは、Prometheus はエンドポイント
http://POD_NAME:80/metricsでこれらの指標を検索します。必要に応じて、アノテーションを使用してポート、エンドポイント、スキーマをオーバーライドできます。
Fluent Bit はログを収集し、Kubernetes クラスタのすべてのノードで実行されるように設計されています。Fluent Bit は、長期保存のためにログを Loki に送信します。
Grafana にログがない場合は、次の回避策を試してください。
Loki インスタンスのログをチェックして、エラーなしで実行されていることを確認します。
Loki インスタンスが正常に実行されているにもかかわらずログが表示されない場合は、Fluent Bit のログをチェックして、サービスが想定どおりに動作していることを確認します。ログを取得する方法については、オブザーバビリティ ログを取得するをご覧ください。
Alertmanager がアラートを開かない
Alertmanager でアラートを開けない場合は、次の手順を行います。
gpc-system名前空間内のconfigMapオブジェクトに、ラベルlogmon: system_metricsが存在することを確認します。configMapデータ セクションにalertmanager.ymlという名前のキーが含まれていることを確認します。alertmanager.ymlキーの値は、有効な Alertmanager 構成ファイルに含まれているアラートルールにする必要があります。gpc-systemNamespace のlogmon-defaultという名前のlogmonカスタム リソース定義に、configMapオブジェクトへの参照が含まれていることを確認します。次の例に示すように、logmon-defaultカスタム リソース定義にはconfigMapオブジェクトの名前が含まれている必要があります。apiVersion: addons.gke.io/v1 kind: Logmon spec: system_metrics: outputs: default_prometheus: deployment: components: alertmanager: alertmanagerConfigurationConfigmaps: - alerts-configこの例の
alerts-config値は、configMapオブジェクトの名前です。
Alertmanager が構成済みの通知チャンネルにアラートを送信しない
構成エラーにより、Alertmanager が Grafana インスタンスでアラートを生成しても、通知チャンネルとして構成した外部ソフトウェア(Slack など)で通知を受信できない場合があります。
外部ソフトウェアでアラートを受信するには、次の手順を行います。
Alertmanager 構成ファイルの値が正しくフォーマットされていることを確認します。Alertmanager は、アラートをトリガーすると、外部ソフトウェアの Webhook をクエリします。
外部ソフトウェアに接続する Webhook URL が正しいことを確認します。URL が正しい場合は、ソフトウェアが Webhook を受け入れるように構成されていることを確認します。外部サービス API にアクセスするために API キーを生成する必要がある場合や、現在の API キーの有効期限が切れていて、更新する必要がある場合があります。
外部サービスが GDC エアギャップ アプライアンスのデプロイの外部にある場合は、組織インフラストラクチャ クラスタに下り(外向き)ルールが構成されていることを確認します。この構成により、Alertmanager は内部 Kubernetes ネットワーク外のサービスにリクエストを送信できます。下り(外向き)ルールを確認しないと、Alertmanager が外部ソフトウェアを検出できない可能性があります。
プロジェクト スコープのワークロードの指標が表示されない
次の手順に沿って回避策を適用し、ワークロードから指標を取得します。
MonitoringTargetカスタム リソースのステータスがReadyであることを確認します。- ワークロードをスクレイピングするには、ワークロードの Pod 仕様で
MonitoringTargetに指定されたすべてのターゲット情報を宣言する必要があります。たとえば、指標がポート8080で使用可能であることを宣言する場合、ワークロード Pod はポート8080が開いていることを Kubernetes に宣言する必要があります。それ以外の場合、Prometheus はワークロードを無視します。 - Prometheus は複数のシャードを実行します。つまり、すべての Prometheus Pod が Pod をスクレイピングするわけではありません。シャード番号は、各 Prometheus Pod の名前で確認できます。たとえば、
primary-prometheus-shard0-replica0-0はシャード0の一部です。各 Prometheus シャードからスクレイピングする Pod を確認します。obs-systemNamespace にある Prometheus のprimary-prometheus-shardSHARD_NUMBER-replica0-0Pod をポート転送して、Prometheus UI にアクセスします。新しいシャードを確認するたびに、Pod 名のSHARD_NUMBERを増分番号に置き換えます。- ウェブブラウザで Prometheus UI に移動し、次の手順を行います。
- [Status] > [Targets] をクリックします。
- スクレイピングする Pod がリストに含まれていることを確認します。そうでない場合は、次のシャードを確認します。確認するシャードがこれ以上ない場合は、Prometheus にシャードを検出するのに十分な情報があることを再度確認します。
- Prometheus の
primary-prometheus-shardSHARD_NUMBER-replica0-0Pod がobs-systemNamespace にエラーをロギングしていることを確認します。
obs-systemNamespace のcortex-tenantPod ログのエラーを確認します。
ダッシュボードが作成されなかった
次の手順に沿って回避策を適用し、ダッシュボードが作成されない理由を確認します。
Dashboardカスタム リソースのステータスを確認して、エラーがないかどうかを確認します。カスタム リソースのステータスがReadyである必要があります。- 正しい Grafana インスタンスを確認していることを確認します。たとえば、
my-namespaceという名前のプロジェクト名前空間にダッシュボードをデプロイした場合、ダッシュボードはhttps://GDCH_URL/my-namespace/grafanaエンドポイントの Grafana インスタンスに存在する必要があります。 gpc-systemNamespace のfleet-admin-controllerのログを確認します。ログでダッシュボード名を検索して、ダッシュボードに関連するエラーを探します。エラーが見つかった場合は、configMapオブジェクトの JSON ファイルの形式が正しくないため、修正する必要があります。PROJECT_NAME-obs-systemNamespace の Grafana ログでエラーを確認します。ダッシュボードは Grafana REST API をクエリするため、ダッシュボードを作成するには Grafana が動作している必要があります。
アラートが開かない
次の手順に沿って回避策を適用し、アラートが開かない理由を特定します。
- Cortex と Loki の両方が bucket-storage モードになっていることを確認します。バックエンドがバケット ストレージでサポートされていない限り、ルールは機能しません。
MonitoringRuleカスタム リソースとLoggingRuleカスタム リソースのステータスがReadyであることを確認します。- 次のアラートの条件を確認します。
- PromQL 式と LogQL 式: 使用しているすべての関数をアラートルールの作成ドキュメントと比較して、ルールが想定どおりに構成されていることを確認します。式が
true値またはfalse値を返すことを確認します。 - 期間: カスタム リソースの
forフィールドは、条件が true である期間を定義します。intervalフィールドは、条件を評価する頻度を定義します。これらのフィールドの値を相互に確認し、条件が論理的であることを確認します。
- PromQL 式と LogQL 式: 使用しているすべての関数をアラートルールの作成ドキュメントと比較して、ルールが想定どおりに構成されていることを確認します。式が
- Grafana UI の [Alerts] ページで、アラートが開いているかどうかを確認します。
- Grafana でアラートが開いていることが示されている場合は、通知チャネルを確認し、Alertmanager がそれらに接続してアラートを生成できることを確認します。
想定されるログが利用できない
コンポーネントのオペレーション ログが表示されない場合は、次の手順を行います。
- コンポーネントが実行され、ログが生成されているかどうかを確認します。
- コンポーネント ログを組み込み機能として収集する必要があるかどうかを確認します。そうでない場合は、有効な仕様と
ReadyステータスでLoggingTargetカスタム リソースがデプロイされていることを確認します。
コンポーネントの監査ログが表示されない場合は、次の手順を行います。
- コンポーネントがログをファイルに書き込む場合は、そのファイルがノードのファイル システムのパス
/var/log/audit/SERVICE_NAME/NAMESPACE/ACCESS_LEVEL/audit.logに実際に存在することを確認します。 - 同じノード上の
anthos-audit-logs-forwarder-SUFFIXPod にエラーがないことを確認します。 - コンポーネントが syslog エンドポイントを使用してログを受信する場合は、有効な仕様と
ReadyステータスでAuditLoggingTargetカスタム リソースがデプロイされていることを確認します。
事前定義のアラートルールを特定する
このセクションでは、システム障害を通知するために Observability コンポーネントに存在する事前定義のアラートルールについて説明します。
Loki の事前定義されたアラートルール
次の表に、監査ロギングの失敗に関する Loki のプリインストールされたアラートルールを示します。
| 名前 | 型 | 説明 |
|---|---|---|
FluentBitAuditLoggingWriteFailure |
重大 | Fluent Bit が過去 5 分間に監査ログを転送できませんでした。 |
LokiAuditLoggingWriteFailure |
重大 | Loki が監査ログをバックエンド ストレージに書き込めませんでした。 |
これらのアラートが 1 つ以上表示されている場合、システムは少なくとも 1 つの監査レコードを失っています。
Prometheus の事前定義されたアラートルール
次の表に、Kubernetes コンポーネントの Prometheus にプリインストールされているアラートルールを示します。
| 名前 | 型 | 説明 |
|---|---|---|
KubeAPIDown |
重大 | Kube API が Prometheus ターゲット ディスカバリから 15 分間消えています。 |
KubeClientErrors |
警告 | Kubernetes API サーバー クライアントのエラー率が 15 分間 0.01 を超えています。 |
KubeClientErrors |
重大 | Kubernetes API サーバー クライアントのエラー率が 15 分間にわたって 0.1 を超えています。 |
KubePodCrashLooping |
警告 | Pod が 15 分以上クラッシュループ状態になっている。 |
KubePodNotReady |
警告 | Pod が 15 分以上準備ができていない状態になっている。 |
KubePersistentVolumeFillingUp |
重大 | 要求された PersistentVolume オブジェクトの空きバイト数が 0.03 未満です。 |
KubePersistentVolumeFillingUp |
警告 | 要求された PersistentVolume オブジェクトの空きバイト数が 0.15 未満です。 |
KubePersistentVolumeErrors |
重大 | 永続ボリュームが 5 分間 Failed フェーズまたは Pending フェーズになっています。 |
KubeNodeNotReady |
警告 | ノードが 15 分以上準備できていない。 |
KubeNodeCPUUsageHigh |
重大 | ノードの CPU 使用率が 80% を超えている。 |
KubeNodeMemoryUsageHigh |
重大 | ノードのメモリ使用量が 80% を超えている。 |
NodeFilesystemSpaceFillingUp |
警告 | ノードのファイル システム使用率が 60% を超えている。 |
NodeFilesystemSpaceFillingUp |
重大 | ノードのファイル システム使用率が 85% を超えている。 |
CertManagerCertExpirySoon |
警告 | 証明書の有効期限が 21 日後に切れます。 |
CertManagerCertNotReady |
重大 | 10 分経過しても証明書がトラフィックを処理する準備ができていない。 |
CertManagerHittingRateLimits |
重大 | 証明書の作成または更新時にレート制限に達しました(5 分間)。 |
DeploymentNotReady |
重大 | 組織インフラストラクチャ クラスタの Deployment が 15 分以上準備完了状態になっていません。 |
StatefulSetNotReady |
重大 | 組織インフラストラクチャ クラスタの StatefulSet オブジェクトが 15 分以上準備完了状態になっていません。 |
AuditLogsForwarderDown |
重大 | anthos-audit-logs-forwarder DaemonSet が 15 分以上停止している。 |
AuditLogsLokiDown |
重大 | audit-logs-loki StatefulSet が 15 分以上準備ができていない状態になっています。 |