Utilizzare gli indicatori di livello del servizio (SLI) di Config Sync

Questa pagina descrive come utilizzare gli indicatori del livello del servizio (SLI) di Config Sync.

Per ricevere notifiche quando Config Sync non funziona come previsto, configura regole di avviso di Prometheus in base a questi indicatori di livello del servizio. Ogni SLI include un esempio di come creare una regola di avviso. Per scoprire di più sull'utilizzo di Prometheus con Config Sync, consulta Monitorare Config Sync con le metriche.

Pod Config Sync con conteggio dei container errato

Se il numero di container di un pod Config Sync è inferiore al previsto, Config Sync potrebbe non essere in esecuzione. Puoi configurare un avviso per rilevare questo problema e ispezionare il pod Config Sync per capire perché alcuni container non sono presenti. Quando imposti gli avvisi, ti consigliamo di impostare l'intervallo di tempo su almeno cinque minuti per evitare avvisi non necessari. Ad esempio, durante l'upgrade, il conteggio dei container di un pod potrebbe scendere al di sotto del target.

Se non hai familiarità con il numero previsto di container, consulta Deployment, pod e container di Config Sync.

Esempi di regole di avviso di Prometheus

Questa sezione include esempi che ti avvisano quando ci sono pod con un numero di container errato.

  • Per ricevere una notifica quando il conteggio dei container di un pod di riconciliazione principale è inferiore al conteggio previsto, crea la seguente regola di avviso:

    alert: RootReconcilerPodMissingContainer
expr: count by (cluster_name, pod_name) (kubernetes_io:container_uptime{namespace_name="config-management-system", pod_name=~"root-reconciler-.*"}) < 4
# Setting the for field to 5m to avoid unnecessary alerts.
for: 5m

  • Per ricevere una notifica quando il conteggio dei container di un pod di riconciliazione dello spazio dei nomi è inferiore al conteggio previsto, crea la seguente regola di avviso:

    alert: NamespaceReconcilerPodMissingContainer
expr: count by (cluster_name, pod_name) (kubernetes_io:container_uptime{namespace_name="config-management-system", pod_name=~"ns-reconciler-.*"}) < 4
for: 5m

  • Per ricevere una notifica quando il conteggio dei container di un pod reconciler-manager è inferiore al conteggio previsto, crea la seguente regola di avviso:

    alert: ReconcilerManagerPodMissingContainer
expr: count by (cluster_name, pod_name) (kubernetes_io:container_uptime{namespace_name="config-management-system", pod_name=~"reconciler-manager-.*"}) < 2
for: 5m

Container Config Sync non integri

Se il conteggio dei riavvii di un container Config Sync raggiunge una determinata soglia, qualcosa non va. Ad esempio, un container di riconciliazione principale che non dispone di risorse di memoria sufficienti si riavvierà con l'errore OOMKilled finché non avrà memoria sufficiente.

Esempio di regola di avviso di Prometheus

Per ricevere una notifica quando un container Config Sync è stato riavviato più di tre volte, crea la seguente regola di avviso:

alert: TooManyContainerRestarts
expr: kubernetes_io:container_restart_count{namespace_name=~"config-management-system|config-management-monitoring|resource-group-system"} > 3

Config Sync riscontra errori persistenti

Se Config Sync riscontra errori persistenti, qualcosa non va. Quando Config Sync rileva errori, continua a tentare di sincronizzare le configurazioni dall'origine a un cluster finché non va a buon fine. Tuttavia, alcuni errori non possono essere corretti riprovando e richiedono il tuo intervento.

Esempio di regola di avviso di Prometheus

Per ricevere una notifica quando un riconciliatore di root o spazio dei nomi rileva errori permanenti per due ore, crea la seguente regola di avviso:

alert: PersistentConfigSyncErrors
expr: sum by (cluster, configsync_sync_kind, configsync_sync_name, configsync_sync_namespace, errorclass) (config_sync_reconciler_errors) > 0
for: 2h

In questo esempio:

  • L'etichetta configsync_sync_kind può avere i seguenti valori: RootSync o RepoSync.
  • L'etichetta configsync_sync_name indica il nome di un oggetto RootSync o RepoSync.
  • L'etichetta configsync_sync_namespace indica lo spazio dei nomi di un oggetto RootSync o RepoSync.

  • L'etichetta errorclass può avere tre valori: 1xxx, 2xxx e 9xxx. Ogni etichetta corrisponde a un tipo di errore diverso:

    • 1xxx errori: errori di configurazione che puoi correggere
    • 2xxx errori: errori lato server che potresti non essere in grado di correggere
    • 9xxx errori: errori interni che non puoi correggere

Config Sync bloccato nella fase di sincronizzazione

Un tentativo di sincronizzazione in Config Sync non è interrompibile. Se le configurazioni nell'origine sono troppo grandi o complesse (ad esempio, l'origine contiene un numero elevato di risorse Config Connector), la sincronizzazione di queste configurazioni con il cluster può richiedere più di un'ora. Tuttavia, se sono trascorse due ore dall'ultima sincronizzazione riuscita, potrebbe esserci un problema.

Puoi verificare se il tentativo di sincronizzazione corrente è ancora in corso controllando lo stato di RootSync o RepoSync. Se il tentativo di sincronizzazione attuale è ancora in corso, puoi scegliere di dividere la fonte attendibile in modo che ogni fonte attendibile possa essere sincronizzata più rapidamente o aumentare la soglia di avviso da due ore a un periodo più lungo. Se non è in corso alcun tentativo di sincronizzazione, il riconciliatore Config Sync non funziona perché dovrebbe continuare a riprovare finché non sincronizza correttamente le configurazioni dall'origine al cluster. In questo caso, riassegna la richiesta all'Google Cloud Supporto.

Esempio di regola di avviso di Prometheus

Per ricevere una notifica quando l'ultima sincronizzazione riuscita di un riconciliatore di root o spazio dei nomi è avvenuta più di due ore fa, crea una regola di avviso:

  alert: OldLastSyncTimestamp
  # The status label indicates whether the last sync succeeded or not.
  # Possible values: success, error.
  expr: time() - topk by (cluster, configsync_sync_kind, configsync_sync_name, configsync_sync_namespace) (1, config_sync_last_sync_timestamp{status="success"}) > 7200

Config Sync riscontra regressioni delle prestazioni

Dopo l'upgrade, Config Sync potrebbe presentare regressioni delle prestazioni. Le regressioni delle prestazioni possono verificarsi nei seguenti modi:

  • Un aumento dell'overhead temporale della riconciliazione di un oggetto RootSync o RepoSync
  • Un aumento dell'overhead temporale della riconciliazione di un oggetto ResourceGroup
  • Un aumento del tempo di overhead della sincronizzazione delle configurazioni dall'origine a un cluster

Il sovraccarico di tempo per la riconciliazione di un oggetto RootSync o RepoSync

Il deployment reconciler-manager riconcilia gli oggetti RootSync e RepoSync. Puoi utilizzare il novantesimo percentile dell'overhead temporale di riconciliazione di un oggetto RootSync o RepoSync per rilevare le regressioni delle prestazioni.

Esempi di regole di avviso di Prometheus

Questa sezione include esempi di regole di avviso di Prometheus che ti avvisano quando il deployment reconciler-manager ha regressioni delle prestazioni.

Gli esempi seguenti ti inviano una notifica quando il novantesimo percentile del sovraccarico di tempo per la riconciliazione di un oggetto RootSync o RepoSync nelle ultime 5 ore supera 0,1 secondi per 10 minuti. Puoi creare regole di avviso che monitorano tutti i cluster o un singolo cluster.

  • Crea la seguente regola per monitorare tutti i cluster:

    alert: HighLatencyReconcileRootSyncAndRepoSyncOverall
expr: histogram_quantile(0.9, sum by (le) (rate(config_sync_reconcile_duration_seconds_bucket[5h]))) > 0.1
for: 10m

  • Crea la seguente regola per monitorare un singolo cluster:

    alert: HighLatencyReconcileRootSyncAndRepoSyncClusterLevel
expr: histogram_quantile(0.9, sum by (cluster, le) (rate(config_sync_reconcile_duration_seconds_bucket[5h]))) > 0.1
for: 10m

Il sovraccarico di tempo per la riconciliazione di un oggetto ResourceGroup

Il resource-group-controller-manager Deployment riconcilia gli oggetti ResourceGroup. Puoi utilizzare il novantesimo percentile dell'overhead di tempo della riconciliazione di un ResourceGroup per rilevare le regressioni delle prestazioni.

Esempi di regole di avviso di Prometheus

Questa sezione include regole di avviso Prometheus che ti avvisano quando il resource-group-controller-manager Deployment ha regressioni delle prestazioni.

Gli esempi seguenti ti inviano una notifica quando il novantesimo percentile dell'overhead di tempo per la riconciliazione di un oggetto ResourceGroup nelle ultime 5 ore supera i 5 secondi per 10 minuti. Puoi creare regole di avviso che monitorano tutti i cluster o un singolo cluster.

  • Crea la seguente regola per monitorare tutti i cluster:

    alert: HighLatencyReconcileResourceGroupOverall
expr: histogram_quantile(0.9, sum by (le) (rate(config_sync_rg_reconcile_duration_seconds_bucket[5h]))) > 5
for: 10m

  • Crea la seguente regola per monitorare un singolo cluster:

    alert: HighLatencyReconcileResourceGroupClusterLevel
expr: histogram_quantile(0.9, sum by (cluster, le) (rate(config_sync_rg_reconcile_duration_seconds_bucket[5h]))) > 5
for: 10m

Il sovraccarico di tempo per la sincronizzazione delle configurazioni dall'origine a un cluster

Un riconciliatore di root o spazio dei nomi sincronizza le configurazioni dalla fonte attendibile a un cluster. Puoi utilizzare il novantesimo percentile dell'overhead temporale della sincronizzazione delle configurazioni dall'origine a un cluster per rilevare le regressioni delle prestazioni.

Esempi di regole di avviso di Prometheus

Questa sezione include regole di avviso di Prometheus che ti avvisano quando il deployment del reconciler di root o dello spazio dei nomi presenta regressioni delle prestazioni.

I seguenti esempi ti inviano una notifica quando il novantesimo percentile del tempo di overhead della sincronizzazione delle configurazioni in tutti i cluster nelle ultime cinque ore supera un'ora per cinque minuti.Puoi creare regole di avviso che monitorano tutti i cluster o un singolo cluster.

  • Crea la seguente regola per monitorare tutti i cluster:

    alert: HighApplyDurationOverall
expr: histogram_quantile(0.9, sum by (le) (rate(config_sync_apply_duration_seconds_bucket[5h]))) > 3600
for: 5m

  • Crea la seguente regola per monitorare un singolo cluster:

    alert: HighApplyDurationRootSyncRepoSyncLevel
expr: histogram_quantile(0.9, sum by (cluster, configsync_sync_kind,configsync_sync_name, configsync_sync_namespace, le) (rate(config_sync_apply_duration_seconds_bucket[5h]))) > 3600
for: 5m