Osservabilità delle applicazioni con Prometheus su GKE

Questo tutorial mostra come configurare i probe di attività per i microservizi dell'applicazione di cui è stato eseguito il deployment in Google Kubernetes Engine (GKE) utilizzando Prometheus open source.

Questo tutorial utilizza Prometheus open source. Tuttavia, ogni cluster GKE Autopilot esegue automaticamente il deployment di Managed Service per Prometheus, la soluzione multicloud e multiprogetto completamente gestita diGoogle Cloud per le metriche Prometheus. Managed Service per Prometheus ti consente di monitorare e creare avvisi sui tuoi carichi di lavoro a livello globale utilizzando Prometheus, senza dover gestire e utilizzare manualmente Prometheus su larga scala.

Puoi anche utilizzare strumenti open source come Grafana per visualizzare le metriche raccolte da Prometheus.

Prepara l'ambiente

In questo tutorial utilizzerai Cloud Shell per gestire le risorse ospitate su Google Cloud.

  1. Imposta le variabili di ambiente predefinite:

    gcloud config set project PROJECT_ID
gcloud config set compute/region CONTROL_PLANE_LOCATION

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo Google Cloud ID progetto.
    • CONTROL_PLANE_LOCATION: la regione di Compute Engine del control plane del tuo cluster. Per questo tutorial, la regione è us-central1. In genere, ti consigliamo di scegliere una regione vicina a te.

  2. Clona il repository di esempio utilizzato in questo tutorial:

    git clone https://github.com/GoogleCloudPlatform/bank-of-anthos.git
cd bank-of-anthos/

  3. Crea un cluster:

    gcloud container clusters create-auto CLUSTER_NAME \
    --release-channel=CHANNEL_NAME \
    --location=CONTROL_PLANE_LOCATION

    Sostituisci quanto segue:

    • CLUSTER_NAME: un nome per il nuovo cluster.
    • CHANNEL_NAME: il nome di un canale di rilascio.

Esegui il deployment di Prometheus

Installa Prometheus utilizzando il grafico Helm di esempio:

helm repo add bitnami https://charts.bitnami.com/bitnami
helm install tutorial bitnami/kube-prometheus \
    --version 8.2.2 \
    --values extras/prometheus/oss/values.yaml \
    --wait

Questo comando installa Prometheus con i seguenti componenti:

  • Operatore Prometheus: un modo diffuso per eseguire il deployment e configurare Prometheus open source.
  • Alertmanager: gestisce gli avvisi inviati dal server Prometheus e li indirizza ad applicazioni come Slack.
  • Blackbox Exporter: consente a Prometheus di eseguire il probe degli endpoint utilizzando HTTP, HTTPS, DNS, TCP, ICMP e gRPC.

Esegui il deployment di Bank of Anthos

Esegui il deployment dell'applicazione di esempio Bank of Anthos:

kubectl apply -f extras/jwt/jwt-secret.yaml
kubectl apply -f kubernetes-manifests

Notifiche Slack

Per configurare le notifiche di Slack, devi creare un'applicazione Slack, attivare i webhook in entrata per l'applicazione e installare l'applicazione in un workspace Slack.

Crea l'applicazione Slack

  1. Unisciti a uno spazio di lavoro Slack, registrandoti con la tua email o utilizzando un invito inviato da un amministratore di Workspace.

  2. Accedi a Slack utilizzando il nome del tuo spazio di lavoro e le credenziali del tuo account Slack.

  3. Creare una nuova app Slack

    1. Nella finestra di dialogo Crea un'app, fai clic su Da zero.
    2. Specifica un nome app e scegli il tuo workspace Slack.
    3. Fai clic su Crea app.
    4. Nella sezione Aggiungi funzionalità, fai clic su Webhook in arrivo.
    5. Fai clic sul pulsante di attivazione/disattivazione Attiva webhook in entrata.
    6. Nella sezione Webhook URLs for Your Workspace (URL webhook per il tuo workspace), fai clic su Add New Webhook to Workspace (Aggiungi nuovo webhook al workspace).
    7. Nella pagina di autorizzazione visualizzata, seleziona un canale per ricevere le notifiche.
    8. Fai clic su Consenti.
    9. Un webhook per la tua applicazione Slack viene visualizzato nella sezione Webhook URL per il tuo workspace. Salva l'URL per un utilizzo futuro.

Configura Alertmanager

Crea un secret Kubernetes per archiviare l'URL webhook:

kubectl create secret generic alertmanager-slack-webhook --from-literal webhookURL=SLACK_WEBHOOK_URL
kubectl apply -f extras/prometheus/oss/alertmanagerconfig.yaml

Sostituisci SLACK_WEBHOOK_URL con l'URL del webhook della sezione precedente.

Configura Prometheus

  1. Esamina il seguente manifest:

    # Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
---
apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
  name: frontend-probe
spec:
  jobName: frontend
  prober:
    url: tutorial-kube-prometheus-blackbox-exporter:19115
    path: /probe
  module: http_2xx
  interval: 60s
  scrapeTimeout: 30s
  targets:
    staticConfig:
      labels:
        app: bank-of-anthos
      static:
        - frontend:80
---
apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
  name: userservice-probe
spec:
  jobName: userservice
  prober:
    url: tutorial-kube-prometheus-blackbox-exporter:19115
    path: /probe
  module: http_2xx
  interval: 60s
  scrapeTimeout: 30s
  targets:
    staticConfig:
      labels:
        app: bank-of-anthos
      static:
        - userservice:8080/ready
---
apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
  name: balancereader-probe
spec:
  jobName: balancereader
  prober:
    url: tutorial-kube-prometheus-blackbox-exporter:19115
    path: /probe
  module: http_2xx
  interval: 60s
  scrapeTimeout: 30s
  targets:
    staticConfig:
      labels:
        app: bank-of-anthos
      static:
        - balancereader:8080/ready
---
apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
  name: contacts-probe
spec:
  jobName: contacts
  prober:
    url: tutorial-kube-prometheus-blackbox-exporter:19115
    path: /probe
  module: http_2xx
  interval: 60s
  scrapeTimeout: 30s
  targets:
    staticConfig:
      labels:
        app: bank-of-anthos
      static:
        - contacts:8080/ready
---
apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
  name: ledgerwriter-probe
spec:
  jobName: ledgerwriter
  prober:
    url: tutorial-kube-prometheus-blackbox-exporter:19115
    path: /probe
  module: http_2xx
  interval: 60s
  scrapeTimeout: 30s
  targets:
    staticConfig:
      labels:
        app: bank-of-anthos
      static:
        - ledgerwriter:8080/ready
---
apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
  name: transactionhistory-probe
spec:
  jobName: transactionhistory
  prober:
    url: tutorial-kube-prometheus-blackbox-exporter:19115
    path: /probe
  module: http_2xx
  interval: 60s
  scrapeTimeout: 30s
  targets:
    staticConfig:
      labels:
        app: bank-of-anthos
      static:
        - transactionhistory:8080/ready

    Questo manifest descrive i probe di attività di Prometheus e include i seguenti campi:

    • spec.jobName: il nome del job assegnato alle metriche sottoposte a scraping.
    • spec.prober.url: l'URL del servizio dell'esportatore blackbox. Ciò include la porta predefinita per l'esportatore blackbox, definita nel grafico Helm.
    • spec.prober.path: il percorso di raccolta delle metriche.
    • spec.targets.staticConfig.labels: le etichette assegnate a tutte le metriche recuperate dai target.
    • spec.targets.staticConfig.static: l'elenco degli host da analizzare.

  2. Applica il manifest al cluster:

    kubectl apply -f extras/prometheus/oss/probes.yaml

  3. Esamina il seguente manifest:

    # Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
---
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: uptime-rule
spec:
  groups:
  - name: Micro services uptime
    interval: 60s
    rules:
    - alert: BalancereaderUnavaiable
      expr: probe_success{app="bank-of-anthos",job="balancereader"} == 0
      for: 1m
      annotations:
        summary: Balance Reader Service is unavailable
        description: Check Balance Reader pods and it's logs
      labels:
        severity: 'critical'
    - alert: ContactsUnavaiable
      expr: probe_success{app="bank-of-anthos",job="contacts"} == 0
      for: 1m
      annotations:
        summary: Contacs Service is unavailable
        description: Check Contacs pods and it's logs
      labels:
        severity: 'warning'
    - alert: FrontendUnavaiable
      expr: probe_success{app="bank-of-anthos",job="frontend"} == 0
      for: 1m
      annotations:
        summary: Frontend Service is unavailable
        description: Check Frontend pods and it's logs
      labels:
        severity: 'critical'
    - alert: LedgerwriterUnavaiable
      expr: probe_success{app="bank-of-anthos",job="ledgerwriter"} == 0
      for: 1m
      annotations:
        summary: Ledger Writer Service is unavailable
        description: Check Ledger Writer pods and it's logs
      labels:
        severity: 'critical'
    - alert: TransactionhistoryUnavaiable
      expr: probe_success{app="bank-of-anthos",job="transactionhistory"} == 0
      for: 1m
      annotations:
        summary: Transaction History Service is unavailable
        description: Check Transaction History pods and it's logs
      labels:
        severity: 'critical'
    - alert: UserserviceUnavaiable
      expr: probe_success{app="bank-of-anthos",job="userservice"} == 0
      for: 1m
      annotations:
        summary: User Service is unavailable
        description: Check User Service pods and it's logs
      labels:
        severity: 'critical'

    Questo manifest descrive un PrometheusRule e include i seguenti campi:

    • spec.groups.[*].name: il nome del gruppo di regole.
    • spec.groups.[*].interval: la frequenza con cui vengono valutate le regole del gruppo.
    • spec.groups.[*].rules[*].alert: il nome dell'avviso.
    • spec.groups.[*].rules[*].expr: l'espressione PromQL da valutare.
    • spec.groups.[*].rules[*].for: il periodo di tempo in cui gli avvisi devono essere restituiti prima di essere considerati attivi.
    • spec.groups.[*].rules[*].annotations: un elenco di annotazioni da aggiungere a ogni avviso. Questo è valido solo per le regole di avviso.
    • spec.groups.[*].rules[*].labels: le etichette da aggiungere o sovrascrivere.

  4. Applica il manifest al cluster:

    kubectl apply -f extras/prometheus/oss/rules.yaml

Simula un'interruzione del servizio

  1. Simula un'interruzione del servizio scalando il deployment contacts a zero:

    kubectl scale deployment contacts --replicas 0

    Dovresti visualizzare un messaggio di notifica nel canale del tuo workspace Slack. GKE potrebbe richiedere fino a 5 minuti per scalare il deployment.

  2. Ripristina il deployment di contacts:

    kubectl scale deployment contacts --replicas 1

    Dovresti visualizzare un messaggio di notifica di risoluzione dell'avviso nel canale dello spazio di lavoro Slack. GKE potrebbe richiedere fino a 5 minuti per scalare il deployment.