Consulta y visualiza las alertas abiertas

La supervisión de alertas en el dispositivo aislado de Google Distributed Cloud (GDC) te permite hacer un seguimiento de las notificaciones activas en tu proyecto y solucionar problemas relacionados con ellas después de crear reglas de alerta. Puedes inspeccionar la gravedad, la duración, el estado y las etiquetas de las alertas en la consola de GDC. Para secuencias de comandos, trabajos cron y, también, integraciones personalizadas, consulta el extremo HTTP de Cortex Alertmanager de tu proyecto con curl.

Antes de comenzar

Para obtener los permisos que necesitas para consultar y visualizar alertas, pídele al administrador de IAM del proyecto que te otorgue uno de los roles de Alertmanager de Cortex del proyecto asociados en el espacio de nombres de tu proyecto. Según el nivel de acceso y los permisos que necesites, puedes obtener roles de editor o visualizador para este recurso en un proyecto.

Para obtener los permisos que necesitas para exportar registros, pídele al administrador de IAM de tu proyecto que te otorgue el rol de visualizador de Grafana del proyecto (project-grafana-viewer). Este proceso de control de acceso basado en roles te permite acceder a las visualizaciones de datos de forma segura. Para obtener más información sobre estos roles, consulta Prepara los permisos de IAM.

En la siguiente tabla, se resumen los requisitos de Role para PA and AO persona.

Personificación Objeto Clúster Rol Espacio de nombres Grupo/usuario Configuración
PA alertmanager org-admin project-cortex-alertmanager-viewer platform-obs Grupo 1
PA alertmanager org-admin project-cortex-alertmanager-viewer platform-obs Usuario 2
AO alertmanager org-admin project-cortex-alertmanager-viewer PROJECT_NAMESPACE Grupo 1
AO alertmanager org-admin project-cortex-alertmanager-viewer PROJECT_NAMESPACE Usuario 2

Reemplaza las siguientes variables de forma adecuada:

Variable Descripción
KUBECONFIG Necesitarás el kubeconfig del clúster específico que contiene el NAMESPACE en el que se aplicará este RoleBinding.
RULE_NAME Es el nombre único de este recurso RoleBinding dentro del espacio de nombres. Por ejemplo, pa-cortex-alertmanager-viewer
NAMESPACE Es el espacio de nombres de Kubernetes en el que se creará y aplicará este RoleBinding. Busca la columna Namespace en la tabla anterior.
EMAIL_ADDRESS Es el identificador del usuario al que se le otorga el rol. Suele ser una dirección de correo electrónico. Por ejemplo, platform-administrator@example.com.
ROLE Es el nombre del Role que contiene los permisos que deseas otorgar al usuario. Busca los roles disponibles en la tabla anterior.
GROUP_NAME Es el nombre del Group al que pertenece el usuario de PA o AO. Por ejemplo, pa-group
ZONE Nombre de la zona

Config. 1

Esta configuración otorga permisos a un grupo de usuarios para acceder a las alertas de PA/AO en el clúster org. Después de establecer esta configuración, consulta la sección consola de este documento para ver las alertas en la consola de GDC.

  • Comando de kubectl

    Este es el formato genérico del comando:

    kubectl --kubeconfig `KUBECONFIG` create rolebinding `RULE_NAME` -n `NAMESPACE` --group=`GROUP_NAME` --role=project-cortex-alertmanager-viewer
    

    Ejemplo:

    kubectl --kubeconfig <path-to-kubeconfig> create rolebinding project-cortex-alertmanager-viewer-binding --role=project-cortex-alertmanager-viewer --group=my-team --namespace=platform-obs
    
  • Archivo YAML

    apiVersion: rbac.authorization.k8s.io/v1
    kind: RoleBinding
    metadata:
      name: RULE_NAME
      namespace: NAMESPACE
    subjects:
    - kind: Group
      name: GROUP_NAME
      apiGroup: rbac.authorization.k8s.io
    roleRef:
      kind: Role
      name: project-cortex-alertmanager-viewer
      apiGroup: rbac.authorization.k8s.io
    

Config. 2

Esta configuración otorga permisos a un usuario para acceder a las alertas de PA/AO en el clúster org. Después de establecer esta configuración, consulta la sección consola de este documento para ver las alertas en la consola de GDC.

  • Comando de kubectl

    Este es el formato genérico del comando:

    kubectl --kubeconfig `KUBECONFIG` create rolebinding `RULE_NAME` -n `NAMESPACE` --user=`EMAIL_ADDRESS` --role=project-cortex-alertmanager-viewer
    

    Ejemplo:

    kubectl --kubeconfig <path-to-kubeconfig> create rolebinding project-cortex-alertmanager-viewer-binding --role=project-cortex-alertmanager-viewer --user=my-email@example.com --namespace=platform-obs
    
  • Ruta de acceso del archivo IAC

    /infrastructure/zonal/zones/`ZONE`/org-admin/rolebindings/`EMAIL_ADDRESS`/<YAML_FILE>
    
  • Archivo YAML

    apiVersion: rbac.authorization.k8s.io/v1
    kind: RoleBinding
    metadata:
      name: RULE_NAME
      namespace: NAMESPACE
    subjects:
    - kind: User
      name: EMAIL_ADDRESS
      apiGroup: rbac.authorization.k8s.io
    roleRef:
      kind: Role
      name: project-cortex-alertmanager-viewer
      apiGroup: rbac.authorization.k8s.io
    

    Para obtener más información sobre estos roles, consulta Prepara los permisos de IAM.

Extremo de Grafana

Para el operador de aplicaciones (AO):

Abre la siguiente URL para acceder al extremo de tu proyecto:

https://GDC_URL/PROJECT_NAMESPACE/grafana

Reemplaza lo siguiente:

  • GDC_URL: Es la URL de tu organización en GDC.
  • PROJECT_NAMESPACE: Es el espacio de nombres de tu proyecto.

La IU del proyecto contiene paneles predeterminados, como el panel Alertas: Descripción general, con información sobre las alertas. Consultar las alertas desde la IU te permite recuperar visualmente la información de alertas de tu proyecto y obtener una vista integrada de los recursos para conocer y resolver rápidamente los problemas.

Para el administrador de la plataforma (PA):

Abre la siguiente URL para acceder al extremo de tu proyecto de platform-obs:

https://GDC_URL/platform-obs/grafana

Reemplaza GDC_URL por la URL de tu organización en GDC.

La interfaz de usuario (IU) de la instancia de supervisión del sistema contiene paneles predeterminados, como el panel Alerts - Overview, con información sobre las alertas para la observabilidad de los datos. Consultar las alertas desde la IU te permite recuperar visualmente la información de alertas de tu proyecto y obtener una vista integrada de los recursos para conocer y resolver rápidamente los problemas.

En el panel Alertas: Descripción general, se muestra información sobre la cantidad de alertas de una fuente de datos específica y un gráfico de líneas del historial de alertas, en el que se muestra la cantidad de alertas abiertas por hora para la fuente de datos.

Figura 1. El panel Alerts - Overview en la IU de Grafana.

Visualiza y filtra alertas abiertas

Selecciona uno de los siguientes métodos para consultar y filtrar las alertas abiertas de tu espacio de nombres del proyecto:

Console

Consulta las alertas abiertas en un proyecto desde la consola de GDC:

  1. Accede a la consola de GDC.
  2. En la consola de GDC, selecciona tu proyecto.
  3. En el menú de navegación, selecciona Operaciones > Alertas.
  4. Selecciona la pestaña Alertas.
  5. Consulta la lista de alertas.
  6. En la sección Alertas abiertas, haz clic en Filtrar para mostrar solo las alertas abiertas. También puedes filtrar las alertas por otros nombres o valores de propiedades.
  7. Haz clic en el nombre de una alerta para ver sus detalles.

Extremo de Cortex

En esta sección, se describe cómo acceder a las alertas con tu extremo de Cortex Alertmanager.

Identifica tu extremo de Cortex

La siguiente URL es el extremo de la instancia de Cortex de tu proyecto:

  https://GDC_URL/PROJECT_NAMESPACE/cortex/alertmanager/

Reemplaza lo siguiente:

  • GDC_URL: Es la URL de tu organización en GDC.
  • PROJECT_NAMESPACE: Es el espacio de nombres de tu proyecto.

    Por ejemplo, el extremo de Cortex para el proyecto platform-obs en la organización org-1 es https://org-1/platform-obs/cortex/alertmanager/.

Autentica la solicitud de curl

  1. Descarga e instala la CLI de gdcloud.
  2. Configura la propiedad core/organization_console_url de gdcloud:

    gdcloud config set core/organization_console_url
    https://GDC_URL
    
  3. Accede con el proveedor de identidad configurado:

    gdcloud auth login
    
  4. Usa tu nombre de usuario y contraseña para autenticarte y acceder.

    Cuando el acceso se realice correctamente, podrás usar el encabezado de autorización en tu solicitud de cURL a través del comando gdcloud auth print-identity-token. Para obtener más información, consulta gdcloud auth.

Llama al extremo de Cortex

Completa los siguientes pasos para llegar al extremo de Cortex con la herramienta curl:

  1. Autentica la solicitud curl.
  2. Usa curl para llamar al extremo de Cortex y extender la URL con la especificación estándar de la API de Alertmanager (https://prometheus.io/docs/prometheus/latest/querying/api/#alertmanagers) para consultar alertas.

    El siguiente es un ejemplo de una solicitud curl:

      curl https://GDC_URL/PROJECT_NAME/cortex/alertmanager/api/v1/alertmanagers \
      -H "Authorization: Bearer $(gdcloud auth print-identity-token \
      --audiences=https://GDC_URL)"
    

    Obtendrás el resultado después del comando. La respuesta de la API está en formato JSON.

Alertmanager

Alertmanager te permite supervisar las notificaciones de alerta de las aplicaciones cliente. Puedes inspeccionar y silenciar alertas con Alertmanager, y filtrar o agrupar alertas:

Ignora las alertas de los registros de auditoría de rechazo de Loki en el clúster de administrador raíz

Figura 2. Opción de menú para consultar los registros de auditoría de Alertmanager.

Políticas de alertas predefinidas

En la siguiente tabla, se enumeran las reglas de alerta preinstaladas en Prometheus:

Nombre Descripción
KubeAPIDown (crítico) KubeAPI desapareció del descubrimiento de destinos de Prometheus durante 15 minutos.
KubeClientErrors (advertencia) La proporción de errores del cliente del servidor de la API de Kubernetes es superior a 0.01 durante 15 minutos.
KubeClientErrors (crítico) Proporción de errores del cliente del servidor de la API de Kubernetes > 0.1 durante 15 minutos.
KubePodCrashLooping (advertencia) El Pod estuvo en un estado de bucle de fallas durante más de 15 minutos.
KubePodNotReady (advertencia) El Pod ha estado en un estado no listo durante más de 15 minutos.
KubePersistentVolumeFillingUp (crítica) Bytes libres de un PersistentVolume reclamado < 0.03.
KubePersistentVolumeFillingUp (advertencia) Bytes libres de un PersistentVolume reclamado < 0.15.
KubePersistentVolumeErrors (crítica) El volumen persistente está en la fase Con errores o Pendiente durante cinco minutos.
KubeNodeNotReady (advertencia) El nodo no está listo desde hace más de 15 minutos.
KubeNodeCPUUsageHigh (crítico) El uso de CPU del nodo es >80%.
KubeNodeMemoryUsageHigh (crítico) El uso de memoria del nodo es superior al 80%.
NodeFilesystemSpaceFillingUp (advertencia) El uso del sistema de archivos del nodo es > 60%.
NodeFilesystemSpaceFillingUp (crítica) El uso del sistema de archivos del nodo es > 85%.
CertManagerCertExpirySoon (advertencia) Un certificado vence en 21 días.
CertManagerCertNotReady (crítico) Un certificado no está listo para entregar tráfico después de 10 minutos.
CertManagerHittingRateLimits (crítica) Se alcanzó un límite de frecuencia para crear y renovar certificados durante cinco minutos.
DeploymentNotReady (crítico). Un Deployment en el clúster de administrador de la organización estuvo en un estado no listo durante más de 15 minutos.

Muestra de alertmanagerConfigurationConfigmaps

La sintaxis de los parámetros de configuración en los ConfigMaps que enumera alertmanagerConfigurationConfigmaps debe seguir https://prometheus.io/docs/alerting/latest/configuration/

apiVersion: observability.gdc.goog/v1alpha1
kind: ObservabilityPipeline
metadata:
  # Choose namespace that matches the project's namespace
  namespace: kube-system
  name: observability-config
# Configure Alertmanager
 alerting:
  # Storage size for alerting data within organization
  # Permission: PA
  localStorageSize: 1Gi

  # Permission: PA & AO
  # alertmanager config must be under the key "alertmanager.yml" in the configMap
  alertmanagerConfig: <configmap-for-alertmanager-config>

  # Permission: PA
  volumes:
    - <volume referenced in volumeMounts>

  # Permission: PA
  volumeMounts:
    - <volumeMount referenced in alertmanagerConfig>

Configuración de la regla de ejemplo

# Configures either an alert or a target record for precomputation
apiVersion: monitoring.gdc.goog/v1alpha1
kind: MonitoringRule
metadata:
  # Choose namespace that contains the metrics that rules are based on
  # Note: alert/record will be produced in the same namespace
  namespace: g-fleetns-a
  name: alerting-config
spec:
  # Rule evaluation interval
  interval: <duration>

  # Configure limit for number of alerts (0: no limit)
  # Optional, Default: 0 (no limit)
  limit: <int>

  # Configure record rules
  recordRules:
    # Define which timeseries to write to (must be a valid metric name)
  - record: <string>

    # Define PromQL expression to evaluate for this rule
    expr: <string>

    # Define labels to add or overwrite
    # Optional, Map of {key, value} pairs
    labels:
      <labelname>: <labelvalue>

  # Configure alert rules
  alertRules:
    # Define alert name 
  - alert: <string>

    # Define PromQL expression to evaluate for this rule
    # https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/
    expr: <string>

    # Define when an active alert moves from pending to firing
    # Optional, Default: 0s
    for: <duration>

    # Define labels to add or overwrite
    # Required, Map of {key, value} pairs
    # Required labels: 
    #     severity: [error, critical, warning, info]
    #     code: 
    #     resource: component/service/hardware related to alert
    #     additional labels are optional
    labels:
      severity: <enum: [error, critical, warning, info]>
      code: 
      resource: <Short name of the related operable component>
      <labelname>: <tmpl_string>

    # Define annotations to add
    # Optional, Map of {key, value} pairs
    # Recommended annotations:
    #     message: value of Message field in UI
    #     expression: value of Rule field in UI
    #     runbookurl: URL for link in Actions to take field in UI
    annotations:
      <labelname>: <tmpl_string>
# Configures either an alert or a target record for precomputation
apiVersion: logging.gdc.goog/v1alpha1
kind: LoggingRule
metadata:
  # Choose namespace that contains the logs that rules are based on
  # Note: alert/record will be produced in the same namespace
  namespace: g-fleetns-a
  name: alerting-config
spec:
  # Choose which log source to base alerts on (Operational/Audit/Security Logs)
  # Optional, Default: Operational
  source: <string>

  # Rule evaluation interval
  interval: <duration>

  # Configure limit for number of alerts (0: no limit)
  # Optional, Default: 0 (no limit)
  limit: <int>

  # Configure record rules
  recordRules:
    # Define which timeseries to write to (must be a valid metric name)
  - record: <string>

    # Define LogQL expression to evaluate for this rule
    # https://grafana.com/docs/loki/latest/rules/
    expr: <string>

    # Define labels to add or overwrite
    # Optional, Map of {key, value} pairs
    labels:
      <labelname>: <labelvalue>

  # Configure alert rules
  alertRules:
    # Define alert name
  - alert: <string>

    # Define LogQL expression to evaluate for this rule
    expr: <string>

    # Define when an active alert moves from pending to firing
    # Optional, Default: 0s
    for: <duration>

    # Define labels to add or overwrite
    # Required, Map of {key, value} pairs
    # Required labels: 
    #     severity: [error, critical, warning, info]
    #     code: 
    #     resource: component/service/hardware related to alert
    #     additional labels are optional
    labels:
      severity: <enum: [error, critical, warning, info]>
      code:
      resource: <Short name of the related operable component>
      <labelname>: <tmpl_string>

    # Define annotations to add
    # Optional, Map of {key, value} pairs
    # Recommended annotations:
    #     message: value of Message field in UI
    #     expression: value of Rule field in UI
    #     runbookurl: URL for link in Actions to take field in UI
    annotations:
      <labelname>: <tmpl_string>

Consulta alertas desde la API de HTTP

La plataforma de observabilidad expone un extremo de API de HTTP para consultar y leer métricas, alertas y otros datos de series temporales de tu proyecto para la supervisión del sistema.

Consulta las alertas directamente desde la API de HTTP de Observability para configurar tareas automatizadas, adaptar las respuestas y compilar integraciones según tu caso de uso. Por ejemplo, puedes insertar el resultado en otro comando, exportar detalles a formatos de archivo de texto o configurar un trabajo cron de Linux. Puedes llamar a la API de HTTP de Observability desde la interfaz de línea de comandos (CLI) o un navegador web y obtener el resultado en formato JSON.

En esta sección, se explica cómo llamar al extremo de API de HTTP de observabilidad desde la CLI con la especificación de la API de Alertmanager depara consultar alertas.

Consulta las alertas directamente desde la API de HTTP de Observability para configurar tareas automatizadas, adaptar las respuestas y compilar integraciones según tu caso de uso. Por ejemplo, puedes insertar el resultado en otro comando, exportar detalles a formatos de archivo de texto o configurar un trabajo cron de Linux. Puedes llamar a la API de HTTP de Observability desde la interfaz de línea de comandos (CLI) o un navegador web y obtener el resultado en formato JSON.

En esta sección, se explica cómo llamar al extremo de API de HTTP de Observability desde la CLI con la especificación de la API de Alertmanager para consultar métricas.

Antes de comenzar

Para obtener los permisos que necesitas para acceder extremo de API de HTTP de observabilidad, pídele al administrador de IAM de tu proyecto que te otorgue el rol de visualizador de Alertmanager de Cortex del proyecto (project-cortex-alertmanager-viewer) en el espacio de nombres de tu proyecto.

El administrador de IAM del proyecto puede otorgarte acceso creando una vinculación de rol:

a. Administrador raíz del operador de infraestructura (IO) - Project Cortex Alertmanager Viewer:

kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding 
io-cortex-alertmanager-viewer-binding -n infra-obs 
--user=fop-infrastructure-operator@example.com 
--role=project-cortex-alertmanager-viewer

b. Administrador raíz de administrador de plataforma (PA) - Project Cortex Alertmanager Viewer:

kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding
pa-cortex-alertmanager-viewer-binding -n platform-obs 
--user=fop-platform-admin@example.com 
--role=project-cortex-alertmanager-viewer

c. Administrador raíz del operador de la aplicación (AO) - Visualizador de Alertmanager de Cortex del proyecto: Proyecto: $AO_PROJECT Nombre de usuario del AO: $AO_USER

kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding 
project-cortex-alertmanager-viewer-binding -n $AO_PROJECT 
--user=$AO_USER 
--role=project-cortex-alertmanager-viewer

Después de crear la vinculación de roles, puedes acceder al Alertmanager correspondiente con tu nombre de usuario de acceso.

Verifica la vinculación de rol

kubectl --kubeconfig $HOME/org-1-admin-kubeconfig get rolebinding -n platform-obs

Para obtener información sobre cómo configurar vinculaciones de roles desde la consola de GDC, consulta Otorga acceso a los recursos.

Extremo de Cortex

La siguiente URL es el extremo de Cortex para acceder a las alertas:

https://GDC_URL/PROJECT_NAME/cortex/alertmanager/

Reemplaza lo siguiente:

  • GDC_URL: Es la URL de tu organización en GDC.
  • PROJECT_NAME: el nombre del proyecto.

Llama al extremo de API

Sigue estos pasos para acceder al extremo de API de Cortex desde la CLI y consultar las alertas:

  1. Asegúrate de cumplir con los requisitos.
  2. Abre la CLI.
  3. Usa la herramienta curl para llamar a la URL del extremo de Cortex y extiende la URL con el estándar https://prometheus.io/docs/prometheus/latest/querying/api/#alertmanagers para consultar alertas. Por ejemplo:

    curl https://console.org-1.zone1.google.gdch.test/alice/cortex/alertmanager/api/v1/alertmanagers
    

Obtendrás el resultado en la CLI después del comando. El formato de respuesta de la API es JSON.