Monitorare i risultati delle query SQL con una criterio di avviso

Anteprima

Questo prodotto o funzionalità sono soggetti ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Questo documento spiega come creare una criterio di avviso per monitorare i risultati di una query eseguita in Observability Analytics. Queste query sono scritte in SQL e devono eseguire query su una vista log. La criterio di avviso ti invia una notifica quando il risultato della query soddisfa le condizioni specificate. Ad esempio, puoi configurare un criterio di avviso in modo da ricevere una notifica quando almeno il 25% delle voci di log in un determinato periodo ha una gravità di ERROR.

I criteri di avviso creati dalla pagina Observability Analytics vengono eseguiti su un motore BigQuery. Pertanto, i dati sottoposti a query devono essere accessibili tramite un set di dati BigQuery collegato. Per questo motivo, queste query SQL possono eseguire query solo sulle viste log. Non possono eseguire query sulle viste di analisi.

Per informazioni generali su Observability Analytics, consulta Eseguire query e analizzare i log con Observability Analytics.

Nota: se i tuoi dati vengono gestiti tramite un ambiente Assured Workloads, questa funzionalità potrebbe essere interessata o soggetta a limitazioni. Per informazioni, consulta Restrizioni e limitazioni in Assured Workloads.

Come funzionano i criteri di avviso

Una criterio di avviso descrive le circostanze in cui vuoi ricevere un avviso e come vuoi ricevere una notifica in caso di incidente. Esistono tre approcci diversi che puoi utilizzare per ricevere una notifica quando nei dati di log vengono visualizzati contenuti o pattern:

• Per cercare una frase specifica nelle singole voci di log, crea un criterio di avviso basato su log. Utilizza questi criteri di avviso quando vuoi ricevere una notifica su eventi come quelli relativi alla sicurezza.

• Per monitorare gli eventi nei dati voce di log, puoi creare una metrica basata su log e poi creare un criterio di avviso per monitorare la metrica. Questi tipi di criteri di avviso sono efficaci quando vuoi monitorare le tendenze nei dati voce di log nel tempo. Tuttavia, non sono altrettanto efficaci se prevedi solo pochi eventi.

• Per monitorare l'analisi aggregata dei dati delle voce di log, combina Observability Analytics con i criteri di avviso. In questo scenario, esegui l'upgrade di un bucket di log per utilizzare Observability Analytics e crei un set di dati BigQuery collegato per quel bucket di log. Poi, utilizzi Observability Analytics, che supporta le query SQL, per eseguire query su una vista log nel bucket di log. Infine, crei la criterio di avviso per monitorare i risultati della query SQL. Questo tipo di criterio di avviso è chiamato criterio di avviso basato su SQL.

I criteri di avviso basati su SQL sono più efficaci per valutare i valori esatti in più voci di log. Se vuoi valutare le singole voci di log, crea una policy di avviso basata su log.

Il resto di questo documento descrive come utilizzare i criteri di avviso basati su SQL.

Componenti delle policy di avviso

Una criterio di avviso basata su SQL contiene una condizione e una pianificazione:

• La condizione contiene la query, ovvero una query SQL che esegue query sui dati. La condizione definisce anche le circostanze in cui il risultato della query fa sì che Monitoring crei un incidente.

• La pianificazione definisce la frequenza con cui la criterio di avviso esegue la query. La pianificazione definisce anche le dimensioni della finestra temporale, ovvero un filtro che seleziona solo i dati ricevuti dall'ultima volta che la query è stata valutata. Ad esempio, se imposti la pianificazione su 60 minuti, la query viene eseguita ogni 60 minuti utilizzando una finestra temporale che seleziona i 60 minuti di dati più recenti.

I criteri di avviso contengono anche un elenco di canali di notifica. Quando la condizione della criterio di avviso viene soddisfatta, Cloud Monitoring crea un incidente e poi invia notifiche sull'incidente tramite questi canali. Un incidente è un record dei dati che hanno fatto sì che la condizione venisse soddisfatta, insieme ad altre informazioni pertinenti. Queste informazioni possono aiutarti a risolvere i problemi che hanno causato l'incidente. Puoi visualizzare l'incidente utilizzando la Google Cloud console.

Tipi di valutazione per i criteri di avviso basati su SQL

Le condizioni che monitorano il risultato di una query SQL supportano due tipi di valutazione:

• Soglia del conteggio delle righe: la condizione viene soddisfatta quando il numero di righe nel risultato della query è maggiore, uguale o inferiore a un valore di soglia.

  Ad esempio, supponiamo che tu voglia ricevere una notifica quando nella finestra temporale più di 50 voci di log hanno una gravità superiore a 200. Crea una query che segnala le voci di log la cui gravità è superiore a 200. Poi, configura una condizione, seleziona il Soglia del conteggio delle righe e imposta la soglia su 50.

• Booleano: la condizione viene soddisfatta quando una colonna booleana specifica nella tabella dei risultati della query contiene una riga con un valore true.

  Ad esempio, supponiamo che tu voglia ricevere una notifica quando nella finestra temporale più del 25% delle voci di log ha una gravità di ERROR. Crea una query che calcola la percentuale di voci di log il cui livello di gravità è ERROR. I risultati della query scrivono true nella colonna notify quando la percentuale supera il 25%. Poi, crea una condizione, imposta il tipo su Booleano e configura la condizione per monitorare la colonna notify.

I criteri di avviso che monitorano il risultato di una query SQL devono avere una sola condizione.

Criteri di avviso e BigQuery

Affinché una criterio di avviso possa eseguire query sui dati di log, devi configurare un set di dati BigQuery collegato. I set di dati BigQuery collegati consentono a BigQuery di leggere i dati di log e di eseguire funzioni BigQuery sui dati restituiti dalla query SQL.

Quando un criterio di avviso esegue una query SQL, questa viene eseguita sul motore BigQuery nel Google Cloud progetto in cui è definito il criterio di avviso. Per impostazione predefinita, le query eseguite sul motore BigQuery utilizzano slot on demand. Gli slot on demand e gli slot riservati sono soggetti a prezzi di BigQuery.

Puoi anche scegliere di configurare prenotazioni di slot BigQuery dedicati per il tuo progetto:

1. Crea una prenotazione con slot dedicati o identifica una prenotazione esistente.
2. Crea assegnazioni di prenotazioni per il tuo progetto.

Voci di log valutate

Affinché una voce di log venga valutata dalla query SQL di una criterio di avviso, devono verificarsi entrambe le seguenti condizioni:

• Il timestamp di ricezione della voce di log, che registra quando la voce di log è stata ricevuta da Cloud Logging, deve rientrare nella finestra temporale del criterio di avviso.
• Il timestamp della voce di log, che registra quando la voce di log è stata generata, deve rientrare in un intervallo di 15 minuti dalla finestra temporale.

Ad esempio, la criterio di avviso basata su SQL ha una finestra temporale di 60 minuti. Observability Analytics esegue la query SQL del criterio di avviso alle 13:30. Per essere inclusa nella query, una voce di log deve soddisfare entrambi i seguenti criteri:

• Il timestamp di ricezione deve essere compreso tra le 12:30 e le 13:30.
• Il timestamp deve essere compreso tra le 12:15 e le 13:45.

Quando esegui una query dall'interfaccia di Observability Analytics, tutte le voci di log nell'intervallo di tempo selezionato vengono valutate in base al timestamp della voce di log.

Finestra temporale e tempo di propagazione dell'incidente

Quando è pianificata la valutazione della condizione di un criterio di avviso, Observability Analytics ritarda l'esecuzione della query SQL di cinque minuti per consentire a Cloud Logging di indicizzare i dati ricevuti durante la finestra temporale. Ad esempio, se la criterio di avviso utilizza una finestra temporale che termina alle 14:00, Observability Analytics non esegue la query SQL fino alle 14:05.

Se la condizione di avviso viene soddisfatta dopo l'esecuzione della query, la propagazione dell'incidente nel sistema può richiedere fino a due minuti aggiuntivi.

Errori delle query

Le query emesse dai criteri di avviso basati su SQL possono non riuscire per vari motivi, tra cui i seguenti:

• Il service account Monitoring non esiste più o non dispone più delle autorizzazioni necessarie per leggere i dati di log sottoposti a query.

• Il tempo di esecuzione della query supera i cinque minuti.

• Si verifica un errore interno.

Una query non riuscita genera una voce di log contenente l'ID del criterio di avviso e lo stato di errore. Puoi utilizzare un criterio di avviso basato su log per creare un avviso quando viene registrato un errore.

Prima di iniziare

Questa sezione presuppone che tu abbia eseguito l'upgrade del bucket di log per utilizzare Observability Analytics in modo da poter eseguire query e visualizzare i dati di log utilizzando la pagina Observability Analytics. Presuppone anche che tu abbia già creato un set di dati BigQuery collegato nel bucket di log.

Prima di creare un criterio di avviso basato su SQL, completa i seguenti passaggi:

1. Per ottenere le autorizzazioni necessarie per creare e gestire i criteri di avviso basati su SQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

   • Editor Monitoring (roles/monitoring.editor) sul tuo progetto
   • Logging SqlAlertWriter (roles/logging.sqlAlertWriter) sul tuo progetto

2. Verifica che il service account Monitoring esista e che abbia i seguenti ruoli:

   1. Agente del servizio Monitoring (roles/monitoring.notificationServiceAgent) sul tuo progetto.
   2. Visualizzatore dati BigQuery (roles/bigquery.dataViewer) sul set di dati BigQuery collegato.

   Se il service account Monitoring non esiste, consulta Risoluzione dei problemi: nessun service account Monitoring.

3. Configura i canali di notifica che vuoi utilizzare per ricevere le notifiche relative agli incidenti. Per motivi di ridondanza, ti consigliamo di creare più tipi di canali di notifica. Per saperne di più, consulta la pagina Crea e gestisci canali di notifica.

Creare una criterio di avviso basata su SQL

Per creare un criterio di avviso basato su SQL:

Console

1. Nella Google Cloud console, vai alla Observability Analytics pagina:

   Vai a Observability Analytics

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

2. Nella pagina Observability Analytics, nell'editor di query, inserisci una query SQL che esegue query sui dati di log.

   Nota: quando configuri una query per un criterio di avviso, non utilizzare la clausola WHERE per filtrare le voci di log in base al timestamp. Quando Observability Analytics valuta la query, applica automaticamente il filtro del timestamp corretto a ogni voce di log valutata.

   Per saperne di più sulla scrittura di query SQL per le viste log, consulta Eseguire query su una vista log.

3. Nella barra degli strumenti, fai clic su Esegui su BigQuery.

   Observability Analytics esegue la query sul motore BigQuery e visualizza i risultati nella tabella Risultati.

   Se non viene visualizzato Esegui su BigQuery, fai clic su Seleziona motore di query e poi su BigQuery. Il pulsante Esegui query diventa Esegui su BigQuery.

4. Nella tabella Risultati della pagina Observability Analytics, fai clic su  Crea avviso.

   La pagina Observability Analytics mostra la finestra Crea criterio di avviso SQL, che mostra la query nella sezione Query SQL.

5. Nella sezione Condizione di avviso , configura la condizione e la pianificazione della criterio di avviso.

6. Configura i dettagli della criterio di avviso.

   1. Aggiungi canali di notifica e configura i contenuti delle notifiche, ad esempio una riga dell'oggetto personalizzata.

   2. (Facoltativo) Aggiungi etichette delle policy di avviso e documentazione.

   3. Fai clic su Avanti.

7. Esamina la criterio di avviso e poi creala facendo clic su Salva.

Terraform

1. Installa e configura Terraform per il tuo progetto. Per le configurazioni di App Hub, seleziona il progetto host di App Hub o il progetto di gestione.

2. In Cloud Shell, vai alla directory contenente la configurazione di Terraform.

3. Nella configurazione di Terraform, configura un'istanza della google_monitoring_alert_policy, inclusa condition_sql.

4. In Cloud Shell, inserisci terraform apply.

Per modificare la criterio di avviso, apporta le modifiche e poi riapplica la configurazione di Terraform. Per saperne di più, consulta Gestire i criteri di avviso con Terraform.

Per informazioni generali sull'utilizzo di Google Cloud Terraform, consulta Terraform con Google Cloud.

REST

Utilizza il alertPolicies.create metodo per creare programmaticamente criteri di avviso. Il Condition tipo del criterio di avviso deve essere MonitoringQueryLanguageCondition, che è un'istanza di SqlCondition. Questo tipo di condizione consente di definire le condizioni del criterio di avviso con SQL.

Per definire la pianificazione, imposta un valore periodicity per uno dei campi minutes, hours o days. Ad esempio, se vuoi che la query venga eseguita ogni 12 ore, imposta la periodicità del campo hours su 12.

Per definire la condizione, utilizza i seguenti campi:

• boolean_test: configura la criterio di avviso in modo che la condizione venga soddisfatta quando una riga di una colonna booleana nella tabella dei risultati della query contiene un valore true.
• row_count_test: configura la criterio di avviso in modo che la sua condizione venga soddisfatta quando il numero di righe nella tabella dei risultati della query soddisfa una determinata soglia.

Per un elenco completo di campi e definizioni, consulta SqlCondition nella documentazione dell'API Cloud Monitoring.

Per saperne di più sull'API Monitoring per i criteri di avviso, consulta Gestire i criteri di avviso tramite API.

Limitazioni

• Puoi avere una sola condizione per criterio di avviso basata su SQL.

• I criteri di avviso basati su SQL non possono eseguire query su una vista di analisi.

• Le query emesse dai criteri di avviso basati su SQL non riescono quando il tempo di esecuzione supera i cinque minuti.

• Tra la pianificazione di una query e la creazione di un incidente intercorre un ritardo massimo di sette minuti, più il tempo di esecuzione della query.

Per un elenco completo dei limiti associati ai criteri di avviso, consulta Limiti di Monitoring.

Prezzi

Per informazioni sui prezzi, consulta i seguenti documenti:

• Prezzi di BigQuery
• Le sezioni di Cloud Logging e Cloud Monitoring della pagina Prezzi di Google Cloud Observability.

Passaggi successivi

• Per informazioni sulla creazione di grafici dai dati di Observability Analytics, consulta Creare grafici dei risultati delle query con Observability Analytics.

• Per informazioni sulla gestione degli incidenti per questi criteri di avviso, consulta Incidenti per i criteri di avviso basati su SQL.