Crea dashboard, grafici e avvisi

Questo documento descrive come creare grafici e avvisi per monitorare le risorse BigQuery utilizzando Cloud Monitoring.

Prima di iniziare

Prima di utilizzare Cloud Monitoring, assicurati di disporre di quanto segue:

• Un account di fatturazione Cloud.
• Un progetto BigQuery con fatturazione abilitata.

Visualizza e crea dashboard, grafici e avvisi

Visualizza la dashboard di Cloud Monitoring

Per utilizzare Cloud Monitoring per monitorare il tuo progetto BigQuery:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Seleziona il nome del progetto se non è già selezionato nella parte superiore della pagina.

3. Per visualizzare le risorse BigQuery, seleziona Dashboard > BigQuery. In questa pagina viene visualizzato un elenco di tabelle, eventi e segnalazioni di problemi configurabili dall'utente, nonché grafici delle metriche del progetto o del set di dati.

   

Visualizza gli slot disponibili e quelli allocati

Per visualizzare gli slot disponibili e quelli allocati al tuo progetto, vai alla dashboard di BigQuery descritta in Visualizzazione della dashboard di Cloud Monitoring:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Seleziona Dashboard > BigQuery.

3. Nella dashboard di Cloud Monitoring per BigQuery, scorri fino al grafico denominato Utilizzo slot.

Il grafico Utilizzo slot viene visualizzato sia nella dashboard predefinita principale di Cloud Monitoring sia nella dashboard di Cloud Monitoring per BigQuery.

crea una dashboard e un grafico

Visualizza le metriche raccolte da Cloud Monitoring in grafici e dashboard:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Seleziona Dashboard > Crea dashboard.

3. Fai clic su Aggiungi grafico. Viene visualizzata la pagina Aggiungi grafico:

   

4. Nei campi del riquadro Trova tipo di risorsa e metrica:

   • Nell'elenco a discesa Tipo di risorsa, seleziona Globale. Potresti dover espandere l'elenco di Tipi di risorse per visualizzare l'opzione Globale.
   • Nell'elenco a discesa Metrica, seleziona Tempo di esecuzione della query.

5. I campi del riquadro Aggregazione controllano la modalità di visualizzazione dei dati relativi al tempo di esecuzione. Puoi modificare le impostazioni predefinite di questi campi.

6. Fai clic su Salva.

Visualizza l'utilizzo e i limiti della quota

In Cloud Monitoring puoi visualizzare le metriche relative all'utilizzo e ai limiti delle quote:

1. Nella console Google Cloud , vai alla pagina Monitoring.

   Vai a Monitoraggio

2. Nel riquadro di navigazione, seleziona Esplora metriche.

3. Nella barra degli strumenti, seleziona Explorer > Configurazione.

4. Nella sezione Risorsa e metrica, fai clic su Seleziona una metrica.

5. Seleziona Quota consumer > Quota > Limite di quota, quindi fai clic su Applica.

6. Fai clic su Aggiungi filtro e poi, nel menu Etichetta, seleziona limit_name.

7. Nel menu Valore, seleziona la quota per cui vuoi visualizzare le metriche.

   

Nota: puoi visualizzare le metriche relative all'utilizzo e ai limiti delle quote solo per le quote di connessioni simultanee e throughput dell'API BigQuery Storage Write (gRPC).

Crea un avviso

Per creare una criterio di avviso che si attiva quando il 99° percentile del tempo di esecuzione di una query BigQuery supera un limite definito dall'utente, utilizza le seguenti impostazioni.

Passaggi per creare una policy di avviso.

Per creare una criterio di avviso, segui questi passaggi:

1. Nella Google Cloud console, vai alla pagina  Avvisi:

   Vai ad Avvisi

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

2. Se non hai creato i canali di notifica e vuoi ricevere le notifiche, fai clic su Modifica canali di notifica e aggiungi i tuoi canali di notifica. Torna alla pagina Avvisi dopo aver aggiunto i canali.
3. Nella pagina Avvisi, seleziona Crea policy.
4. Per selezionare la risorsa, la metrica e i filtri, espandi il menu Seleziona una metrica e poi utilizza i valori nella tabella Nuova condizione:
   1. (Facoltativo) Per limitare il menu alle voci pertinenti, inserisci il nome della risorsa o della metrica nella barra dei filtri.
   2. Seleziona un tipo di risorsa. Ad esempio, seleziona Istanza VM.
   3. Seleziona una Categoria di metrica. Ad esempio, seleziona istanza.
   4. Seleziona una metrica. Ad esempio, seleziona Utilizzo CPU.
   5. Seleziona Applica.
5. Fai clic su Avanti e poi configura il trigger criterio di avviso. Per completare questi campi, utilizza i valori nella tabella Configura trigger di avviso.
6. Fai clic su Avanti.

7. (Facoltativo) Per aggiungere notifiche alla tua policy di avviso, fai clic su Canali di notifica. Nella finestra di dialogo, seleziona uno o più canali di notifica dal menu e fai clic su Ok.

   Per ricevere una notifica quando gli avvisi vengono aperti e chiusi, seleziona Notifica alla chiusura dell'avviso. Per impostazione predefinita, le notifiche vengono inviate solo quando vengono aperti gli avvisi.

8. (Facoltativo) Aggiorna la Durata chiusura automatica avviso. Questo campo determina quando Monitoring chiude gli avvisi in assenza di dati delle metriche.
9. (Facoltativo) Fai clic su Documentazione e aggiungi tutte le informazioni che vuoi includere in un messaggio di notifica.
10. Fai clic su Nome avviso e inserisci un nome per la policy di avviso.
11. Fai clic su Crea criterio.

Nuova condizione Campo	Valore
Risorsa e metrica	Nel menu Risorse, seleziona Progetto BigQuery. Nel menu Categorie di metriche, seleziona Query. Nel menu Metriche, seleziona Tempi di esecuzione delle query.
Filtro
Nelle serie temporali Raggruppamento per serie temporali	priority
Nelle serie temporali Aggregazione serie temporali	99th percentile
Finestra temporale continua	5 m
Funzione finestra temporale continua	sum

Configura trigger di avviso Campo	Valore
Tipo di condizione	Threshold
Trigger di avviso	Any time series violates
Posizione soglia	Above threshold
Valore soglia	Questo valore viene determinato da te, ma è consigliata una soglia di 60 secondi.
Finestra di ripetizione test	most recent value

Per creare una criterio di avviso che si attiva quando i byte totali analizzati fatturati per un progetto BigQuery superano un limite definito dall'utente, utilizza la seguente configurazione criterio di avviso.

Nuova condizione Campo	Valore
Risorsa e metrica	Nel menu Risorse, seleziona Progetto BigQuery. Nel menu Categorie di metriche, seleziona Query. Nel menu Metriche, seleziona Byte fatturati analizzati dall'istruzione.
Filtro	(non è necessario alcun filtro per un avviso a livello di progetto)
Nelle serie temporali Raggruppamento per serie temporali	(Lascia vuoto per aggregare tutte le serie)
Nelle serie temporali Aggregazione serie temporali	sum
Finestra temporale continua	5 m
Funzione finestra temporale continua	sum

Configura trigger di avviso Campo	Valore
Tipo di condizione	Threshold
Trigger di avviso	Any time series violates
Posizione soglia	Above threshold
Valore soglia	Questo valore viene determinato da te. Ad esempio, per attivare un avviso quando l'utilizzo supera 1 TiB, inserisci 1000000000000.

Mentre la criterio di avviso monitora i byte totali scansionati, puoi impostare una soglia in base a un budget specifico. Per implementare questa criterio di avviso basata sul budget, devi prima convertire la soglia di costo desiderata nel numero equivalente di byte. La formula si basa sui prezzi di computing on demand di BigQuery. Per saperne di più, consulta Prezzi di computing on demand.

Puoi utilizzare la seguente formula per convertire la soglia di costo in byte:

Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000

Esempio: attiva un avviso quando l'utilizzo supera i 100 $

Supponiamo che tu voglia ricevere un avviso quando i costi delle query del tuo progetto superano i 100 $.

1. Calcola il volume di dati equivalente in TiB:
   $100 / (price per TiB) = Equivalent Data Volume in TiB
2. Converti il volume di dati in byte:
   (Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
3. Imposta il valore soglia:
   Nella sezione Configura trigger di avviso della policy, inserisci il "Valore soglia in byte" come Valore soglia.

Ora, la criterio di avviso viene attivata quando i byte totali scansionati fatturati nella finestra temporale corrispondono a circa 100 $ di costi delle query on demand.

Metriche disponibili per la visualizzazione

Sono disponibili le seguenti metriche, con un ritardo di diverse ore.

Tipo di risorsa	Nome	Unità	Descrizione
BigQuery	Scanned bytes	Byte al minuto	Numero di byte scansionati.
BigQuery	Scanned bytes billed	Byte al minuto	Numero di byte inviati per la fatturazione quando si utilizza il modello di analisi on demand. I byte scansionati e i byte scansionati fatturati possono differire perché gli addebiti vengono arrotondati per eccesso, con una quantità minima di dati elaborati per query.
BigQuery	BI Engine Query Fallback Count (Preview)	Query	La quantità di query che non hanno utilizzato BI Engine come frequenza. Puoi impostare l'opzione Raggruppa per su reason per separare il conteggio in base ai diversi motivi di fallback, tra cui: NO_RESERVATION INSUFFICIENT_RESERVATION UNSUPPORTED_SQL_TEXT INPUT_TOO_LARGE OTHER_REASON
BigQuery	Query count	Query	Query in corso.
BigQuery	Query execution count (Preview)	Query	Il numero di query eseguite.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	Secondi	Tempi di esecuzione delle query non memorizzate nella cache.
BigQuery	Slots used by project	Slot	Numero di slot BigQuery allocati per i job di query nel progetto. Gli slot vengono allocati per account di fatturazione e più progetti possono condividere la stessa prenotazione di slot.
BigQuery	Slots used by project and job type	Slot	Numero di slot allocati al progetto in qualsiasi momento, separati per tipo di prestazione. Questo valore può anche essere considerato come il numero di slot utilizzati dal progetto. I job di caricamento ed estrazione sono operazioni senza costi e vengono eseguiti in un pool di risorse pubblico. Gli slot vengono allocati per account di fatturazione e più progetti possono condividere la stessa prenotazione di slot.
BigQuery	Slots used by project, reservation, and job type	Slot	Numero di slot BigQuery allocati per il progetto. L'allocazione degli slot può essere suddivisa in base alla prenotazione e al tipo di prestazione.
BigQuery	Total slots	Slot	Numero totale di slot disponibili per il progetto. Se il progetto condivide una prenotazione di slot con altri progetti, gli slot utilizzati dagli altri progetti non vengono mostrati.
BigQuery	Slots used across projects in reservations	Slot	Numero di slot BigQuery allocati tra i progetti nella prenotazione. Tieni presente che i dati delle metriche vengono registrati solo se almeno un progetto è stato assegnato alla prenotazione e sta consumando slot. In alternativa, valuta la possibilità di eseguire query sulle informazioni sulle prenotazioni da INFORMATION_SCHEMA. Per visualizzare le metriche di utilizzo degli slot per tutti i progetti che utilizzano una prenotazione, devi aggiungere esplicitamente questi progetti consumer all'ambito delle metriche del progetto in cui visualizzi la dashboard.
BigQuery	Slots used by project in reservation	Slot	Numero di slot BigQuery allocati per il progetto nella prenotazione. Per visualizzare le metriche di utilizzo degli slot per tutti i progetti che utilizzano una prenotazione, devi aggiungere esplicitamente questi progetti consumer all'ambito delle metriche del progetto in cui visualizzi la dashboard.
Job continuo BigQuery	Estimated backlog logical bytes	Byte	Il numero di byte nel backlog per ogni fase del job continuo.
Job continuo BigQuery	Estimated backlog records	Record	Il numero stimato di record in backlog per ogni fase del job continuo.
Job continuo BigQuery	Estimated bytes processed	Byte	Il numero stimato di byte elaborati per ogni fase del job continuo.
Job continuo BigQuery	Output watermark	Timestamp	Il timestamp più recente, in microsecondi dall'epoch, fino al quale tutti i dati sono stati elaborati da questa fase del job continuo.
Job continuo BigQuery	Records read	Record	Il numero di record di input letti per ogni fase del job continuo.
Job continuo BigQuery	Records written	Record	Il numero di record di output scritti per ogni fase del job continuo.
Job continuo BigQuery	Slots used	Millisecondi slot	Il numero totale di millisecondi di slot utilizzati dal job continuo.
Set di dati BigQuery	Stored bytes	Byte	Byte archiviati nel set di dati: per le 100 tabelle più grandi del set di dati, i byte archiviati vengono visualizzati per ogni singola tabella (per nome). Eventuali tabelle aggiuntive nel set di dati (oltre alle 100 più grandi) vengono riportate come somma singola e il nome della tabella per il riepilogo è una stringa vuota.
Set di dati BigQuery	Table count	Tabelle	Numero di tabelle nel set di dati.
Set di dati BigQuery	Uploaded bytes	Byte al minuto	Numero di byte caricati in qualsiasi tabella del set di dati.
Set di dati BigQuery	Righe caricate	Righe al minuto	Numero di record caricati in qualsiasi tabella del set di dati.

Per un elenco completo delle metriche Google Cloud disponibili, consulta metriche diGoogle Cloud .

Problemi noti

• Se non sono in esecuzione query, non vengono restituiti dati per gli slot allocati, gli slot disponibili o le variabili relative alle query. Diminuisci lo zoom per visualizzare i dati.

• Se le query vengono eseguite sia negli Stati Uniti che nell'UE, gli slot allocati e quelli disponibili potrebbero non essere corretti.

• Gli slot allocati vengono indicati come valore medio in un intervallo di tempo (la larghezza dell'intervallo di tempo dipende dal livello di zoom del grafico). Se aumenti o diminuisci lo zoom, il valore degli slot allocati può cambiare. Se aumenti lo zoom su una finestra temporale di 1 ora o meno, vengono visualizzati i valori reali degli slot allocati. In questo intervallo per qualsiasi ora visibile sul grafico, avg(slots allocated) = slots allocated.

• I dati nei grafici di Cloud Monitoring riguardano solo il progetto selezionato.

• Le metriche sono valori istantanei, campionati in un momento specifico, e potrebbero non includere punti dati tra gli intervalli di campionamento. Ad esempio, la metrica del conteggio dei job viene campionata ogni minuto. Il valore è il numero di job in quel momento specifico, non il numero massimo di job nell'intero minuto.