Monitora l'integrità e l'utilizzo delle risorse

In qualità di amministratore di BigQuery, puoi monitorare l'integrità, l'utilizzo degli slot e le prestazioni dei job della tua organizzazione nel tempo con i grafici di integrità operativa e utilizzo delle risorse. BigQuery fornisce grafici configurabili per aiutarti a:

  • Monitora l'integrità operativa di BigQuery. Il monitoraggio dello stato di integrità operativo in tempo reale di BigQuery è un sistema di monitoraggio centralizzato che ti consente di osservare l'utilizzo di BigQuery nell'organizzazione in più località.

  • Visualizza l'utilizzo delle risorse BigQuery. Utilizza i dati storici per eseguire l'analisi delle cause principali, pianificare la capacità e diagnosticare le variazioni delle prestazioni.

Per monitorare e risolvere i problemi relativi a singoli job di query o job aggregati per proprietario, progetto o prenotazione, consulta Monitora i job.

Prima di iniziare

  • Per visualizzare l'integrità operativa, devi utilizzare le prenotazioni a cui puoi accedere con un progetto di amministrazione. Questo non è un requisito per visualizzare i grafici di utilizzo delle risorse.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare tutti i dati nei grafici relativi all'integrità operativa e all'utilizzo delle risorse, chiedi all'amministratore di concederti i seguenti ruoli IAM nella tua organizzazione:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare tutti i dati nei grafici relativi all'integrità operativa e all'utilizzo delle risorse. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per visualizzare tutti i dati nei grafici relativi all'integrità operativa e all'utilizzo delle risorse sono necessarie le seguenti autorizzazioni:

  • Per visualizzare tutti i dati nei grafici relativi all'integrità operativa e all'utilizzo delle risorse di un'organizzazione:
    • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll sull'organizzazione
    • bigquery.reservationAssignments.list sul progetto di amministrazione utilizzato per creare le prenotazioni
    • bigquery.capacityCommitments.list sul progetto di amministrazione utilizzato per creare le prenotazioni
  • In qualità di utente on demand, per visualizzare tutti i dati nei grafici di utilizzo delle risorse per un'organizzazione: bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll nell'organizzazione
  • Per visualizzare i dati di riepilogo dell'integrità operativa per lo spazio di archiviazione delle tabelle BigQuery: bigquery.tables.get or bigquery.tables.list nell'organizzazione
  • Per visualizzare i grafici relativi all'integrità operativa e all'utilizzo delle risorse a livello di prenotazione:
    • bigquery.reservations.list sul progetto di amministrazione utilizzato per creare le prenotazioni
    • bigquery.reservationAssignments.list sul progetto di amministrazione utilizzato per creare le prenotazioni
  • Per visualizzare i grafici di utilizzo delle risorse a livello di progetto: bigquery.jobs.listAll sul progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Monitora l'integrità operativa di un'organizzazione

La dashboard di integrità operativa mostra le metriche chiave per la tua organizzazione e le sue prenotazioni in tutte le località in cui hai prenotazioni. Puoi utilizzare questa dashboard per monitorare le seguenti metriche:

  • Utilizzo slot
  • Utilizzo casuale
  • Concorrenza job
  • Errori
  • Durata job
  • Byte elaborati
  • Spazio di archiviazione totale

Visualizza i grafici sull'integrità operativa

Per visualizzare le informazioni sull'integrità operativa della tua organizzazione, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Monitoring di BigQuery.

    Vai a Monitoring

  2. Seleziona il progetto di amministrazione che hai utilizzato per acquistare slot e creare prenotazioni.

  3. Nella pagina Monitoraggio, vai alla scheda Integrità operativa per visualizzare un riepilogo delle metriche chiave della tua organizzazione per tutte le località e le prenotazioni.

  4. (Facoltativo) Per visualizzare le metriche in tempo reale, in cui le query vengono eseguite su dati aggiornati ogni cinque minuti, fai clic sul pulsante di attivazione/disattivazione Dati in tempo reale. Per impostazione predefinita, questa impostazione è disattivata e l'obsolescenza massima dei dati è di circa un'ora.

  5. Per filtrare le metriche, configura i seguenti campi:

    • Nell'elenco Seleziona località, seleziona una regione da monitorare.
    • Nell'elenco Seleziona prenotazione, seleziona la prenotazione.
    • Nell'elenco Seleziona progetto, seleziona il progetto.
    • Nell'elenco Intervallo di tempo, seleziona un intervallo di tempo.

  6. (Facoltativo) Per visualizzare ulteriori dettagli sull'integrità operativa con un grafico di utilizzo delle risorse o Esplora job, fai clic su Esplora altro.

BigQuery raccoglie le metriche eseguendo query sulle seguenti viste INFORMATION_SCHEMA:

Per una query di esempio che replica il grafico a cronologia di utilizzo degli slot presente nei grafici delle risorse amministrative, consulta Comportamento di utilizzo degli slot corrispondente dai grafici delle risorse amministrative.

Visualizzazioni

La scheda Integrità operativa mostra le seguenti visualizzazioni di riepilogo e dettagliate.

Visualizzazione di riepilogo

La visualizzazione di riepilogo mostra lo stato dei sottosistemi della tua organizzazione, incluse le prenotazioni e le regioni, negli ultimi 30 minuti.

Per visualizzare la visualizzazione di riepilogo:

  • Nella scheda Integrità operativa, nell'elenco Seleziona località, seleziona Tutte le località.

Visualizzazione dettagliata

La visualizzazione dettagliata mostra grafici a cronologia dettagliati di diverse metriche a livello di località o di prenotazione.

Per visualizzare la visualizzazione dettagliata:

  • Nella scheda Integrità operativa, nell'elenco Seleziona località, seleziona la regione o la versione.

Puoi perfezionare i dati visualizzati nella visualizzazione dettagliata utilizzando i seguenti filtri facoltativi:

  • Nell'elenco Seleziona prenotazione, seleziona il nome della prenotazione.
  • Nell'elenco Seleziona progetto, seleziona il progetto.

Grafici

BigQuery fornisce le seguenti opzioni di tabelle e grafici, che ti consentono di esplorare in dettaglio le metriche di integrità operativa.

Tabella riepilogativa

Le tabelle di riepilogo mostrano le seguenti metriche:

  • Utilizzo slot. L'utilizzo medio degli slot. La capacità totale degli slot equivale alla capacità di base e alla capacità massima con scalabilità automatica.
  • Utilizzo shuffling. Il valore massimo di tutti i rapporti di utilizzo medio dello shuffling per le prenotazioni.
  • Concorrenza. Il numero massimo di job in esecuzione contemporaneamente.
  • Byte elaborati. I byte totali elaborati dai job completati.
  • Durata del job. Il tempo di esecuzione medio dei job completati, calcolato dal momento in cui è stato creato a quello in cui è stato completato.
  • Spazio di archiviazione totale. Il totale dei byte logici attivi all'ultimo aggiornamento.

Nella visualizzazione sono presenti due tabelle di riepilogo: Riepilogo località e Riepilogo prenotazione. Ogni riga della tabella rappresenta l'utilizzo per una località o una prenotazione.

Le tabelle mostrano le metriche relative ai 30 minuti precedenti l'ultimo aggiornamento. Se l'opzione Dati in tempo reale è attiva, i dati oggetto della query vengono aggiornati ogni cinque minuti. Se l'opzione Dati in tempo reale è disattivata, l'inattività massima dei dati è di circa un'ora.

La cella della tabella è codificata con un colore se la metrica è superiore alla soglia predefinita e se è presente un numero maggiore di insight sulle prestazioni per i job ripetuti:

  • Se il valore della metrica nei 30 minuti precedenti l'ultimo aggiornamento è superiore al valore P99 dell'utilizzo della settimana precedente per lo stesso giorno, la cella della tabella è contrassegnata con uno sfondo blu scuro.
  • Se il valore della metrica negli ultimi 30 minuti è compreso tra il 95° e il 99° percentile dell'utilizzo della settimana precedente per lo stesso giorno, la cella della tabella è contrassegnata da uno sfondo azzurro.

Tutte le soglie sono predefinite e non possono essere personalizzate. Puoi controllare una soglia facendo clic su info Informazioni.

Tabella di riepilogo amministrativo di BigQuery.

Filtra dati

Puoi filtrare i dati nei grafici in base ai seguenti valori:

Dati dei filtri amministrativi di BigQuery.

  • Posizione. Sono disponibili le regioni in cui l'organizzazione ha registrato attività negli ultimi 30 giorni. La visualizzazione di riepilogo presenta una tabella che riassume l'utilizzo in tutte le regioni attive.
  • Prenotazione. Questo campo è disponibile solo nella visualizzazione dettagliata. Sono disponibili tutte le prenotazioni di proprietà del progetto di amministrazione. Puoi scegliere una sola prenotazione.
  • Project. Questo campo è disponibile solo nella visualizzazione dettagliata. Sono disponibili tutti i progetti con traffico nell'organizzazione. Puoi selezionare un solo progetto.
  • Intervallo di tempo. Questo campo è disponibile solo nella visualizzazione dettagliata. Influisce sui grafici della sequenza temporale delle metriche e sul grafico ad anello degli errori nella visualizzazione dettagliata. La scala dei dati nei grafici a cronologia delle metriche viene regolata automaticamente in base all'intervallo di tempo selezionato.

Grafico delle principali query attive

Questo grafico mostra i dieci job principali con risorse attive ordinate in ordine decrescente. Nel menu a discesa, puoi selezionare un'opzione di ordinamento in base all'utilizzo degli slot o alla durata del job. L'ID job e il numero di utilizzo delle risorse pertinente sono presentati nel grafico a barre. Seleziona Esplora altro o l'ID job nel grafico delle query attive principali per visualizzare ulteriori dettagli in Esplora job. Per scoprire di più sui dettagli di esecuzione e diagnosticare i problemi di prestazioni dei job BigQuery, consulta Ottieni insight sulle prestazioni delle query.

Grafico ad anello degli errori

Questo grafico mostra la proporzione delle principali cause di errore nel periodo di tempo selezionato. Nella visualizzazione di riepilogo, per impostazione predefinita vengono mostrati gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla la copertura. Puoi raggruppare gli errori per tipo, progetto proprietario o prenotazione. Il numero di job non riusciti è mostrato nel grafico ad anello.

Grafico ad anello degli errori BigQuery.

Grafici a cronologia delle metriche

I grafici mostrano una panoramica delle metriche supportate per un massimo di 30 giorni. Il periodo di tempo predefinito è un'ora. Man mano che il periodo di tempo selezionato cambia, la granularità di ogni punto dati nel grafico viene ridimensionata automaticamente.

Questi grafici mostrano un valore aggregato per una regione o una prenotazione. La visualizzazione dei dati per più regioni o più prenotazioni non è supportata.

Grafici a cronologia delle metriche di BigQuery.

I grafici a cronologia delle metriche supportano le seguenti metriche:

  • Utilizzo slot. L'utilizzo slot medio nel periodo di tempo selezionato. Mostra l'utilizzo complessivo degli slot di tutti i job e dei job non riusciti separatamente.
  • Concorrenza job. Il numero massimo di job in esecuzione contemporaneamente nel periodo di tempo selezionato. Mostra il numero di job in esecuzione e in attesa separatamente, sotto forma di grafico a barre in pila.
  • Byte scansionati. I byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Riproduzione casuale. Il valore massimo di tutti i rapporti di utilizzo shuffling medio delle prenotazioni nel periodo di tempo selezionato.
  • Durata del job. Il tempo di esecuzione medio dei job completati nel periodo di tempo selezionato, calcolato dall'ora di creazione del job all'ora di fine del job.
  • Errore per tipo. Il grafico ad anello degli errori mostra la proporzione delle diverse cause di errore nel periodo di tempo selezionato.

Oltre alle tendenze delle metriche, i grafici mostrano le linee di riferimento dei valori delle metriche P95 e P99 dell'utilizzo della settimana precedente per lo stesso giorno. Il grafico Concorrenza job mostra la soglia per la somma dei job in attesa e in esecuzione. Questi valori di riferimento vengono utilizzati come soglie di codifica dei colori nella tabella di riepilogo.

Per scoprire di più sul grafico, fai clic su Esplora altro. Viene visualizzata la scheda Utilizzo delle risorse.

Tabella degli insight

Questa tabella aggrega gli errori di quota, gli errori di accesso negato e gli insight sulle prestazioni raccolti durante le esecuzioni dei job nel periodo di tempo selezionato. Gli insight vengono aggregati a livello di prenotazione. Ogni riga fornisce informazioni sul tipo di insight, sulla località, sulla prenotazione, sui dettagli degli insight e sugli ID job di esempio. Fai clic sugli ID job per visualizzare ulteriori dettagli sui job in Explorer job. Nella visualizzazione di riepilogo, il periodo di tempo di osservazione predefinito copre gli ultimi 30 minuti. Nella visualizzazione dettagliata, il selettore dell'intervallo di tempo controlla il periodo di tempo specifico per il quale vengono visualizzati i dati di osservazione.

Tabella degli insight di BigQuery.

Monitora l'integrità operativa di un singolo progetto

La dashboard di integrità operativa del progetto è la visualizzazione predefinita che ottieni se non hai accesso all'intera organizzazione o se il tuo progetto non possiede alcuna prenotazione. Questa visualizzazione può aiutare gli analisti di progetto a monitorare l'integrità del sistema per i loro progetti, in modo simile alla dashboard di integrità operativa a livello di organizzazione, ma mostra solo i dati a livello di progetto nei grafici e nei filtri.

Visualizza l'utilizzo delle risorse BigQuery

I grafici delle risorse BigQuery ti aiutano a monitorare l'utilizzo passato delle risorse per pianificare le esigenze future e risolvere i problemi di prestazioni.

Visualizzazione dell'utilizzo delle risorse, che mostra una cronologia delle metriche per un'organizzazione o un progetto di amministrazione e il riquadro in cui configuri il grafico

I grafici raccolgono le metriche eseguendo query sulle seguenti visualizzazioni INFORMATION_SCHEMA:

I dati possono essere aggiornati in tempo reale, fino a un massimo di 30 giorni.

Per una query di esempio che replica il grafico a cronologia di utilizzo degli slot presente nei grafici delle risorse amministrative, consulta Comportamento di utilizzo degli slot corrispondente dai grafici delle risorse amministrative.

Quando visualizzi l'utilizzo delle risorse, puoi configurare quanto segue:

  • Il grafico a cronologia degli eventi mostra una panoramica dei dati per un massimo di 30 giorni. Il valore predefinito è 6 ore.

  • Il grafico principale mostra le metriche scelte, come l'utilizzo degli slot o i byte elaborati, nel tempo per la tua organizzazione o il tuo progetto di amministrazione. Una legenda del grafico fornisce ulteriori dettagli sui dati mostrati.

  • Il riquadro Configurazione grafico ti consente di selezionare visualizzazioni predefinite delle tue metriche o di personalizzare le tue metriche per le visualizzazioni.

Il grafico di utilizzo delle risorse contiene i seguenti elementi:

  • Nella scheda Utilizzo delle risorse, tieni il puntatore sopra l'icona di stato nella parte superiore del grafico per visualizzare ulteriori informazioni su una metrica.

  • I chip di stato mostrano anche quanto segue:

    • Se la metrica è ancora in fase di caricamento, viene visualizzata un'icona di caricamento.
    • Se la metrica utilizza dati obsoleti, viene visualizzata un'icona a forma di orologio.
    • Se la metrica non può essere caricata a causa di filtri a livello di pagina non supportati, viene barrata.
    • Se il caricamento della metrica non riesce, l'icona dello stato viene evidenziata.

Visualizza e configura i grafici di utilizzo delle risorse

Per visualizzare e configurare i grafici di utilizzo delle risorse, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Monitoring di BigQuery.

    Vai a Monitoring

  2. Seleziona il progetto. In qualità di amministratore che monitora l'utilizzo delle risorse di prenotazione, scegli il progetto di amministrazione utilizzato per acquistare slot e creare prenotazioni. In qualità di analista di dati che monitora l'utilizzo delle risorse dei job, scegli il progetto corrispondente.

  3. Nella pagina Monitoraggio, vai alla scheda Utilizzo delle risorse per visualizzare un riepilogo dell'utilizzo delle risorse, suddiviso per località.

  4. Scegli un periodo di tempo per le metriche in questa visualizzazione, ad esempio 1 giorno. Per visualizzare le metriche in tempo reale, in cui le query vengono eseguite su dati aggiornati, fai clic sul pulsante di attivazione/disattivazione Dati in tempo reale. Questa impostazione è disattivata per impostazione predefinita per migliorare le prestazioni e l'inattività massima dei dati è di circa un'ora.

  5. Nel riquadro Configurazione grafico, configura i seguenti campi:

    • Nel campo Visualizzazione metrica, seleziona una delle visualizzazioni.
    • Nel campo Metriche, seleziona una metrica da visualizzare. Puoi aggiungere o modificare una metrica.
    • Nel campo Raggruppa per, seleziona come raggruppare i dati.
    • Nel campo Filtri, seleziona come filtrare i dati.

  6. Per salvare le modifiche apportate alla configurazione del grafico, fai clic su Applica.

Visualizzazione metriche

BigQuery fornisce visualizzazioni preconfigurate delle metriche di utilizzo delle risorse. Le sezioni seguenti descrivono le metriche che puoi configurare in queste visualizzazioni.

Utilizzo degli slot di prenotazione

Questa visualizzazione mostra le metriche relative alla suddivisione dell'utilizzo degli slot per le prenotazioni nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione del grafico facendo clic sul nome della metrica:

  • I dati di utilizzo predefiniti provengono dalle risorse della prenotazione.
  • L'ambito predefinito è il progetto.
  • L'aggregazione predefinita si basa sull'utilizzo medio nel periodo di tempo selezionato.
Nome metrica Descrizione
Prenotazione - Utilizzo degli slot Monitora l'utilizzo totale degli slot per il periodo di tempo selezionato.
Prenotazione - Utilizzo slot inattivo Monitora l'utilizzo degli slot superiore alla capacità della prenotazione nel periodo di tempo selezionato. Questa metrica ti consente di monitorare gli slot inattivi presi in prestito da altre prenotazioni e impegni o le imprecisioni di arrotondamento nei dati di utilizzo. Quest'ultimo potrebbe far sì che questa metrica abbia un valore diverso da zero, anche se la condivisione degli slot inattivi è disattivata.
L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo slot, Slot impegnati e Slot con scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno e gli slot con scalabilità automatica, il grafico raggruppa gli slot rimanenti come slot inattivi.
Prenotazione - Slot utilizzati di riferimento Monitora gli slot utilizzati dalla base di riferimento della prenotazione.
Prenotazione - Slot utilizzati con scalabilità automatica Monitora gli slot utilizzati dagli slot con scalabilità automatica della prenotazione.
Panoramica dell'utilizzo delle versioni

Questa visualizzazione mostra le metriche relative all'utilizzo e alla capacità degli slot per le risorse della versione nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione del grafico facendo clic sul nome della metrica:

  • I dati di utilizzo predefiniti provengono dalla risorsa di prenotazione, mentre i dati sulla capacità provengono dalla risorsa della versione.
  • L'ambito predefinito è il progetto.
Nome metrica Descrizione
Prenotazione - Utilizzo degli slot Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo degli slot p99 nel periodo di tempo selezionato.
Prenotazione - Utilizzo slot inattivo Monitora l'utilizzo degli slot superiore alla capacità della prenotazione nel periodo di tempo selezionato. Questa metrica ti consente di monitorare gli slot inattivi presi in prestito da altre prenotazioni e impegni o le imprecisioni di arrotondamento nei dati di utilizzo. Quest'ultimo può far sì che questa metrica abbia un valore diverso da zero, anche se la condivisione degli slot inattivi è disattivata.
L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo slot, Slot impegnati e Slot con scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno e gli slot con scalabilità automatica, il grafico raggruppa gli slot rimanenti come slot inattivi.
L'aggregazione predefinita si basa sull'utilizzo delle risorse p99 nel periodo di tempo selezionato.
Versione - Capacità di riferimento Monitora la dimensione di base delle prenotazioni in questo progetto di amministrazione.
Versione - Capacità massima Monitora il numero massimo di slot disponibili nel periodo di tempo selezionato. La metrica è la somma della capacità degli impegni, della capacità di base e della capacità con scalabilità automatica. L'aggregazione predefinita si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Versione - Capacità assegnata Monitora il numero effettivo di slot assegnati alle risorse della tua versione nel periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Panoramica del progetto attuale

Questa visualizzazione mostra le metriche relative alle risorse dei job nel progetto in cui esegui le query. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:

  • La risorsa predefinita è la risorsa job.
  • L'ambito predefinito è il progetto.
Nome metrica Descrizione
Job - Progetto - Utilizzo slot Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Job - Progetto - Byte elaborati Monitora i byte totali elaborati dai job completati nel periodo di tempo selezionato. L'aggregazione predefinita è la somma dei byte elaborati nel periodo di tempo selezionato.
Job - Progetto - Concorrenza job Monitora il numero di job in esecuzione contemporaneamente nel periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Job - Project - Job duration Monitora il tempo di esecuzione dei job completati nel periodo di tempo selezionato. Il tempo di esecuzione misura il tempo che intercorre tra la creazione e il completamento del job. L'aggregazione predefinita viene eseguita in base al tempo di esecuzione medio nel periodo di tempo selezionato.
Panoramica delle prenotazioni di proprietà

Questa visualizzazione mostra le metriche relative all'attività dei job con le risorse di prenotazione nel progetto amministrativo. Ogni metrica ha le seguenti impostazioni predefinite, che puoi modificare nel riquadro Configurazione grafico facendo clic sul nome della metrica:

  • La risorsa predefinita è la risorsa di prenotazione.
  • L'ambito predefinito è il progetto.
Nome metrica Descrizione
Prenotazione - Utilizzo degli slot Monitora l'utilizzo degli slot per il periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Prenotazione - Byte elaborati Monitora i byte totali elaborati dai job completati nel periodo di tempo selezionato. L'aggregazione predefinita è la somma dei byte elaborati nel periodo di tempo selezionato.
Prenotazione - Concorrenza job Monitora il numero di job in esecuzione contemporaneamente nel periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo massimo delle risorse nel periodo di tempo selezionato.
Prenotazione - Durata del job Monitora il runtime dei job completati nel periodo di tempo selezionato. Il tempo di esecuzione misura il tempo che intercorre tra la creazione e il completamento del job. Include l'accodamento e i nuovi tentativi. L'aggregazione predefinita si basa sul tempo di esecuzione medio nel periodo di tempo selezionato.
Prenotazione - Utilizzo shuffling Monitora il rapporto di utilizzo della riproduzione casuale nel periodo di tempo selezionato. L'aggregazione predefinita si basa sull'utilizzo medio nel periodo di tempo selezionato.
Visualizzazione personalizzata

Per creare una visualizzazione metrica personalizzata, puoi aggiungere metriche da zero o iniziare con una delle visualizzazioni delle metriche predefinite (ad esempio, la visualizzazione delle metriche Panoramica delle prenotazioni) e personalizzare le metriche al suo interno.

Puoi salvare le visualizzazioni personalizzate per utilizzarle in futuro. Le visualizzazioni salvate mantengono le configurazioni di metrica, raggruppamento e filtro, ad eccezione del filtro per l'indirizzo email dell'utente. Le visualizzazioni salvate vengono memorizzate a livello di utente. Puoi creare, aggiornare, rinominare ed eliminare le visualizzazioni salvate.

Metriche

Quando configuri un grafico, puoi aggiungere, modificare o eliminare le metriche di utilizzo delle risorse che monitora.

Per configurare le metriche del grafico di utilizzo delle risorse, segui questi passaggi:

  1. Nella console Google Cloud , visualizza i grafici di utilizzo delle risorse BigQuery.

  2. Nel riquadro Configurazione grafico, configura il campo Metriche:

    1. Fai clic su Aggiungi un elemento > Seleziona una metrica.

    2. Nella finestra di dialogo Seleziona una metrica, scegli quanto segue:

      1. Il tipo di risorsa da monitorare: Job, Prenotazione o Versione.
      2. L'ambito da monitorare. Ad esempio, per monitorare le metriche dei job nel progetto corrente, seleziona l'ambito Progetto.
      3. Scegli una metrica da monitorare. Ad esempio, per monitorare l'utilizzo degli slot dei job, scegli Utilizzo slot.

    3. Fai clic su Applica.

    4. Nella finestra di dialogo Nuovo elemento, scegli l'aggregazione. Ad esempio, per monitorare l'utilizzo massimo degli slot superiore alla capacità della prenotazione nel periodo di tempo selezionato, scegli Max.

    5. Salva la metrica facendo clic su Fine.

  3. (Facoltativo) Per modificare una metrica esistente, fai clic sul nome della metrica e modifica le relative impostazioni o eliminala.

Tipi di risorse e ambiti supportati per le metriche

Le metriche di utilizzo delle risorse sono classificate in base al tipo e all'ambito della risorsa.

Tipi di risorse

Puoi monitorare i seguenti tipi di risorse:

Risorsa Descrizione
Job Metriche sui dettagli dei job BigQuery per un determinato ambito e periodo di tempo.
Prenotazione Metriche sull'utilizzo delle prenotazioni BigQuery per un determinato ambito e periodo di tempo. Queste metriche aggregano i dettagli dei job per prenotazione. Se hai accesso parziale ai dati a livello di prenotazione, sono disponibili metriche di utilizzo della prenotazione aggregate, senza accesso ai dettagli a livello di job.
Edizione Metriche sulla capacità della versione di BigQuery per un determinato ambito e periodo di tempo.

Tipi di ambito

Dopo aver selezionato una risorsa per una metrica, seleziona un ambito.

  • Le risorse di prenotazione e versione hanno come ambito predefinito il livello di progetto.
  • La risorsa job può essere impostata su ambiti a livello di progetto, cartella o organizzazione. Ambiti più ampi richiedono autorizzazioni aggiuntive.

Raggruppa per

Per raggruppare i dati nel grafico di utilizzo delle risorse, segui questi passaggi:

  1. Nella console Google Cloud , visualizza i grafici di utilizzo delle risorse BigQuery.

  2. Nel riquadro Configurazione grafico, configura il campo Raggruppa per selezionando una delle seguenti opzioni:

    • Nessuna: questa opzione offre una panoramica generale delle metriche scelte nel tempo nell'intera organizzazione.
    • Progetto: questa opzione raggruppa le metriche scelte per progetto. Se sono disponibili più di 50 progetti, vengono visualizzati solo i primi 50 progetti con l'utilizzo di slot più elevato.
    • Tutte le altre opzioni di raggruppamento: queste opzioni sono simili alla visualizzazione per progetto, con i dati raggruppati in base alla rispettiva dimensione. Se un'opzione di raggruppamento non è supportata per tutte le metriche scelte, non può essere selezionata.

Quando configuri il grafico di utilizzo delle risorse, puoi applicare filtri ai dati, ad esempio visualizzando l'utilizzo delle risorse per le risorse Enterprise Edition o in base a un ID risorsa.

Per filtrare i dati del grafico, applica i filtri nel riquadro dei filtri. Puoi selezionare un filtro solo se è supportato per le metriche selezionate. Per visualizzare le autorizzazioni richieste, fai clic sul menu Filtro.

Visualizza i dati di utilizzo delle risorse a livello di progetto

Puoi analizzare l'utilizzo delle risorse a livello di progetto seguendo gli stessi passaggi di configurazione che utilizzeresti per visualizzare i dati a livello di organizzazione. I grafici mostrano solo i dati e le opzioni di configurazione a livello di progetto (le opzioni a livello di organizzazione sono disattivate). Questo ambito a livello di progetto mostra l'utilizzo complessivo delle risorse, indipendentemente dalla modalità di fatturazione all'interno del progetto contestuale.

Limitazioni del grafico di utilizzo delle risorse

  • Il grafico e la tabella al centro della pagina mostrano le metriche pertinenti al periodo di tempo e alla granularità selezionati.
  • Le metriche con la stessa unità condividono la stessa scala. Il grafico supporta fino a due scale diverse.

Passa alla vecchia UI

Per impostazione predefinita, hai accesso ai grafici delle risorse della versione quando navighi dal progetto di amministrazione della prenotazione. Puoi passare dai grafici delle risorse on demand ai grafici delle risorse Edition dal progetto di amministrazione delle prenotazioni (Anteprima).

Per visualizzare i grafici delle risorse, segui questi passaggi:

  1. Vai alla pagina BigQuery.
    Vai a BigQuery
  2. Nel menu Progetto, seleziona il progetto di amministrazione che hai utilizzato per acquistare slot e creare prenotazioni.
  3. Nel menu di navigazione, fai clic su Monitoring.
  4. Nella sezione Opzioni grafico > Ambito, puoi selezionare il modello di fatturazione dall'elenco, che include tre tipi di versioni e on demand. Per impostazione predefinita, il modello di fatturazione è impostato sulla versione Enterprise.
  5. Nella sezione Opzioni grafico > Configurazioni grafico, segui questi passaggi:
    1. Nell'elenco Grafico, seleziona il tipo di grafico. Per informazioni sulle diverse opzioni dei grafici, consulta Opzioni dei grafici.
    2. Nell'elenco Metriche, seleziona il tipo di metrica disponibile.
    3. Dall'elenco Raggruppa per, seleziona la dimensione in base alla quale vuoi raggruppare i dati nel grafico. Per informazioni sulle diverse dimensioni, consulta Opzioni di raggruppamento.
    4. Dall'elenco Filtri, seleziona le opzioni di filtro disponibili. Per informazioni sui diversi filtri, consulta Filtri e ricerca.
    5. Imposta il periodo di tempo per il quale vuoi visualizzare i dati nel grafico.

Configurazioni dei grafici

Puoi regolare la visualizzazione dei grafici delle risorse modificando le seguenti opzioni di configurazione dei grafici.

Opzioni del grafico

BigQuery fornisce i seguenti tipi di metriche da visualizzare nei grafici:

  • Utilizzo slot. Utilizzo slot medio. Se l'opzione Raggruppa per è impostata su Complessivo o se i Filtri sono impostati su Nessuno o su una singola prenotazione, vengono visualizzate anche le metriche di utilizzo della capacità e degli slot presi in prestito.
    • Utilizzo totale. Utilizzo slot medio nel periodo di tempo selezionato.
    • Utilizzo slot in prestito. Utilizzo medio superiore alla capacità della prenotazione. Di solito si tratta di slot inattivi presi in prestito da altre prenotazioni e impegni o di arrotondamenti imprecisi nei dati sull'utilizzo. Nel grafico di utilizzo delle risorse vengono visualizzati slot inattivi aggiuntivi, anche se la condivisione degli slot inattivi è disattivata. L'utilizzo degli slot inattivi è un valore approssimativo e viene calcolato in base a Utilizzo slot, Slot impegnati e Slot con scalabilità automatica. Se il valore di utilizzo degli slot supera la capacità di impegno, il grafico li raggruppa come slot inattivi.
    • Capacità dell'impegno. La dimensione dell'impegno della versione.
    • Capacità di riferimento. La dimensione di base della prenotazione.
    • Capacità di scalabilità automatica. La dimensione degli slot con scalabilità automatica.
    • Capacità massima. Il numero massimo di slot a cui l'utente può accedere.
  • Concorrenza job. Numero massimo di job in esecuzione contemporaneamente nel periodo di tempo selezionato.
  • Prestazioni job. Tempo di esecuzione medio dei job completati, calcolato dal momento della creazione al momento della fine del job.
  • Job non riusciti. Utilizzo slot medio nel periodo di tempo selezionato per i job non riusciti.
  • Byte elaborati. Byte totali elaborati dai job completati nel periodo di tempo selezionato.
  • Utilizzo shuffling. Rapporto di utilizzo casuale medio nel periodo di tempo selezionato (anteprima).
Componente tabella

La tabella mostra le metriche pertinenti al periodo di tempo e alla dimensione che hai selezionato nel grafico delle risorse.

Il grafico Utilizzo slot mostra l'Utilizzo slot medio per tutti i job in esecuzione durante il periodo di tempo selezionato. I job che non sono stati completati nel periodo di tempo selezionato includono solo gli slot utilizzati nel periodo di tempo.

Per il grafico Prestazioni job, il componente della tabella mostra le seguenti metriche:

  • Numero di job. Il numero di job completati eseguiti o parzialmente eseguiti nel periodo di tempo selezionato.
  • Durata media job. La durata media dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.
  • Durata job mediana. La durata mediana dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato.
  • Durata minima del job. La durata minima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi attivarla in Opzioni di visualizzazione delle colonne.
  • Durata massima del job. La durata massima dei job completati che sono stati eseguiti almeno parzialmente nel periodo di tempo selezionato. Questa colonna è nascosta per impostazione predefinita, ma puoi attivarla in Opzioni di visualizzazione delle colonne.

Per il grafico Job non riusciti, il componente della tabella mostra i seguenti dati:

  • Utilizzo slot medio. Uguale al grafico Utilizzo slot, ma solo per i job non riusciti.
  • Totale job non riusciti. Il numero di job non riusciti nel periodo di tempo selezionato.
Opzioni di raggruppamento

In base al tipo di grafico, puoi raggruppare i dati nella visualizzazione del grafico in base a diverse dimensioni:

  • Totale. La visualizzazione complessiva è una panoramica generale della metrica selezionata, nel tempo, nell'intera organizzazione. Per l'utilizzo degli slot, la capacità e l'utilizzo sono mostrati nello stesso grafico per dare un'idea dell'utilizzo complessivo degli slot nel tempo.
  • Project. La visualizzazione Progetto mostra la metrica selezionata raggruppata per progetto. Se un'organizzazione ha più di 10 progetti, vengono visualizzati solo i primi 10 progetti con l'utilizzo di slot, la contemporaneità dei job, la durata dei job o i job non riusciti più elevati nel periodo di tempo selezionato. Per l'utilizzo degli slot, tutti gli altri progetti sono raggruppati nella categoria Altro nella parte inferiore del grafico per un confronto più semplice con la capacità complessiva.
  • Tutte le altre visualizzazioni di raggruppamento sono simili alla visualizzazione del progetto, con i dati raggruppati in base alla rispettiva dimensione.
Opzione periodo di tempo

Puoi modificare il periodo di tempo nei seguenti modi:

  • Seleziona e trascina il periodo di tempo nel grafico a cronologia degli eventi.
  • Seleziona e trascina il periodo di tempo nel grafico principale.

Il periodo di allineamento viene aggiornato automaticamente in base al periodo di tempo selezionato. Più breve è il periodo di allineamento, più dettagliata è la visualizzazione. Per visualizzare meglio le risorse che cambiano di frequente, ad esempio l'opzione Utilizzo slot, riduci il periodo di allineamento.

Filtra ed esegui ricerche

Per restringere i dati del grafico, applica i filtri nel riquadro dei filtri. Alcuni filtri sono disponibili solo per determinati grafici. I filtri Prenotazioni, Cartelle, Progetti e Utenti vengono compilati con le rispettive risorse che hanno utilizzato slot nel periodo di tempo selezionato. Ad esempio, se un progetto non è stato utilizzato negli ultimi 30 giorni, non viene visualizzato nell'elenco dei filtri dei progetti.

Il grafico viene aggiornato dopo l'applicazione dei filtri per mostrare i dati all'interno dei parametri selezionati.

Monitora la scalabilità automatica

Quando monitori l'utilizzo degli slot con i grafici delle risorse amministrative, potresti notare un numero di slot scalati significativamente superiore rispetto all'utilizzo degli slot, perché i grafici uniformano il numero di slot utilizzati nel periodo di allineamento. Per visualizzare l'utilizzo degli slot con scalabilità automatica con dettagli più precisi, riduci l'opzione del periodo di tempo. In questo modo, il periodo di allineamento viene aggiornato automaticamente a un incremento inferiore.

Nell'esempio seguente, il grafico mostra un numero di slot scalati significativamente superiore rispetto alle esigenze del workload.

Il periodo di allineamento è impostato su un intervallo di un minuto e gli slot scalati sono superiori alle richieste di utilizzo degli slot.

Tuttavia, se riduci il periodo di tempo in modo che il periodo di allineamento sia di due secondi, puoi vedere che il gestore della scalabilità automatica si adatta alla domanda del workload e visualizza dati più accurati. Puoi regolare l'opzione del periodo di tempo trascinando gli intervalli di inizio e di fine dell'opzione del periodo di tempo. Per visualizzare i dati più accurati sulla domanda del workload, seleziona p99 dall'elenco Metrica.

Il periodo di allineamento è impostato su un intervallo di due secondi e gli slot scalati sono appropriati per la domanda del workload.

Per una visualizzazione più accurata dell'utilizzo della scalabilità automatica, utilizza un periodo di allineamento compreso tra 1 e 15 secondi.

Per informazioni sulla visualizzazione dell'utilizzo degli slot, consulta Visualizza i grafici delle risorse amministrative.

Monitora il rendimento dei job

Potresti dover modificare la configurazione della scalabilità automatica max_slots per evitare costi più elevati. La seguente query fornisce il contesto sulle prestazioni del job, in modo che tu possa scegliere la quantità corretta di slot con scalabilità automatica per il tuo workload.

La seguente query fornisce dettagli sul rendimento dei job precedenti delle tue prenotazioni:

SELECT
    AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms,
    SUM(total_bytes_processed) as total_bytes,
    COUNT(*) as query_numbers,
FROM
    `PROJECT_ID.region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE creation_time >= START_TIME
    AND creation_time < END_TIME
    AND (statement_type != "SCRIPT" OR statement_type IS NULL)
    AND reservation_id = RESERVATION_ID

Sostituisci quanto segue:

  • PROJECT_ID: l'ID progetto
  • REGION_NAME: la regione del progetto
  • START_TIME: la data e l'ora di creazione da cui vuoi iniziare a visualizzare i dati
  • END_TIME: l'ora di creazione in cui vuoi interrompere la visualizzazione dei dati
  • RESERVATION_ID: l'ID della prenotazione

L'esempio seguente recupera i dettagli del job per un periodo di cinque giorni:

SELECT
    AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms,
    SUM(total_bytes_processed) as total_bytes,
    COUNT(*) as query_numbers,
FROM
    `myproject.region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE creation_time >= '2024-06-25 00:00:00-07'
    AND creation_time < '2024-06-30 00:00:00-07'
    AND (statement_type != "SCRIPT" OR statement_type IS NULL)
    AND reservation_id = reservationID

Risolvi i problemi di contesa slot

La contesa degli slot può verificarsi quando non ci sono abbastanza slot per eseguire tutti i job, causando problemi di prestazioni. Per analizzare se il peggioramento delle prestazioni deriva da un aumento del workload o da modifiche alla configurazione dell'ambiente, puoi confrontare due intervalli di sistema tra prenotazioni e progetti.

Per risolvere i problemi di conflitto di slot, segui questi passaggi e queste best practice.

Se hai provato queste best practice, ma riscontri ancora problemi di prestazioni dei job, puoi richiedere assistenza.

Picchi di concorrenza dei job

Utilizza la visualizzazione dettagliata nei grafici delle risorse amministrative per verificare se si è verificato un aumento improvviso delle esecuzioni dei job con picchi di utilizzo simultaneo degli slot. Questi picchi possono indicare che troppi job sono in competizione per gli slot disponibili nella prenotazione.

Best practice: valuta la possibilità di ottimizzare le query che richiedono un utilizzo intensivo delle risorse o di aumentare la capacità degli slot della prenotazione. Per saperne di più sull'ottimizzazione delle prestazioni delle query, consulta Ottimizza il calcolo delle query.

Utilizzo elevato degli slot

Utilizza la visualizzazione dettagliata per verificare se la durata dei job è aumentata, soprattutto se sono presenti job che superano la capacità massima della prenotazione. Un utilizzo costantemente elevato degli slot può indicare una contesa degli slot in corso.

Best practice: controlla le query utilizzando il filtro di conflitto degli slot di Esplora job per identificare le query che consumano più slot e ottimizzarle.

Durate dei job lunghe

Se i job richiedono molto più tempo per essere completati, controlla la visualizzazione dettagliata. Un'elevata contemporaneità dei job e picchi di utilizzo degli slot possono indicare una contesa degli slot.

Best practice: isola i job critici mettendo temporaneamente in pausa i job meno importanti o riducendo la frequenza complessiva di invio dei job.

Messaggi di contesa slot

La tabella degli insight può visualizzare messaggi come There were NUMBER jobs detected with slot_contention in the reservation. che indicano problemi di conflitto di slot. Controlla Esplora job per esaminare i dettagli dei job specifici segnalati in questi messaggi.

Best practice: ottimizza le query identificate o modifica l'allocazione degli slot della prenotazione.

Passaggi successivi