Monitora i job

In qualità di amministratore di BigQuery, puoi monitorare i job della tua organizzazione tramite un'esplorazione dei job amministrativi nella console Google Cloud . Esplora job fornisce filtri e opzioni di ordinamento per identificare, confrontare e risolvere i problemi dei job. Non è necessario scrivere query INFORMATION_SCHEMA per visualizzare i dettagli del job, come proprietario, progetto, utilizzo degli slot, durata e altro ancora.

Per monitorare la capacità, gli impegni slot e l'utilizzo delle prenotazioni a lungo termine all'interno della tua organizzazione, consulta Monitora l'integrità e l'utilizzo delle risorse.

Con lo Strumento esplora job puoi:

  • Filtra e identifica i job. Cerca query specifiche nella tua organizzazione applicando filtri in base a criteri quali stato del job, durata, proprietario o utilizzo degli slot.
  • Analizza le metriche della cronologia. Monitora le tendenze di esecuzione dei job e la contemporaneità nel tempo con il grafico delle metriche.
  • Aggrega i job per risorsa. Raggruppa i job per proprietario, progetto o prenotazione per visualizzare le statistiche di riepilogo ed eseguire il drill down nelle tabelle filtrate.
  • Risolvi i problemi relativi ai job. Seleziona i singoli job per visualizzare i grafici di esecuzione delle query, il testo SQL e la cronologia di esecuzione nella pagina Dettagli job (anteprima).
  • Confronta il rendimento. Confronta i job (anteprima) per evidenziare differenze significative nelle metriche e risolvere potenziali problemi di prestazioni.
  • Ricevi assistenza AI. Utilizza Gemini Code Assist direttamente da Explorer job (anteprima) per analizzare le statistiche dei job o spiegare le query con esecuzione lenta.

BigQuery fornisce i dettagli e gli insight dei job dalle seguenti viste INFORMATION_SCHEMA:

Prima di iniziare

Per utilizzare Gemini Code Assist per risolvere i problemi dei job in BigQuery (anteprima), consulta Configura Gemini Code Assist per abilitare l'API e assegnare i ruoli richiesti.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per utilizzare Esplora job per monitorare i job, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Visualizza i job a livello di progetto: BigQuery Resource Viewer (roles/bigquery.resourceViewer) sul progetto
  • Visualizza i job a livello di organizzazione: BigQuery Resource Viewer (roles/bigquery.resourceViewer) nell'organizzazione
  • Visualizza i dettagli del job: BigQuery Resource Viewer (roles/bigquery.resourceViewer) sul progetto in cui sono state eseguite le query
  • Visualizza i dettagli a livello di sistema: BigQuery Resource Viewer (roles/bigquery.resourceViewer) nel progetto di amministrazione

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per utilizzare Esplora job per monitorare i job. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per utilizzare Esplora job per monitorare i job, sono necessarie le seguenti autorizzazioni:

  • Visualizza i job a livello di progetto: bigquery.jobs.listAll sul progetto
  • Visualizza i job a livello di organizzazione: bigquery.jobs.listAll sull'organizzazione

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per utilizzare Gemini Code Assist per risolvere i problemi dei job, consulta i requisiti IAM aggiuntivi per l'utilizzo di Gemini Code Assist.

Filtra job

Per filtrare i job per le query contenute nelle viste INFORMATION_SCHEMA.JOBS*, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu di navigazione, fai clic su Esplora job.

  3. Nella pagina Esplora job, nel campo Località, seleziona la località per cui vuoi visualizzare i job.

  4. Nel riquadro Filtri, applica i filtri facoltativi in base alle necessità. Se questo riquadro non è visibile, fai clic su insert_chart Mostra filtri.

    Sono disponibili i seguenti filtri:

    • Ambito del job: filtra i job in base al livello di visibilità, ad esempio il progetto corrente, l'organizzazione e i tuoi job. Puoi scegliere di visualizzare i job del progetto corrente, dell'intera organizzazione o solo i job che hai avviato.
    • Visualizzazione grafico:
      • Job completati: visualizza i dati degli Spostamenti per le query completate, distinguendo tra i job completati correttamente e quelli che hanno generato errori.
      • Contenuti contemporanei: visualizza i dati degli Spostamenti per la concorrenza delle query, distinguendo tra job attivi e job in coda.
    • Raggruppa per: raggruppa i job visualizzati in base a una risorsa specifica, ad esempio proprietario, progetto o prenotazione. Per saperne di più, consulta Raggruppa i job per risorsa.
    • Stato: filtra i job in base allo stato di esecuzione corrente, ad esempio completato, errore, attivo e in coda. I conteggi di riepilogo vengono visualizzati direttamente accanto a ogni opzione di filtro di stato con più attributi per indicare il numero di job in quello stato.
    • ID progetto: filtra i job eseguiti in un progetto specifico.
    • ID prenotazione: filtra i job che hanno utilizzato gli slot di una prenotazione specifica. In questo modo puoi monitorare il modo in cui i diversi workload consumano la capacità prenotata.
    • Proprietario: filtra i job in base all'indirizzo email dell'utente o del account di servizio che ha avviato il job.
    • ID job: filtra in base a un job specifico in base al suo identificatore alfanumerico univoco.
    • Hash di query: filtra i job con un hash di query specifico. Un hash della query identifica la logica di una query, ignorando le differenze nei commenti, nei valori parametro, nelle funzioni definite dall'utente e nei valori letterali, il che ti aiuta a trovare tutte le esecuzioni della stessa logica della query. Questo campo viene visualizzato per le query GoogleSQL riuscite che non sono successi della cache.
    • Etichette: filtra i job in base alle etichette dei metadati personalizzati che tu o la tua organizzazione avete associato ai job. In questo modo puoi classificare e monitorare i job per reparto o applicazione.
    • Query Insights: filtra i job che BigQuery ha identificato come aventi problemi di prestazioni specifici, come conflitto di slot, capacità di shuffle della memoria superata e modifica della scala di input dei dati.
    • Tempo di slot superiore a: filtra i job che hanno utilizzato più di una quantità specificata di slot-millisecondi. Si tratta di una metrica chiave per identificare le query che richiedono un uso intensivo di risorse.
    • Durata superiore a: filtra i job che hanno richiesto più tempo del previsto per essere completati. Utilizzalo per trovare le query che vengono eseguite più lentamente del previsto.
    • Byte elaborati più di: filtra i job che hanno scansionato più di una quantità di dati specificata. In questo modo puoi identificare le query che potrebbero contribuire a costi elevati di trattamento dati.
    • Categoria job: filtra i job in base al tipo di operazione eseguita, ad esempio query SQL standard o query continue utilizzate per l'elaborazione dei dati in tempo reale.
    • Motivo creazione job: filtra i job in base al motivo per cui BigQuery li ha creati, ad esempio quando una query supera un timeout o produce risultati troppo grandi per una singola risposta.
    • Priorità job: filtra i job in base alla priorità di esecuzione, ad esempio job interattivi o job batch.

Visualizza le metriche della sequenza temporale dei job

Esplora job include un grafico delle metriche interattivo che mostra i dati della cronologia per le query che corrispondono ai criteri di filtro. Puoi utilizzare questo grafico per valutare i pattern dei workload e identificare aumenti improvvisi dei job completati, attivi o in coda. Per le tendenze di concorrenza storiche a livello di organizzazione in finestre temporali più lunghe, consulta Grafici a cronologia delle metriche.

Per configurare il grafico delle metriche in Esplora job, segui questi passaggi:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. Vai al riquadro Filtri. Se questo riquadro non è visibile, fai clic su insert_chart Mostra filtri.

  3. Seleziona la metrica da visualizzare nel grafico:

    • Job completati: visualizza i dati degli Spostamenti per le query completate, distinguendo tra i job completati correttamente e quelli che hanno generato errori.
    • Concorrenza: visualizza i dati degli Spostamenti per la concorrenza delle query, distinguendo tra job attivi e job in coda.

Raggruppa i job per risorsa

Per aggregare le statistiche dei job e confrontare il consumo nell'organizzazione, puoi raggruppare i job per proprietario, progetto o prenotazione anziché visualizzare i singoli job in una tabella non aggregata.

Per raggruppare i job:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. Vai al riquadro Filtri. Se questo riquadro non è visibile, fai clic su insert_chart Mostra filtri.

  3. Fai clic su Raggruppa per e seleziona una delle seguenti opzioni:

    • Nessuno (valore predefinito): mostra la tabella non aggregata dei singoli job.
    • Proprietario: raggruppa i job in base all'indirizzo email dell'utente o del account di servizio che ha eseguito il job.
    • Progetto: raggruppa i job in base all'ID progetto.
    • Prenotazione: raggruppa i job in base all'ID prenotazione.

Quando imposti Raggruppa per su Proprietario, Progetto o Prenotazione, BigQuery visualizza una vista aggregata con riquadri di riepilogo per ogni risorsa. Ogni riquadro mostra le seguenti statistiche di riepilogo:

  • Job attivi: il numero di job in esecuzione.
  • Job in coda: il numero di job in attesa nella coda delle query.
  • Job con errori: il numero di job che non sono stati completati.
  • Job completati: il numero di job completati correttamente.
  • Tempo slot: il totale di slot-millisecondi consumati dai job per quella risorsa.
  • Byte elaborati: il volume totale di dati scansionati dai job per quella risorsa.

Per esaminare i singoli job associati a una risorsa specifica, fai clic sul riquadro della risorsa per espanderlo e visualizzare una tabella filtrata dei relativi job.

Risolvi i problemi relativi alle prestazioni dei job

Per diagnosticare e risolvere i problemi relativi alle query, puoi visualizzare le metriche di esecuzione, il testo SQL e le variazioni del rendimento storico nella pagina Dettagli job.

Visualizza i dettagli del job

Per visualizzare i dettagli di un job e analizzare l'esecuzione delle query:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i job visualizzati, filtrali.

  3. Fai clic sull'ID job del job che vuoi esaminare. Per le query che non creano un job, viene visualizzato l'ID query e il link è disattivato. Se fai clic su un ID job valido, si apre la pagina Dettagli job con la scheda Prestazioni visualizzata per impostazione predefinita.

Informazioni sulle query disponibili

Per aiutarti a diagnosticare le prestazioni delle query, la scheda Prestazioni nei dettagli del job raccoglie le seguenti informazioni e metriche, se applicabili:

  • Dettagli job: informazioni sul job, tra cui ID job, ora di creazione, byte elaborati e utilizzo degli slot. Per saperne di più, consulta Visualizza i dettagli del job.
  • Cronologia esecuzioni: un elenco delle esecuzioni storiche della query, raggruppate per hash della query. Puoi selezionare un job da questo elenco per confrontarlo direttamente con il tuo job attuale. Per saperne di più, consulta Confronta i job.

  • Grafico di esecuzione: una rappresentazione visiva delle fasi di esecuzione della query. Espandi la sezione Grafico di esecuzione per esaminare la contesa degli slot, la capacità di shuffle e la scala di input dei dati. Per saperne di più, consulta Ottieni insight sulle prestazioni delle query.

    L'esempio seguente mostra un grafico di esecuzione con la mappatura del testo SQL abilitata:

    Grafico di esecuzione per i job.

  • Carico di sistema durante l'esecuzione: un riepilogo delle risorse di computing e delle impostazioni di prenotazione allocate durante l'esecuzione del job.

Diagnostica le regressioni delle prestazioni confrontando job e sistemi

Lo strumento di confronto delle prestazioni ti consente di analizzare le differenze di prestazioni tra due job di query o tra due intervalli di sistema. L'analisi mostra i dettagli delle query, le variazioni di utilizzo delle risorse e le impostazioni dell'ambiente di sistema che differiscono in modo significativo tra gli ambienti di riferimento e di destinazione.

Informazioni sull'analisi di confronto

Lo strumento di confronto valuta il rendimento in base alle metriche a livello di query e ai fattori a livello di sistema. Puoi attivare l'opzione Mostra solo le differenze significative per limitare la visualizzazione alle metriche con una variazione superiore al 20%.

Le differenze significative sono codificate per colore per aiutarti a individuare i problemi:

  • Verde: la metrica è migliorata (ad esempio, una durata della query più breve nell'esecuzione target).
  • Giallo: la metrica è peggiorata di meno del 20%.
  • Rosso: la metrica è peggiorata di oltre il 20%.

Confronta due job

Per confrontare un job di riferimento con l'esecuzione di un job di destinazione, segui questi passaggi:

  1. Apri la pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i job visualizzati, filtrali.

  3. Fai clic sull'ID job del job di riferimento per aprire la pagina Dettagli job e seleziona la scheda Prestazioni.

  4. Nel menu Azioni, fai clic su Confronta job.

  5. Nel campo Job uno (job di riferimento), fai clic su Sfoglia per aprire il riquadro Job simili confrontabili.

  6. Seleziona il job di destinazione da confrontare con la base di riferimento e fai clic su Confronta.

  7. (Facoltativo) Per concentrarti sulle principali regressioni del rendimento, attiva Mostra solo le differenze significative. In questo modo, la visualizzazione viene limitata alle metriche con una varianza superiore al 20%.

Per modificare i job messi a confronto in qualsiasi momento, fai clic su Sfoglia nei campi dei job di riferimento o di destinazione e seleziona un nuovo job dall'elenco dei job confrontabili.

Analisi a livello di query

Dopo aver confrontato due job, puoi visualizzare la sezione Analisi a livello di query, che confronta due esecuzioni di job in tre schede:

  • Metriche: confronta le metriche principali delle query, come la durata del job, il tempo di slot, i byte elaborati e gli acceleratori inutilizzati.
  • Testo SQL: mostra le istruzioni SQL per entrambi i job ed evidenzia le differenze di testo.
  • Grafico di esecuzione: confronta i grafici di esecuzione di entrambi i job fase per fase per individuare i colli di bottiglia.

Confronta due intervalli di sistema

Gli amministratori e gli analisti possono analizzare metriche più ampie dell'ambiente eseguendo un confronto delle prestazioni del sistema. Questo strumento ti consente di confrontare gli intervalli storici tra prenotazioni e progetti specifici per comprendere i cambiamenti di utilizzo e isolare se il peggioramento delle prestazioni ha avuto origine internamente o esternamente al tuo workload.

Puoi accedere alla visualizzazione di confronto delle prestazioni del sistema in uno dei seguenti modi:

  • Nella pagina Dettagli job, dopo aver confrontato due job, fai clic su Visualizza altro nella sezione Output a livello di sistema per visualizzare i dettagli del confronto del sistema.
  • Se utilizzi Gemini Cloud Assist per eseguire un confronto dei sistemi, Gemini Cloud Assist genera un link che apre i risultati del confronto dei sistemi.

Per eseguire un confronto a livello di sistema su periodi di tempo distinti, segui questi passaggi:

  1. Nella visualizzazione Confronto delle prestazioni del sistema, fai clic su Sistema.
  2. Seleziona il sistema in cui vuoi analizzare il rendimento facendo clic su Sfoglia e selezionando un ambito di prenotazione o di progetto.
  3. Definisci i periodi di tempo di confronto:
    • Intervallo target: seleziona la finestra di data e ora per il periodo in cui si verificano problemi di prestazioni e fai clic su Applica.
    • Intervallo di riferimento: seleziona la data e la finestra temporale di riferimento da utilizzare come benchmark delle prestazioni e fai clic su Applica.

Analisi a livello di sistema

Dopo aver confrontato gli intervalli, la visualizzazione mappa le variazioni di utilizzo, le variazioni di concorrenza e le differenze di impostazione nell'ambiente selezionato rispetto al gruppo principale. In questo modo puoi determinare se la contesa degli slot o le regressioni della configurazione stanno influendo sul tuo workload. I dati vengono generati in tre blocchi:

  • Progetto: confronta la concorrenza dei job, la concorrenza in coda e l'utilizzo totale degli slot a livello di progetto.
  • Prenotazione: confronta l'utilizzo delle prenotazioni, la condivisione degli slot inattivi e la concorrenza dei progetti tra le prenotazioni condivise.
  • Analisi della configurazione: confronta le impostazioni di gestione del Workload Manager tra le due esecuzioni, ad esempio i limiti massimi di dimensione della prenotazione e le regole di prestito degli slot inattivi.

Utilizza gli insight per la risoluzione dei problemi relativi alle prestazioni degli agenti

Per fornire un feedback o richiedere assistenza per questa funzionalità, invia un'email all'indirizzo bq-performance-troubleshooting+feedback@google.com.

Quando monitori le attività di amministrazione o valuti i confronti delle prestazioni, BigQuery integra la diagnostica di osservabilità sottostante con Gemini Cloud Assist per trasformare il riquadro della chat in un assistente attivo per la risoluzione dei problemi mentre risolvi le anomalie a livello di job e di sistema.

L'accesso agli insight è controllato; senza autorizzazioni sufficienti, gli insight che ricevi potrebbero essere limitati. Per saperne di più sulle autorizzazioni, consulta Controlla l'accesso alle risorse con IAM.

Risolvi i problemi di prestazioni nella chat

Per inizializzare la risoluzione dei problemi sensibile al contesto e agire in base agli insight sulle prestazioni, segui questi passaggi:

  1. Per aprire il riquadro della chat di Gemini Cloud Assist e caricare automaticamente il contesto pertinente del job o del sistema, esegui una delle seguenti operazioni:
    • Nelle pagine Explorer job o Cronologia job, passa il mouse sopra un job e fai clic su astrophotography_mode Gemini nella riga della tabella.
    • Nella pagina Gestione dei workload, passa il mouse sopra una prenotazione e fai clic su astrophotography_mode Gemini nella riga della tabella.
    • In Studio, Monitoring o Explorer job, fai clic su astrophotography_mode Gemini.
  2. Invia un prompt in linguaggio naturale. Ad esempio, chiedi a Gemini di spiegare perché un job è lento, analizzare statistiche di job specifiche, analizzare le prestazioni di prenotazioni specifiche, risolvere problemi di prestazioni del sistema o confrontare le variazioni di prestazioni tra due job storici simili.
  3. Se viene superata una soglia a livello di organizzazione o di prenotazione, ad esempio una grave coda di slot dovuta a un aumento imprevisto della concorrenza dei progetti attivi, esamina il report Insight sulle prestazioni generato. Questo report descrive in dettaglio i colli di bottiglia critici, ad esempio:
    • Concorrenza in coda aumentata: picchi di richieste di query simultanee che superano i limiti di concorrenza flessibile o le allocazioni di slot di prenotazione.
    • Maggiore contemporaneità dei progetti: monitoraggio dei progetti ad alta contemporaneità o degli account utente principali che generano il carico del sistema tra prenotazioni condivise o quote on demand.
  4. Osserva la tabella Confronto delle metriche chiave per individuare differenze numeriche precise, come variazioni della contemporaneità media dei progetti, degli slot in coda o dei limiti massimi di slot di prenotazione.

  5. Esegui soluzioni in linea direttamente tramite i link di handoff utilizzabili generati da Gemini Cloud Assist. Queste scorciatoie ti reindirizzano a strumenti specifici all'interno del prodotto con un contesto precompilato per rispondere alle tue domande e risolvere i problemi:

    • Modifica prenotazione: apre il riquadro laterale di gestione di Workload Manager per regolare le dimensioni massime della prenotazione o attivare le funzionalità di scalabilità avanzate.
    • Visualizza le prestazioni del job in Esplora job: apre la scheda dei dettagli delle prestazioni per il job specifico.
    • Confronta le prestazioni dei job in Esplora job: confronta le prestazioni di due job affiancati.

Prezzi

Explorer dei job è disponibile senza costi aggiuntivi. Le query utilizzate per compilare questi grafici non vengono fatturate e non utilizzano slot nelle prenotazioni di proprietà degli utenti. Le query che elaborano troppi dati scadono.

Passaggi successivi