Monitorare i job

In qualità di amministratore BigQuery, puoi monitorare i job nella tua organizzazione tramite uno strumento di esplorazione dei job amministrativi nella console Google Cloud . Esplora job fornisce opzioni di filtro e ordinamento per identificare, confrontare e risolvere i problemi relativi ai job. Non devi scrivere query INFORMATION_SCHEMA per visualizzare i dettagli del job, come proprietario, progetto, utilizzo degli slot, durata e altro ancora.

Per monitorare la capacità, gli impegni di slot e l'utilizzo delle prenotazioni a lungo termine nella tua organizzazione, consulta Monitorare l'integrità e l'utilizzo delle risorse.

Con lo strumento di esplorazione dei lavori puoi:

  • Filtra e identifica i job. Cerca query specifiche nella tua organizzazione applicando filtri in base a criteri come stato del job, durata, proprietario o utilizzo degli slot.
  • Analizza le metriche della sequenza temporale. Monitora le tendenze di esecuzione dei job e la concorrenza nel tempo con il grafico delle metriche.
  • Aggrega i job per risorsa. Raggruppa i job per proprietario, progetto o prenotazione per visualizzare le statistiche di riepilogo e visualizzare in dettaglio le tabelle filtrate.
  • Risolvi i problemi relativi ai job. Seleziona singoli job per visualizzare i grafici di esecuzione delle query, il testo SQL e la cronologia di esecuzione nella pagina Dettagli job (anteprima).
  • Confronta il rendimento. Confronta i job (anteprima) per evidenziare differenze significative tra le metriche e risolvere potenziali problemi di rendimento.
  • Ricevi assistenza dall'AI. Utilizza Gemini Code Assist direttamente dall'esploratore di job (anteprima) per analizzare le statistiche dei job o spiegare le query a esecuzione lenta.

BigQuery fornisce i dettagli e gli approfondimenti del job dalle seguenti viste INFORMATION_SCHEMA:

Prima di iniziare

Per utilizzare Gemini Code Assist per risolvere i problemi relativi ai job in BigQuery (anteprima), consulta la sezione Configurare Gemini Code Assist per abilitare l'API e assegnare i ruoli richiesti.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per utilizzare l'esploratore di job per monitorare i job, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per utilizzare Esplora job per monitorare i job. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per utilizzare Esplora job per monitorare i job sono necessarie le seguenti autorizzazioni:

  • Visualizza i job a livello di progetto: bigquery.jobs.listAll sul progetto
  • Visualizza i job a livello di organizzazione: bigquery.jobs.listAll nell'organizzazione

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per utilizzare Gemini Code Assist per risolvere i problemi relativi ai job, consulta i requisiti IAM aggiuntivi per l'utilizzo di Gemini Code Assist.

Filtra job

Per filtrare i job per le query contenute nelle visualizzazioni INFORMATION_SCHEMA.JOBS*:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu di navigazione, fai clic su Esplora job.

  3. Nella pagina Esplora job, nel campo Località, seleziona la località per cui vuoi visualizzare i job.

  4. Nel riquadro Filtri, applica i filtri facoltativi in base alle necessità. Se questo riquadro non è visibile, fai clic su insert_chart Mostra filtri.

    Sono disponibili i seguenti filtri:

    • Ambito del job: filtra i job in base al loro livello di visibilità, ad esempio il progetto corrente, l'organizzazione e i tuoi job. Puoi scegliere di visualizzare i job del progetto corrente, dell'intera organizzazione o solo quelli che hai avviato.
    • Visualizzazione grafico:
      • Job terminati: mostra i dati della cronologia per le query completate, distinguendo tra i job completati correttamente e quelli che hanno generato errori.
      • Contemporaneità: mostra i dati della cronologia per la contemporaneità delle query, distinguendo tra job attivi e job in coda.
    • Raggruppa per: raggruppa i job visualizzati in base a una risorsa specifica, ad esempio proprietario, progetto o prenotazione. Per saperne di più, consulta Raggruppare i job per risorsa.
    • Stato: filtra i job in base al loro stato di esecuzione attuale, ad esempio completato, errore, attivo e in coda. I conteggi riepilogativi vengono visualizzati direttamente accanto a ogni opzione di filtro dello stato sfaccettato per indicare il numero di job in quello stato.
    • ID progetto: filtra i job eseguiti in un progetto specifico.
    • ID prenotazione: filtra i job che hanno utilizzato slot di una prenotazione specifica. In questo modo puoi monitorare il consumo della capacità riservata da parte di diversi workload.
    • Proprietario: filtra i job in base all'indirizzo email dell'utente o del account di servizio che ha avviato il job.
    • ID job: filtra un job specifico in base al suo identificatore alfanumerico univoco.
    • Hash di query: filtra i job con un hash di query specifico. Un hash della query identifica la logica di una query, ignorando le differenze nei commenti, nei valori dei parametri, nelle UDF e nei valori letterali, il che ti aiuta a trovare tutte le esecuzioni della stessa logica di query. Questo campo viene visualizzato per le query GoogleSQL riuscite che non sono hit della cache.
    • Etichette: filtra i job in base alle etichette dei metadati personalizzati che tu o la tua organizzazione avete allegato. In questo modo puoi classificare e monitorare i lavori per reparto o applicazione.
    • Approfondimenti sulle query: filtra i job che BigQuery ha identificato come aventi problemi di prestazioni specifici, come contesa degli slot, capacità di shuffle della memoria superata e modifica della scalabilità dell'input di dati.
    • Tempo di slot maggiore di: filtra i job che hanno consumato più di una quantità specificata di slot-millisecondi. Questa è una metrica chiave per identificare le query che utilizzano molte risorse.
    • Durata maggiore di: filtra i job che hanno richiesto più tempo del periodo di tempo specificato per essere completati. Utilizza questo valore per trovare le query che vengono eseguite più lentamente del previsto.
    • Byte elaborati più di: filtra i job che hanno analizzato più di una quantità specificata di dati. In questo modo, puoi identificare le query che potrebbero contribuire a costi elevati di elaborazione dei dati.
    • Categoria job: filtra i job in base al tipo di operazione eseguita, ad esempio query SQL standard o query continue utilizzate per l'elaborazione dei dati in tempo reale.
    • Motivo creazione job: filtra i job in base al motivo per cui BigQuery li ha creati, ad esempio quando una query supera un timeout o produce risultati troppo grandi per una singola risposta.
    • Priorità del job: filtra i job in base alla priorità di esecuzione, ad esempio job interattivi o batch.

Visualizzare le metriche della sequenza temporale del job

Esplora job include un grafico delle metriche interattivo che mostra i dati della cronologia per le query che corrispondono ai tuoi criteri di filtro. Puoi utilizzare questo grafico per valutare i pattern di workload e identificare aumenti improvvisi di job completati, attivi o in coda. Per visualizzare le tendenze storiche della concorrenza a livello di organizzazione in finestre temporali più lunghe, consulta Grafici della cronologia delle metriche.

Per configurare il grafico delle metriche in Esplora job:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. Vai al riquadro Filtri. Se questo riquadro non è visibile, fai clic su insert_chart Mostra filtri.

  3. Seleziona la metrica da visualizzare nel grafico:

    • Job terminati: mostra i dati della cronologia per le query completate, distinguendo tra i job completati correttamente e quelli che hanno generato errori.
    • Contemporaneità: mostra i dati della cronologia per la contemporaneità delle query, distinguendo tra job attivi e job in coda.

Raggruppa i job per risorsa

Per aggregare le statistiche dei job e confrontare il consumo all'interno dell'organizzazione, puoi raggruppare i job per proprietario, progetto o prenotazione anziché visualizzare i singoli job in una tabella non aggregata.

Per raggruppare i job:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. Vai al riquadro Filtri. Se questo riquadro non è visibile, fai clic su insert_chart Mostra filtri.

  3. Fai clic su Raggruppa per e seleziona una delle seguenti opzioni:

    • Nessuno (valore predefinito): mostra la tabella non aggregata dei singoli lavori.
    • Proprietario: raggruppa i job in base all'indirizzo email dell'utente o del account di servizio che ha eseguito il job.
    • Progetto: raggruppa i job per ID progetto.
    • Prenotazione: raggruppa i lavori in base all'ID prenotazione.

Quando imposti Raggruppa per su Proprietario, Progetto o Prenotazione, BigQuery mostra una visualizzazione aggregata con pannelli di riepilogo per ogni risorsa. Ogni riquadro mostra le seguenti statistiche riepilogative:

  • Job attivi: il numero di job in esecuzione.
  • Job in coda: il numero di job in attesa nella coda di query.
  • Job con errori: il numero di job che non sono stati completati.
  • Job completati: il numero di job completati correttamente.
  • Tempo slot: il totale dei slot-millisecondi utilizzati dai job per la risorsa.
  • Byte elaborati: il volume totale di dati analizzati dai job per la risorsa.

Per esaminare i singoli job associati a una risorsa specifica, fai clic sul pannello della risorsa per espanderlo e visualizzare una tabella filtrata dei relativi job.

Risolvi i problemi di prestazioni dei job

Per diagnosticare e risolvere i problemi relativi alle query, puoi visualizzare le metriche di esecuzione, il testo SQL e le variazioni del rendimento storico nella pagina Dettagli job.

Visualizza i dettagli del job

Per visualizzare i dettagli di un job e analizzare l'esecuzione della query:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i lavori visualizzati, filtrali.

  3. Fai clic sull'ID del job che vuoi esaminare. Per le query che non creano un job, viene visualizzato l'ID query e il link è disattivato. Se fai clic su un ID job valido, si apre la pagina Dettagli job con la scheda Rendimento visualizzata per impostazione predefinita.

Informazioni sulle query disponibili

Per aiutarti a diagnosticare il rendimento delle query, la scheda Rendimento nei dettagli del job compila le seguenti informazioni e metriche, se applicabili:

  • Dettagli del job: informazioni sul job, tra cui ID job, ora di creazione, byte elaborati e utilizzo degli slot. Per saperne di più, consulta Visualizzare i dettagli del job.
  • Cronologia esecuzioni: un elenco delle esecuzioni storiche della query, raggruppate per hash della query. Puoi selezionare un job da questo elenco per confrontarlo direttamente con il tuo job attuale. Per saperne di più, vedi Confrontare i job.

  • Grafico di esecuzione: una rappresentazione visiva delle fasi di esecuzione della query. Espandi la sezione Grafico di esecuzione per esaminare la contesa degli slot, la capacità di shuffle e la scala di input dei dati. Per saperne di più, consulta Ottenere approfondimenti sul rendimento delle query.

    Il seguente esempio mostra un grafico di esecuzione con la mappatura del testo SQL attivata:

    Grafico di esecuzione dei job.

  • Carico di sistema durante l'esecuzione: un riepilogo delle risorse di calcolo e delle impostazioni di prenotazione allocate durante l'esecuzione del job.

Diagnosticare le regressioni delle prestazioni confrontando job e sistemi

Lo strumento di confronto del rendimento ti consente di analizzare le differenze di rendimento tra due job di query o in due intervalli di sistema. L'analisi mostra i dettagli delle query, le variazioni dell'utilizzo delle risorse e le impostazioni dell'ambiente di sistema che differiscono in modo significativo tra gli ambienti di base e di destinazione.

Comprendere l'analisi comparativa

Lo strumento di confronto valuta il rendimento in base alle metriche a livello di query e ai fattori a livello di sistema. Puoi attivare/disattivare l'opzione Mostra solo le differenze significative per limitare la visualizzazione alle metriche con una varianza superiore al 20%.

Le differenze significative sono codificate per colore per aiutarti a individuare i problemi:

  • Verde: la metrica è migliorata (ad esempio, una durata della query più breve nell'esecuzione di destinazione).
  • Giallo: la metrica è peggiorata di meno del 20%.
  • Rosso: la metrica è peggiorata di oltre il 20%.

Confronta due job

Per confrontare un job di riferimento con l'esecuzione di un job di destinazione:

  1. Apri la pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i lavori visualizzati, filtrali.

  3. Fai clic sull'ID job del job di base per aprire la pagina Dettagli job e seleziona la scheda Rendimento.

  4. Nel menu Azioni, fai clic su Confronta lavoro.

  5. Nel campo Job 1 (job di base), fai clic su Sfoglia per aprire il riquadro Job comparabili simili.

  6. Seleziona il job di destinazione che vuoi confrontare con la baseline e fai clic su Confronta.

  7. (Facoltativo) Per concentrarti sulle principali regressioni del rendimento, attiva Mostra solo le differenze significative. In questo modo, la visualizzazione viene limitata alle metriche con una varianza superiore al 20%.

Per modificare i job confrontati in qualsiasi momento, fai clic su Sfoglia nei campi del job di base o target e seleziona un nuovo job dall'elenco dei job comparabili.

Analisi a livello di query

Dopo aver confrontato due job, puoi visualizzare la sezione Analisi a livello di query, che confronta due esecuzioni di job in tre schede:

  • Metriche: confronta le metriche principali delle query, come durata del job, tempo slot, byte elaborati e acceleratori inutilizzati.
  • Testo SQL: mostra le istruzioni SQL per entrambi i job ed evidenzia le differenze di testo.
  • Grafico di esecuzione: confronta i grafici di esecuzione di entrambi i job fase per fase per individuare i punti critici.

Confrontare due intervalli di sistema

Amministratori e analisti possono analizzare metriche ambientali più ampie eseguendo un confronto del rendimento del sistema. Questo strumento ti consente di confrontare intervalli storici in progetti e prenotazioni specifici per comprendere i cambiamenti di utilizzo e isolare se il peggioramento delle prestazioni ha avuto origine internamente o esternamente al tuo carico di lavoro.

Puoi accedere alla visualizzazione del confronto delle prestazioni del sistema in uno dei seguenti modi:

  • Nella pagina Dettagli job, dopo aver confrontato due job, fai clic su Visualizza altro nella sezione Output a livello di sistema per visualizzare i dettagli del confronto tra i sistemi.
  • Se utilizzi Gemini Cloud Assist per eseguire un confronto tra sistemi, Gemini Cloud Assist genera un link che apre i risultati del confronto tra sistemi.

Per eseguire un confronto a livello di sistema in periodi di tempo separati:

  1. Nella visualizzazione Confronto delle prestazioni del sistema, fai clic su Sistema.
  2. Seleziona il sistema in cui vuoi analizzare il rendimento facendo clic su Sfoglia e selezionando un ambito di prenotazione o progetto.
  3. Definisci gli intervalli di tempo per il confronto:
    • Intervallo target: seleziona la finestra di data e ora per il periodo in cui si verificano problemi di rendimento e fai clic su Applica.
    • Intervallo di base: seleziona la finestra di data e ora di riferimento da utilizzare come benchmark del rendimento e fai clic su Applica.

Analisi a livello di sistema

Dopo aver confrontato gli intervalli, la visualizzazione mappa gli spostamenti di utilizzo, le variazioni di concorrenza e le differenze di impostazione nell'ambiente selezionato rispetto al gruppo principale. In questo modo puoi determinare se i conflitti di slot o le regressioni della configurazione influiscono sul tuo workload. I dati vengono generati in tre blocchi:

  • Progetto: confronta la concorrenza job, la concorrenza in coda e l'utilizzo totale degli slot a livello di progetto.
  • Prenotazione: confronta l'utilizzo delle prenotazioni, la condivisione degli slot inattivi e la concorrenza dei progetti tra le prenotazioni condivise.
  • Analisi della configurazione: confronta le impostazioni di gestione del workload tra le due esecuzioni, ad esempio i limiti massimi delle dimensioni della prenotazione e le regole di prestito degli slot inattivi.

Utilizzare gli approfondimenti per la risoluzione dei problemi di rendimento degli agenti

Per fornire un feedback o richiedere assistenza per questa funzionalità, invia un'email all'indirizzo bq-performance-troubleshooting+feedback@google.com.

Quando monitori le attività di amministrazione o valuti i confronti delle prestazioni, BigQuery integra la diagnostica di osservabilità sottostante con Gemini Cloud Assist per trasformare il riquadro della chat in un assistente attivo per la risoluzione dei problemi mentre risolvi le anomalie a livello di job e di sistema.

Gli approfondimenti sono controllati dall'accesso; senza autorizzazioni sufficienti, gli approfondimenti che ricevi potrebbero essere limitati. Per saperne di più sulle autorizzazioni, consulta Controllare l'accesso alle risorse con IAM.

Risolvere i problemi di prestazioni nella chat

Per inizializzare la risoluzione dei problemi sensibile al contesto e agire in base alle informazioni sulle prestazioni, procedi nel seguente modo:

  1. Per aprire il riquadro della chat di Gemini Cloud Assist e caricare automaticamente il contesto pertinente del job o del sistema, esegui una delle seguenti operazioni:
    • Nelle pagine Esplora job o Cronologia job, passa il mouse sopra un job e fai clic su astrophotography_mode Gemini nella riga della tabella.
    • Nella pagina Gestione del carico di lavoro, passa il mouse sopra una prenotazione e fai clic su astrophotography_mode Gemini nella riga della tabella.
    • In Studio, Monitoring o Esplora job, fai clic su astrophotography_mode Gemini.
  2. Invia un prompt in linguaggio naturale. Ad esempio, chiedi a Gemini di spiegare perché un job viene eseguito lentamente, analizzare statistiche specifiche del job, analizzare le prestazioni di una prenotazione specifica, risolvere i problemi di prestazioni del sistema o confrontare le variazioni di rendimento tra due job storici simili.
  3. Se viene superata una soglia a livello di organizzazione o di prenotazione, ad esempio una coda di slot grave a causa di un aumento imprevisto della concorrenza di progetti attivi, esamina il report Approfondimenti sul rendimento generato. Questo report descrive in dettaglio i colli di bottiglia critici, ad esempio:
    • Aumento della concorrenza in coda: picchi di richieste di query simultanee che superano i limiti di concorrenza temporanei o le assegnazioni di slot di prenotazione.
    • Maggiore concorrenza tra progetti: monitoraggio dei progetti ad alta concorrenza esatti o degli account utente principali che determinano il carico del sistema nelle prenotazioni condivise o nelle quote on demand.
  4. Osserva la tabella Confronto metriche chiave per rilevare differenze numeriche precise, ad esempio variazioni nella concorrenza media dei progetti, negli slot della coda o nei limiti massimi degli slot di prenotazione.

  5. Esegui soluzioni inline direttamente tramite i link di trasferimento azionabili generati da Gemini Cloud Assist. Queste scorciatoie ti reindirizzano a strumenti specifici nel prodotto con il contesto precompilato per rispondere alle tue domande e risolvere i problemi:

    • Modifica prenotazione: apre il riquadro laterale di gestione del carico di lavoro per regolare le dimensioni massime della prenotazione o attivare le funzionalità di scalabilità avanzata.
    • Visualizza il rendimento del job in Esplora job: apre la scheda dei dettagli sul rendimento per il job specifico.
    • Confronta il rendimento dei job in Esplora job: confronta il rendimento di due job affiancati.

Prezzi

Lo strumento di esplorazione dei lavori è disponibile senza costi aggiuntivi. Le query utilizzate per compilare questi grafici non vengono fatturate e non utilizzano slot nelle prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati vanno in timeout.

Passaggi successivi