Monitorare i job

In qualità di amministratore BigQuery, puoi monitorare i job nella tua organizzazione tramite uno strumento di esplorazione dei job amministrativi nella console Google Cloud . L'explorer dei job fornisce filtri e opzioni di ordinamento per identificare, confrontare e risolvere i problemi relativi ai job. Non devi scrivere query INFORMATION_SCHEMA per visualizzare i dettagli del job, come proprietario, progetto, utilizzo degli slot, durata e altro ancora.

Con lo strumento di esplorazione dei lavori puoi:

  • Filtrare e identificare i job. Cerca query specifiche nella tua organizzazione applicando filtri in base a criteri come stato del lavoro, durata, proprietario o utilizzo degli slot.
  • Risolvi i problemi relativi ai job. Seleziona singoli job per visualizzare i grafici di esecuzione delle query, il testo SQL e la cronologia di esecuzione nella pagina Dettagli job (anteprima).
  • Confronta il rendimento. Confronta i job (anteprima) per evidenziare differenze significative tra le metriche e risolvere potenziali problemi di rendimento.
  • Ricevi assistenza dall'AI. Utilizza Gemini Code Assist direttamente dall'esploratore di job (anteprima) per analizzare le statistiche dei job o spiegare le query a esecuzione lenta.

BigQuery fornisce i dettagli e gli approfondimenti del job dalle seguenti viste INFORMATION_SCHEMA:

Prima di iniziare

Per utilizzare Gemini Code Assist per risolvere i problemi relativi ai job in BigQuery (anteprima), consulta la sezione Configurare Gemini Code Assist per abilitare l'API e assegnare i ruoli richiesti.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per utilizzare l'esploratore di job per monitorare i job, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per utilizzare Esplora job per monitorare i job. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per utilizzare Esplora job per monitorare i job sono necessarie le seguenti autorizzazioni:

  • Visualizza i job a livello di progetto: bigquery.jobs.listAll sul progetto
  • Visualizza i job a livello di organizzazione: bigquery.jobs.listAll nell'organizzazione
  • Filtra per prenotazioni nella tua organizzazione: bigquery.reservations.list nell'organizzazione

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per utilizzare Gemini Code Assist per risolvere i problemi relativi ai job, consulta i requisiti IAM aggiuntivi per l'utilizzo di Gemini Code Assist.

Filtra job

Per filtrare i job per le query contenute nelle visualizzazioni INFORMATION_SCHEMA.JOBS*:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu di navigazione, fai clic su Esplora job.

  3. Nell'elenco Sede, seleziona la sede per cui vuoi visualizzare i lavori.

  4. Applica i filtri facoltativi in base alle necessità:

    • Ambito del job: filtra i job in base al loro livello di visibilità, ad esempio il progetto corrente, l'organizzazione e i tuoi job. Puoi scegliere di visualizzare i job del progetto corrente, dell'intera organizzazione o solo quelli che hai avviato.
    • Stato: filtra i job in base al loro stato di esecuzione attuale, ad esempio completato, errore, attivo e in coda. In questo modo puoi identificare i job attivi o non riusciti.
    • Categoria job: filtra i job in base al tipo di operazione eseguita, ad esempio query SQL standard o query continue utilizzate per l'elaborazione dei dati in tempo reale.
    • Motivo della creazione del job: filtra i job in base al motivo per cui BigQuery li ha creati, ad esempio quando una query supera un timeout o produce risultati troppo grandi per una singola risposta.
    • Priorità del job: filtra i job in base alla priorità di esecuzione, ad esempio job interattivi o batch.
    • ID job: filtra un job specifico in base al suo identificatore alfanumerico univoco.
    • Proprietario: filtra i job in base all'indirizzo email dell'utente o del account di servizio che ha avviato il job.
    • ID progetto: filtra i job eseguiti in un progetto specifico. Questo filtro è disponibile solo quando l'ambito del lavoro è impostato su Organizzazione.
    • ID prenotazione: filtra i job che hanno utilizzato slot di una prenotazione specifica. In questo modo puoi monitorare il modo in cui i diversi workload consumano la capacità riservata.
    • Tempo slot maggiore di: filtra i job che hanno consumato più di una quantità specificata di slot-millisecondi. Questa è una metrica chiave per identificare le query che utilizzano molte risorse.
    • Durata superiore a: filtra i job che hanno richiesto più tempo del periodo specificato per essere completati. Utilizza questo valore per trovare le query che vengono eseguite più lentamente del previsto.
    • Byte elaborati più di: filtra i job che hanno analizzato più di una quantità specificata di dati. Ciò ti aiuta a identificare le query che potrebbero contribuire a costi elevati di elaborazione dei dati.
    • Approfondimenti sulle query: filtra i job che BigQuery ha identificato come aventi problemi di prestazioni specifici, come contesa degli slot, capacità di shuffle della memoria superata e modifica della scalabilità dell'input di dati.
    • Hash di query: filtra in base ai job con un hash di query specifico. Un hash della query identifica la logica di una query, ignorando le differenze nei commenti, nei valori dei parametri, nelle UDF e nei valori letterali, il che ti aiuta a trovare tutte le esecuzioni della stessa logica di query. Questo campo viene visualizzato per le query GoogleSQL riuscite che non sono hit della cache.
    • Etichette: filtra i job in base alle etichette dei metadati personalizzati che tu o la tua organizzazione avete allegato. In questo modo puoi classificare e monitorare i lavori per reparto o applicazione.

Risolvi i problemi di prestazioni dei job

Per diagnosticare e risolvere i problemi relativi alle query, puoi visualizzare le metriche di esecuzione, il testo SQL e le variazioni storiche del rendimento nella pagina Dettagli job.

Visualizza i dettagli del job

Per visualizzare i dettagli di un job e analizzare l'esecuzione della query:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i job visualizzati, filtrali.

  3. Fai clic sull'ID job del job che vuoi esaminare. Per le query che non creano un job, viene visualizzato l'ID query e il link è disattivato. Se fai clic su un ID job valido, si apre la pagina Dettagli job con la scheda Rendimento visualizzata per impostazione predefinita.

Informazioni sulle query disponibili

Per aiutarti a diagnosticare il rendimento delle query, la scheda Rendimento nei dettagli del job compila le seguenti informazioni e metriche, se applicabile:

  • Dettagli del job: informazioni sul job, tra cui ID job, ora di creazione, byte elaborati e utilizzo degli slot. Per saperne di più, consulta Visualizzare i dettagli del job.
  • Cronologia esecuzioni: un elenco delle esecuzioni storiche della query, raggruppate per hash della query. Puoi selezionare un job da questo elenco per confrontarlo direttamente con il tuo job attuale. Per saperne di più, vedi Confrontare i lavori.

  • Grafico di esecuzione: una rappresentazione visiva delle fasi di esecuzione della query. Espandi la sezione Grafico di esecuzione per esaminare la contesa degli slot, la capacità di shuffle e la scalabilità dell'input di dati. Per maggiori informazioni, vedi Ottenere approfondimenti sul rendimento delle query.

    L'esempio seguente mostra un grafico di esecuzione con la mappatura del testo SQL attivata:

    Grafico di esecuzione dei job.

  • Carico di sistema durante l'esecuzione: un riepilogo delle risorse di calcolo e delle impostazioni di prenotazione allocate durante l'esecuzione del job.

Diagnosticare le regressioni delle prestazioni confrontando job e sistemi

Lo strumento di confronto del rendimento ti consente di analizzare le differenze di rendimento tra due job di query o in due intervalli di sistema. L'analisi mostra i dettagli delle query, le variazioni dell'utilizzo delle risorse e le impostazioni dell'ambiente di sistema che differiscono in modo significativo tra gli ambienti di base e di destinazione.

Informazioni sull'analisi comparativa

Lo strumento di confronto valuta il rendimento in base alle metriche a livello di query e ai fattori a livello di sistema. Puoi attivare l'opzione di attivazione/disattivazione Mostra solo le differenze significative per limitare la visualizzazione alle metriche con una varianza superiore al 20%.

Le differenze significative sono codificate per colore per aiutarti a individuare i problemi:

  • Verde: la metrica è migliorata (ad esempio, una durata della query più breve nell'esecuzione di destinazione).
  • Giallo: la metrica è peggiorata di meno del 20%.
  • Rosso: la metrica è peggiorata di oltre il 20%.

Confrontare due job

Per confrontare l'esecuzione di un job di riferimento con quella di un job di destinazione:

  1. Apri la pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i job visualizzati, filtrali.

  3. Fai clic sull'ID job del job di base per aprire la pagina Dettagli job e seleziona la scheda Rendimento.

  4. Nel menu Azioni, fai clic su Confronta lavoro.

  5. Nel campo Job 1 (job di base), fai clic su Sfoglia per aprire il riquadro Job comparabili simili.

  6. Seleziona il job di destinazione che vuoi confrontare con la baseline e fai clic su Confronta.

  7. (Facoltativo) Per concentrarti sulle principali regressioni del rendimento, attiva Mostra solo le differenze significative. In questo modo, la visualizzazione viene limitata alle metriche con una varianza superiore al 20%.

Per modificare i job confrontati in qualsiasi momento, fai clic su Sfoglia nei campi del job di base o di destinazione e seleziona un nuovo job dall'elenco dei job comparabili.

Analisi a livello di query

Dopo aver confrontato due job, puoi visualizzare la sezione Analisi a livello di query, che confronta due esecuzioni di job in tre schede:

  • Metriche: confronta le metriche di query principali, come durata del job, tempo slot, byte elaborati e acceleratori inutilizzati.
  • Testo SQL: mostra le istruzioni SQL per entrambi i job ed evidenzia le differenze di testo.
  • Grafico di esecuzione: confronta i grafici di esecuzione di entrambi i job fase per fase per individuare i punti critici.

Confrontare due intervalli di sistema

Amministratori e analisti possono analizzare metriche ambientali più ampie eseguendo un confronto del rendimento del sistema. Questo strumento ti consente di confrontare intervalli storici in prenotazioni e progetti specifici per comprendere le variazioni di utilizzo e isolare se il peggioramento delle prestazioni ha avuto origine internamente o esternamente al tuo carico di lavoro.

Puoi accedere alla visualizzazione del confronto delle prestazioni del sistema in uno dei seguenti modi:

  • Nella pagina Dettagli job, dopo aver confrontato due job, fai clic su Visualizza altro nella sezione Output a livello di sistema per visualizzare i dettagli del confronto tra i sistemi.
  • Se utilizzi Gemini Cloud Assist per eseguire un confronto tra sistemi, Gemini Cloud Assist genera un link che apre i risultati del confronto tra sistemi.

Per eseguire un confronto a livello di sistema in periodi di tempo separati:

  1. Nella visualizzazione Confronto delle prestazioni del sistema, fai clic su Sistema.
  2. Seleziona il sistema in cui vuoi analizzare il rendimento facendo clic su Sfoglia e selezionando un ambito di prenotazione o progetto.
  3. Definisci gli intervalli di tempo per il confronto:
    • Intervallo target: seleziona la finestra di data e ora per il periodo in cui si verificano problemi di rendimento e fai clic su Applica.
    • Intervallo di base: seleziona la data e l'intervallo di tempo di riferimento da utilizzare come benchmark del rendimento e fai clic su Applica.

Analisi a livello di sistema

Dopo aver confrontato gli intervalli, la visualizzazione mappa gli spostamenti dell'utilizzo, le variazioni di concorrenza e le differenze di impostazione nell'ambiente selezionato rispetto al gruppo principale. In questo modo puoi determinare se i conflitti di slot o le regressioni della configurazione influiscono sul tuo workload. I dati sono generati in tre blocchi:

  • Progetto: confronta la concorrenza job, la concorrenza in coda e l'utilizzo totale degli slot a livello di progetto.
  • Prenotazione: confronta l'utilizzo della prenotazione, la condivisione degli slot inattivi e la concorrenza dei progetti tra le prenotazioni condivise.
  • Analisi della configurazione: confronta le impostazioni di gestione del workload tra le due esecuzioni, ad esempio i limiti massimi delle dimensioni della prenotazione e le regole di prestito degli slot inattivi.

Utilizzare gli approfondimenti per la risoluzione dei problemi di rendimento degli agenti

Per fornire un feedback o richiedere assistenza per questa funzionalità, invia un'email all'indirizzo bq-performance-troubleshooting+feedback@google.com.

Quando monitori le attività di amministrazione o valuti i confronti delle prestazioni, BigQuery integra la diagnostica di osservabilità sottostante con Gemini Cloud Assist per trasformare il riquadro della chat in un assistente attivo per la risoluzione dei problemi mentre risolvi le anomalie a livello di job e di sistema.

Gli approfondimenti sono controllati dall'accesso; senza autorizzazioni sufficienti, gli approfondimenti che ricevi potrebbero essere limitati. Per saperne di più sulle autorizzazioni, consulta Controllare l'accesso alle risorse con IAM.

Risolvere i problemi di prestazioni nella chat

Per inizializzare la risoluzione dei problemi sensibile al contesto e agire in base alle informazioni sulle prestazioni, segui questi passaggi:

  1. Per aprire il riquadro della chat di Gemini Cloud Assist e caricare automaticamente il contesto pertinente del job o del sistema, esegui una delle seguenti operazioni:
    • Nelle pagine Esplora job o Cronologia job, passa il mouse sopra un job e fai clic su astrophotography_mode Gemini nella riga della tabella.
    • Nella pagina Gestione del carico di lavoro, passa il mouse sopra una prenotazione e fai clic su astrophotography_mode Gemini nella riga della tabella.
    • In Studio, Monitoring o Esplora job, fai clic su astrophotography_mode Gemini.
  2. Invia un prompt in linguaggio naturale. Ad esempio, chiedi a Gemini di spiegare perché un job viene eseguito lentamente, analizzare statistiche specifiche del job, analizzare le prestazioni di una prenotazione specifica, risolvere problemi di prestazioni del sistema o confrontare le variazioni di rendimento tra due job storici simili.
  3. Se viene superata una soglia a livello di organizzazione o di prenotazione, ad esempio una coda di slot grave a causa di un aumento imprevisto della concorrenza di progetti attivi, esamina il report Performance Insights generato. Questo report descrive in dettaglio i colli di bottiglia critici, ad esempio:
    • Aumento della concorrenza in coda: picchi di richieste di query simultanee che superano i limiti di concorrenza temporanei o le assegnazioni di slot di prenotazione.
    • Maggiore concorrenza dei progetti: monitoraggio dei progetti ad alta concorrenza esatti o degli account utente principali che determinano il carico del sistema nelle prenotazioni condivise o nelle quote on demand.
  4. Osserva la tabella Confronto delle metriche chiave per rilevare differenze numeriche precise, ad esempio variazioni della concorrenza media dei progetti, degli slot della coda o dei limiti massimi degli slot di prenotazione.

  5. Esegui soluzioni inline direttamente tramite i link di trasferimento azionabili generati da Gemini Cloud Assist. Queste scorciatoie ti reindirizzano a strumenti specifici nel prodotto con il contesto precompilato per rispondere alle tue domande e risolvere i problemi:

    • Modifica prenotazione: apre il riquadro laterale di gestione dei carichi di lavoro per regolare le dimensioni massime della prenotazione o attivare le funzionalità di scalabilità avanzate.
    • Visualizza il rendimento del job in Esplora job: apre la scheda dei dettagli sul rendimento del job specifico.
    • Confronta il rendimento dei job in Esplora job: confronta il rendimento di due job affiancati.

Prezzi

Lo strumento di esplorazione dei job è disponibile senza costi aggiuntivi. Le query utilizzate per compilare questi grafici non vengono fatturate e non utilizzano slot nelle prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati vanno in timeout.

Passaggi successivi