Risolvi i problemi di gestione dei workload BigQuery
Questo documento mostra come risolvere i problemi comuni relativi alla gestione dei workload di BigQuery, tra cui l'allocazione e le assegnazioni delle prenotazioni, gli errori di configurazione delle prenotazioni, gli impegni di capacità, la contesa degli slot, il monitoraggio delle prenotazioni e il logging delle conversazioni di analisi conversazionale.
Per visualizzare e gestire prenotazioni, impegni e grafici delle risorse amministrative, assicurati di disporre dei ruoli Identity and Access Management (IAM) richiesti, ad esempio il ruolo BigQuery Resource Viewer (roles/bigquery.resourceViewer) o BigQuery Resource Admin (roles/bigquery.resourceAdmin) nel progetto di amministrazione. Per saperne di più, consulta Controllo dell'accesso con IAM.
Risolvi i problemi relativi alle prenotazioni
Utilizza le seguenti informazioni per risolvere i problemi comuni relativi alle prenotazioni, ad esempio gli errori durante l'aggiunta di slot, il motivo per cui una prenotazione non viene utilizzata per un job BigQuery o le prenotazioni non riconosciute.
Impossibile aggiungere altri slot alla dimensione della prenotazione
Se si verificano errori come Failed to allocate slots for reservation in the
current system state o Failed to update reservation: Failed to allocate slots
for reservation mentre provi ad aggiungere altri slot alla prenotazione, di solito si tratta di un problema temporaneo. Per mitigare il problema, segui questi passaggi:
- Riprova con un numero inferiore di slot.
- Se il tentativo con un numero inferiore di slot non va a buon fine, attendi 15 minuti e riprova l'operazione.
Se dopo aver riprovato più volte e aver atteso 30 minuti ricevi ancora lo stesso errore, contatta l'assistenza clienti Google Cloud.
La quota non è sufficiente per completare questa richiesta
Se il messaggio di errore indica There is insufficient quota to complete this
request, la richiesta supera il limite di quota impostato per il progetto.
Per risolvere questo errore, esegui una delle seguenti operazioni:
- Aggiungi un numero inferiore di slot alla prenotazione in modo che la richiesta non superi il limite di quota.
- Richiedi un aumento della quota nella regione corrispondente. Per saperne di più, consulta Richiedi un aumento della quota.
Prenotazione non utilizzata da BigQuery per eseguire un job
Esistono diversi scenari in cui un job potrebbe essere eseguito utilizzando i prezzi on demand o un pool di slot condiviso senza costi anziché la prenotazione che hai creato.
La query e la prenotazione si trovano in regioni diverse
Le prenotazioni sono risorse di regione. Una query viene eseguita nella stessa località delle tabelle a cui fa riferimento.
Se la località di una tabella non corrisponde a quella della prenotazione, la query non utilizza la prenotazione e viene eseguita utilizzando i prezzi on demand (o il pool di slot condivisi senza costi per i job di caricamento ed esportazione batch idonei).
Esecuzione di query sulle tabelle BigQuery Omni
Quando esegui una query su una tabella BigQuery Omni, assicurati di creare la prenotazione nella stessa regione della tabella, non in una regione collocata. Se crei la prenotazione nella regione BigQuery in cui si trova il set di dati, la query viene eseguita utilizzando i prezzi on demand.
La prenotazione è stata creata, ma il progetto non è stato assegnato
Per utilizzare gli slot in una prenotazione, devi creare un'assegnazione che assegni il progetto, la cartella o l'organizzazione alla prenotazione specifica. Assicurati che al progetto corrisponda un'assegnazione per la prenotazione.
Mancata corrispondenza del tipo di prestazione
Assicurati di selezionare il tipo di prestazione corretto durante la creazione di un'assegnazione, altrimenti i job non utilizzeranno la prenotazione.
Ad esempio, se selezioni PIPELINE come tipo di prestazione, tutti i job di query vengono eseguiti utilizzando i prezzi on demand. Modifica il tipo di assegnazione in QUERY per fare in modo che i job di query vengano eseguiti utilizzando la prenotazione.
Query con più istruzioni
Se esegui query con più istruzioni, all'oggetto job principale non è associata una prenotazione, anche se i job secondari vengono eseguiti nell'ambito di una prenotazione.
Per verificare se il job ha effettivamente utilizzato una prenotazione, controlla i metadati del job secondario.
Recupero dei risultati memorizzati nella cache
Quando un job di query recupera i risultati memorizzati nella cache, il campo della prenotazione è vuoto perché BigQuery non esegue alcun calcolo e recupera i risultati direttamente dalla tabella temporanea.
Operazioni di modifica delle righe di Change Data Capture
Se hai tabelle Change Data Capture (CDC), BigQuery applica le modifiche alle righe in attesa entro l'intervallo max_staleness come job in background che utilizzano il tipo di assegnazione BACKGROUND. Se non sono presenti assegnazioni BACKGROUND, questi job utilizzano i prezzi on demand. Ti consigliamo di creare un'assegnazione BACKGROUND per il progetto per evitare costi on demand imprevisti. Puoi identificare questi job dalla sottostringa queueworker_cdc_background_merge_coalesce nell'identificatore del job.
Tipi di modelli BigQuery ML che utilizzano servizi esterni
Se nel progetto non viene trovata alcuna assegnazione di prenotazione con un tipo di prestazione ML_EXTERNAL, i job di creazione di modelli esterni vengono eseguiti utilizzando i prezzi on demand. L'assegnazione del tipo di job QUERY si applica ai modelli BigQuery ML standard e ai modelli di fattorizzazione matriciale (che richiedono una prenotazione della versione Enterprise o Enterprise Plus), mentre i modelli esterni richiedono un'assegnazione ML_EXTERNAL. Per saperne di più, consulta Assegna slot ai workload BigQuery.
Prenotazioni non riconosciute identificate nel progetto
BigQuery possiede prenotazioni che rappresentano un pool di slot condivisi senza costi per determinate operazioni in BigQuery.
default-pipeline
Per impostazione predefinita, il caricamento o l'esportazione in batch dei dati in BigQuery utilizza un pool di slot condivisi senza costi. Quando esamini questi job di caricamento o estrazione, il campo della prenotazione mostra default-pipeline.
Non sono previsti costi per l'utilizzo del pool di slot condiviso. Se vuoi prestazioni coerenti e prevedibili, valuta la possibilità di acquistare una prenotazione PIPELINE.
Risolvi i problemi relativi alle attività di gestione delle prenotazioni
Durante la creazione o l'aggiornamento di una prenotazione, potresti riscontrare i seguenti errori.
La dimensione della prenotazione o gli slot di riferimento devono essere un multiplo di 50
Messaggio di errore
Max reservation size can only be configured in multiples of 50, except when covered by excess commitments.Baseline slots can only be configured in multiples of 50, except when covered by excess commitments.
Causa
Gli slot vengono sempre scalati automaticamente in base a un multiplo di 50. BigQuery esegue lo scale up degli slot in base all'utilizzo effettivo e arrotonda per eccesso all'incremento di 50 slot più vicino. Se non esiste un impegno o se l'impegno non può coprire gli aumenti, puoi aumentare gli slot di base e di scalabilità automatica solo in multipli di 50.
Se baseline slots o max reservation size - baseline slots non è un multiplo di 50 (e non è coperto da impegni di capacità in eccesso), la prenotazione non può essere scalata fino alla dimensione massima, generando questo errore.
Risoluzione
Esegui una delle seguenti operazioni:
- Acquista altri impegni di capacità per coprire gli aumenti degli slot.
- Scegli slot di base e massimi con incrementi di 50.
Impossibile utilizzare il numero massimo di slot senza attivare l'equità basata sulla prenotazione
Messaggio di errore
Cannot use max slots without enabling reservation-based fairness.
Causa
Stai tentando di configurare una capacità di prenotazione massima, ad esempio
max_slots o prenotazioni prevedibili, che richiede l'attivazione dell'equità basata sulla prenotazione nel progetto proprietario della prenotazione.
Risoluzione
Devi attivare l'equità basata sulla prenotazione nel progetto.
Risolvi i problemi relativi agli impegni di capacità
Questa sezione descrive i passaggi per la risoluzione dei problemi che potrebbero esserti utili in caso di problemi con gli impegni di capacità di BigQuery.
Gli slot acquistati sono in attesa
Gli slot sono soggetti alla capacità disponibile. Quando acquisti impegni di slot e BigQuery li alloca, la colonna Stato mostra un segno di spunta. Se BigQuery non riesce ad allocare subito gli slot richiesti, la colonna Stato rimane In attesa. Potresti dover attendere diverse ore prima che gli slot diventino disponibili. Se hai bisogno di accedere agli slot prima, prova quanto segue:
- Elimina l'impegno in attesa.
- Acquista un nuovo impegno per un numero inferiore di slot. A seconda della capacità, l'impegno più piccolo potrebbe diventare attivo immediatamente.
- Acquista gli slot rimanenti come impegno separato. Questi slot potrebbero essere visualizzati come in attesa nella colonna Stato, ma in genere diventano attivi entro poche ore.
- (Facoltativo) Quando entrambi gli impegni diventano attivi, uniscili in un unico impegno, a condizione che entrambi si trovino nella stessa regione e nella stessa versione e abbiano lo stesso piano di impegno.
Se un impegno di slot non va a buon fine o richiede molto tempo per essere completato, valuta la possibilità di utilizzare temporaneamente i prezzi on demand. Con questa soluzione, puoi eseguire query critiche in un progetto diverso che non è assegnato ad alcuna prenotazione, assegnare il progetto a None o rimuovere completamente l'assegnazione del progetto.
Risolvi i problemi di conflitto di slot
La contesa degli slot può verificarsi quando non ci sono abbastanza slot per eseguire tutti i job, causando problemi di prestazioni. Per analizzare se il peggioramento delle prestazioni deriva da un aumento del workload o da modifiche alla configurazione dell'ambiente, puoi confrontare due intervalli di sistema tra prenotazioni e progetti.
Per risolvere i problemi di conflitto di slot, segui questi passaggi e best practice.
Se hai provato queste best practice, ma riscontri ancora problemi di prestazioni dei job, puoi richiedere assistenza.
Picchi di concorrenza dei job
Utilizza la visualizzazione dettagliata nei grafici delle risorse amministrative per verificare se si è verificato un aumento improvviso delle esecuzioni dei job con picchi di utilizzo simultaneo degli slot. Questi picchi possono indicare che troppi job sono in competizione per gli slot disponibili nella prenotazione.
Best practice: valuta la possibilità di ottimizzare le query che richiedono un utilizzo intensivo delle risorse o di aumentare la capacità degli slot della prenotazione. Per saperne di più sull'ottimizzazione delle prestazioni delle query, consulta Ottimizza il calcolo delle query.
Utilizzo elevato degli slot
Utilizza la visualizzazione dettagliata per verificare se la durata dei job è aumentata, soprattutto se sono presenti job che superano la capacità massima della prenotazione. Un utilizzo costantemente elevato degli slot può indicare una contesa degli slot in corso.
Best practice: controlla le query utilizzando il filtro di conflitto degli slot di Esplora job per identificare le query che consumano più slot e ottimizzarle.
Durate dei job lunghe
Se i job richiedono molto più tempo per essere completati, controlla la visualizzazione dettagliata. Un'elevata contemporaneità dei job e picchi di utilizzo degli slot possono indicare una contesa degli slot.
Best practice: isola i job critici mettendo temporaneamente in pausa i job meno importanti o riducendo la frequenza complessiva di invio dei job.
Messaggi di contesa slot
La tabella degli insight può visualizzare messaggi come There were NUMBER jobs detected with
slot_contention in the reservation. che indicano problemi di conflitto di slot.
Controlla Esplora job per esaminare i dettagli
dei job specifici segnalati in questi messaggi.
Best practice: ottimizza le query identificate o modifica l'allocazione degli slot della prenotazione.
Risolvi i problemi relativi al monitoraggio delle prenotazioni
Le sezioni seguenti descrivono come risolvere i problemi comuni durante il monitoraggio delle prenotazioni e dell'utilizzo degli slot di BigQuery.
Le metriche di utilizzo degli slot non corrispondono a INFORMATION_SCHEMA
Se riscontri discrepanze tra le metriche di utilizzo degli slot nei grafici delle risorse e i dati di INFORMATION_SCHEMA, prova quanto segue:
- Riduci la granularità. Modifica la granularità del grafico in intervalli di 1 secondo anziché di 1 ora.
- Aggregazione di allineamento. Assicurati di utilizzare metodi di aggregazione che siano allineati tra i grafici delle risorse e i dati di
INFORMATION_SCHEMA. Ad esempio, per riflettere meglio l'utilizzo di picco nei grafici delle risorse, modifica l'aggregazione delle metriche in p99 o p90 in modo coerente.
Gli slot presi in prestito vengono visualizzati quando gli slot inattivi sono disabilitati
I grafici di monitoraggio potrebbero mostrare un valore diverso da zero per borrowed_slots anche se ignore_idle_slots=true è impostato per una o più prenotazioni. Questa impostazione impedisce a una prenotazione di prendere in prestito slot inattivi, ma non le impedisce di prestare i propri slot inutilizzati ad altre prenotazioni.
Questi slot presi in prestito vengono visualizzati nei seguenti casi:
Prestito ad altre prenotazioni. Una prenotazione con
ignore_idle_slots=truepuò prestare i propri slot di riferimento inutilizzati ad altre prenotazioni nello stesso progetto di amministrazione, nella stessa regione e nella stessa edizione che consentono il prestito di slot inattivi (ignore_idle_slots=false). Se tutte le prenotazioni in un progetto di amministrazione, una regione e un'edizione hannoignore_idle_slots=true, gli slot inattivi non vengono condivisi tra loro.Ad esempio, supponiamo che la prenotazione A abbia 100 slot, un utilizzo pari a 0 e sia configurata con
ignore_idle_slots=true. La prenotazione B si trova nello stesso progetto di amministrazione, nella stessa regione e nella stessa edizione, ha 100 slot, richiede 150 slot per il suo workload ed è configurata conignore_idle_slots=false. La prenotazione B può prendere in prestito 50 slot inattivi dalla prenotazione A per soddisfare le sue esigenze. In questo caso, i grafici di monitoraggio indicano 50lent_slotsper la prenotazione A e 50borrowed_slotsper la prenotazione B.Utilizzo superiore alla capacità. Se l'utilizzo degli slot di una prenotazione supera temporaneamente la sua capacità (slot di base + slot con scalabilità automatica), i grafici di monitoraggio mostrano questa differenza come
borrowed_slots. Questo comportamento può verificarsi anche per le prenotazioni conignore_idle_slots=true.
L'utilizzo degli slot può occasionalmente superare la somma degli slot di riferimento e di quelli scalati. Non ti verrà addebitato l'utilizzo di slot superiore alla somma degli slot di base e di quelli scalati.
Gli slot presi in prestito vengono visualizzati prima che una prenotazione venga utilizzata completamente
Le dashboard di monitoraggio utilizzano dati campionati, che potrebbero non riflettere con precisione la tempistica esatta dell'utilizzo degli slot all'interno di un intervallo di campionamento.
Per un'analisi più accurata dell'utilizzo degli slot, esegui query sulle colonne relative agli slot inattivi, ad esempio le colonne borrowed_slots e lent_slots nella vista INFORMATION_SCHEMA.RESERVATIONS_TIMELINE.
Risolvi i problemi relativi al logging delle conversazioni
Utilizza le seguenti informazioni per risolvere i problemi comuni relativi al logging delle conversazioni di analisi conversazionale in BigQuery. Poiché gli errori di logging non causano mai il fallimento di un turno di conversazione e non vengono segnalati nella chat o in Cloud Logging, una tabella di destinazione vuota o mancante è il segnale principale di un problema di configurazione o di autorizzazione.
Tabella di log mancante o vuota
Se la tabella di destinazione non viene creata o rimane vuota dopo un turno di conversazione, controlla le seguenti potenziali cause:
Il logging delle conversazioni non viene salvato né pubblicato. In BigQuery Studio, aggiorna la pagina, riapri le impostazioni dell'agente e verifica che l'opzione Abilita il logging delle conversazioni sia attiva, che il set di dati e la tabella di destinazione siano impostati e che le modifiche siano pubblicate.
Il set di dati di destinazione non è presente o si trova in un altro progetto. Verifica che il set di dati di destinazione esista già nello stesso progetto dell'agente per i dati. Puoi verificare che il set di dati esista eseguendo
bq show PROJECT_ID:LOG_DATASET. SostituisciPROJECT_IDcon l'ID del progetto che contiene l'agente per i dati eLOG_DATASETcon l'ID del set di dati di destinazione. L'agente di servizio crea la tabella di log al primo turno registrato, ma non crea il set di dati.Il set di dati di destinazione è un set di dati di sola lettura, ad esempio un set di dati collegato. Un set di dati collegato di condivisione di BigQuery o un set di dati esterno (ad esempio un set di dati federato AWS Glue) è di sola lettura e non può archiviare i log delle conversazioni. Per controllare il tipo di set di dati, esegui
bq show --format=prettyjson PROJECT_ID:LOG_DATASETe controlla il campo"type"("LINKED"o"EXTERNAL"). Scegli un set di dati scrivibile standard nello stesso progetto dell'agente per i dati.Autorizzazioni dell'agente di servizio o CMEK mancanti. Verifica che il service agent dell'API Analisi conversazionale (
service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.iam.gserviceaccount.com, utilizzando il numero del progetto dell'agente anziché l'ID progetto) abbia il ruolo BigQuery Data Editor (roles/bigquery.dataEditor) nel set di dati di log. Se il set di dati utilizza chiavi Cloud KMS gestite dal cliente (CMEK), verifica che l'account di servizio di crittografia BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com) abbia il ruoloroles/cloudkms.cryptoKeyEncrypterDecryptersulla chiave.Il perimetro dei Controlli di servizio VPC blocca le scritture. L'agente di servizio dell'API Analisi conversazionale scrive nella tabella di log dall'infrastruttura gestita da Google, quindi la concessione di
roles/bigquery.dataEditorda sola non è sufficiente quando un perimetro di servizio limitabigquery.googleapis.com. A differenza di altre cause in questo elenco, un blocco del perimetro registra gli audit log di Policy Denied in Cloud Logging nel progetto dell'agente; filtra perlog_id("cloudaudit.googleapis.com/policy")inbigquery.googleapis.com(per la ricerca o la creazione di tabelle) ebigquerystorage.googleapis.com(per le aggiunte di righe) per confermare il blocco. Verifica che siageminidataanalytics.googleapis.comsiabigquery.googleapis.comsi trovino nel perimetro e aggiungi una regola in entrata per l'agente di servizio subigquery.googleapis.com. Per un esempio di regola in entrata, consulta Controllo degli accessi, crittografia e sicurezza di rete. Per indicazioni generali sulla configurazione del perimetro, consulta Configura la sicurezza del perimetro con i Controlli di servizio VPC.Piattaforma di conversazione o configurazione dell'agente non supportata. Le conversazioni nel riquadro Anteprima di BigQuery Studio non vengono registrate. Esegui il test dalla schermata di chat principale dell'agente pubblicato. Gli agenti che utilizzano un ambito di ricerca anziché tabelle BigQuery specifiche, che configurano i grafi delle proprietà come origini di conoscenza o che non dichiarano tabelle BigQuery non vengono registrati. Per ulteriori informazioni, vedi Limitazioni.
Le tabelle delle origini di conoscenza utilizzano le policy di accesso. Se una tabella di origine della conoscenza utilizza policy di accesso a livello di riga, sicurezza a livello di colonna (tag di policy) o mascheramento dinamico dei dati, i turni non vengono registrati.
Conflitto di schema in una tabella di destinazione esistente. Se hai configurato una tabella esistente come destinazione e una colonna condivide un nome con una colonna dello schema del log delle conversazioni, ma ha un tipo o una modalità diversi, BigQuery non scrive righe in quella tabella.
In genere, le righe vengono visualizzate entro pochi secondi dal completamento di un turno. Se le righe non vengono visualizzate dopo alcuni minuti, aggiorna il set di dati.
Le conversazioni di alcuni utenti non vengono registrate
Causa
Prima di ogni turno, il controllo della privacy utilizza le credenziali dell'utente che chatta per verificare che le tabelle delle origini di conoscenza dell'agente non abbiano policy di sicurezza a livello di riga, sicurezza a livello di colonna o mascheramento dei dati. Se un utente non dispone dell'autorizzazione per eseguire questo controllo, i suoi turni non vengono registrati.
Risoluzione
Concedi a tutti gli utenti che utilizzano la chat il ruolo BigQuery Data Viewer (roles/bigquery.dataViewer) sulle tabelle delle origini di conoscenza e il ruolo BigQuery Job User (roles/bigquery.jobUser) sul progetto che esegue le query oppure concedi un ruolo personalizzato con le autorizzazioni bigquery.tables.get e bigquery.rowAccessPolicies.list sulle tabelle delle origini di conoscenza.
Il salvataggio dell'agente non riesce con un errore INVALID_ARGUMENT
Messaggio di errore
The BigQuery Agent Analytics table must be in the same project as the agent (agent project: ..., table project: ...).BigQuery Agent Analytics can only be enabled on agents whose datasource is BigQuery. Remove bigquery_agent_analytics_enabled and bigquery_agent_analytics_table, or point the agent at a BigQuery datasource.
Causa
Il set di dati di destinazione si trova in un progetto diverso rispetto all'agente per i dati o l'origine dati dell'agente non è BigQuery.
Risoluzione
Seleziona un set di dati di destinazione esistente nello stesso progetto dell'agente per i dati o configura l'agente per i dati con un'origine dati BigQuery.
La concessione dell'accesso al set di dati non riesce perché l'agente di servizio non esiste
Messaggio di errore
Service account service-PROJECT_NUMBER@gcp-sa-geminidataanalytics... does not exist
Causa
Il provisioning dell'agente di servizio dell'API Analisi conversazionale non è stato ancora eseguito nel progetto.
Risoluzione
Esegui una delle seguenti operazioni:
Configura prima la destinazione dei log sull'agente, quindi concedi nuovamente il ruolo.
Esegui il provisioning dell'identità di servizio eseguendo questo comando:
gcloud beta services identity create \ --service=geminidataanalytics.googleapis.com \ --project=PROJECT_ID
Sostituisci
PROJECT_IDcon l'ID del progetto che contiene l'agente per i dati.
Le impostazioni di logging delle conversazioni non sono disponibili in BigQuery Studio
Causa
Stai visualizzando la versione Pubblicata dell'agente per i dati, in cui le impostazioni di configurazione sono di sola lettura o l'agente per i dati non ha tabelle BigQuery specifiche selezionate come origini di conoscenza.
Risoluzione
Imposta il selettore della visualizzazione su Bozza, assicurati che tabelle BigQuery specifiche siano selezionate come fonti di conoscenza, aggiorna le impostazioni di logging delle conversazioni e pubblica l'agente.
Passaggi successivi
- Scopri di più sulla gestione dei workload utilizzando le prenotazioni.
- Scopri come gestire le prenotazioni dei workload.
- Scopri di più su come acquistare e gestire gli impegni slot.
- Scopri come monitorare le prenotazioni e utilizzare i grafici delle risorse amministrative.
- Scopri di più sul logging delle conversazioni di analisi conversazionale.
- Esplora altre risorse per la risoluzione dei problemi di BigQuery.