Stima dei requisiti di capacità dello slot
Quando acquisti slot riservati in BigQuery, devi stimare il numero corretto di slot per il tuo particolare carico di lavoro. Lo strumento di stima degli slot BigQuery ti aiuta a gestire la capacità degli slot in base alle metriche delle prestazioni storiche.
Puoi utilizzare lo strumento per la stima degli slot per i tuoi carichi di lavoro di edizione, prenotazione e on demand per eseguire le seguenti attività:
Per i carichi di lavoro della versione selezionata:
- Visualizza i dati sulla capacità e sull'utilizzo degli slot negli ultimi 30 giorni e identifica i periodi di picco di utilizzo in cui vengono utilizzati il maggior numero di slot.
- Visualizza i suggerimenti più convenienti per gli slot di impegno e scalabilità automatica con prestazioni simili.
- Visualizza le impostazioni di prenotazione attuali per una versione specifica.
Per carichi di lavoro di prenotazione specifici:
- Visualizza i dati sulla capacità e sull'utilizzo degli slot negli ultimi 30 giorni e identifica i periodi di picco di utilizzo in cui vengono utilizzati più slot.
- Visualizza i percentili di latenza dei job (P90, P95 e così via) per comprendere le prestazioni delle query.
- Mostra in che modo l'aumento o la riduzione degli slot di prenotazione massimi potrebbe influire sulle prestazioni.
Per i workload di fatturazione on demand:
- Visualizza i dati sull'utilizzo degli slot on demand dell'intera organizzazione o di un singolo progetto negli ultimi 30 giorni.
- Visualizza i consigli ottimali in termini di costi per gli slot di impegno e scalabilità automatica con rendimento simile se esegui l'upgrade all'edizione Enterprise.
I clienti che utilizzano la versione Enterprise, Enterprise Plus o la fatturazione on demand possono utilizzare BigQuery slot recommender per visualizzare l'utilizzo degli slot, ottimizzare gli impegni e migliorare le prestazioni. Per ulteriori informazioni, vedi Visualizzare i suggerimenti per gli slot delle versioni.
Limitazioni
- I dati sono limitati agli ultimi 30 giorni.
- I modelli non includono
i compiti
ML_EXTERNAL. Se una percentuale elevata dei tuoi slot viene utilizzata per le assegnazioniML_EXTERNAL, i risultati modellati sono meno precisi.
Prima di iniziare
Concedi ruoli IAM (Identity and Access Management) che forniscono agli utenti le autorizzazioni necessarie per eseguire ogni attività descritta in questo documento.
Autorizzazioni obbligatorie
Per utilizzare lo strumento di stima degli slot per i dati delle prenotazioni, devi disporre delle seguenti autorizzazioni IAM sul progetto di amministrazione:
bigquery.reservations.listbigquery.reservationAssignments.listbigquery.capacityCommitments.list
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento di stima degli slot:
roles/bigquery.adminroles/bigquery.resourceAdminroles/bigquery.resourceEditorroles/bigquery.resourceViewerroles/bigquery.user
Per utilizzare lo strumento di stima degli slot per i dati di utilizzo on demand, devi abilitare l'API Reservations in un progetto che intendi utilizzare come progetto di amministrazione per gestire le prenotazioni. Oltre alle autorizzazioni indicate sopra, devi disporre anche di una delle seguenti autorizzazioni IAM per la tua organizzazione per visualizzare i dati a livello di organizzazione o per il progetto per visualizzare i dati a livello di progetto:
bigquery.jobs.listExecutionMetadata(può essere applicato solo a livello di organizzazione)bigquery.jobs.listAll(può essere applicato a livello di organizzazione o progetto)
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento di stima degli slot:
roles/bigquery.adminroles/bigquery.resourceAdminroles/bigquery.resourceEditorroles/bigquery.resourceViewer
Per visualizzare i suggerimenti sugli slot di impegno, devi disporre anche delle autorizzazioni descritte in Visualizzare i suggerimenti sugli slot delle edizioni.
Per saperne di più sui ruoli IAM in BigQuery, vedi Ruoli e autorizzazioni predefiniti.
Visualizzare la capacità e l'utilizzo degli slot
Per visualizzare la capacità e l'utilizzo degli slot nel tempo, vai allo strumento di stima degli slot:
Nella console Google Cloud , apri la pagina BigQuery.
Seleziona il progetto di amministrazione.
- Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
- Nella finestra Seleziona da visualizzata, seleziona il tuo progetto.
Nel menu di navigazione, fai clic su Gestione della capacità.
Fai clic sulla scheda Stima slot.
Il grafico di utilizzo mostra la capacità e l'utilizzo degli slot negli ultimi 30 giorni, calcolati utilizzando una granularità oraria.
La scheda Utilizzo e sfruttamento in percentuale mostra l'utilizzo degli slot come percentuale dell'utilizzo degli slot in base al numero massimo di slot.
La scheda Utilizzo e utilizzo per capacità mostra gli slot massimi e l'utilizzo come valori assoluti.
Puoi scegliere un'edizione o un'opzione on demand dal menu a discesa Origine per visualizzare le statistiche per diversi ambiti. Se selezioni una versione, il menu a discesa Prenotazione viene compilato con le prenotazioni pertinenti.
Per le opzioni on demand, puoi scegliere un singolo progetto o l'intera organizzazione dal menu a discesa Consigli per se disponi delle autorizzazioni a livello di organizzazione. La pagina Strumento di stima degli slot mostra le informazioni a livello di progetto solo se disponi delle autorizzazioni a livello di progetto.
Le statistiche della scheda Utilizzo e sfruttamento in base alla capacità possono variare leggermente in base all'ambito:
- Per l'origine dell'edizione, mostra gli slot massimi disponibili per l'intera edizione, gli slot di impegno, la somma degli slot di base, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
- Per una prenotazione specifica, vengono visualizzati gli slot di prenotazione massimi, gli slot di base, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
- Per la sorgente on demand, mostra l'utilizzo slot medio, l'utilizzo slot P99 e l'utilizzo slot P50.
Rendimento degli slot del modello
Quando viene selezionata una prenotazione, puoi utilizzare lo strumento di stima degli slot per visualizzare i dati sul rendimento del job e per modellare l'effetto della modifica del numero massimo di slot. Lo strumento di stima degli slot ti consente di modellare il modo in cui il rendimento potrebbe cambiare a diversi livelli di capacità, che vanno dall'80% del valore minimo delle dimensioni massime degli slot nel periodo di osservazione al 150% degli slot massimi attuali. In altre parole, la riduzione delle opzioni non può superare il 20% della capacità minima del periodo di 30 giorni, mentre l'aumento delle opzioni non può superare il 50% della capacità attuale.
I modelli presuppongono una ripetizione del pattern di utilizzo dei 30 giorni precedenti, in cui tutto rimane invariato, tranne una modifica degli slot.
Il miglioramento stimato del rendimento si basa su diversi fattori. I fattori più importanti sono il numero di slot nel modello e la proporzione di job in ogni bucket percentile eseguiti durante i periodi di picco rispetto ai periodi normali. I periodi di picco sono definiti come durate in cui sono stati utilizzati quasi tutti gli slot. I job eseguiti durante questi periodi sono i più interessati dalla contesa degli slot e pertanto registrano il maggior miglioramento delle prestazioni grazie agli slot aggiuntivi. Di conseguenza, diversi bucket di job possono vedere effetti diversi dallo stesso aumento di capacità, a seconda di quando vengono eseguiti.
Per modellare il rendimento degli slot, segui questi passaggi:
Nella console Google Cloud , apri la pagina BigQuery.
Seleziona il progetto di amministrazione.
- Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
- Nella finestra Seleziona da visualizzata, seleziona il tuo progetto.
Nel menu di navigazione, fai clic su Gestione della capacità.
Fai clic sulla scheda Stima slot.
Nel menu a discesa Prenotazione, seleziona una prenotazione specifica. Il modello include il numero di slot inattivi che la prenotazione è riuscita a prendere in prestito in un determinato momento.
Nel menu a discesa Modello con slot aggiuntivi oltre il numero massimo di slot, seleziona uno o più valori di slot da modellare e fai clic su Ok.
La tabella in Modifiche alle prestazioni del job con slot aggiuntivi mostra i dati sul rendimento del job degli ultimi 30 giorni, insieme alla variazione stimata del rendimento dovuta all'aumento o alla diminuzione degli slot massimi. I dati sono raggruppati in percentuali in base alla durata del job per tutti i job eseguiti nell'intervallo di tempo selezionato. La colonna indicata dall'icona a forma di lampadina corrisponde al consiglio per migliorare il rendimento per la prenotazione selezionata.
I dati sul rendimento sono suddivisi per percentile. La tabella suddivide i dati in un massimo di 12 bucket: da P10 a P90, più P95, P99 e P100. Il bucket P100 rappresenta l'1% dei job che hanno richiesto più tempo per l'esecuzione; P99 include il 96-99% dei job; P95 include il 91-95% dei job; P90 include l'81-90% dei job e così via. A seconda dei dati, la tabella potrebbe raggrupparli in meno bucket. In questo caso, la tabella contiene meno righe.
Per ogni bucket percentile, la tabella mostra le seguenti informazioni:
- Percentile della durata del job: il bucket percentile per questa riga.
- Durata media del job: il tempo medio impiegato per l'esecuzione dei job in quel bucket percentile.
- Numero di job: il numero di job nel bucket del percentile.
- Per ogni modello, la durata media stimata per i job in quel percentile.
La tabella elenca anche una statistica stimata "Variazione in 30 giorni" per ogni modello. Questo valore è la variazione stimata delle ore totali dedicate all'elaborazione dei job nella cronologia di 30 giorni con diverse capacità slot.
Comprendere i risultati della modellazione con l'utilizzo degli slot
Per le prenotazioni a capacità fissa, se la condivisione degli slot inattivi è abilitata, i job in questa prenotazione possono prendere in prestito gli slot inattivi di altre prenotazioni. Di conseguenza, l'utilizzo può superare il 100% degli slot allocati. Se una prenotazione utilizza costantemente slot inattivi di altre prenotazioni, è possibile che le dimensioni della prenotazione debbano essere aumentate. Ciò è importante perché le prestazioni del carico di lavoro potrebbero peggiorare se la disponibilità di slot inattivi diminuisce in futuro. D'altra parte, se una prenotazione utilizza raramente la sua piena capacità, potrebbe essere troppo grande.
Le prenotazioni che utilizzano la scalabilità automatica utilizzano e aggiungono slot con la priorità seguente:
- Slot di riferimento.
- Condivisione di slot inattivi (se abilitata).
- Slot a scalabilità automatica.
Se una prenotazione con scalabilità automatica utilizza costantemente tutti gli slot di scalabilità automatica, questo potrebbe essere un segnale per aumentare gli slot di prenotazione massimi. Per informazioni sulla visualizzazione dell'utilizzo degli slot, vedi Visualizzare i grafici delle risorse amministrative.
Prezzi
Puoi utilizzare lo strumento di stima degli slot senza costi.