Introduzione all'amministrazione di BigQuery

Questo documento fornisce un'introduzione alle attività di amministrazione di BigQuery e alle funzionalità di BigQuery che ti aiutano a svolgerle.

In genere, gli amministratori di BigQuery svolgono i seguenti tipi di attività:

  • Gestire le risorse, come progetti, set di dati e tabelle.
  • Proteggere le risorse, in modo che l'accesso sia limitato alle entità che ne hanno bisogno.
  • Gestire i carichi di lavoro, come job, query e capacità di calcolo (prenotazioni).
  • Monitorare le risorse, incluse quote, job e utilizzo del calcolo.
  • Ottimizzare i carichi di lavoro per ottenere le migliori prestazioni controllando i costi.
  • Risolvere i problemi relativi a messaggi di errore, problemi di fatturazione e quote.

Questo documento fornisce una panoramica delle funzionalità che BigQuery offre per aiutarti a svolgere queste attività.

Per un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella Google Cloud console, fai clic su Inizia la presentazione.

Inizia la presentazione

Strumenti

BigQuery fornisce diverse interfacce che puoi utilizzare per le attività di amministrazione. Spesso una determinata attività può essere eseguita con più strumenti, consentendoti di scegliere quello più adatto alle tue esigenze. Ad esempio, puoi creare una tabella utilizzando il riquadro Explorer nella Google Cloud console, un comando bq mk --table o un'istruzione SQL CREATE TABLE.

  • Google Cloud Console. La Google Cloud console ha diverse pagine dedicate all'amministrazione di BigQuery. Per saperne di più, consulta Utilizzare la Google Cloud console.

  • Istruzioni SQL. La pagina BigQuery nella Google Cloud console ha un editor di query in cui puoi eseguire attività amministrative utilizzando le istruzioni DDL e DCL Per saperne di più, consulta Data Definition Language (DDL) e Data Control Language (DCL).

    Puoi utilizzare le stored procedure per automatizzare le attività di amministrazione che utilizzano le istruzioni SQL. Per saperne di più, consulta Utilizzare le stored procedure.

  • Comandi bq. Lo strumento a riga di comando bq ti consente di eseguire molte attività amministrative utilizzando i comandi bq. Puoi utilizzare lo strumento a riga di comando bq per eseguire attività non supportate nella Google Cloud console, per prototipare le funzionalità prima di codificarle in query o metodi API o se preferisci lavorare in interfaccia a riga di comando. Per saperne di più, consulta Utilizzare lo strumento a riga di comando bq.

Gestisci risorse

Le risorse BigQuery includono organizzazioni, cartelle, progetti, set di dati e tabelle. Questa sezione descrive come gestire le risorse della tua organizzazione.

Per informazioni sulla gerarchia delle risorse di BigQuery, consulta Organizzare le risorse di BigQuery. In particolare, puoi creare una risorsa Organizzazione, che ti consente di eseguire alcune attività, come l'impostazione dei controlli di accesso, a livello di organizzazione.

Gestisci i set di dati

I set di dati sono container per le tabelle. Puoi creare tabelle in un set di dati e poi gestirle come gruppo. Ad esempio, puoi configurare il tempo di scadenza predefinito della tabella di un set di dati, che si applica a tutte le tabelle del set di dati, a meno che non lo sostituisci. Puoi copiare un gruppo di tabelle creando una copia del relativo set di dati e puoi controllare l'accesso alle tabelle a livello di set di dati.

Per saperne di più sull'amministrazione dei set di dati, consulta i seguenti documenti:

Gestisci tabelle

In BigQuery, i dati vengono archiviati nelle tabelle, dove possono essere sottoposti a query. Puoi creare tabelle, caricare dati nelle tabelle da vari tipi di origini e in vari formati, partizionare le tabelle in base a una colonna specifica o all'ora di importazione, raggruppare le tabelle, aggiornare le proprietà delle tabelle ed esportare i dati delle tabelle.

Per saperne di più sull'amministrazione delle tabelle, consulta i seguenti documenti:

Etichetta le risorse

Per organizzare le risorse BigQuery, puoi aggiungere etichette a set di dati, tabelle e viste. Le etichette sono coppie chiave-valore che puoi associare a una risorsa. Dopo aver etichettato le risorse, puoi cercarle in base ai valori delle etichette. Ad esempio, puoi utilizzare le etichette per raggruppare i set di dati per reparto aggiungendo etichette come dept:sales, dept:marketing o dept:analytics. Poi, puoi suddividere gli addebiti fatturati per reparto utilizzando le etichette.

Per saperne di più, consulta Introduzione alle etichette.

Ottieni informazioni sulle risorse

Puoi ottenere informazioni sulle risorse BigQuery eseguendo query sulle viste INFORMATION_SCHEMA. BigQuery fornisce viste per ogni tipo di risorsa. Ad esempio, la vista INFORMATION_SCHEMA.TABLES contiene informazioni sulle tabelle.

Di seguito sono riportati alcuni esempi di informazioni che puoi ottenere eseguendo query sulle viste INFORMATION_SCHEMA:

  • Scopri quando è stata creata una tabella.
  • Ottieni i nomi e i tipi di dati di ogni colonna di una tabella.
  • Trova tutti i job in esecuzione in un progetto.
  • Ottieni un elenco degli snapshot delle tabelle creati da una tabella di base.
  • Per un set di dati, una tabella, una vista o una routine, ottieni l'istruzione DDL che può essere utilizzata per creare la risorsa.
  • Ottieni le opzioni utilizzate per creare una tabella (ad esempio, la scadenza della tabella).
  • Trova le colonne di partizionamento e clustering in una tabella.
  • Ottieni la prenotazione assegnata di un progetto e la relativa capacità degli slot.

Per saperne di più, consulta Introduzione a BigQuery INFORMATION_SCHEMA.

Copia i dati

Potresti voler creare copie dei dati per vari motivi, ad esempio per proteggerli da errori umani o per conservarli per un confronto futuro. BigQuery offre diverse opzioni per copiare i dati di una tabella da un determinato momento nel tempo.

  • Viaggio nel tempo. Potresti dover accedere allo stato di una tabella in un momento specifico della settimana precedente, ad esempio se i dati sono stati danneggiati a causa di un errore umano. BigQuery conserva i dati storici delle tabelle per sette giorni. Puoi accedere ai dati storici recenti di una tabella utilizzando la funzionalità di viaggio nel tempo.

    Per saperne di più, consulta Accedere ai dati storici utilizzando il viaggio nel tempo.

  • Snapshot delle tabelle. Se vuoi poter accedere allo stato di una tabella da più di una settimana fa, valuta la possibilità di creare snapshot delle tabelle periodicamente. Gli snapshot delle tabelle sono copie leggere e di sola lettura che ti consentono di conservare lo stato delle tabelle a tempo indeterminato. Con gli snapshot delle tabelle, ad esempio, puoi confrontare i dati attuali di una tabella con i dati dell'inizio dell'anno, cosa che non è possibile utilizzando il viaggio nel tempo. Ti vengono addebitati solo i costi per l'archiviazione dei dati che differiscono tra la tabella di base e il relativo snapshot della tabella.

    Per saperne di più, consulta Introduzione agli snapshot delle tabelle.

  • Cloni delle tabelle. Se vuoi creare una copia leggera e scrivibile di una tabella, puoi utilizzare i cloni delle tabelle. Paghi solo per l'archiviazione dei dati che differiscono tra una tabella di base e il relativo clone della tabella. Ad esempio, puoi creare cloni delle tabelle in un ambiente di test in modo da poter sperimentare con le copie dei dati di produzione senza influire sui dati di produzione e senza dover pagare per l'archiviazione delle copie complete delle tabelle.

    Per saperne di più, consulta Introduzione ai cloni delle tabelle.

Tieni traccia della derivazione dei dati

La derivazione dei dati è una funzionalità di Knowledge Catalog che consente di monitorare il modo in cui i dati vengono trasferiti nei sistemi: da dove provengono, dove vengono inviati e a quali trasformazioni sono sottoposti. Per saperne di più su come la derivazione dei dati può aiutarti a monitorare lo spostamento dei dati nel tuo progetto, consulta Informazioni sulla derivazione dei dati in Knowledge Catalog.

Proteggi le risorse

La sicurezza di BigQuery si basa su Google Cloud Identity and Access Management. BigQuery ti consente di controllare l'accesso alle risorse a molti livelli, incluso l'accesso all'organizzazione, alle cartelle, ai progetti, ai set di dati, alle tabelle, alle colonne delle tabelle e alle righe delle tabelle.

Per informazioni sul controllo dell'accesso alle risorse BigQuery, consulta Panoramica della sicurezza dei dati e della governance.

Gestisci i carichi di lavoro

BigQuery esegue molte attività per conto degli utenti, tra cui l'importazione, l'esecuzione di query e l'esportazione dei dati. Ogni attività viene eseguita da un job BigQuery. Questa sezione descrive come monitorare e gestire i job della tua organizzazione.

Gestisci i job

I job sono azioni che BigQuery esegue per conto di un utente per caricare, esportare, eseguire query o copiare i dati. Quando un utente avvia una di queste attività utilizzando la Google Cloud console, lo strumento a riga di comando bq, un' istruzione SQL o una chiamata API, BigQuery crea automaticamente un job per eseguire l'attività.

In qualità di amministratore di BigQuery, puoi monitorare, gestire e risolvere i problemi relativi ai job della tua organizzazione per assicurarti che vengano eseguiti senza problemi.

Per saperne di più, consulta Gestire i job.

Gestisci le prenotazioni

Quando BigQuery esegue le query, utilizza unità di calcolo chiamate slot. BigQuery calcola quanti slot sono necessari per eseguire ogni query, a seconda delle dimensioni e della complessità della query.

BigQuery prevede due modelli di prezzi per l'addebito degli slot che eseguono le query:

  • Fatturazione on demand. Le query utilizzano un pool di slot condivisi e ti viene addebitato il numero di byte elaborati dalle query. Per saperne di più sui limiti di fatturazione on demand, consulta Job di query.
  • Fatturazione basata sulla capacità. Assegni un impegno di prenotazione o capacità a una versione, ognuna delle quali è dotata di un proprio set di funzionalità e di un proprio prezzo per offrirti l'ambiente di lavoro migliore.

Questi modelli di prezzi si applicano per progetto, quindi puoi avere alcuni progetti che utilizzano la fatturazione on demand e altri che utilizzano la fatturazione basata sulla capacità.

Con la fatturazione on demand, dopo aver consumato l'allocazione mensile di utilizzo senza costi ti viene addebitato il numero di byte elaborati da ogni query. Il throughput è limitato a una quota di slot predefinita, condivisa tra le query eseguite in un progetto.

Con la fatturazione delle versioni di BigQuery, allochi gli slot per la tua organizzazione tramite prenotazioni con scalabilità automatica e impegni di capacità facoltativi, ma più economici. Gli slot per ogni versione hanno un proprio prezzo e offrono un proprio set di funzionalità. Per saperne di più sulle versioni di BigQuery e sulle funzionalità che sono associate, consulta Introduzione alle versioni di BigQuery.

Per saperne di più sulla gestione della capacità di calcolo per l'elaborazione delle query, consulta i seguenti documenti:

Monitora le risorse

Google Cloud offre la funzionalità di monitorare e controllare le tue risorse, incluse le risorse BigQuery. Questa sezione descrive le Google Cloud funzionalità di monitoraggio e controllo che si applicano a BigQuery.

Per saperne di più, consulta Introduzione al monitoraggio di BigQuery.

La dashboard di Cloud Monitoring

Cloud Monitoring fornisce una dashboard per il monitoraggio di BigQuery. Utilizza questa dashboard per visualizzare informazioni su incidenti, set di dati, tabelle, progetti, tempi di query e utilizzo degli slot di BigQuery.

Per saperne di più, consulta Visualizzare la dashboard di Monitoring.

Grafici e avvisi di amministrazione

Puoi utilizzare Cloud Monitoring per creare grafici personalizzati in base alle risorse, alle metriche e a qualsiasi aggregazione specificata.

Per saperne di più, consulta Dashboard e grafici.

Puoi anche creare policy di avviso che ti inviano una notifica se viene attivato l'avviso configurato. Ad esempio, puoi creare un avviso che invia un'email a un indirizzo email specificato se il tempo di esecuzione di una query supera un limite specificato.

Per saperne di più, consulta Creare un avviso.

Monitora le prenotazioni

Puoi monitorare l'utilizzo degli slot nella pagina Gestione della capacità del Google Cloud la console. Puoi visualizzare gli impegni di capacità e vedere dove sono state assegnate le prenotazioni di slot. Puoi anche utilizzare lo strumento di stima degli slot (anteprima) per stimare i requisiti di capacità della tua organizzazione in base alle metriche sul rendimento storico.

Per saperne di più, consulta Monitorare le prenotazioni di BigQuery.

Quote

Google Cloud imposta limiti all'utilizzo delle risorse, incluse le risorse BigQuery, sia per garantire un utilizzo equo delle risorse condivise sia per proteggerti da costi imprevisti. Puoi visualizzare l'utilizzo delle risorse BigQuery con quote e richiedere una quota più elevata, se necessario, utilizzando la Google Cloud console.

Per saperne di più, consulta Quote e limiti di BigQuery.

Audit log

Cloud Audit Logs conservano un record degli Google Cloud eventi, inclusi gli eventi di BigQuery. Puoi utilizzare Esplora log per eseguire query sui log relativi a eventi correlati a job, set di dati, trasferimenti e altro ancora di BigQuery. La dashboard dei log mostra informazioni sugli errori recenti e puoi utilizzare le metriche basate su log per contare le voci di log corrispondenti a un determinato filtro.

Per saperne di più, consulta la Google Cloud documentazione relativa alla registrazione.

Ottimizza i carichi di lavoro

Puoi ottimizzare la configurazione di BigQuery per controllare sia i costi di archiviazione sia quelli di trattamento delle query.

Guida per l'affidabilità

Questo documento fornisce una comprensione dell'affidabilità di BigQuery, inclusi approfondimenti su disponibilità, durabilità, coerenza dei dati, coerenza del rendimento e recupero dei dati in BigQuery, nonché una revisione delle considerazioni sulla gestione degli errori. Per saperne di più sull'affidabilità e sulla pianificazione di emergenza, consulta Comprendere l'affidabilità.

Risoluzione dei problemi

Oltre alle funzionalità descritte in questo documento per il monitoraggio e la gestione del sistema BigQuery della tua organizzazione, sono disponibili le seguenti risorse per la risoluzione dei problemi che potrebbero verificarsi:

Se hai bisogno di ulteriore assistenza, consulta Richiedi assistenza.

Passaggi successivi