Introduzione alle pipeline di BigQuery
Puoi utilizzare le pipeline di BigQuery per automatizzare e semplificare i processi di dati di BigQuery. Con le pipeline, puoi pianificare ed eseguire asset di codice in sequenza per migliorare l'efficienza e ridurre l'impegno manuale.
Panoramica
Le pipeline sono basate su Dataform.
Una pipeline è composta da uno o più dei seguenti asset di codice:
Puoi utilizzare le pipeline per pianificare l'esecuzione degli asset di codice. Ad esempio, puoi pianificare l'esecuzione quotidiana di una query SQL e aggiornare una tabella con i dati di origine più recenti, che possono poi alimentare una dashboard.
In una pipeline con più asset di codice, definisci la sequenza di esecuzione. Ad esempio, per addestrare un modello di machine learning, puoi creare un flusso di lavoro in cui una query SQL prepara i dati e poi un notebook successivo addestra il modello utilizzando questi dati.
Funzionalità
In una pipeline puoi:
- Creare nuove query SQL o notebook o importare quelli esistenti in una pipeline.
- Pianificare l'esecuzione automatica di una pipeline a un orario e con una frequenza specifici.
- Condividere una pipeline con utenti o gruppi specificati.
- Condividere un link a una pipeline.
Limitazioni
Le pipeline sono soggette alle seguenti limitazioni:
- Le pipeline sono disponibili solo nella Google Cloud console.
- Non puoi modificare la regione per l'archiviazione di una pipeline dopo la sua creazione.
- Puoi concedere agli utenti o ai gruppi l'accesso a una pipeline selezionata, ma non puoi concedere loro l'accesso a singole attività all'interno della pipeline.
- Se l'esecuzione di una pipeline pianificata non termina prima dell'inizio dell'esecuzione pianificata successiva, l'esecuzione pianificata successiva viene ignorata e contrassegnata con un errore.
Impostare la regione predefinita per gli asset di codice
Tutti i nuovi asset di codice nel tuo Google Cloud progetto utilizzano una regione predefinita. Una volta creato l'asset, non puoi modificarne la regione.
Per impostare la regione predefinita per i nuovi asset di codice:
Vai alla pagina BigQuery.
Nel riquadro a sinistra, fai clic su File per aprire il browser dei file:
Accanto al nome del progetto, fai clic su Visualizza azioni del riquadro File > Cambia regione del codice.
Seleziona la regione del codice che vuoi utilizzare come predefinita.
Fai clic su Salva.
Per un elenco delle regioni supportate, vedi Località di BigQuery Studio.
Tutti gli asset di codice vengono archiviati nella regione predefinita per gli asset di codice. L'aggiornamento della regione predefinita modifica la regione per tutti gli asset di codice creati dopo questo punto.
Quote e limiti
Le pipeline di BigQuery sono soggette a quote e limiti di Dataform.
Prezzi
L'esecuzione delle attività della pipeline di BigQuery comporta addebiti per il calcolo e lo spazio di archiviazione in BigQuery. Per ulteriori informazioni, vedi Prezzi di BigQuery.
Le pipeline che contengono notebook comportano addebiti per il runtime di Colab Enterprise in base al tipo di macchina predefinito. Per i dettagli sui prezzi, vedi Prezzi di Colab Enterprise.
Ogni esecuzione della pipeline di BigQuery viene registrata utilizzando Cloud Logging. Il logging viene abilitato automaticamente per le esecuzioni della pipeline di BigQuery, che possono comportare addebiti di fatturazione di Cloud Logging. Per ulteriori informazioni, vedi Prezzi di Cloud Logging.
Passaggi successivi
- Scopri come creare le pipeline.
- Scopri come gestire le pipeline.
- Scopri come pianificare le pipeline.