Pianifica pipeline

Questo documento descrive come pianificare le pipeline BigQuery, tra cui come pianificare le pipeline e ispezionare le esecuzioni delle pipeline pianificate.

Le pipeline sono basate su Dataform. Ogni pianificazione della pipeline viene eseguita utilizzando le credenziali utente del tuo Account Google o un service account personalizzato che selezioni durante la configurazione della pianificazione.

Le modifiche apportate a una pipeline vengono salvate automaticamente, ma sono disponibili solo per te e per gli utenti a cui è stato concesso il ruolo Amministratore Dataform nel progetto. Per aggiornare la pianificazione con una nuova versione della pipeline, devi eseguire il deployment della pipeline. Il deployment aggiorna la pianificazione in modo che utilizzi la versione attuale della pipeline. Le pianificazioni eseguono sempre l'ultima versione di cui è stato eseguito il deployment.

Le pianificazioni delle pipeline che contengono notebook utilizzano una specifica di runtime predefinita. Durante l'esecuzione pianificata di una pipeline contenente notebook, BigQuery scrive l'output dei notebook nel bucket Cloud Storage selezionato durante la creazione della pianificazione.

Prima di iniziare

Prima di iniziare, crea una pipeline.

Abilita la pianificazione della pipeline

Per pianificare le pipeline, devi concedere il seguente ruolo ai service account personalizzati che prevedi di utilizzare per le pianificazioni delle pipeline:

Service Account User (roles/iam.serviceAccountUser)

Segui Concedi un singolo ruolo su un service account per aggiungere il tuo account di servizio come entità a se stesso. In altre parole, aggiungi il account di servizio come entità allo stesso account di servizio. Quindi, concedi il ruolo Utente account di servizio a questa entità.

Se la pipeline contiene query SQL, devi concedere i seguenti ruoli ai service account personalizzati o agli Account Google che prevedi di utilizzare per le pianificazioni della pipeline:

BigQuery Job User (roles/bigquery.jobUser)

Segui Concedi un singolo ruolo a un progetto per concedere il ruolo BigQuery Job User agli account di servizio personalizzati o agli Account Google nei progetti da cui le pipeline leggono i dati.

BigQuery Data Viewer (roles/bigquery.dataViewer)

Segui la procedura per concedere un singolo ruolo a un progetto per concedere il ruolo Visualizzatore dati BigQuery agli account di servizio personalizzati o agli Account Google nei progetti da cui le pipeline leggono i dati.

BigQuery Data Editor (roles/bigquery.dataEditor)

Segui Concedi un singolo ruolo a un progetto per concedere il ruolo BigQuery Data Editor ai service account personalizzati o agli Account Google nei progetti in cui le pipeline scrivono i dati.

Se la pipeline contiene notebook, devi concedere i seguenti ruoli ai service account personalizzati o agli Account Google che prevedi di utilizzare per le pianificazioni della pipeline:

Notebook Executor User (roles/aiplatform.notebookExecutorUser)

Segui Concedi un singolo ruolo a un progetto per concedere il ruolo Notebook Executor User ai service account personalizzati o agli Account Google nel progetto selezionato.

Storage Admin (roles/storage.admin)

Segui Aggiungi un'entità a una policy a livello di bucket per aggiungere i service account personalizzati o gli Account Google come entità al bucket Cloud Storage che prevedi di utilizzare per archiviare l'output dei notebook eseguiti nelle esecuzioni di pipeline pianificate, quindi concedi il ruolo Amministratore Storage a queste entità.

Inoltre, devi concedere i seguenti ruoli all'agente di servizio Dataform predefinito:

Creatore token service account (roles/iam.serviceAccountTokenCreator)

Segui Concedi l'accesso alla creazione di token a un service account per aggiungere l'agente di servizio Dataform predefinito come entità al tuo service account e concedi il ruolo Creatore token account di servizio a questa entità.

Service Account User (roles/iam.serviceAccountUser)

Segui Concedi o revoca più ruoli IAM utilizzando la console Google Cloud per concedere il ruolo Service Account User all'agente di servizio Dataform predefinito nel account di servizio personalizzato.

Per attivare l'arricchimento dei metadati in Knowledge Catalog, devi abilitare l'API Dataplex. Inoltre, devi concedere il seguente ruolo nel progetto o nel gruppo di voci @bigquery ai service account personalizzati o agli Account Google che prevedi di utilizzare per le pianificazioni della pipeline:

Ruolo Dataplex Catalog Editor (roles/dataplex.catalogEditor)

Segui Concedi un singolo ruolo a un progetto per concedere il ruolo Dataplex Catalog Editor ai service account personalizzati o agli Account Google nel progetto o nel gruppo di voci @bigquery.

Per saperne di più sui service account in Dataform, consulta Informazioni sui service account in Dataform.

Requisiti dei Controlli di servizio VPC

Se utilizzi i Controlli di servizio VPC per proteggere le tue pipeline, tieni presente che le esecuzioni pianificate sono basate su Dataform. Quando configuri i Controlli di servizio VPC per le esecuzioni pianificate, assicurati che siano soddisfatti i seguenti requisiti:

• Devi impostare il servizio policy dell'organizzazione dataform.restrictGitRemotes.
• Dataform e BigQuery devono essere limitati dallo stesso perimetro di servizio dei Controlli di servizio VPC.
• Per consentire agli utenti di autenticarsi con le credenziali utente del proprio Account Google durante la pianificazione o l'attivazione manuale delle esecuzioni, devi aggiungere le loro identità utente alle regole in entrata. Per saperne di più, consulta Aggiornamento delle policy in entrata e in uscita per un perimetro di servizio e Riferimento per le regole in entrata.

Per i passaggi di configurazione dettagliati e le considerazioni sulla sicurezza, consulta Configura i Controlli di servizio VPC per Dataform.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le pipeline, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Visualizza e gestisci le programmazioni:
  • Dataform Admin (roles/dataform.admin) sulla pipeline
  • Dataform Editor (roles/dataform.editor) sul progetto
• Visualizza ed esegui le pipeline:
  • Dataform Viewer (roles/dataform.viewer) sul progetto
  • Utente job BigQuery (roles/bigquery.jobUser) sul progetto
• Esegui una pianificazione della pipeline con le credenziali utente per un Account Google: BigQuery Job User (roles/bigquery.jobUser) sul progetto
• Esegui una pianificazione della pipeline con un account di servizio personalizzato: Service Account User (roles/iam.serviceAccountUser) sul account di servizio personalizzato
• Gestisci le pianificazioni delle pipeline nelle cartelle utente:
  • Code Owner (roles/dataform.codeOwner) sulla cartella
  • Editor di codice (roles/dataform.codeEditor) sulla cartella
• Gestisci le pianificazioni delle pipeline nelle cartelle del team:
  • Team Folder Owner (roles/dataform.teamFolderOwner) sulla cartella del team
  • Team Folder Contributor (roles/dataform.teamFolderContributor) sulla cartella del team
• Gestisci le pipeline nei repository Git: Developer Connect OAuth User (roles/developerconnect.oauthUser) sul progetto
• Abilita l'arricchimento dei metadati: Dataplex Catalog Editor (roles/dataplex.catalogEditor) sul progetto o sul gruppo di voci @bigquery

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per migliorare la sicurezza della pianificazione, consulta Implementa autorizzazioni di pianificazione avanzate.

Per saperne di più su Dataform IAM, consulta Controlla l'accesso con IAM.

Per saperne di più sui ruoli per le cartelle, consulta Crea e gestisci le cartelle.

Per ulteriori informazioni sui ruoli per i repository Git, consulta Gestisci il codice con i repository Git di BigQuery Studio.

Per utilizzare i template di runtime dei notebook di Colab durante la pianificazione delle pipeline, devi disporre del ruolo Utente runtime blocco note (roles/aiplatform.notebookRuntimeUser).

Crea una pianificazione della pipeline

Puoi anche utilizzare la pagina Pipeline e connessioni per pianificare una pipeline Dataform utilizzando un workflow semplificato specifico per BigQuery. Questa funzionalità è in anteprima.

Nota: per le pipeline archiviate nelle cartelle Git di BigQuery Studio, la pianificazione viene gestita tramite i deployment di Dataform.

Per creare una pianificazione della pipeline, segui questi passaggi:

Riquadro File

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File per aprire il browser di file.

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.

3. Nel riquadro File, espandi la cartella Utente o una Cartella del team, quindi seleziona una pipeline.

4. Nella barra degli strumenti di Pipeline Viewer, fai clic su Pianifica o Trigger.

5. Nel riquadro Pianifica pipeline, nel campo Nome pianificazione, inserisci un nome per la pianificazione.

6. Nella sezione Autenticazione, autorizza la pipeline con le credenziali utente del tuo Account Google o con un service account.

   • Per utilizzare le credenziali utente del tuo Account Google (Anteprima), seleziona Esegui con le mie credenziali utente.

     (Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dalla pipeline:

     • Knowledge Catalog: consente gli aggiornamenti dei metadati di Google Cloud Knowledge Catalog.
     • Google Drive: consente l'accesso di sola lettura ai file di Google Drive.
     • Bigtable: consente l'accesso di sola lettura ai dati di Google Bigtable.

   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato, quindi seleziona un account di servizio.

7. Se la pipeline contiene un notebook, nella sezione Opzioni notebook, nel campo Modello di runtime, seleziona un modello di runtime del notebook Colaboratory o le specifiche di runtime predefinite. Per maggiori dettagli sulla creazione di un template di runtime di un notebook di Colab, consulta Crea un template di runtime.

   Nota: un template di runtime del notebook deve trovarsi nella stessa regione della pipeline.
   Nota: se non hai il ruolo richiesto per utilizzare i template di runtime del notebook di Colab, puoi comunque eseguire e pianificare le pipeline con le specifiche di runtime predefinite.

8. Se la pipeline contiene un notebook, nella sezione Opzioni notebook, nel campo Bucket Cloud Storage, fai clic su Sfoglia e seleziona o crea un bucket Cloud Storage per archiviare l'output dei notebook nella pipeline.

   Al account di servizio selezionato deve essere concesso il ruolo IAM Storage Admin sul bucket selezionato. Per saperne di più, consulta Abilita la pianificazione delle pipeline.

9. In Tipo di configurazione, seleziona Pianificazione (ricorrenza basata sul tempo).

10. In Pianifica frequenza, segui questi passaggi:

    1. Nel menu Ripetizioni, seleziona la frequenza delle esecuzioni della pipeline pianificate.
    2. Nel campo All'ora, inserisci l'ora per le esecuzioni della pipeline pianificate.
    3. Nel menu Fuso orario, seleziona il fuso orario per la pianificazione.

11. Imposta la priorità del job di query BigQuery con l'opzione Esegui come job interattivo con priorità alta (impostazione predefinita). Per impostazione predefinita, BigQuery esegue le query come job di query interattive, che devono essere avviati il più rapidamente possibile. Se deselezioni questa opzione, le query vengono eseguite come job di query batch, che hanno una priorità inferiore.

12. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google (Anteprima).

Quando crei la pianificazione, viene eseguito automaticamente il deployment della versione attuale della pipeline. Per aggiornare la pianificazione con una nuova versione della pipeline, esegui il deployment della pipeline.

L'ultima versione della pipeline di cui è stato eseguito il deployment viene eseguita all'ora e con la frequenza selezionate.

Nota: se un'esecuzione della pipeline pianificata non termina prima dell'inizio dell'esecuzione pianificata successiva, quest'ultima viene saltata e contrassegnata con un errore.

Riquadro Explorer

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e seleziona una pipeline.

4. Fai clic su Pianifica.

5. Nel riquadro Pianifica pipeline, nel campo Nome pianificazione, inserisci un nome per la pianificazione.

6. Nella sezione Autenticazione, autorizza la pipeline con le credenziali utente del tuo Account Google o con un service account.

   • Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le mie credenziali utente.

     (Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dalla pipeline:

     • Knowledge Catalog: consente gli aggiornamenti dei metadati di Google Cloud Knowledge Catalog.
     • Google Drive: consente l'accesso di sola lettura ai file di Google Drive.
     • Bigtable: consente l'accesso di sola lettura ai dati di Google Bigtable.

   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato, quindi seleziona un account di servizio.

7. Se la pipeline contiene un notebook, nella sezione Opzioni notebook, nel campo Modello di runtime, seleziona un modello di runtime del notebook Colaboratory o le specifiche di runtime predefinite. Per maggiori dettagli sulla creazione di un template di runtime di un notebook di Colab, consulta Crea un template di runtime.

   Nota: un template di runtime del notebook deve trovarsi nella stessa regione della pipeline.
   Nota: se non hai il ruolo richiesto per utilizzare i template di runtime del notebook di Colab, puoi comunque eseguire e pianificare le pipeline con le specifiche di runtime predefinite.

8. Se la pipeline contiene un notebook, nella sezione Opzioni notebook, nel campo Bucket Cloud Storage, fai clic su Sfoglia e seleziona o crea un bucket Cloud Storage per archiviare l'output dei notebook nella pipeline.

   Al account di servizio selezionato deve essere concesso il ruolo IAM Storage Admin sul bucket selezionato. Per saperne di più, consulta Abilita la pianificazione delle pipeline.

9. In Tipo di configurazione, seleziona Pianificazione (ricorrenza basata sul tempo).

10. In Pianifica frequenza, segui questi passaggi:

    1. Nel menu Ripetizioni, seleziona la frequenza delle esecuzioni della pipeline pianificate.
    2. Nel campo All'ora, inserisci l'ora per le esecuzioni della pipeline pianificate.
    3. Nel menu Fuso orario, seleziona il fuso orario per la pianificazione.

11. Imposta la priorità del job di query BigQuery con l'opzione Esegui come job interattivo con priorità alta (impostazione predefinita). Per impostazione predefinita, BigQuery esegue le query come job di query interattive, che devono essere avviati il più rapidamente possibile. Se deselezioni questa opzione, le query vengono eseguite come job di query batch, che hanno una priorità inferiore.

12. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.

Quando crei la pianificazione, viene eseguito automaticamente il deployment della versione attuale della pipeline. Per aggiornare la pianificazione con una nuova versione della pipeline, esegui il deployment della pipeline.

L'ultima versione della pipeline di cui è stato eseguito il deployment viene eseguita all'ora e con la frequenza selezionate.

Nota: se un'esecuzione della pipeline pianificata non termina prima dell'inizio dell'esecuzione pianificata successiva, quest'ultima viene saltata e contrassegnata con un errore.

Pagina Pianificazione

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic su Crea e poi seleziona Pianificazione pipeline dal menu.

3. Nel riquadro Pianifica pipeline, seleziona una pipeline da pianificare.

4. Nel campo Nome pianificazione, inserisci un nome per la pianificazione.

5. Nella sezione Autenticazione, autorizza la pipeline con le credenziali utente del tuo Account Google o con un service account.

   • Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le mie credenziali utente.

     (Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dalla pipeline:

     • Knowledge Catalog: consente gli aggiornamenti dei metadati di Google Cloud Knowledge Catalog.
     • Google Drive: consente l'accesso di sola lettura ai file di Google Drive.
     • Bigtable: consente l'accesso di sola lettura ai dati di Google Bigtable.

   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato, quindi seleziona un account di servizio.

6. Se la pipeline contiene un notebook, nella sezione Opzioni notebook, nel campo Modello di runtime, seleziona un modello di runtime del notebook di Colab o le specifiche di runtime predefinite. Per maggiori dettagli sulla creazione di un template di runtime per i notebook di Colab, consulta Crea un template di runtime.

   Nota: un template di runtime del notebook deve trovarsi nella stessa regione della pipeline.
   Nota: se non hai il ruolo richiesto per utilizzare i template di runtime dei notebook di Colab, puoi comunque eseguire e pianificare le pipeline con le specifiche di runtime predefinite.

7. Se la pipeline contiene un notebook, nel campo Bucket Cloud Storage, fai clic su Sfoglia e seleziona o crea un bucket Cloud Storage per archiviare l'output dei notebook nella pipeline.

   Al account di servizio selezionato deve essere concesso il ruolo IAM Storage Admin sul bucket selezionato. Per saperne di più, consulta Abilita la pianificazione delle pipeline.

8. In Tipo di configurazione, seleziona Pianificazione (ricorrenza basata sul tempo).

9. In Pianifica frequenza, segui questi passaggi:

   1. Nel menu Ripetizioni, seleziona la frequenza delle esecuzioni della pipeline pianificate.
   2. Nel campo All'ora, inserisci l'ora per le esecuzioni della pipeline pianificate.
   3. Nel menu Fuso orario, seleziona il fuso orario per la pianificazione.

10. Imposta la priorità del job di query BigQuery con l'opzione Esegui come job interattivo con priorità alta (impostazione predefinita). Per impostazione predefinita, BigQuery esegue le query come job di query interattive, che devono essere avviati il più rapidamente possibile. Se deselezioni questa opzione, le query vengono eseguite come job di query batch, che hanno una priorità inferiore.

11. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.

Nota: se l'esecuzione di una pipeline pianificata non termina prima dell'inizio dell'esecuzione pianificata successiva, quest'ultima viene saltata e contrassegnata con un errore.

Autorizzare l'Account Google

Per autenticare la risorsa con le credenziali utente del tuo Account Google, devi concedere manualmente l'autorizzazione alle pipeline BigQuery per ottenere il token di accesso per il tuo Account Google e accedere ai dati di origine per tuo conto. Puoi concedere l'approvazione manuale con l'interfaccia della finestra di dialogo OAuth. Se selezioni una delle opzioni di accesso esteso, devi concedere l'accesso a questi servizi, ad esempio Google Drive o Knowledge Catalog.

Nota: le policy di accesso sensibile al contesto (CAA), incluse quelle basate su IP, geolocalizzazione e conformità dei dispositivi, non sono supportate durante l'esecuzione o la pianificazione di pipeline BigQuery con credenziali utente per un Account Google, perché le richieste di token provengono dall'infrastruttura di Google. Le policy CAA bloccano queste esecuzioni, a meno che l'ID client OAuth di Dataform non sia esente dalle policy.

Devi concedere l'autorizzazione alle pipeline BigQuery una sola volta.

Per revocare l'autorizzazione concessa, segui questi passaggi:

1. Vai alla pagina del tuo Account Google.
2. Fai clic su Pipeline BigQuery.
3. Fai clic su Rimuovi accesso.

Avviso: la revoca delle autorizzazioni di accesso impedisce l'esecuzione futura delle pipeline di proprietà di questo Account Google in tutte le regioni.

Anche la modifica del proprietario della pianificazione della pipeline tramite l'aggiornamento delle credenziali richiede l'approvazione manuale se il nuovo proprietario dell'Account Google non ha mai creato una pianificazione prima.

Se la pipeline contiene un notebook, devi anche concedere manualmente l'autorizzazione a Colab Enterprise per ottenere il token di accesso per il tuo Account Google e accedere ai dati di origine per tuo conto. Devi concedere l'autorizzazione una sola volta. Puoi revocare questa autorizzazione nella pagina Account Google.

Pianificazione basata su trigger

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Nota: per ricevere assistenza o fornire un feedback su questa funzionalità, contatta [e-mail].

Puoi configurare le pipeline BigQuery in modo che attivino automaticamente le esecuzioni in base agli aggiornamenti delle tabelle BigQuery specificate. Puoi creare pianificazioni basate su trigger per automatizzare le esecuzioni delle pipeline in risposta alle modifiche ai dati di BigQuery, anziché in base a una pianificazione fissa.

Quando la pipeline rileva modifiche alla tabella o alle tabelle specificate, attiva una nuova esecuzione del workflow associato. Puoi definire condizioni basate sugli aggiornamenti di una singola tabella, di un insieme di tabelle o di una qualsiasi tabella di un insieme.

Puoi anche modificare le impostazioni facoltative delle pianificazioni basate su trigger per controllare l'intervallo minimo tra i trigger della pipeline. Ad esempio, modifica il valore di Durata minima di esecuzione per assicurarti che le pianificazioni basate su trigger non vengano attivate più spesso del previsto. Puoi anche modificare il valore di Durata massima di attesa per assicurarti che la pianificazione basata su trigger venga attivata forzatamente una volta entro tale durata, anche se non sono stati rilevati aggiornamenti della tabella.

Limitazioni

Le pianificazioni basate su trigger sono soggette alle seguenti limitazioni:

• Le pianificazioni basate su trigger non sono istantanee. Quando configuri una pianificazione basata su trigger, la pipeline controlla lo stato della tabella BigQuery circa una volta ogni 3 minuti. Questo periodo di tempo è chiamato intervallo di polling e può comportare un ritardo tra la modifica di una tabella e l'attivazione del trigger.
• Ogni tabella monitorata genera chiamate API a BigQuery durante ogni intervallo di polling. Il monitoraggio di un numero molto elevato di tabelle può contribuire al consumo della quota dell'API BigQuery.

Crea un trigger

Per creare un trigger, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Apri la pipeline nel visualizzatore di pipeline eseguendo una delle seguenti operazioni:

   • Nel riquadro a sinistra, fai clic su File, espandi la cartella Utente o una cartella del team, quindi seleziona una pipeline.
   • Nel riquadro a sinistra, fai clic su Explorer, espandi il progetto, fai clic su Pipeline e seleziona una pipeline.

3. Nella barra degli strumenti del visualizzatore di pipeline, fai clic su Trigger.

4. Nel campo Trigger, inserisci un nome per il trigger.

5. Nella sezione Autenticazione, autorizza la pipeline con le credenziali utente del tuo Account Google o con un service account.

   • Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le mie credenziali utente.

     (Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dalla pipeline:

     • Knowledge Catalog: consente gli aggiornamenti dei metadati di Google Cloud Knowledge Catalog.
     • Google Drive: consente l'accesso di sola lettura ai file di Google Drive.
     • Bigtable: consente l'accesso di sola lettura ai dati di Google Bigtable.

   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato, quindi seleziona un account di servizio.

6. Se la pipeline contiene un notebook, nella sezione Opzioni notebook, nel campo Modello di runtime, seleziona un modello di runtime del notebook Colaboratory o le specifiche di runtime predefinite. Per maggiori dettagli sulla creazione di un template di runtime di un notebook di Colab, consulta Crea un template di runtime.

   Nota: un template di runtime del notebook deve trovarsi nella stessa regione della pipeline.
   Nota: se non hai il ruolo richiesto per utilizzare i template di runtime del notebook di Colab, puoi comunque eseguire e pianificare le pipeline con le specifiche di runtime predefinite.

7. Se la pipeline contiene un notebook, nella sezione Opzioni notebook, nel campo Bucket Cloud Storage, fai clic su Sfoglia e seleziona o crea un bucket Cloud Storage per archiviare l'output dei notebook nella pipeline.

   Al account di servizio selezionato deve essere concesso il ruolo IAM Storage Admin sul bucket selezionato. Per saperne di più, consulta Abilita la pianificazione delle pipeline.

8. In Tipo di configurazione, seleziona Trigger (esecuzione basata su eventi).

9. Nel campo Cerca tabelle, aggiungi una o più tabelle da monitorare per il trigger.

10. In Condizione di attivazione, seleziona una delle seguenti opzioni:

    • Attendi l'aggiornamento di TUTTE le tabelle: attiva il workflow solo quando tutte le tabelle elencate sono state aggiornate dall'ultimo controllo.
    • Attiva se viene aggiornata QUALSIASI tabella: attiva questo workflow se una delle tabelle elencate viene aggiornata dall'ultimo controllo.

11. (Facoltativo) In Durata massima di attesa, inserisci una durata per forzare l'attivazione di un trigger se non vengono rilevati aggiornamenti della tabella entro questo periodo di tempo. Supporta valori compresi tra 1 secondo e 7 giorni. Se non viene specificato, il workflow verrà eseguito solo se la tabella monitorata viene aggiornata e se viene soddisfatta la durata minima dell'esecuzione.

12. (Facoltativo) Per Durata minima esecuzione, seleziona una durata per impedire l'attivazione dei trigger con una frequenza superiore a questa durata minima. Supporta valori compresi tra 3 minuti e 24 ore. Se non viene specificato, il valore predefinito è 3 minuti.

13. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.

Risoluzione dei problemi relativi alle pianificazioni basate su trigger

Questa sezione descrive i problemi comuni relativi alle pianificazioni basate su trigger e come risolverli.

Problema: l'attivatore non si attiva

Risoluzione: prova uno dei seguenti passaggi:

• Verifica che le credenziali utente o il account di servizio dispongano di tutte le autorizzazioni richieste.
• Verifica che la tabella BigQuery specificata venga modificata.
• Verifica che l'attivatore non sia interessato dall'intervallo di polling.
• Controlla se la durata minima dell'esecuzione o il valore Durata minima esecuzione impediscono esecuzioni più frequenti. Puoi diminuire questo valore per aumentare la frequenza di attivazione del trigger.
• Controlla se l'opzione della condizione di attivazione (TUTTE o QUALSIASI) influisce sull'attivazione dell'attivatore.
• Esamina gli audit log per verificare la presenza di errori quando Dataform tenta di chiamare l'API BigQuery per controllare lo stato della tabella monitorata.

Problema: l'attivatore si attiva troppo spesso

Risoluzione: regola la durata minima dell'esecuzione o il valore di Durata minima esecuzione. Puoi aumentare questo valore per ridurre la frequenza di attivazione del trigger.

Esegui il deployment di una pipeline

Il deployment di una pipeline aggiorna la pianificazione o la configurazione dell'orchestrazione con la versione attuale della pipeline. Le esecuzioni pianificate eseguono sempre l'ultima versione della pipeline di cui è stato eseguito il deployment.

Esegui il deployment delle pipeline archiviate nelle cartelle

Per eseguire il deployment di pipeline autonome e di pipeline archiviate in cartelle, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Apri la pipeline nel visualizzatore di pipeline eseguendo una delle seguenti operazioni:

   • Nel riquadro a sinistra, fai clic su File, espandi la cartella Utente o una cartella del team, quindi seleziona una pipeline.
   • Nel riquadro a sinistra, fai clic su Explorer, espandi il progetto, fai clic su Pipeline e seleziona una pipeline.

3. Nella barra degli strumenti di Pipeline Viewer, fai clic su Esegui il deployment.

La pianificazione corrispondente viene aggiornata con la versione corrente della pipeline. L'ultima versione della pipeline di cui è stato eseguito il deployment viene eseguita all'ora pianificata.

Esegui il deployment delle pipeline archiviate nei repository Git

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Le pipeline archiviate nelle cartelle Git utilizzano i deployment di Dataform per l'orchestrazione e la pianificazione. I deployment consentono di configurare le configurazioni delle release, le configurazioni dei workflow, gli override di compilazione e l'orchestrazione di più ambienti.

Per eseguire il deployment di una pipeline archiviata in un repository Git:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File.

3. Nella struttura ad albero dei file, espandi la cartella del repository Git connesso e seleziona una pipeline o fai clic sulla cartella del repository Git se si tratta di una pipeline a livello root.

4. Nella barra degli strumenti di Pipeline Viewer, fai clic su Esegui il deployment.

5. Nella finestra di dialogo di deployment, configura le configurazioni della release, le configurazioni del workflow e le impostazioni di esecuzione.

6. Fai clic su Esegui il deployment.

Per saperne di più sulla configurazione di deployment, configurazioni di rilascio e configurazioni del workflow, consulta Deployment di Dataform.

Disattiva una pianificazione

Per mettere in pausa le esecuzioni pianificate di una pipeline selezionata senza eliminare la pianificazione, puoi disattivare la pianificazione.

Per disattivare una pianificazione per una pipeline selezionata:

Riquadro File

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File.

3. Nel riquadro File, espandi la cartella Utente o una Cartella del team, quindi seleziona una pipeline.

4. Nella barra degli strumenti del visualizzatore di pipeline, fai clic su Visualizza trigger.

5. Nella tabella Dettagli pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è attiva.

Riquadro Explorer

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e poi seleziona una pipeline.

4. Fai clic su Visualizza trigger.

5. Nella tabella Dettagli pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione La pianificazione è attiva.

Pagina Pianificazione

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic sul nome della pipeline selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Disattiva.

Attiva una pianificazione

Per riprendere le esecuzioni pianificate di una pianificazione della pipeline disabilitata, segui questi passaggi:

Riquadro File

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File.

3. Nel riquadro File, espandi la cartella Utente o una Cartella del team, quindi seleziona una pipeline.

4. Nella barra degli strumenti di Pipeline Viewer, fai clic su Visualizza trigger.

5. Nella tabella Dettagli pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione Pianificazione disattivata.

Riquadro Explorer

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e poi seleziona una pipeline.

4. Fai clic su Visualizza trigger.

5. Nella tabella Dettagli pianificazione, nella riga Stato pianificazione, fai clic sul pulsante di attivazione/disattivazione Pianificazione disattivata.

Pagina Pianificazione

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic sul nome della pipeline selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Abilita.

Esegui manualmente una pipeline di cui è stato eseguito il deployment

Quando esegui manualmente una pipeline di cui è stato eseguito il deployment in una pianificazione selezionata, BigQuery esegue la pipeline una volta, indipendentemente dalla pianificazione.

Per eseguire manualmente una pipeline di cui è stato eseguito il deployment, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic sul nome della pianificazione della pipeline selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Esegui.

Visualizza tutte le pianificazioni delle pipeline

Per visualizzare tutte le pianificazioni delle pipeline nel tuo progetto Google Cloud , segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. (Facoltativo) Per visualizzare colonne aggiuntive con i dettagli della pianificazione della pipeline, fai clic su Opzioni di visualizzazione delle colonne, poi seleziona le colonne e fai clic su Ok.

Visualizza i dettagli della pianificazione della pipeline

Per visualizzare i dettagli di una pianificazione della pipeline selezionata, segui questi passaggi:

Riquadro File

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File.

3. Nel riquadro File, espandi la cartella Utente o una Cartella del team, quindi seleziona una pipeline.

4. Nella barra degli strumenti di Pipeline Viewer, fai clic su Visualizza trigger (o Visualizza trigger).

Riquadro Explorer

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e poi seleziona una pipeline.

4. Fai clic su Visualizza trigger.

Pagina Pianificazione

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic sul nome della pianificazione della pipeline selezionata.

Visualizza le esecuzioni pianificate precedenti

Per visualizzare le esecuzioni precedenti di una pianificazione della pipeline selezionata, segui questi passaggi:

Riquadro File

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File.

3. Nel riquadro File, espandi la cartella Utente, una Cartella del team o un repository Git, quindi seleziona una pipeline.

4. Nella barra degli strumenti del visualizzatore di pipeline, fai clic su Esecuzioni.

5. (Facoltativo) Per aggiornare l'elenco delle esecuzioni precedenti, fai clic su Aggiorna.

Riquadro Explorer

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e seleziona una pipeline.

4. Fai clic su Esecuzioni.

5. (Facoltativo) Per aggiornare l'elenco delle esecuzioni precedenti, fai clic su Aggiorna.

Pagina Pianificazione

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic sul nome della pipeline selezionata.

3. Nella pagina Dettagli pianificazione, nella sezione Esecuzioni passate, controlla le esecuzioni passate.

4. (Facoltativo) Per aggiornare l'elenco delle esecuzioni precedenti, fai clic su Aggiorna.

Modifica una pianificazione della pipeline

Per modificare una pianificazione della pipeline, segui questi passaggi:

Riquadro File

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su File.

3. Nel riquadro File, espandi la cartella Utente o una Cartella del team, quindi seleziona una pipeline.

4. Nella barra degli strumenti di Pipeline Viewer, fai clic su Visualizza trigger e poi su Modifica.

5. Nella finestra di dialogo Pianifica pipeline, modifica la pianificazione, quindi fai clic su Aggiorna pianificazione.

Riquadro Explorer

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto, fai clic su Pipeline e seleziona una pipeline.

4. Fai clic su Visualizza trigger e poi su Modifica.

5. Nella finestra di dialogo Pianifica pipeline, modifica la pianificazione, quindi fai clic su Aggiorna pianificazione.

Pagina Pianificazione

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Fai clic sul nome della pipeline selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Modifica.

4. Fai clic su Visualizza trigger e poi su Modifica.

5. Nella finestra di dialogo Pianifica pipeline, modifica la pianificazione, quindi fai clic su Aggiorna pianificazione.

Elimina una pianificazione della pipeline

Per eliminare definitivamente una pianificazione della pipeline, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina Pianificazione.

   Vai a Programmazione

2. Esegui una delle operazioni seguenti:

   • Fai clic sul nome della pianificazione della pipeline selezionata, quindi nella pagina Dettagli pianificazione, fai clic su Elimina.

   • Nella riga che contiene la pianificazione della pipeline selezionata, fai clic su Visualizza azioni nella colonna Azioni, quindi fai clic su Elimina.

3. Nella finestra di dialogo visualizzata, fai clic su Elimina.

Passaggi successivi

• Scopri di più sulle pipeline in BigQuery.
• Scopri come creare pipeline.
• Scopri come gestire le pipeline.
• Scopri come gestire il codice con i repository Git di BigQuery Studio.
• Scopri come organizzare gli asset di codice con le cartelle.
• Scopri di più sui deployment di Dataform.