Pianifica le preparazioni dei dati

Questo documento descrive come pianificare ed eseguire manualmente i job di preparazione dei dati in BigQuery per automatizzare i workflow di trasformazione dei dati. La pianificazione garantisce che i dati rimangano aggiornati e accurati senza richiedere un intervento manuale. Puoi anche eseguire manualmente le preparazioni dei dati per testare e convalidare le trasformazioni prima del deployment. La preparazione dei dati è basata su Dataform.

Puoi pianificare le preparazioni dei dati con le credenziali utente per un Account Google o con un service account personalizzato.

Prima di iniziare

Prima di iniziare, crea una preparazione dei dati.

Requisiti dei Controlli di servizio VPC

Se utilizzi Controlli di servizio VPC per proteggere le preparazioni dei dati, tieni presente che le esecuzioni pianificate sono gestite da Dataform. Quando configuri Controlli di servizio VPC per le esecuzioni pianificate, assicurati che siano soddisfatti i seguenti requisiti:

• Devi impostare il dataform.restrictGitRemotes servizio Policy dell'organizzazione.
• Dataform e BigQuery devono essere limitati dallo stesso perimetro di servizio Controlli di servizio VPC.
• Per consentire agli utenti di autenticarsi con le credenziali utente del proprio Account Google durante la pianificazione o l'attivazione manuale delle esecuzioni, devi aggiungere le loro identità utente alle regole di ingresso. Per saperne di più, consulta Aggiornamento delle policy in entrata e in uscita per un perimetro di servizio e Riferimento per le regole in entrata.

Per i passaggi di configurazione dettagliati e le considerazioni sulla sicurezza, consulta Configurare i Controlli di servizio VPC per Dataform.

Ruoli obbligatori

Per autorizzare una preparazione dei dati con un account di servizio quando esegui manualmente la preparazione dei dati in fase di sviluppo o pianifichi la preparazione dei dati, devi concedere ruoli al account di servizio che prevedi di utilizzare per eseguire le esecuzioni di preparazione dei dati. Per saperne di più, consulta Concedere l'accesso al service account Dataform.

Per pianificare le preparazioni dei dati:

• Chiedi all'amministratore di concederti il ruolo Utente service account (roles/iam.serviceAccountUser) nel account di servizio personalizzato.
• Concedi il ruolo Utente service account (roles/iam.serviceAccountUser) e il ruolo Creatore token service account (roles/iam.serviceAccountTokenCreator) al service agent Dataform predefinito sul service account personalizzato.

Per migliorare la sicurezza della pianificazione, vedi Implementare autorizzazioni di pianificazione avanzate.

Sviluppare una preparazione dei dati

Man mano che sviluppi una preparazione dei dati, puoi eseguire manualmente i passaggi e ispezionare l'output prima di implementare le modifiche nell'ambiente di produzione. Puoi testare la versione corrente che stai sviluppando sui tuoi dati, mentre BigQuery continua a eseguire l'ultima versione di cui è stato eseguito il deployment, in base a una pianificazione. Prima di poter eseguire l'esecuzione, devi configurare la destinazione e correggere eventuali errori di convalida.

Eseguire manualmente una preparazione dei dati in fase di sviluppo

Per testare i passaggi di preparazione dei dati e convalidare i risultati nella tabella di destinazione, esegui manualmente la preparazione dei dati dall'editor di preparazione dei dati:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro a sinistra per aprirlo.

3. Nel riquadro Explorer, espandi il progetto e fai clic su Preparazioni dei dati.

4. Fai clic sul nome della preparazione dei dati da eseguire.

5. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Altro > Configura l'esperienza Esegui ora.

6. Nella sezione Autenticazione, autorizza la preparazione dei dati con le credenziali dell'utente dell'account Google o un account di servizio.

   • Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le mie credenziali utente. Questa è l'opzione predefinita.

     (Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dalla preparazione dei dati:

     • Google Drive: consente l'accesso in sola lettura ai file di Google Drive.

   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato e poi seleziona un service account. Se il account di servizio necessita di autorizzazioni aggiuntive, concedigli i ruoli richiesti facendo clic su Concedi tutte.

   Nota: per autenticare una preparazione dei dati che utilizza Google Drive come origine dati con le credenziali utente dell'Account Google, seleziona il servizio Google Drive nella sezione Opzioni di accesso esteso. Per autenticare la preparazione dei dati con un account di servizio, condividi il file di Google Drive con questo service account.

7. Fai clic su Salva.

8. Correggi gli eventuali errori di convalida visualizzati.

9. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui.

10. Nella finestra di dialogo Esegui ora, fai clic su Conferma per confermare che questa esecuzione manuale scrive dati in una tabella di destinazione, che potresti utilizzare anche per le esecuzioni pianificate.

    Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.

    L'esecuzione esegue i passaggi e carica l'output nella destinazione.

11. (Facoltativo) Al termine dell'esecuzione, puoi visualizzare i dettagli relativi all'esecuzione nel riquadro Esecuzioni.

Esegui il deployment di una preparazione dei dati

Per pianificare le esecuzioni per una versione della preparazione dei dati, devi prima salvare ed eseguire il deployment delle modifiche. Le pianificazioni eseguono sempre l'ultima versione di cui è stato eseguito il deployment, ignorando qualsiasi modifica di cui non è stato eseguito il deployment.

Per eseguire il deployment di una preparazione dei dati:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto e fai clic su Preparazioni dei dati.

4. Fai clic sul nome della preparazione dei dati scelta.

   Si apre l'editor di preparazione dei dati.

5. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui il deployment.

Crea una pianificazione

Suggerimento :puoi anche utilizzare la pagina Pipeline e connessioni per pianificare una preparazione dei dati utilizzando un flusso di lavoro semplificato e specifico per BigQuery. Questa funzionalità è in anteprima.

Per creare una pianificazione che esegua i passaggi di preparazione dei dati di cui è stato eseguito il deployment e carichi i dati preparati nella tabella di destinazione, devi prima pianificare un'esecuzione della preparazione dei dati. Per pianificare l'esecuzione, devi configurare la destinazione e correggere eventuali errori di convalida.

Per creare una pianificazione della preparazione dei dati:

Riquadro Explorer

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Explorer, espandi il progetto e fai clic su Preparazioni dei dati.

4. Fai clic sul nome della preparazione dei dati da pianificare.

5. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Pianifica.

6. Inserisci un nome per la pianificazione.

7. Nella sezione Autenticazione, autorizza la preparazione dei dati con le credenziali dell'utente dell'account Google o un account di servizio.

   • Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le mie credenziali utente.

     (Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dalla preparazione dei dati:

     • Google Drive: consente l'accesso in sola lettura ai file di Google Drive.

   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato e poi seleziona un service account.

   Nota: per autenticare una preparazione dei dati che utilizza Google Drive come origine dati con le credenziali utente dell'Account Google, seleziona il servizio Google Drive nella sezione Opzioni di accesso esteso. Per autenticare la preparazione dei dati con un account di servizio, condividi il file Google Drive con il service account.

8. Pianifica una frequenza.

9. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.

Pagina Pianificazione

1. Nella console Google Cloud , vai alla pagina Scheduling.

   Vai a Programmazione

2. Fai clic su Crea e poi seleziona Pianificazione della preparazione dei dati dal menu.

3. Nel riquadro Pianifica la preparazione dei dati, nel campo Preparazione dei dati, seleziona la preparazione dei dati che vuoi pianificare.

4. Nel campo Nome pianificazione, inserisci un nome per la pianificazione.

5. Nella sezione Autenticazione, autorizza la preparazione dei dati con le credenziali dell'utente dell'Account Google o un account di servizio.

   • Per utilizzare le credenziali utente del tuo Account Google, seleziona Esegui con le mie credenziali utente.

     (Facoltativo) Nella sezione Opzioni di accesso esteso, seleziona i servizi aggiuntivi richiesti dalla preparazione dei dati:

     • Google Drive: consente l'accesso in sola lettura ai file di Google Drive.

   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato e poi seleziona un service account.

   Nota: per autenticare una preparazione dei dati che utilizza Google Drive come origine dati con le credenziali utente dell'Account Google, seleziona il servizio Google Drive nella sezione Opzioni di accesso esteso. Per autenticare la preparazione dei dati con un account di servizio, condividi il file di Google Drive con questo service account.

6. Nella sezione Frequenza di pianificazione, segui questi passaggi:

   1. Nel menu Si ripete, seleziona la frequenza di esecuzione della preparazione dei dati.
   2. Nel campo All'ora, inserisci l'ora di esecuzione della preparazione dei dati pianificata.
   3. Nel menu Fuso orario, seleziona il fuso orario per la pianificazione.

7. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google.

Autorizzare l'Account Google

Per autenticare la risorsa con le credenziali utente del tuo Account Google, devi concedere manualmente l'autorizzazione alle pipeline BigQuery per ottenere il token di accesso per il tuo Account Google e accedere ai dati di origine per tuo conto. Puoi concedere l'approvazione manuale con l'interfaccia della finestra di dialogo OAuth. Se selezioni una delle opzioni di accesso esteso, devi concedere l'accesso a questi servizi, ad esempio Google Drive o Knowledge Catalog.

Nota :i criteri di accesso sensibile al contesto, inclusi quelli basati su IP, geolocalizzazione e conformità dei dispositivi, non sono supportati durante l'esecuzione o la pianificazione delle pipeline BigQuery con le credenziali utente per un Account Google, perché le richieste di token hanno origine dall'infrastruttura Google. I criteri CAA bloccano queste esecuzioni, a meno che l'ID client OAuth di Dataform non sia esente dai criteri.

Devi concedere l'autorizzazione alle pipeline BigQuery una sola volta.

Per revocare l'autorizzazione che hai concesso:

1. Vai alla pagina del tuo Account Google.
2. Fai clic su BigQuery Pipelines.
3. Fai clic su Rimuovi accesso.

Avviso: la revoca delle autorizzazioni di accesso impedisce qualsiasi esecuzione futura della pipeline di proprietà di questo Account Google in tutte le regioni.

La modifica del proprietario della pianificazione della preparazione dei dati tramite l'aggiornamento delle credenziali richiede anche l'approvazione manuale se il nuovo proprietario dell'Account Google non ha mai creato una pianificazione.

Eseguire manualmente una preparazione dei dati pianificata

Quando esegui manualmente una preparazione dei dati in una pianificazione selezionata, BigQuery esegue la preparazione dei dati una sola volta, indipendentemente dalla pianificazione.

Per eseguire manualmente una preparazione dei dati pianificata:

1. Nella console Google Cloud , vai alla pagina Scheduling.

   Vai a Programmazione

2. Fai clic sul nome della pianificazione della preparazione dei dati selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Esegui.

Visualizza pianificazioni

Puoi visualizzare le pianificazioni della preparazione dei dati dall'editor di preparazione dei dati o dalla pagina Pianificazione.

Editor di preparazione dei dati

Per visualizzare la pianificazione di una preparazione dei dati:

1. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Pianifica Visualizza pianificazione.
2. (Facoltativo) Per visualizzare la cronologia della pianificazione, fai clic su Visualizza esecuzioni passate.

Pagina Pianificazione

Per visualizzare tutte le pianificazioni della preparazione dei dati nel tuo progetto:

1. Nella console Google Cloud , vai alla pagina Scheduling.

   Vai a Programmazione

2. (Facoltativo) Per visualizzare la cronologia di esecuzione e i dettagli di una pianificazione selezionata, fai clic sul nome della pianificazione. La cronologia delle esecuzioni manuali non viene mostrata.

Modificare una pianificazione

Puoi modificare una pianificazione dall'editor di preparazione dei dati o dalla pagina Pianificazione.

Editor preparazione dei dati

Per modificare una programmazione:

1. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Pianifica Visualizza pianificazione.
2. Nella finestra di dialogo Pianifica preparazione dati, fai clic su Modifica e poi aggiorna la pianificazione.
3. Fai clic su Aggiorna programma.

Pagina Pianificazione

Per modificare una programmazione:

1. Nella console Google Cloud , vai alla pagina Scheduling.

   Vai a Programmazione

2. Fai clic sul nome della pianificazione della preparazione dei dati selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Modifica.

4. Fai clic su Visualizza pianificazione.

5. Nella finestra di dialogo Pianifica preparazione dati, fai clic su Modifica e poi aggiorna la pianificazione.

6. Fai clic su Aggiorna programma.

Elimina una pianificazione

Per eliminare definitivamente una pianificazione per una preparazione dei dati selezionata:

1. Nella console Google Cloud , vai alla pagina Scheduling.

   Vai a Programmazione

2. Nella riga contenente la pianificazione, fai clic su more_vert Azioni > Elimina.

Passaggi successivi

• Scopri come creare preparazioni dei dati.
• Scopri di più sulla gestione delle preparazioni dei dati.