Pianificare le preparazioni dei dati

Questo documento descrive come pianificare le pipeline di preparazione dei dati ed eseguire esecuzioni manuali.

Le preparazioni dei dati sono basate su Dataform. Ogni pianificazione della preparazione dei dati viene eseguita utilizzando le credenziali utente del tuo Account Google o un service account personalizzato che selezioni quando configuri la pianificazione o esegui un test.

Le modifiche apportate ai passaggi di preparazione dei dati non vengono salvate automaticamente. Devi salvare ed eseguire il deployment delle modifiche prima che possano essere eseguite con una pianificazione. Le pianificazioni eseguono sempre l'ultima versione di cui è stato eseguito il deployment della preparazione dei dati ed escludono eventuali modifiche non di cui non è stato eseguito il deployment che potresti essere in fase di sviluppo.

Prima di iniziare

Prima di iniziare, crea una preparazione dei dati.

Ruoli obbligatori

Per autorizzare una preparazione dei dati con un account di servizio quando esegui manualmente la preparazione dei dati in fase di sviluppo o la pianifichi, devi concedere i ruoli al account di servizio che intendi utilizzare per eseguire le esecuzioni della preparazione dei dati. Per saperne di più, consulta Concedere l'accesso al service account Dataform.

Per pianificare le preparazioni dei dati:

• Chiedi all'amministratore di concederti il ruolo Utente account di servizio (roles/iam.serviceAccountUser) nel service account personalizzato.
• Concedi il ruolo Utente account di servizio (roles/iam.serviceAccountUser) e il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator) all'agente di servizio Dataform predefinito nel service account personalizzato.

Per migliorare la sicurezza della pianificazione, consulta Implementare autorizzazioni di pianificazione avanzate.

Sviluppare una preparazione dei dati

Durante lo sviluppo di una preparazione dei dati, puoi eseguire manualmente i passaggi e ispezionare l'output prima di eseguire il deployment delle modifiche in produzione. Puoi testare la versione corrente che stai sviluppando sui tuoi dati, mentre BigQuery continua a eseguire l'ultima versione di cui è stato eseguito il deployment, in base a una pianificazione. Prima di poter eseguire l'esecuzione, devi configurare la destinazione, e correggere eventuali errori di convalida.

Eseguire manualmente una preparazione dei dati in fase di sviluppo

Per testare i passaggi di preparazione dei dati e convalidare i risultati nella tabella di destinazione, esegui manualmente la preparazione dei dati dall'editor di preparazione dei dati:

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro a sinistra per aprirlo.

3. Nel riquadro Spazio di esplorazione, espandi il progetto e fai clic su Preparazioni dei dati.

4. Fai clic sul nome della preparazione dei dati che vuoi eseguire.

5. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Altro > Configura l'esperienza Esegui ora.

6. Nella sezione Autenticazione, autorizza la preparazione dei dati con le credenziali utente del tuo Account Google o un account di servizio.

   • Per utilizzare le credenziali utente del tuo Account Google (anteprima), seleziona Esegui con le mie credenziali utente. Questa è l'opzione predefinita.
   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato e poi seleziona un service account. Se il account di servizio richiede autorizzazioni aggiuntive, concedi i ruoli richiesti facendo clic su Concedi tutte.
   Nota: se la preparazione dei dati utilizza Google Drive come origine dati, devi selezionare Esegui con il service account selezionato. Le credenziali dell'utente finale non sono supportate per questa operazione. Devi anche condividere il file di Google Drive con il service account.

7. Fai clic su Salva.

8. Correggi eventuali errori di convalida visualizzati.

9. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui.

10. Nella finestra di dialogo Esegui ora, fai clic su Conferma per riconoscere che questa esecuzione manuale scrive i dati in una tabella di destinazione, che potresti utilizzare anche per le esecuzioni pianificate.

    Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google (anteprima).

    L'esecuzione esegue quindi i passaggi e carica l'output nella destinazione.

11. (Facoltativo) Al termine dell'esecuzione, puoi visualizzare i dettagli dell'esecuzione nel riquadro Esecuzioni.

Eseguire il deployment di una preparazione dei dati

Per pianificare le esecuzioni di una versione della preparazione dei dati, devi prima eseguirne il deployment. Le pianificazioni eseguono la versione di cui è stato eseguito il deployment più di recente.

Per eseguire il deployment di una preparazione dei dati:

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Spazio di esplorazione, espandi il progetto e fai clic su Preparazioni dei dati.

4. Fai clic sul nome della preparazione dei dati scelta.

   Si apre l'editor di preparazione dei dati.

5. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui il deployment.

Creare una pianificazione

Suggerimento: puoi anche utilizzare la pagina Pipeline e connessioni per pianificare una preparazione dei dati utilizzando un flusso di lavoro semplificato e specifico per BigQuery. Questa funzionalità è in anteprima.

Per creare una pianificazione che esegua i passaggi di preparazione dei dati di cui è stato eseguito il deployment e carichi i dati preparati nella tabella di destinazione, devi prima pianificare un'esecuzione della preparazione dei dati. Per pianificare l'esecuzione, devi configurare la destinazione, e correggere eventuali errori di convalida.

Per creare una pianificazione della preparazione dei dati:

Riquadro Spazio di esplorazione

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

   

3. Nel riquadro Spazio di esplorazione, espandi il progetto e fai clic su Preparazioni dei dati.

4. Fai clic sul nome della preparazione dei dati che vuoi pianificare.

5. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Pianifica.

6. Inserisci un nome per la pianificazione.

7. Nella sezione Autenticazione, autorizza la preparazione dei dati con le credenziali utente del tuo Account Google o un service account.

   • Per utilizzare le credenziali utente del tuo Account Google (anteprima), seleziona Esegui con le mie credenziali utente.
   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato e poi seleziona un service account.
   Nota: se la preparazione dei dati utilizza Google Drive come origine dati, devi selezionare Esegui con il service account selezionato. Le credenziali dell'utente finale non sono supportate per questa operazione. Devi anche condividere il file di Google Drive con il service account.

8. Pianifica una frequenza.

9. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google (anteprima).

Pagina Pianificazione

1. Nella Google Cloud console, vai alla pagina Pianificazione.

   Vai a Pianificazione

2. Fai clic su Crea e poi seleziona Pianificazione preparazione dei dati dal menu.

3. Nel riquadro Pianifica preparazione dei dati, nel campo Preparazione dei dati , seleziona la preparazione dei dati che vuoi pianificare.

4. Nel campo Nome pianificazione, inserisci un nome per la pianificazione.

5. Nella sezione Autenticazione, autorizza la preparazione dei dati con le credenziali utente del tuo Account Google o un service account.

   • Per utilizzare le credenziali utente del tuo Account Google (anteprima), seleziona Esegui con le mie credenziali utente.
   • Per utilizzare un account di servizio, seleziona Esegui con il service account selezionato e poi seleziona un service account.
   Nota: se la preparazione dei dati utilizza Google Drive come origine dati, devi selezionare Esegui con il service account selezionato. Le credenziali dell'utente finale non sono supportate per questa operazione. Devi anche condividere il file di Google Drive con il service account.

6. Nella sezione Pianifica frequenza, segui questi passaggi:

   1. Nel menu Ripeti, seleziona la frequenza delle esecuzioni della preparazione dei dati.
   2. Nel campo All'ora, inserisci l'ora per le esecuzioni pianificate della preparazione dei dati.
   3. Nel menu Fuso orario, seleziona il fuso orario per la pianificazione.

7. Fai clic su Crea pianificazione. Se hai selezionato Esegui con le mie credenziali utente come metodo di autenticazione, devi autorizzare il tuo Account Google (anteprima).

Autorizzare l'Account Google

Anteprima

Questo prodotto o funzionalità sono soggetti ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Nota: per richiedere assistenza o fornire un feedback su questa funzionalità, contatta [e-mail].

Per autenticare la risorsa con le credenziali utente del tuo Account Google, devi concedere manualmente l'autorizzazione alle pipeline BigQuery per ottenere il token di accesso per il tuo Account Google e accedere ai dati di origine per tuo conto. Puoi concedere l'approvazione manuale con l'interfaccia della finestra di dialogo OAuth.

Nota: le norme di accesso sensibile al contesto (CAA), incluse le norme basate su IP, posizione geografica, e conformità dei dispositivi, non sono supportate quando esegui o pianifichi le pipeline BigQuery con le credenziali utente per un Account Google, perché le richieste di token provengono dall'infrastruttura Google. Le norme CAA bloccano queste esecuzioni, a meno che l'ID client OAuth di Dataform non sia escluso dalle norme.

Devi concedere l'autorizzazione alle pipeline BigQuery una sola volta.

Per revocare l'autorizzazione che hai concesso:

1. Vai alla pagina del tuo Account Google.
2. Fai clic su Pipeline BigQuery.
3. Fai clic su Rimuovi accesso.

Avviso: la revoca delle autorizzazioni di accesso impedisce qualsiasi esecuzione futura delle pipeline di proprietà di questo Account Google in tutte le regioni.

La modifica del proprietario della pianificazione della preparazione dei dati tramite l'aggiornamento delle credenziali richiede anche l'approvazione manuale se il nuovo proprietario dell'Account Google non ha mai creato una pianificazione prima.

Eseguire manualmente una preparazione dei dati pianificata

Quando esegui manualmente una preparazione dei dati in una pianificazione selezionata, BigQuery esegue la preparazione dei dati una volta, indipendentemente dalla pianificazione.

Per eseguire manualmente una preparazione dei dati pianificata:

1. Nella Google Cloud console, vai alla pagina Pianificazione.

   Vai a Pianificazione

2. Fai clic sul nome della pianificazione della preparazione dei dati selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Esegui.

Visualizzare pianificazioni

Puoi visualizzare le pianificazioni della preparazione dei dati dall'editor di preparazione dei dati o dalla pagina Pianificazione.

Editor di preparazione dei dati

Per visualizzare la pianificazione di una preparazione dei dati:

1. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su schedule Visualizza pianificazione.
2. (Facoltativo) Per visualizzare la cronologia della pianificazione, fai clic su Visualizza esecuzioni precedenti.

Pagina Pianificazione

Per visualizzare tutte le pianificazioni della preparazione dei dati nel tuo progetto:

1. Nella Google Cloud console, vai alla pagina Pianificazione.

   Vai a Pianificazione

2. (Facoltativo) Per visualizzare la cronologia delle esecuzioni e i dettagli di una pianificazione selezionata, fai clic sul nome della pianificazione. La cronologia delle esecuzioni manuali non viene mostrata.

Modificare una pianificazione

Puoi modificare una pianificazione dall'editor di preparazione dei dati o dalla pagina Pianificazione.

Editor di preparazione dei dati

Per modificare una pianificazione:

1. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su schedule Visualizza pianificazione.
2. Nella finestra di dialogo Pianifica preparazione dei dati, fai clic su Modifica e poi aggiorna la pianificazione.
3. Fai clic su Aggiorna pianificazione.

Pagina Pianificazione

Per modificare una pianificazione:

1. Nella Google Cloud console, vai alla pagina Pianificazione.

   Vai a Pianificazione

2. Fai clic sul nome della pianificazione della preparazione dei dati selezionata.

3. Nella pagina Dettagli pianificazione, fai clic su Modifica.

4. Fai clic su Visualizza pianificazione.

5. Nella finestra di dialogo Pianifica preparazione dei dati, fai clic su Modifica e poi aggiorna la pianificazione.

6. Fai clic su Aggiorna pianificazione.

Eliminare una pianificazione

Per eliminare definitivamente una pianificazione per una preparazione dei dati selezionata:

1. Nella Google Cloud console, vai alla pagina Pianificazione.

   Vai a Pianificazione

2. Nella riga contenente la pianificazione, fai clic su more_vert Azioni > Elimina.

Passaggi successivi

• Scopri come creare preparazioni dei dati.
• Scopri di più sulla gestione delle preparazioni dei dati.