Pianifica le esecuzioni di produzione

Pianifica le esecuzioni di produzione

Questa guida rapida illustra i seguenti passaggi per pianificare le esecuzioni di produzione in Dataform:

• Crea un repository Dataform.
• Concedi i ruoli richiesti.

• Crea una configurazione di release e una configurazione del workflow.

  Crea una configurazione della release production e imposta la frequenza di creazione dei risultati di compilazione production. Quindi, crea una production configurazione del workflow, seleziona la production configurazione della release e imposta una pianificazione per l'esecuzione dei production risultati della compilazione.

• Visualizza i risultati delle compilazioni precedenti.

• Visualizza le corse precedenti.

• Pulire gli asset creati.

Prima di iniziare

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Inoltre, seleziona o crea un service account personalizzato per eseguire i workflow in BigQuery.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività di questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Amministratore Dataform (roles/dataform.admin) sui repository
• Editor Dataform (roles/dataform.editor) su spazi di lavoro e chiamate workflow
• Service Account User (roles/iam.serviceAccountUser) sul account di servizio personalizzato
• Project IAM Admin (roles/resourcemanager.projectIamAdmin) sul progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Concedi i ruoli richiesti

Per eseguire i flussi di lavoro in BigQuery, puoi utilizzare un service account personalizzato o il tuo Account Google (anteprima). Tuttavia, le credenziali del account di servizio personalizzato sono l'opzione predefinita per le esecuzioni pianificate. L'utilizzo delle credenziali dell'account utente dell'Account Google è sconsigliato per le esecuzioni pianificate.

Per eseguire i workflow in BigQuery, il account di servizio personalizzato deve disporre dei seguenti ruoli obbligatori:

• Editor dati BigQuery (roles/bigquery.dataEditor) sui progetti a cui Dataform deve accedere in lettura e scrittura, che di solito include il progetto che ospita il repository Dataform.
• Visualizzatore dati BigQuery (roles/bigquery.dataViewer) sui progetti a cui Dataform deve accedere in sola lettura.
• BigQuery Job User (roles/bigquery.jobUser) nel progetto che ospita il repository Dataform.

Per consentire a Dataform di utilizzare il tuo account di servizio personalizzato, l'agente di servizio Dataform predefinito deve disporre dei seguenti ruoli nella risorsa account di servizio personalizzato:

• Creatore token service account (roles/iam.serviceAccountTokenCreator)
• Service Account User (roles/iam.serviceAccountUser)

Per concedere questi ruoli, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina IAM.

   Vai a IAM

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID del tuo account di servizio personalizzato.

4. Nel menu Seleziona un ruolo, seleziona i seguenti ruoli uno alla volta utilizzando Aggiungi un altro ruolo per ogni ruolo aggiuntivo:

   • Editor dati BigQuery
   • Visualizzatore dati BigQuery
   • Utente job BigQuery

5. Fai clic su Salva.

6. Nella Google Cloud console, vai alla pagina Service account.

   Vai ad Account di servizio

7. Seleziona il account di servizio personalizzato.

8. Vai a Entità con accesso e poi fai clic su Concedi l'accesso.

9. Nel campo Nuove entità, inserisci l'ID service agent Dataform predefinito.

   L'ID service agent Dataform predefinito ha il seguente formato:

   [e-mail]
   

10. Nell'elenco Seleziona un ruolo, aggiungi i seguenti ruoli:

    • Utente Service Account
    • Creatore token service account

11. Fai clic su Salva.

Crea un repository Dataform

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su Crea repository.

3. Nella pagina Crea repository:

   1. Nel campo ID repository, inserisci quickstart-production.

   2. Nell'elenco Regione, seleziona europe-west4.

   3. Nel campo Service account, fai clic su Inserisci manualmente e poi inserisci il nome del tuoaccount di serviziot personalizzato. Assicurati di inserire il tuo account di serviziot personalizzato in questo campo.

   4. Fai clic su Crea.

4. Fai clic su Vai ai repository.

Crea una configurazione della release e una configurazione del workflow

Per creare i risultati della compilazione di produzione del repository quickstart-production e pianificare l'esecuzione delle tabelle production:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Release e pianificazione, quindi su Crea release di produzione.

4. Nel riquadro Crea configurazione della release, configura le seguenti impostazioni:

   1. Nel campo ID release, inserisci production.
   2. Nel campo Git commitish, lascia il valore predefinito main .
   3. Nella sezione Frequenza di pianificazione, seleziona Personalizzata nel menu Ripetizioni.
   4. Nel campo Pianificazione personalizzata, inserisci 0 16 * * *.

   5. Nel menu Fuso orario, seleziona un fuso orario UTC+1, ad esempio Ora solare dell'Europa centrale (CET).

      Ogni giorno alle 16:00 UTC+1, Dataform compila il repository quickstart-production e applica le impostazioni di compilazione configurate in questa configurazione della release per creare i risultati di compilazione production.

5. Fai clic su Crea.

   La configurazione della release production crea un risultato di compilazione dell'intero repository quickstart-production ogni giorno alle 16:00 UTC+1.

6. Assicurati di trovarti nella scheda Uscite e programmazione. Vai alla sezione Configurazioni dei flussi di lavoro e fai clic su Crea.

7. Nel riquadro Crea configurazione del workflow, configura le seguenti impostazioni:

   1. Nel campo ID configurazione, inserisci production.
   2. Nel menu Configurazione della release, seleziona production.
   3. Nella sezione Frequenza di pianificazione, seleziona Personalizzata nel menu Ripetizioni.
   4. Nel campo Pianificazione personalizzata, inserisci 0 17 * * *.

   5. Nel menu Fuso orario, seleziona un fuso orario UTC+1, ad esempio Ora solare dell'Europa centrale (CET).

      Ogni giorno alle 17:00 UTC+1, Dataform esegue l'ultimo risultato di compilazione production del repository quickstart-production.

      Importante: per assicurarti che Dataform esegua l'ultima compilazione nella configurazione della release corrispondente, mantieni una pausa di almeno un'ora tra l'ora di creazione della compilazione e l'ora di esecuzione pianificata.

   6. Fai clic su Tutte le azioni.

      Dataform esegue tutte le azioni del flusso di lavoro nel risultato della compilazione production.

8. Fai clic su Crea.

   La configurazione del flusso di lavoro production esegue l'intero risultato della compilazione più recente creato dalla configurazione della release di produzione ogni giorno alle 17:00 UTC+1.

Visualizzare i risultati di compilazione precedenti di production

Per visualizzare i risultati delle compilazioni production pianificate precedenti:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Seleziona il repository quickstart-production.

3. Fai clic su Uscite e programmazione.

4. Nella sezione Configurazioni della release, fai clic su production.

Visualizza le esecuzioni del workflow degli ultimi production giorni

Per visualizzare le esecuzioni precedenti del flusso di lavoro production:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Seleziona il repository quickstart-production.

3. Fai clic su Log di esecuzione del flusso di lavoro.

4. Seleziona un'esecuzione del flusso di lavoro per visualizzare informazioni più dettagliate, inclusi lo stato di ogni azione e tutti i log.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina il set di dati creato in BigQuery

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare il set di dati denominato dataform_production:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e seleziona dataform_production.

3. Fai clic sul menu Azioni e seleziona Elimina.

4. Nella finestra di dialogo Elimina set di dati, inserisci delete e fai clic su Elimina.

Elimina la configurazione della release Dataform

Non sono previsti costi per la creazione di configurazioni delle release Dataform. Tuttavia, se vuoi eliminare la configurazione della release production:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Release e pianificazione e vai alla sezione Configurazioni della release.

4. Accanto alla configurazione della release production, fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Elimina la configurazione del flusso di lavoro Dataform

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare la configurazione del flusso di lavoro production di Dataform:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Release e pianificazione e vai alla sezione Configurazioni del flusso di lavoro.

4. Accanto alla configurazione del flusso di lavoro production, fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Elimina il repository Dataform

Non sono previsti costi per la creazione di repository di Dataform. Tuttavia, se vuoi eliminare un repository e tutti i relativi contenuti, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Accanto a quickstart-production, fai clic sul menu Altro e seleziona Elimina.

3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

4. Per confermare, fai clic su Elimina.

Passaggi successivi

• Per saperne di più sui service account, consulta Informazioni sui service account personalizzati e sugli agenti di servizio Dataform.
• Per scoprire di più sul ciclo di vita del codice in Dataform, consulta Introduzione al ciclo di vita del codice in Dataform.
• Per scoprire di più sulle best practice per il ciclo di vita del workflow in Dataform, consulta Best practice per il ciclo di vita del workflow.
• Per scoprire di più sulle configurazioni di rilascio in Dataform, consulta Creare una configurazione di rilascio.
• Per scoprire di più sulle configurazioni del flusso di lavoro in Dataform, vedi Pianificare le esecuzioni con le configurazioni del flusso di lavoro.