Pianifica le esecuzioni di produzione

Pianifica le esecuzioni di produzione

Questa guida rapida illustra i seguenti passaggi per pianificare le esecuzioni di produzione in Dataform:

• Crea un repository Dataform.
• Concedere a Dataform l'accesso a BigQuery.

• Crea una configurazione della release per configurare l'ambiente di produzione.

  Crea una configurazione della release production e imposta la frequenza di creazione dei risultati di compilazione production.

• Crea una configurazione del flusso di lavoro per pianificare le esecuzioni nell'ambiente di produzione.

  Crea una configurazione del workflow production, seleziona la configurazione di rilascio production e imposta una pianificazione per l'esecuzione dei risultati della compilazione production.

• Visualizza i risultati delle compilazioni precedenti.

• Visualizza esecuzioni precedenti.

• Pulire gli asset creati.

Prima di iniziare

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività di questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Amministratore Dataform (roles/dataform.admin) sui repository
• Editor Dataform (roles/dataform.editor) su workspace e workflowInvocations

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un repository Dataform

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su Crea repository.

3. Nella pagina Crea repository:

   1. Nel campo ID repository, inserisci quickstart-production.

   2. Nell'elenco Regione, seleziona europe-west4.

   3. Fai clic su Crea.

4. Fai clic su Fine.

Concedi l'accesso Dataform a BigQuery

Per eseguire i flussi di lavoro in BigQuery, il service agent Dataform o il account di servizio personalizzato deve disporre dei seguenti ruoli obbligatori:

• Editor dati BigQuery sui progetti a cui Dataform deve accedere in lettura e scrittura. In genere includono il progetto che ospita il repository Dataform.
• Visualizzatore dati BigQuery sui progetti a cui Dataform deve accedere in sola lettura.
• Utente job BigQuery nel progetto che ospita il repository Dataform.

Per concedere questi ruoli, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina IAM.

   Vai alla pagina IAM

2. Fai clic su Aggiungi.

3. Nel campo Nuove entità, inserisci l'ID dell'agente di servizio o dell'account di servizio Dataform.

   Nota: le credenziali dell'agente di servizio o del account di servizio sono l'opzione predefinita per le esecuzioni pianificate. L'utilizzo delle credenziali dell'account utente dell'Account Google (anteprima)
   è sconsigliato per le esecuzioni pianificate.

4. Nell'elenco Seleziona un ruolo, seleziona il ruolo Utente job BigQuery.

5. Fai clic su Aggiungi un altro ruolo e poi seleziona il ruolo Editor dati BigQuery nell'elenco Seleziona un ruolo.

6. Fai clic su Aggiungi un altro ruolo e poi, nell'elenco Seleziona un ruolo, seleziona il ruolo Visualizzatore dati BigQuery.

7. Fai clic su Salva.

Crea una configurazione di release

Per creare i risultati della compilazione di produzione del repository quickstart-production:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni della release e poi su Nuova configurazione della release.

4. Nel riquadro Crea configurazione della release, configura le seguenti impostazioni:

   1. Nel campo ID release, inserisci production.

   2. Nel campo Git commitish, lascia il valore predefinito main .

   3. Nel menu Frequenza, seleziona Personalizzata.

   4. Nel campo Pianificazione personalizzata, inserisci 0 16 * * *.

   5. Nel menu Fuso orario, seleziona un fuso orario UTC+1, ad esempio Greenwich Mean Time (GMT).

   Ogni giorno alle 16:00 UTC+1, Dataform compilerà il repository quickstart-production e applicherà le impostazioni di compilazione configurate in questa configurazione della release per creare i risultati della compilazione production.

5. Fai clic su Crea.

La configurazione della release production crea un risultato di compilazione dell'intero repository quickstart-production ogni giorno alle 16:00 UTC+1.

Crea una configurazione di flusso di lavoro

Per pianificare l'esecuzione delle tabelle production:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni del flusso di lavoro e poi su Nuova configurazione del flusso di lavoro.

4. Nel riquadro Crea configurazione del flusso di lavoro, inserisci production nel campo ID configurazione.

5. Nel menu Configurazione della release, seleziona production.

6. Nel campo Frequenza, inserisci 0 17 * * *.

7. Nel menu Fuso orario, seleziona un fuso orario UTC+1, ad esempio Greenwich Mean Time (GMT).

   Ogni giorno alle 17:00 UTC+1, Dataform esegue l'ultimo risultato di compilazione production del repository quickstart-production.

   Per assicurarti che Dataform esegua l'ultimo risultato della compilazione nella configurazione della release corrispondente, mantieni una pausa di almeno un'ora tra l'ora di creazione del risultato della compilazione e l'ora di esecuzione pianificata.

8. Fai clic su Tutte le azioni.

   Dataform esegue tutte le azioni del flusso di lavoro nel risultato della compilazione production.

9. Fai clic su Crea.

La configurazione del flusso di lavoro production esegue l'intero risultato della compilazione più recente creato dalla configurazione della release production ogni giorno alle 16:00 UTC+1.

Visualizzare i risultati di compilazione precedenti di production

Per visualizzare i risultati delle compilazioni di production pianificate precedenti:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni della release.

4. Fai clic su production.

Visualizza le esecuzioni precedenti del flusso di lavoro production

Per visualizzare le esecuzioni precedenti del flusso di lavoro production:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni dei flussi di lavoro.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina il set di dati creato in BigQuery

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare il set di dati denominato dataform_production:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e seleziona dataform_production.

3. Fai clic sul menu Azioni e seleziona Elimina.

4. Nella finestra di dialogo Elimina set di dati, inserisci delete e fai clic su Elimina.

Elimina la configurazione della release Dataform

Non sono previsti costi per la creazione di configurazioni delle release Dataform. Tuttavia, se vuoi eliminare la configurazione della release production:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni della release.

4. Accanto alla configurazione della release production, fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Elimina la configurazione del flusso di lavoro Dataform

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare la configurazione del flusso di lavoro production di Dataform:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni dei flussi di lavoro.

4. Accanto alla configurazione del flusso di lavoro production, fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Elimina il repository Dataform

Non sono previsti costi per la creazione di repository di Dataform. Tuttavia, se vuoi eliminare un repository e tutti i relativi contenuti, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina Dataform.

   Vai a Dataform

2. Accanto a quickstart-production, fai clic sul menu Altro e seleziona Elimina.

3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

4. Per confermare, fai clic su Elimina.

Passaggi successivi

• Per scoprire di più sul ciclo di vita del codice in Dataform, consulta Introduzione al ciclo di vita del codice in Dataform.

• Per scoprire di più sulle best practice per il ciclo di vita del workflow in Dataform, consulta Best practice per il ciclo di vita del workflow.

• Per scoprire di più sulle configurazioni di rilascio in Dataform, consulta Creare una configurazione di rilascio.

• Per scoprire di più sulle configurazioni del flusso di lavoro in Dataform, vedi Pianificare le esecuzioni con le configurazioni del flusso di lavoro.