Pianificare le esecuzioni di produzione

Pianificare le esecuzioni di produzione

Questa guida rapida illustra i seguenti passaggi per pianificare le esecuzioni di produzione in Dataform:

• Creare un repository Dataform.
• Concedere i ruoli richiesti.

• Creare una configurazione della release e una configurazione del flusso di lavoro.

  Crea una configurazione della release production e imposta la frequenza di creazione dei risultati di compilazione production. Poi, crea una configurazione del flusso di lavoro production, seleziona la configurazione della release production e imposta una pianificazione per l'esecuzione dei risultati di compilazione production.

• Visualizzare i risultati di compilazione precedenti.

• Visualizzare le esecuzioni precedenti.

• Liberare spazio dagli asset creati.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Inoltre, seleziona o crea un service account personalizzato per eseguire i flussi di lavoro in BigQuery.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività descritte in questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Amministratore Dataform (roles/dataform.admin) sul repository
• Utente Service Account (roles/iam.serviceAccountUser) sul account di servizio personalizzato
• Project IAM Admin (roles/resourcemanager.projectIamAdmin) sul progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Concedi i ruoli richiesti

Per eseguire i flussi di lavoro in BigQuery, puoi utilizzare un service account personalizzato o il tuo Account Google (anteprima). Tuttavia, le credenziali del account di servizio personalizzato sono l'opzione predefinita per le esecuzioni pianificate. L'utilizzo delle credenziali dell'account utente di Account Google è sconsigliato per le esecuzioni pianificate.

Il tuo account di servizio personalizzato deve disporre dei seguenti ruoli obbligatori:

• Editor dati BigQuery (roles/bigquery.dataEditor) su progetti o set di dati BigQuery specifici a cui Dataform deve avere accesso sia in lettura sia in scrittura. In genere, questo include il progetto che ospita il repository Dataform.
• Visualizzatore dati BigQuery (roles/bigquery.dataViewer) su progetti o set di dati BigQuery specifici a cui Dataform deve avere accesso di sola lettura.
• Utente job BigQuery (roles/bigquery.jobUser) sul progetto che ospita il repository Dataform.

Per consentire a Dataform di utilizzare il tuo account di servizio personalizzato, l'agente di servizio Dataform predefinito deve disporre dei seguenti ruoli sulla risorsa del account di servizio personalizzato:

• Creatore token account di servizio (roles/iam.serviceAccountTokenCreator)
• Utente Service Account (roles/iam.serviceAccountUser)

Per concedere questi ruoli, segui questi passaggi:

1. Nella Google Cloud console vai alla pagina IAM.

   Vai a IAM

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID del tuo account di servizio personalizzato.

4. Nel menu Seleziona un ruolo, seleziona i seguenti ruoli uno alla volta, utilizzando Aggiungi un altro ruolo per ogni ruolo aggiuntivo:

   • Editor dati BigQuery
   • Visualizzatore dati BigQuery
   • Utente job BigQuery

5. Fai clic su Salva.

6. Nella Google Cloud console vai alla pagina Service account.

   Vai ad Account di servizio

7. Seleziona il tuo account di servizio personalizzato.

8. Vai a Entità con accesso e poi fai clic su Concedi l'accesso.

9. Nel campo Nuove entità, inserisci l'ID dell'agente di servizio Dataform predefinito.

   L'ID dell'agente di servizio Dataform predefinito ha il seguente formato:

   [e-mail]
   

   Sostituisci PROJECT_NUMBER con l'ID numerico del tuo Google Cloud progetto. Puoi trovare l'ID Google Cloud progetto nella Google Cloud dashboard della console. Per saperne di più, consulta Trovare il nome, il numero e l'ID del progetto.

10. Nell'elenco Seleziona un ruolo, aggiungi i seguenti ruoli:

    • Utente Service Account
    • Creatore token account di servizio

11. Fai clic su Salva.

Per saperne di più sulla concessione dei ruoli, consulta Concedere a Dataform l'accesso richiesto.

Crea un repository Dataform

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su Crea repository.

3. Nella pagina Crea repository:

   1. Nel campo ID repository, inserisci quickstart-production.

   2. Nell'elenco Regione, seleziona europe-west4.

   3. Nell'elenco Service account, seleziona un account di servizio personalizzato per il repository.

   4. Nella sezione Controlli delle autorizzazioni actAs, applica i controlli delle autorizzazioni alle azioni dell'utente sul repository.

   5. Fai clic su Crea.

4. Fai clic su Vai ai repository.

Crea una configurazione della release e una configurazione del flusso di lavoro

Per creare i risultati di compilazione di produzione del quickstart-production repository e pianificare un'esecuzione delle tabelle production:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Release e pianificazione, quindi su Crea release di produzione.

4. Nel riquadro Crea configurazione della release, configura le seguenti impostazioni:

   1. Nel campo ID release, inserisci production.
   2. Nel campo Commitish Git, lascia il valore predefinito main.
   3. Nella sezione Frequenza di pianificazione, nel menu Ripeti, seleziona Personalizzata.
   4. Nel campo Pianificazione personalizzata, inserisci 0 16 * * *.

   5. Nel menu Fuso orario , seleziona un fuso orario UTC+1, ad esempio Ora standard dell'Europa centrale (CET).

      Ogni giorno alle 16:00 UTC+1, Dataform compila il quickstart-production repository e applica le impostazioni di compilazione configurate in questa configurazione della release per creare production risultati di compilazione.

5. Fai clic su Crea.

   La configurazione della release production crea un risultato di compilazione dell' intero repository quickstart-production ogni giorno alle 16:00 UTC+1.

6. Assicurati di trovarti nella scheda Release e pianificazione. Vai alla sezione Configurazioni dei flussi di lavoro e fai clic su Crea.

7. Nel riquadro Crea configurazione del flusso di lavoro, configura le seguenti impostazioni:

   1. Nel campo ID configurazione, inserisci production.
   2. Nel menu Configurazione della release, seleziona production.
   3. Nella sezione Frequenza di pianificazione, nel menu Ripeti, seleziona Personalizzata.
   4. Nel campo Pianificazione personalizzata, inserisci 0 17 * * *.

   5. Nel menu Fuso orario , seleziona un fuso orario UTC+1, ad esempio Ora standard dell'Europa centrale (CET).

      Ogni giorno alle 17:00 UTC+1, Dataform esegue l'ultimo production risultato di compilazione del quickstart-production repository.

      **Importante**: per assicurarti che Dataform esegua l'ultimo risultato di compilazione nella configurazione della release corrispondente, mantieni una pausa di almeno 1 ora tra l'ora di creazione del risultato di compilazione e l'ora di esecuzione pianificata.

   6. Fai clic su Tutte le azioni.

      Dataform esegue tutte le azioni del flusso di lavoro nel risultato di compilazione production.

8. Fai clic su Crea.

   La configurazione del flusso di lavoro production esegue l'intero risultato della compilazione più recente creato dalla configurazione della release di produzione ogni giorno alle 17:00 UTC+1.

Visualizza i risultati di compilazione production precedenti

Per visualizzare i risultati di compilazione production pianificati precedenti:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Seleziona il repository quickstart-production.

3. Fai clic su Release e pianificazione.

4. Nella sezione Configurazioni della release, fai clic su production.

Visualizza le esecuzioni del flusso di lavoro production precedenti

Per visualizzare le esecuzioni del flusso di lavoro production precedenti:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Seleziona il repository quickstart-production.

3. Fai clic su Log di esecuzione del flusso di lavoro.

4. Seleziona un'esecuzione del flusso di lavoro per visualizzare informazioni più dettagliate, inclusi lo stato di ogni azione e tutti i log.

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina il set di dati creato in BigQuery

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare il set di dati denominato dataform_production:

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e seleziona dataform_production.

3. Fai clic sul menu Azioni e poi seleziona Elimina.

4. Nella finestra di dialogo Elimina set di dati , inserisci delete e poi fai clic su Elimina.

Elimina la configurazione della release Dataform

Non sono previsti costi per la creazione di configurazioni delle release Dataform. Tuttavia, se vuoi eliminare la configurazione della release production:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Release e pianificazione e vai alla sezione Configurazioni della release.

4. Accanto alla configurazione della release production , fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Elimina la configurazione del flusso di lavoro Dataform

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare la configurazione del flusso di lavoro production di Dataform:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Release e pianificazione e vai alla sezione Configurazioni dei flussi di lavoro.

4. Accanto alla configurazione del flusso di lavoro production , fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Elimina il repository Dataform

Non sono previsti costi per la creazione di repository di Dataform. Tuttavia, se vuoi eliminare un repository e tutti i relativi contenuti:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Da quickstart-production, fai clic sul menu Altro, e seleziona Elimina.

3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

4. Per confermare, fai clic su Elimina.

Passaggi successivi

• Per saperne di più sui service account, consulta Informazioni sui service account personalizzati e sugli agenti di servizio Dataform.
• Per saperne di più sul ciclo di vita del codice in Dataform, consulta Introduzione al ciclo di vita del codice in Dataform.
• Per saperne di più sulle best practice per il ciclo di vita del flusso di lavoro in Dataform, consulta Best practice per il ciclo di vita del flusso di lavoro.
• Per saperne di più sulle configurazioni della release in Dataform, consulta Creare una configurazione della release.
• Per saperne di più sulle configurazioni dei flussi di lavoro in Dataform, consulta Pianificare le esecuzioni con le configurazioni dei flussi di lavoro.