Crea ambienti di sviluppo

Crea ambienti di sviluppo

Questa guida rapida illustra i passaggi per creare singoli ambienti di sviluppo in Dataform, in modo che ogni sviluppatore possa lavorare nel proprio ambiente di sviluppo:

• Creare un repository Dataform.
• Concedere i ruoli richiesti.

• Configurare gli override di compilazione del workspace.

  Configura gli override di compilazione che Dataform applica a tutti gli workspace nel repository, trasformando gli workspace in ambienti di sviluppo isolati.

• Libera spazio dagli asset creati.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Inoltre, se vuoi utilizzare un account di servizio personalizzato per eseguire i workflow in BigQuery, seleziona o crea un service account personalizzato.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività descritte in questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Amministratore Dataform (roles/dataform.admin) sul repository
• Utente Service Account (roles/iam.serviceAccountUser) sul account di servizio personalizzato
• Project IAM Admin (roles/resourcemanager.projectIamAdmin) sul progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Concedi i ruoli richiesti

Per eseguire i workflow in BigQuery, puoi utilizzare un service account personalizzato o il tuo Account Google.

Il tuo account di servizio personalizzato deve disporre dei seguenti ruoli obbligatori:

• Editor dati BigQuery (roles/bigquery.dataEditor) su progetti o set di dati BigQuery specifici a cui Dataform deve avere accesso sia in lettura sia in scrittura. In genere, questo include il progetto che ospita il repository Dataform.
• Visualizzatore dati BigQuery (roles/bigquery.dataViewer) su progetti o set di dati BigQuery specifici a cui Dataform deve avere accesso di sola lettura.
• Utente job BigQuery (roles/bigquery.jobUser) sul progetto che ospita il repository Dataform.

Per consentire a Dataform di utilizzare il tuo account di servizio personalizzato, l'agente di servizio Dataform predefinito deve disporre dei seguenti ruoli sulla risorsa del account di servizio personalizzato:

• Creatore token account di servizio (roles/iam.serviceAccountTokenCreator)
• Utente Service Account (roles/iam.serviceAccountUser)

Per concedere questi ruoli, segui questi passaggi:

1. Nella Google Cloud console vai alla pagina IAM.

   Vai a IAM

2. Fai clic su Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID del tuo account di servizio personalizzato.

4. Nel menu Seleziona un ruolo, seleziona i seguenti ruoli uno alla volta, utilizzando Aggiungi un altro ruolo per ogni ruolo aggiuntivo:

   • Editor dati BigQuery
   • Visualizzatore dati BigQuery
   • Utente job BigQuery

5. Fai clic su Salva.

6. Nella Google Cloud console vai alla pagina Service account.

   Vai ad Account di servizio

7. Seleziona il tuo account di servizio personalizzato.

8. Vai a Entità con accesso e poi fai clic su Concedi l'accesso.

9. Nel campo Nuove entità, inserisci l'ID dell'agente di servizio Dataform predefinito.

   L'ID dell'agente di servizio Dataform predefinito ha il seguente formato:

   [e-mail]
   

   Sostituisci PROJECT_NUMBER con l'ID numerico del tuo Google Cloud progetto. Puoi trovare l'ID Google Cloud progetto nella Google Cloud dashboard della console. Per saperne di più, consulta Identifica i progetti.

10. Nell'elenco Seleziona un ruolo, aggiungi i seguenti ruoli:

    • Utente Service Account
    • Creatore token account di servizio

11. Fai clic su Salva.

Per saperne di più sulla concessione dei ruoli, consulta Concedi a Dataform l'accesso richiesto.

Crea un repository Dataform

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su Crea repository.

3. Nella pagina Crea repository:

   1. Nel campo ID repository, inserisci quickstart-dev.

   2. Nell'elenco Regione, seleziona europe-west4.

   3. Nell'elenco Service account, seleziona un account di servizio personalizzato per il repository.

      Nota: se non vedi il tuo account di servizio nell'elenco, potresti non avere l'autorizzazione iam.serviceAccounts.list a livello di progetto. Per selezionare il account di servizio, fai clic su Inserisci manualmente e inserisci l'ID account del account di servizio account.

   4. Nella sezione Controlli delle autorizzazioni actAs, applica i controlli delle autorizzazioni alle azioni dell'utente sul repository.

   5. Fai clic su Crea.

4. Fai clic su Vai ai repository.

Configura gli override di compilazione del workspace

Per creare ambienti di sviluppo isolati con override di compilazione del workspace Dataform, segui questi passaggi:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-dev.

3. Fai clic su Impostazioni e poi su Modifica.

4. Nel riquadro Override di compilazione del workspace, nel campo Suffisso schema, inserisci ${workspaceName}.

   Quando attivi un'esecuzione in un workspace, Dataform aggiunge il nome del workspace come suffisso allo schema predefinito impostato nelle impostazioni del workflow. Questa guida rapida utilizza le impostazioni predefinite di Dataform con lo schema predefinito dataform.

5. Fai clic su Salva.

Dataform applica override di compilazione del workspace a tutti gli workspace nel repository.

Con questa configurazione, quando esegui manualmente un workflow in un workspace, Dataform lo esegue con override di compilazione del workspace. Di conseguenza, Dataform esegue il workflow nello schema dataform_workspaceName in BigQuery, trasformando il workspace in un ambiente di sviluppo isolato.

Ad esempio, quando attivi manualmente un'esecuzione in un workspace sasha, Dataform esegue il workflow nello schema dataform_sasha in BigQuery.

Se vuoi eseguire workflow senza override di compilazione del workspace, ma vuoi mantenere questi override per gli ambienti di sviluppo, puoi creare configurazioni delle release per configurare altri ambienti di esecuzione, ad esempio staging e production.

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina i set di dati creati in BigQuery

Per evitare che ti vengano addebitati costi per gli asset BigQuery, elimina i set di dati i cui nomi iniziano con dataform, ad esempio dataform-sasha.

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Spazio di esplorazione, espandi il progetto e seleziona un set di dati.

3. Fai clic sul menu Azioni e seleziona Elimina.

4. Nella finestra di dialogo Elimina set di dati , inserisci delete nel campo e fai clic su Elimina.

Elimina il repository Dataform

Non sono previsti costi per la creazione di repository di Dataform. Tuttavia, se vuoi eliminare un repository e tutti i relativi contenuti:

1. Nella Google Cloud console, vai alla pagina Dataform.

   Vai a Dataform

2. Da quickstart-dev, fai clic sul menu Altro e seleziona Elimina.

   1. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

3. Per confermare, fai clic su Elimina.

Passaggi successivi

• Per saperne di più sui service account, consulta Informazioni sui service account personalizzati e sugli agenti di servizio Dataform.
• Per saperne di più sul ciclo di vita del codice in Dataform, consulta Introduzione al ciclo di vita del codice in Dataform.
• Per saperne di più sulle best practice per il ciclo di vita del workflow in Dataform, consulta Best practice per il ciclo di vita del workflow.
• Per saperne di più sugli override di compilazione del workspace in Dataform, consulta Crea override di compilazione del workspace.
• Per scoprire come pianificare le esecuzioni di produzione in Dataform, consulta Pianifica le esecuzioni di produzione.