Creare un workspace di sviluppo

Questo documento ti aiuta a:

Panoramica dei workspace di sviluppo

In Dataform, interagisci con il codice del workflow in un workspace di sviluppo, che è una copia modificabile del repository. In un workspace, puoi creare, modificare o eliminare i contenuti del repository senza influire sugli altri utenti che lavorano sullo stesso repository, quindi eseguire il commit e il push delle modifiche nel repository.

Puoi sviluppare il workflow con Dataform Core o JavaScript. Dataform compila il codice in query SQL in tempo reale.

In un workspace di sviluppo, puoi eseguire le seguenti attività:

Componenti di un workspace di sviluppo

Un workspace di sviluppo Dataform è costituito dalle schede descritte nelle sezioni seguenti.

Scheda Codice

Puoi utilizzare l'ambiente di sviluppo nella scheda Codice per esplorare i file, sviluppare query, controllare la versione delle modifiche e attivare l'esecuzione in BigQuery. La scheda contiene i seguenti componenti che ti consentono di sviluppare i workflow:

  • Riquadro File: mostra la struttura dei file del workspace e salva automaticamente le modifiche alla struttura dei file. I file selezionati vengono aperti nelle schede del riquadro di sviluppo. Nel campo Digita per cercare, puoi cercare file o directory nel workspace in base al percorso.
  • Riquadro Controllo della versione: mostra lo stato del controllo della versione del workspace e le opzioni di controllo della versione.
  • Riquadro Sviluppo: mostra i file aperti nelle schede. Salva automaticamente le modifiche ai file modificati.
  • Pulsante**Esegui**: esegue un' anteprima della query SQL compilata.
  • Pulsante Formatta: formatta il codice Dataform Core o JavaScript.
  • Stato Compilazione: mostra lo stato di compilazione del codice nel workspace.
  • Riquadro Metadati: mostra i metadati del file modificato.
  • Riquadro Query compilate: compila le query nel file modificato in SQL. Se la compilazione della query non riesce, nel riquadro vengono visualizzati gli errori di compilazione. Se la compilazione della query ha esito positivo, nel riquadro vengono visualizzate le query compilate e vengono convalidate tramite esecuzioni di prova in BigQuery. Se la convalida della query non riesce, nel riquadro vengono visualizzati gli errori di convalida. Se la convalida della query ha esito positivo, nel riquadro viene visualizzato il numero di byte che verrebbero utilizzati dall'esecuzione delle query in BigQuery.
  • Menu Avvia esecuzione: mostra le opzioni per attivare l'esecuzione dell'intero workflow nel workspace o degli elementi selezionati.

Scheda del grafico compilato

Nella scheda Grafico compilato, puoi visualizzare il workflow compilato definito nel workspace come un grafo diretto aciclico (DAG) interattivo. Il grafico mostra tutte le azioni nel workflow e le relazioni tra di esse. Se nel workflow sono presenti errori di compilazione, nella scheda viene visualizzato un messaggio di errore anziché il grafico.

Puoi aumentare e diminuire lo zoom e utilizzare la navigazione con il trascinamento nel grafico.

Puoi filtrare il grafico in base alle seguenti proprietà:

  • Nome
  • Tag
  • Tipo
    • Asserzione
    • Dichiarazione
    • Tabella incrementale
    • Vista materializzata
    • Operazioni
    • Tabella
    • Sconosciuto
    • Visualizza

Puoi selezionare più filtri contemporaneamente. Dataform li applica con la condizione OR.

Puoi fare clic su un'azione nel grafico per visualizzarne i dettagli nei seguenti riquadri:

  • Riquadro Metadati: mostra il nome completo, il tipo, le dipendenze e gli elementi dipendenti dell'azione selezionata.
  • Riquadro Query: mostra la query SQL compilata dell'azione selezionata.

Scheda Esecuzioni

Questa scheda mostra i log di tutte le esecuzioni attivate nel workspace. Puoi anche visualizzare le azioni e i relativi dettagli per un'esecuzione selezionata. Per saperne di più, consulta Monitorare i log di esecuzione.

Controllo della versione in un workspace

In un workspace, interagisci con il repository tramite il controllo della versione basato su Git. Le modifiche apportate ai file nel workspace iniziano come modifiche locali di cui non è stato eseguito il commit, che puoi eseguire e poi eseguire il push nel repository in modo che diventino disponibili per tutti gli utenti del repository.

Se il repository è connesso a un provider Git remoto, esegui il push delle modifiche dal workspace al branch di sviluppo principale. Seleziona il branch principale quando connetti il repository al provider Git remoto. In un repository Dataform non connesso, esegui il push delle modifiche al branch predefinito.

Puoi anche eseguire il pull di tutte le modifiche dal repository Dataform o dal repository remoto e unirle alle modifiche locali nel workspace di sviluppo. Per saperne di più sul controllo della versione in Dataform, consulta Eseguire il controllo della versione del codice.

Prima di iniziare

Se non l'hai già fatto, crea un repository Dataform.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare, inizializzare ed eliminare un workspace di sviluppo, chiedi all'amministratore di concederti il ruolo IAM Editor Dataform (roles/dataform.editor) nei workspace. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Creare un workspace di sviluppo Dataform

Quando crei un workspace di sviluppo in un nuovo repository per la prima volta, Dataform ti chiede di inizializzare il workspace di sviluppo con un insieme di file di configurazione necessari per il funzionamento di Dataform.

Un workspace di sviluppo inizializzato contiene le seguenti directory e file:

  • definitions/: una directory per le definizioni degli asset, in Dataform Core o JavaScript.

  • includes/: una directory vuota per script e variabili che puoi riutilizzare nel repository.

  • workflow_settings.yaml: il file di configurazione Dataform predefinito contenente l' Google Cloud ID progetto e lo schema BigQuery in cui pubblicare gli asset. Puoi sostituire le impostazioni predefinite per personalizzarle in base alle tue esigenze, ma la personalizzazione non è un requisito per iniziare a utilizzare Dataform.

  • package.json: il file di configurazione delle dipendenze Dataform predefinito con la versione più recente di @dataform/core. Puoi utilizzare questo file per importare i pacchetti.

  • definitions/sample.sqlx: un file SQLX di esempio per aiutarti a iniziare.

Per creare un nuovo workspace di sviluppo Dataform:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona il repository in cui vuoi creare il nuovo workspace di sviluppo.

  3. Nella pagina del repository, fai clic su Crea workspace di sviluppo.

  4. Nella finestra Crea workspace di sviluppo:

    1. Nel campo ID workspace, inserisci un ID univoco per il workspace di sviluppo.

      Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Fai clic su Crea.

Inizializzare il workspace in un repository Dataform

Per inizializzare un workspace di sviluppo Dataform:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona il repository in cui vuoi inizializzare il workspace vuoto.

  3. Nella scheda Workspace di sviluppo, fai clic sul nome del workspace vuoto che vuoi inizializzare.

  4. Nella pagina del workspace di sviluppo, fai clic su Inizializza workspace.

Eliminare un workspace Dataform

Non sono previsti costi per la creazione di workspace di sviluppo Dataform. Tuttavia, se vuoi eliminare un workspace di sviluppo:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona il repository che contiene il workspace che vuoi eliminare.

  3. Per evitare di eliminare le modifiche di cui non è stato eseguito il commit, esegui il commit e il push delle modifiche nel repository Git.

  4. Nella scheda Workspace di sviluppo, seleziona il workspace di sviluppo che vuoi eliminare, quindi fai clic su Elimina i workspace selezionati.

    Puoi eliminare più workspace contemporaneamente.

  5. Per confermare, fai clic su Elimina.

Passaggi successivi