Configurare azioni aggiuntive

Questo documento mostra come:

Prima di iniziare

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona o crea un repository.

  3. Seleziona o crea un workspace di sviluppo.

  4. Crea una tabella.

  5. Definisci un file SQLX di uno dei seguenti tipi:

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per completare le attività descritte in questo documento, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Editor Dataform (roles/dataform.editor) sul workspace
  • Per sincronizzare i metadati con Knowledge Catalog: Dataplex Catalog Editor (roles/dataplex.catalogEditor) sul progetto o sul gruppo di voci @bigquery

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Definisci un'istruzione SQL da eseguire prima della creazione della tabella

Puoi configurare Dataform per eseguire una o più istruzioni SQL prima di creare una tabella selezionata in BigQuery. Per eseguire un'istruzione SQL prima che Dataform crei una tabella selezionata, aggiungi l'istruzione al blocco pre_operations nel file SQLX di definizione della tabella.

Per creare un'istruzione SQL personalizzata che viene eseguita prima che Dataform crei una tabella specifica:

  1. Vai al tuo workspace di sviluppo.
  2. Nel riquadro File, espandi definitions/.
  3. Apri un file di definizione della tabella SQLX.
  4. Al di fuori del blocco config, inserisci pre_operations { ... }.
  5. All'interno di pre_operations { ... }, aggiungi l'istruzione SQL.
  6. (Facoltativo) Per aggiungere più istruzioni, separale con ---.
  7. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra un'istruzione pre_operations che crea una funzione temporanea che può essere utilizzata nell'istruzione SELECT:

pre_operations {
  CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64)
    RETURNS FLOAT64
    AS ((x + 4) / y);
}

Definisci un'istruzione SQL da eseguire dopo la creazione della tabella

Puoi configurare Dataform per eseguire una o più istruzioni SQL dopo aver creato una tabella selezionata in BigQuery. Per eseguire un'istruzione SQL dopo che Dataform crea una tabella selezionata, aggiungi l'istruzione al blocco post_operations nel file SQLX di definizione della tabella. Puoi aggiungere più istruzioni SQL al blocco post_operations.

Per creare un'istruzione SQL personalizzata eseguita dopo che Dataform crea una tabella specifica:

  1. Vai al tuo workspace di sviluppo.
  2. Nel riquadro File, espandi definitions/.
  3. Apri un file di definizione della tabella SQLX.
  4. Al di fuori del blocco config, inserisci post_operations { ... }.
  5. All'interno di post_operations { ... }, aggiungi l'istruzione SQL.
  6. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra le istruzioni post_operations che concedono ai gruppi l'accesso alla tabella creata:

  post_operations {
    GRANT `roles/bigquery.dataViewer`
    ON
    TABLE ${self()}
    TO "group:allusers@example.com", "user:otheruser@example.com"
  }

Arricchimento automatico dei metadati

Dataform supporta l'arricchimento automatico dei metadati per tabelle e viste BigQuery create con i workflow SQLX. Quando un'azione della tabella viene completata correttamente, Dataform tenta di scrivere i metadati definiti nella voce Knowledge Catalog corrispondente. Questo processo è disaccoppiato dall'esecuzione SQL nei seguenti modi:

  • Latenza: la sincronizzazione è asincrona, il che significa che i job BigQuery non attendono il completamento dell'aggiornamento di Knowledge Catalog.
  • Affidabilità: se la sincronizzazione non va a buon fine (ad esempio a causa dei limiti di frequenza dell'API), Dataform riprova automaticamente l'aggiornamento. Un aggiornamento dei metadati non riuscito non causa l'errore dell'azione o del workflow Dataform.

Il seguente esempio di codice mostra come definire i metadati per Knowledge Catalog nel blocco di configurazione di un file SQLX:

config {
  type: "table",
  metadata: {
    overview: "This table provides standardized trip data.",
    extraProperties: {
      generic: {
        system: "BigQuery",
        type: "table"
      }
    }
  }
}

Per controllare lo stato di un aggiornamento dei metadati, segui le istruzioni riportate in Esaminare i log di esecuzione dello spazio di lavoro.

Per visualizzare i metadati arricchiti, puoi cercare le tabelle e le viste BigQuery in Knowledge Catalog. Per saperne di più, consulta Cercare risorse.

Disattivare la creazione di tabelle

Per impedire a Dataform di creare una tabella selezionata in BigQuery, puoi disattivarla nel relativo file di definizione della tabella SQLX. Dataform mantiene una tabella disattivata nel grafico delle dipendenze, ma non la compila e la crea. Ciò può essere utile, ad esempio, se una tabella non funziona e non vuoi che l'intero flusso di lavoro non funzioni mentre risolvi il problema.

Per disattivare una tabella:

  1. Vai al tuo workspace di sviluppo.
  2. Nel riquadro File, espandi definitions/.
  3. Seleziona un file di definizione della tabella SQLX.
  4. Nel blocco config del file, inserisci disabled: true.
  5. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra una tabella disattivata:

config {
  type: "table",
  disabled: true
}

select * from ${ref("source_data")}

Aggiungere tag di esecuzione

Questa sezione mostra come aggiungere tag ai file SQLX di Dataform Core per classificare il flusso di lavoro.

Per organizzare i componenti del workflow in raccolte, puoi aggiungere tag personalizzati ai file SQLX dei seguenti tipi:

  • table
  • view
  • incremental
  • assertion
  • operations

Durante l'esecuzione di un flusso di lavoro, puoi eseguire solo i file con un tag selezionato.

Con Managed Service for Apache Airflow o Workflows insieme a Cloud Scheduler, puoi creare una pianificazione che esegue un workflow Dataform con un tag selezionato a un intervallo specifico.

Aggiungi un tag

Puoi aggiungere più tag a un file SQLX.

Per aggiungere un tag a un file SQLX:

  1. Vai al tuo workspace di sviluppo.
  2. Nel riquadro File, espandi definitions/.
  3. Seleziona un file SQLX.

  4. Nel blocco config, aggiungi un tag nel seguente formato:

    tags: ["CUSTOM_TAG"]

    Sostituisci CUSTOM_TAG con il tuo tag.

  5. (Facoltativo) Per aggiungere più tag, separali con una virgola (,).

  6. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra la visualizzazione user_counts con i tag daily e hourly:

config {
  type: "view",
  name: "user_counts",
  tags: ["daily", "hourly"]
}

Passaggi successivi