Dichiarare un'origine dati

Questo documento mostra come dichiarare le origini dati BigQuery con Dataform core.

Puoi dichiarare qualsiasi tipo di tabella BigQuery come origine dati in Dataform. La dichiarazione delle origini dati BigQuery esterne a Dataform ti consente di trattarle come oggetti Dataform.

La dichiarazione delle origini dati è facoltativa, ma può essere utile quando vuoi:

  • Fare riferimento alle origini dichiarate o risolverle nello stesso modo di qualsiasi altra tabella in Dataform.
  • Visualizzare le origini dichiarate nel grafico Dataform visualizzato.
  • Utilizzare Dataform per gestire le descrizioni a livello di tabella e colonna delle tabelle create esternamente.
  • Attivare le chiamate del flusso di lavoro che includono tutti i dipendenti di un'origine dati esterna.

Puoi dichiarare le origini dati utilizzando file JavaScript o SQLX. In un file JavaScript, puoi dichiarare più origini dati per file. In un file SQLX, puoi dichiarare un'origine dati per file.

Prima di iniziare

Prima di dichiarare un'origine dati, crea e inizializza un'area di lavoro di sviluppo nel repository.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per dichiarare un'origine dati, chiedi all'amministratore di concederti il ruolo IAM Editor Dataform (roles/dataform.editor) nelle aree di lavoro. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Creare un file JavaScript per più dichiarazioni di origini dati

Archivia i file JavaScript per le dichiarazioni di origini dati nella directory definitions/. Per creare un nuovo file JavaScript nella directory definitions/:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository.

  3. Seleziona un'area di lavoro di sviluppo.

  4. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro.

  5. Fai clic su Crea file.

  6. Nel riquadro Crea nuovo file, procedi nel seguente modo:

    1. Nel campo Aggiungi un percorso del file, dopo definitions/, inserisci il nome del file seguito da .js. Ad esempio, definitions/declarations.js.

      I nomi dei file possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Fai clic su Crea file.

Aggiungere una dichiarazione a un file JavaScript

Puoi dichiarare più origini dati per file JavaScript. Per aggiungere una nuova dichiarazione:

  1. Nell'area di lavoro di sviluppo, nel riquadro File, fai clic sul file JavaScript per le dichiarazioni di origini dati.

  2. Nel file, per ogni origine dati, aggiungi il seguente snippet di codice:

      declare({
    database: "DATABASE_PROJECT_ID",
    schema: "BIGQUERY_SCHEMA",
    name: "RELATION_NAME",
  });

    Sostituisci quanto segue:

    • DATABASE_PROJECT_ID: l'ID progetto del progetto che contiene l'origine dati.
    • BIGQUERY_SCHEMA: il set di dati BigQuery in cui esiste l'origine dati.
    • RELATION_NAME: il nome della tabella o della vista che vuoi utilizzare come origine dati. Puoi utilizzare questo nome in un secondo momento per fare riferimento all'origine dati in Dataform.

Creare un file SQLX per la dichiarazione dell'origine dati

Archivia i file SQLX per le dichiarazioni di origini dati nella directory definitions/. Per creare un nuovo file SQLX nella directory definitions/:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository.

  3. Seleziona un'area di lavoro di sviluppo.

  4. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro.

  5. Fai clic su Crea file.

  6. Nel riquadro Crea nuovo file, procedi nel seguente modo:

    1. Nel campo Aggiungi un percorso del file, dopo definitions/, inserisci il nome del file seguito da .sqlx. Ad esempio, definitions/dataset-declaration.sqlx.

      I nomi dei file possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Fai clic su Crea file.

Dichiarare un'origine dati

Puoi dichiarare un'origine dati per file di dichiarazione SQLX. Per dichiarare un'origine dati nel blocco di configurazione di un file SQLX:

  1. Nell'area di lavoro di sviluppo, nel riquadro File, fai clic sul file SQLX per la dichiarazione dell'origine dati.

  2. Nel file, inserisci il seguente snippet di codice:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Sostituisci quanto segue:

    • DATABASE: l'ID progetto del progetto che contiene l'origine dati.
    • SCHEMA: il set di dati BigQuery in cui esiste l'origine dati.
    • NAME: il nome della tabella o della vista che vuoi utilizzare come origine dati. Puoi utilizzare questo nome in un secondo momento per fare riferimento all'origine dati in Dataform.

  3. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra una dichiarazione di esempio della tabella shakespeare nel set di dati samples del progetto bigquery-public-data come origine dati:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

Passaggi successivi