Connetti un repository Git ed esegui un workflow

Questa guida rapida illustra la procedura per creare un repository Dataform, connetterlo a un repository Git di terze parti esistente ed eseguire un workflow. Esegui le seguenti attività utilizzando la consoleGoogle Cloud e l'API Dataform:

  • Creare un repository Dataform.
  • Connetti il repository al repository GitHub dataform-co/dataform-example-project-bigquery.
  • Crea e inizializza un workspace di sviluppo.
  • Aggiungi una nuova vista nuova al progetto.
  • Compila il progetto ed esegui il workflow in BigQuery.

Prima di iniziare

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività di questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un repository Dataform

Un repository è il contenitore principale del tuo progetto Dataform. Seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Dataform di BigQuery.

    Vai a Dataform

  2. Fai clic su Crea repository.

  3. Nella pagina Crea repository:

    1. Nel campo ID repository, inserisci quickstart-repo.
    2. Nell'elenco Regione, seleziona una regione, ad esempio europe-west4.
    3. Nell'elenco Service account, seleziona un account di servizio personalizzato per il repository.
    4. Fai clic su Crea.
    5. Fai clic su Vai ai repository.

Hai creato un repository Dataform. Successivamente, puoi connettere il repository Dataform a un repository Git remoto.

API

Per creare un repository, utilizza il metodo projects.locations.repositories.create. Esegui la richiesta API con le seguenti informazioni:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
  • Parametro di query: repositoryId=REPOSITORY_ID

In alternativa, nel terminale, esegui il seguente comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

Sostituisci quanto segue:

  • SERVICE_ACCOUNT_NAME: l'ID del account di servizio personalizzato creato per eseguire i job BigQuery.
  • PROJECT_ID: l'identificatore univoco del progettoGoogle Cloud in cui vuoi creare il repository Dataform.
  • LOCATION: la Google Cloud regione in cui vuoi creare il repository, ad esempio europe-west4.
  • REPOSITORY_ID: l'identificatore univoco del nuovo repository Dataform, ad esempio quickstart-repo.

Hai creato un repository Dataform. Successivamente, puoi connettere il repository Dataform a un repository Git remoto.

Connettiti al repository Git

Per connettere il repository Dataform al tuo progetto, seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Secret Manager.

    Vai a Secret Manager

  2. Fai clic su Crea secret.

  3. Nel campo Nome, inserisci dataform-git-token.

  4. Nel campo Valore secret, inserisci il tuo token di accesso personale (PAT) GitHub.

    Per istruzioni su come creare un PAT, consulta Gestire i token di accesso personale.

    Ti consigliamo di impostare una data di scadenza per il token in base alle norme di sicurezza della tua organizzazione.

  5. Fai clic su Crea secret.

  6. Nella pagina dei dettagli del secret, fai clic sulla scheda Autorizzazioni, quindi su Concedi accesso.

  7. Nel campo Nuove entità, inserisci il service agent Dataform: service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com.

    Sostituisci PROJECT_NUMBER con il numero del tuo progettoGoogle Cloud . Per informazioni dettagliate su come trovare il numero del progetto, consulta Trovare il nome, il numero e l'ID del progetto.

  8. Nel campo Seleziona un ruolo, seleziona Secret Manager > Secret Manager Secret Accessor.

  9. Fai clic su Salva.

  10. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  11. Fai clic su quickstart-repo.

  12. Nella pagina del repository, fai clic su Impostazioni > Connetti a Git.

  13. Nel riquadro Link al repository remoto, seleziona HTTPS.

  14. Nel campo URL repository Git remoto, inserisci https://github.com/dataform-co/dataform-example-project-bigquery.git.

  15. Nel campo Nome ramo remoto predefinito, inserisci master.

  16. Nel menu Secret, seleziona dataform-git-token.

  17. Fai clic su Collega.

Hai connesso correttamente il repository Dataform a un repository Git remoto e hai concesso le autorizzazioni necessarie. Dopodiché puoi creare e inizializzare un'area di lavoro di sviluppo.

API

  1. Per archiviare il token di accesso personale Git, crea un secret in Secret Manager con il metodo projects.secrets.create. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets
    • Parametro di query: secretId=dataform-git-token

    • Testo:

      {
  "replication": {
    "automatic": {}
  }
}

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "replication": {
      "automatic": {}
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets?secretId=dataform-git-token"

  2. Aggiungi una versione al secret contenente il tuo token di accesso personale (PAT) di GitHub. Per istruzioni su come creare un PAT, consulta Gestire i token di accesso personale. Ti consigliamo di impostare una data di scadenza per il token in base alle norme di sicurezza della tua organizzazione.

    Per aggiungere una versione del secret, utilizza il metodo projects.secrets.addVersion. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion

    • Testo:

      {
  "payload": {
    "data": "GITHUB_PAT"
  }
}

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "payload": {
      "data": "$(echo -n "GITHUB_PAT" | base64)"
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion"

    Sostituisci GITHUB_PAT con il tuo token di accesso personale GitHub. Il comando curl converte automaticamente il PAT in una stringa con codifica Base64 prima di inviare la richiesta.

  3. Per consentire a Dataform di accedere al secret, concedi il ruolo Secret Manager Secret Accessor (roles/secretmanager.secretAccessor) all'agente di servizio Dataform. Per concedere il ruolo, seleziona una delle seguenti opzioni:

    gcloud

    Esegui il comando gcloud secrets add-iam-policy-binding:

    gcloud secrets add-iam-policy-binding dataform-git-token \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com" \
    --role="roles/secretmanager.secretAccessor"

    Sostituisci PROJECT_NUMBER con il numero del tuo progettoGoogle Cloud . Per informazioni dettagliate su come trovare il numero del progetto, consulta Trovare il nome, il numero e l'ID del progetto.

    API Secret Manager

    Utilizza il metodo projects.secrets.setIamPolicy. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy

    • Testo:

      {
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}' \
"https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy"

    Sostituisci PROJECT_NUMBER con il numero del tuo progettoGoogle Cloud . Per informazioni dettagliate su come trovare il numero del progetto, consulta Trovare il nome, il numero e l'ID del progetto.

  4. Per connettere il repository a un repository Git remoto, utilizza il metodo projects.locations.repositories.patch. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: PATCH https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID
    • Parametro di query: updateMask=gitRemoteSettings

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "gitRemoteSettings": {
      "url": "https://github.com/dataform-co/dataform-example-project-bigquery.git",
      "defaultBranch": "master",
      "authenticationTokenSecretVersion": "projects/PROJECT_ID/secrets/dataform-git-token/versions/1"
    }
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID?updateMask=gitRemoteSettings"

Hai connesso correttamente il repository Dataform a un repository Git remoto e hai concesso le autorizzazioni necessarie. Dopodiché puoi creare e inizializzare un'area di lavoro di sviluppo.

Crea e inizializza un workspace di sviluppo

Uno spazio di lavoro è un ambiente di sviluppo isolato. Per creare e inizializzare uno spazio di lavoro, seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Dataform di BigQuery.

    Vai a Dataform

  2. Fai clic su quickstart-repo.

  3. Nel repository, vai alla scheda Workspace di sviluppo.

  4. Fai clic su Crea area di lavoro di sviluppo.

  5. Nel campo ID area di lavoro, inserisci dev-workspace.

  6. Fai clic su Crea.

  7. Nella scheda Aree di lavoro di sviluppo, seleziona l'area di lavoro dev-workspace.

Hai creato e inizializzato correttamente uno spazio di lavoro di sviluppo. Successivamente, puoi configurare le impostazioni del flusso di lavoro.

API

Per creare uno spazio di lavoro, utilizza il metodo projects.locations.repositories.workspaces.create. Esegui la richiesta API con le seguenti informazioni:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
  • Parametro di query: workspaceId=WORKSPACE_ID

In alternativa, nel terminale, esegui il seguente comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d "{}" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"

Sostituisci WORKSPACE_ID con l'identificatore univoco del nuovo workspace di sviluppo Dataform, ad esempio dev-workspace.

Hai creato e inizializzato correttamente uno spazio di lavoro di sviluppo. Successivamente, puoi configurare le impostazioni del flusso di lavoro.

Configurare le impostazioni del workflow

In questa sezione, aggiorna l'ID progetto nel file workflow_settings.yaml per assicurarti che Dataform esegua il flusso di lavoro nel tuo progettoGoogle Cloud . Per configurare le impostazioni del flusso di lavoro, seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Dataform di BigQuery.

    Vai a Dataform

  2. Fai clic su quickstart-repo.

  3. Nel repository, vai alla scheda Aree di lavoro di sviluppo e poi fai clic su dev-workspace.

  4. Nel riquadro File, seleziona workflow_settings.yaml.

  5. Nel file, sostituisci il valore di defaultProject con l'ID progetto.

    Il file viene salvato automaticamente.

Hai aggiornato correttamente le impostazioni del flusso di lavoro. A questo punto, puoi aggiungere una nuova dichiarazione della fonte al tuo progetto.

API

  1. Crea un file locale denominato workflow_settings.yaml e incolla la seguente configurazione nel file:

    defaultProject: PROJECT_ID
defaultDataset: dataform
dataformCoreVersion: CORE_VERSION

    Sostituisci CORE_VERSION con l'ultima versione stabile (non beta) di Dataform Core, ad esempio 3.0.43. Puoi trovare l'ultima versione elencata in Release.

  2. Nel terminale, codifica i contenuti del file in una stringa Base64:

    base64 -w 0 workflow_settings.yaml

  3. Copia la stringa di output risultante da utilizzare nel segnaposto SETTINGS_DEFINITION se decidi di utilizzare il comando alternativo curl in un secondo momento in questi passaggi.

  4. Per aggiornare le impostazioni del flusso di lavoro, utilizza il metodo projects.locations.repositories.workspaces.writeFile. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "workflow_settings.yaml",
    "contents": "SETTINGS_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Sostituisci SETTINGS_DEFINITION con i contenuti del file YAML come stringa con codifica Base64.

Hai aggiornato correttamente le impostazioni del flusso di lavoro. A questo punto, puoi aggiungere una nuova dichiarazione della fonte al tuo progetto.

Crea un'origine

In questa sezione aggiungi al progetto una nuova dichiarazione di origine SQLX che definisce un set di dati BigQuery esistente in modo che Dataform possa farvi riferimento come origine dati nel workflow. Per creare la nuova origine, seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Dataform di BigQuery.

    Vai a Dataform

  2. Fai clic su quickstart-repo.

  3. Nel repository, vai alla scheda Aree di lavoro di sviluppo e poi fai clic su dev-workspace.

  4. Nel riquadro File, seleziona la cartella definitions.

  5. Fai clic su Altre azioni sui file > Crea file.

  6. Nel campo Aggiungi un percorso del file, inserisci definitions/sources/tags.sqlx.

  7. Fai clic su Crea file.

  8. Nell'editor SQL per il nuovo file definitions/sources/tags.sqlx, incolla il seguente codice:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

Hai creato una dichiarazione di origine. Successivamente, puoi aggiungere una nuova visualizzazione al tuo progetto.

API

  1. Crea un file locale denominato tags.sqlx.

  2. Incolla il seguente codice nel file tags.sqlx:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

  3. Nel terminale, codifica i contenuti del file in un'unica stringa continua:

    base64 -w 0 tags.sqlx

  4. Copia la stringa di output risultante da utilizzare nel segnaposto SOURCE_DEFINITION se decidi di utilizzare il comando alternativo curl in un secondo momento in questi passaggi.

  5. Per creare un file di dichiarazione dell'origine nel tuo spazio di lavoro, utilizza il metodo projects.locations.repositories.workspaces.writeFile. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/sources/tags.sqlx",
    "contents": "SOURCE_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Sostituisci SOURCE_DEFINITION con i contenuti del file SQLX come stringa codificata Base64.

Hai creato una dichiarazione di origine. Successivamente, puoi aggiungere una nuova visualizzazione al tuo progetto.

Crea una vista

In questa sezione, aggiungi al progetto un nuovo file SQLX che definisce una vista. Per creare la nuova visualizzazione, seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Dataform di BigQuery.

    Vai a Dataform

  2. Fai clic su quickstart-repo.

  3. Nel repository, vai alla scheda Aree di lavoro di sviluppo e poi fai clic su dev-workspace.

  4. Nel riquadro File, seleziona la cartella definitions.

  5. Fai clic su Altre azioni sui file > Crea file.

  6. Nel campo Aggiungi un percorso del file, inserisci definitions/top_question_tags.sqlx.

  7. Fai clic su Crea file.

  8. Nell'editor SQL per il nuovo file definitions/top_question_tags.sqlx, incolla il seguente codice:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

Hai creato una visualizzazione. Il passaggio successivo è compilare il progetto.

API

  1. Crea un file locale denominato top_question_tags.sqlx.

  2. Incolla il seguente codice nel file top_question_tags.sqlx:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

  3. Nel terminale, codifica i contenuti del file in un'unica stringa continua:

    base64 -w 0 top_question_tags.sqlx

  4. Copia la stringa di output risultante da utilizzare nel segnaposto VIEW_DEFINITION se decidi di utilizzare il comando alternativo curl in un secondo momento in questi passaggi.

  5. Per creare un file di definizione della visualizzazione nel tuo spazio di lavoro, utilizza il metodo projects.locations.repositories.workspaces.writeFile. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/top_question_tags.sqlx",
    "contents": "VIEW_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Sostituisci VIEW_DEFINITION con i contenuti del file SQLX come stringa con codifica Base64.

Hai creato una visualizzazione. Il passaggio successivo è compilare il progetto.

Compilare il progetto

La compilazione converte i file SQLX in un grafico di esecuzione SQL puro. Per compilare il progetto, seleziona una delle seguenti opzioni:

Console

La console Google Cloud compila automaticamente il progetto. Puoi verificare la compilazione nella scheda Grafico compilato nel tuo workspace.

Hai compilato correttamente il progetto e verificato il grafico di esecuzione. Successivamente, puoi eseguire il flusso di lavoro in BigQuery.

API

  1. Per creare un risultato della compilazione in base al tuo workspace, utilizza il metodo projects.locations.repositories.compilationResults.create. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"

  2. Per verificare che il progetto sia stato compilato correttamente, utilizza il metodo projects.locations.repositories.compilationResults.get. Esegui la richiesta API con le seguenti informazioni:

    • Endpoint: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID

    In alternativa, nel terminale, esegui il seguente comando curl:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"

    Sostituisci COMPILATION_ID con l'identificatore univoco del risultato della compilazione. Questo ID viene fornito nella risposta alla richiesta di compilazione del passaggio precedente.

  3. Nella risposta, controlla il campo compilationErrors. Se l'elenco è vuoto, il progetto è stato compilato correttamente.

Hai compilato correttamente il progetto e verificato il grafico di esecuzione. Successivamente, puoi eseguire il flusso di lavoro in BigQuery.

Esegui il workflow

Per attivare l'esecuzione del flusso di lavoro in BigQuery, seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Dataform di BigQuery.

    Vai a Dataform

  2. Fai clic su quickstart-repo.

  3. Nel repository, vai alla scheda Aree di lavoro di sviluppo e poi fai clic su dev-workspace.

  4. Nella barra degli strumenti, fai clic su Avvia esecuzione > Esegui azioni.

  5. Seleziona Tutte le azioni.

  6. Fai clic su Avvia esecuzione.

Hai eseguito correttamente il workflow.

API

Per attivare una chiamata del workflow, utilizza il metodo projects.locations.repositories.workflowInvocations.create. Esegui la richiesta API con le seguenti informazioni:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

In alternativa, nel terminale, esegui il seguente comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"

Hai eseguito correttamente il workflow.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina i set di dati BigQuery

Per evitare che ti vengano addebitati costi per gli asset BigQuery, elimina i set di dati creati da questo flusso di lavoro, ad esempio i set di dati denominati reporting e staging.

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Spazio di esplorazione, espandi il progetto e seleziona un set di dati.

  3. Fai clic sul menu Azioni e seleziona Elimina.

  4. Nella finestra di dialogo Elimina set di dati, inserisci delete nel campo e fai clic su Elimina.

Elimina il secret di Secret Manager

Per liberare spazio nelle risorse di sicurezza, elimina il secret utilizzato per la connessione Git.

  1. Nella console Google Cloud , vai alla pagina Secret Manager.

    Vai a Secret Manager

  2. Seleziona il secret dataform-git-token.

  3. Fai clic su Elimina.

  4. Nella finestra di dialogo di conferma, inserisci il nome del secret per confermare, quindi fai clic su Elimina.

Elimina l'area di lavoro di sviluppo Dataform

La creazione di un'area di lavoro di sviluppo Dataform non comporta costi, ma per eliminarla, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Fai clic su quickstart-repo.

  3. Nella scheda Aree di lavoro di sviluppo, fai clic sul menu Altro accanto a dev-workspace, quindi seleziona Elimina.

  4. Per confermare, fai clic su Elimina.

Elimina il repository Dataform

La creazione del repository Dataform non comporta costi, ma per eliminarlo segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Accanto a quickstart-repo, fai clic sul menu Altro e seleziona Elimina.

  3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

  4. Per confermare, fai clic su Elimina.

Passaggi successivi