Créer et exécuter un workflow dans Dataform

Ce guide de démarrage rapide s'adresse aux ingénieurs et aux analystes de données qui souhaitent gérer les transformations de données dans BigQuery. Dans ce guide de démarrage rapide, vous allez apprendre à créer et à exécuter un workflow Dataform à l'aide de Dataform Core, un framework basé sur SQL permettant de transformer des données brutes en ressources de données organisées, testées et documentées. Dataform vous permet de développer et de gérer les versions de vos pipelines de modélisation des données dans un dépôt centralisé, ce qui garantit leur fiabilité et leur évolutivité.

Ce guide de démarrage rapide vous explique comment créer un workflow et l'exécuter dans BigQuery à l'aide de Dataform :

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer toutes les tâches de ce guide de démarrage rapide, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Attribuer les rôles requis

Pour exécuter des workflows dans BigQuery, vous pouvez utiliser un compte de service personnalisé ou votre compte Google.

Votre compte de service personnalisé doit disposer des rôles requis suivants :

  • Éditeur de données BigQuery (roles/bigquery.dataEditor) sur les projets ou les ensembles de données BigQuery spécifiques auxquels Dataform doit avoir accès en lecture et en écriture. Cela inclut généralement le projet hébergeant votre dépôt Dataform.
  • Lecteur de données BigQuery (roles/bigquery.dataViewer) sur les projets ou les ensembles de données BigQuery spécifiques auxquels Dataform doit avoir accès en lecture seule.
  • Utilisateur de job BigQuery (roles/bigquery.jobUser) sur le projet hébergeant votre dépôt Dataform.

Pour permettre à Dataform d'utiliser votre compte de service personnalisé, l'agent de service Dataform par défaut doit disposer des rôles suivants sur la ressource de compte de service personnalisé :

Pour attribuer ces rôles, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page IAM.

    Accéder à IAM

  2. Cliquez sur Accorder l'accès.

  3. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service personnalisé.

  4. Dans le menu Sélectionner un rôle, sélectionnez les rôles suivants un par un, en utilisant Ajouter un autre rôle pour chaque rôle supplémentaire :

    • Éditeur de données BigQuery
    • Lecteur de données BigQuery
    • Utilisateur de job BigQuery

  5. Cliquez sur Enregistrer.

  6. Dans la console Google Cloud , accédez à la page Comptes de service.

    Accéder à la page "Comptes de service"

  7. Sélectionnez votre compte de service personnalisé.

  8. Accédez à Comptes principaux avec accès, puis cliquez sur Accorder l'accès.

  9. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre agent de service Dataform par défaut.

    L'ID de votre agent de service Dataform par défaut se présente au format suivant :

    service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    Remplacez PROJECT_NUMBER par l'ID numérique de votre projetGoogle Cloud . Vous trouverez l'ID de votre projet Google Cloud dans le tableau de bord de la consoleGoogle Cloud . Pour en savoir plus, consultez Identifier des projets.

  10. Dans la liste Sélectionner un rôle, ajoutez les rôles suivants :

    • Utilisateur du compte de service
    • Créateur de jetons du compte de service

  11. Cliquez sur Enregistrer.

Pour en savoir plus sur l'attribution de rôles, consultez Accorder à Dataform l'accès requis.

Créer un dépôt Dataform

Un dépôt Dataform est une ressource qui représente un dépôt Git contenant le code du projet Dataform utilisé pour développer, gérer les versions et orchestrer les workflows. Pour créer un dépôt, sélectionnez l'une des options suivantes :

Console

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. Cliquez sur Créer un dépôt.

  3. Sur la page CRÉER UN DÉPÔT, procédez comme suit :

    1. Dans le champ ID du dépôt, saisissez quickstart-repository.

    2. Dans la liste Région, sélectionnez europe-west4.

    3. Dans la liste Compte de service, sélectionnez un compte de service personnalisé pour le dépôt.

    4. Dans la section Vérifications d'autorisations actAs, appliquez les vérifications d'autorisations sur les actions des utilisateurs pour le dépôt.

    5. Cliquez sur Créer.

    6. Cliquez sur Accéder aux dépôts.

Vous venez de créer un dépôt Dataform. Ensuite, vous pouvez créer et initialiser un espace de travail de développement.

API

Pour créer un dépôt, utilisez la méthode projects.locations.repositories.create.

Exécutez la requête API avec les informations suivantes :

  • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
  • Paramètre de requête : repositoryId=REPOSITORY_ID

Commande curl :

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

Remplacez les éléments suivants :

  • LOCATION : région Google Cloud dans laquelle vous souhaitez créer le dépôt, par exemple europe-west4.
  • PROJECT_ID : identifiant unique du projetGoogle Cloud dans lequel vous souhaitez créer le dépôt Dataform.
  • REPOSITORY_ID : identifiant unique de votre nouveau dépôt Dataform, par exemple quickstart-repository.
  • SERVICE_ACCOUNT_NAME : ID du compte de service personnalisé créé pour exécuter les tâches BigQuery.

Créer et initialiser un espace de travail de développement

Un espace de travail Dataform est un environnement de développement isolé, comme une branche Git, dans lequel vous pouvez modifier et compiler du code. Pour créer un espace de travail, sélectionnez l'une des options suivantes :

Console

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. Cliquez sur quickstart-repository.

  3. Cliquez sur Créer un espace de travail de développement.

  4. Dans la fenêtre Créer un espace de travail de développement, procédez comme suit :

    1. Dans le champ ID de l'espace de travail, saisissez quickstart-workspace.

    2. Cliquez sur Créer.

    La page de l'espace de travail de développement s'affiche.

  5. Cliquez sur Initialiser l'espace de travail.

API

  1. Pour créer un espace de travail Dataform, utilisez la méthode projects.locations.repositories.workspaces.create.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
    • Paramètre de requête : workspaceId=WORKSPACE_ID

    Commande curl :

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d "{}" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"

  2. Pour initialiser votre espace de travail avec la configuration nécessaire, créez un fichier local nommé workflow_settings.yaml et collez-y la configuration suivante :

    defaultProject: PROJECT_ID
defaultDataset: dataform
dataformCoreVersion: CORE_VERSION

  3. Dans votre terminal, exécutez la commande suivante pour encoder le contenu du fichier en une seule chaîne continue :

    base64 -w 0 workflow_settings.yaml

  4. Copiez la chaîne de sortie obtenue pour l'utiliser dans le champ SETTINGS_DEFINITION du corps de votre requête JSON.

  5. Pour créer le fichier de configuration dans votre espace de travail, utilisez la méthode projects.locations.repositories.workspaces.writeFile.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Commande curl :

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "workflow_settings.yaml",
    "contents": "SETTINGS_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Remplacez les éléments suivants :

    • CORE_VERSION : dernière version stable (non bêta) de Dataform Core, par exemple 3.0.43. Vous trouverez la dernière version dans les versions.
    • LOCATION : région Google Cloud de votre dépôt, par exemple europe-west4.
    • PROJECT_ID : identifiant unique du projetGoogle Cloud dans lequel se trouve votre dépôt Dataform.
    • REPOSITORY_ID : identifiant unique de votre dépôt Dataform, par exemple quickstart-repository.
    • SETTINGS_DEFINITION : contenu du fichier YAML sous forme de chaîne encodée en Base64.
    • WORKSPACE_ID : identifiant unique de votre espace de travail de développement Dataform, par exemple feature-branch-1.

Créer une vue

Une vue Dataform est un élément défini dans un fichier SQLX qui vous permet de transformer des données et sert de source pour d'autres tables ou vues de votre workflow. Pour créer et définir une vue que vous utiliserez ultérieurement comme source de données pour une table, sélectionnez l'une des options suivantes :

Console

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. Cliquez sur quickstart-repository, puis sur quickstart-workspace.

  3. Dans le volet Fichiers, à côté de definitions/, cliquez sur le menu  Plus.

  4. Cliquez sur Créer un fichier.

  5. Dans le volet Créer un fichier, procédez comme suit :

    1. Dans le champ Ajouter un chemin d'accès au fichier, saisissez definitions/quickstart-source.sqlx.

    2. Cliquez sur Créer un fichier.

  6. Dans le volet Fichiers, développez le dossier "definitions".

  7. Cliquez sur definitions/quickstart-source.sqlx.

  8. Dans le fichier, saisissez l'extrait de code suivant :

    config {
  type: "view"
}

SELECT
  "apples" AS fruit,
  2 AS count
UNION ALL
SELECT
  "oranges" AS fruit,
  5 AS count
UNION ALL
SELECT
  "pears" AS fruit,
  1 AS count
UNION ALL
SELECT
  "bananas" AS fruit,
  0 AS count

  9. Cliquez sur Format.

API

Pour créer une vue, vous devez d'abord préparer le contenu de votre fichier SQLX pour la requête API.

  1. Créez un fichier local nommé quickstart-source.sqlx et collez-y l'extrait de code SQL suivant :

    config {
  type: "view"
}

SELECT
  "apples" AS fruit,
  2 AS count
UNION ALL
SELECT
  "oranges" AS fruit,
  5 AS count
UNION ALL
SELECT
  "pears" AS fruit,
  1 AS count
UNION ALL
SELECT
  "bananas" AS fruit,
  0 AS count

  2. Dans votre terminal, exécutez la commande suivante pour encoder le contenu du fichier dans une seule chaîne continue :

    base64 -w 0 quickstart-source.sqlx

  3. Copiez la chaîne de sortie obtenue pour l'utiliser dans le champ VIEW_DEFINITION du corps de votre requête JSON.

  4. Pour créer et définir le fichier de définition de vue dans votre espace de travail, utilisez la méthode projects.locations.repositories.workspaces.writeFile.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Charge utile JSON (write_view.json) :

    {
  "path": "definitions/quickstart-source.sqlx",
  "contents": "VIEW_DEFINITION"
}

    Commande curl :

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d @write_view.json \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Remplacez les éléments suivants :

    • LOCATION : région Google Cloud de votre dépôt, par exemple europe-west4.
    • PROJECT_ID : identifiant unique du projetGoogle Cloud dans lequel se trouve votre dépôt Dataform.
    • REPOSITORY_ID : identifiant unique de votre dépôt Dataform, par exemple quickstart-repository.
    • VIEW_DEFINITION : contenu du fichier SQLX sous forme de chaîne encodée en base64.
    • WORKSPACE_ID : identifiant unique de votre espace de travail de développement Dataform, par exemple feature-branch-1.

Créer une table

Une table Dataform est un élément défini dans un fichier SQLX qui stocke les résultats de requêtes transformés dans BigQuery dans le cadre de votre workflow. Pour définir une table pour votre workflow, sélectionnez l'une des options suivantes :

Console

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. Cliquez sur quickstart-repository, puis sur quickstart-workspace.

  3. Dans le volet Fichiers, à côté de definitions/, cliquez sur le menu Plus, puis sélectionnez Créer un fichier.

  4. Dans le champ Ajouter un chemin d'accès au fichier, saisissez definitions/quickstart-table.sqlx.

  5. Cliquez sur Créer un fichier.

  6. Dans le volet Fichiers, développez le répertoire definitions/.

  7. Sélectionnez quickstart-table.sqlx, puis spécifiez le type "table" et cette instruction SELECT :

    config {
  type: "table"
}

SELECT
  fruit,
  SUM(count) as count
FROM ${ref("quickstart-source")}
GROUP BY 1

  8. Cliquez sur Format.

Après avoir défini le type de table, Dataform génère une erreur de validation de requête, car quickstart-source n'existe pas encore dans BigQuery. Cette erreur sera résolue lorsque vous exécuterez le workflow.

API

Pour créer une table, vous devez d'abord préparer le contenu de votre fichier SQLX pour la requête API.

  1. Créez un fichier local nommé quickstart-table.sqlx et collez-y l'extrait de code SQL suivant :

    config {
  type: "table"
}

SELECT
  fruit,
  SUM(count) as count
FROM ${ref("quickstart-source")}
GROUP BY 1

  2. Dans votre terminal, exécutez la commande suivante pour encoder le contenu du fichier dans une seule chaîne continue :

    base64 -w 0 quickstart-table.sqlx

  3. Copiez la chaîne de sortie obtenue pour l'utiliser dans le champ TABLE_DEFINITION du corps de votre requête JSON.

  4. Pour définir une table dans votre espace de travail, utilisez la méthode projects.locations.repositories.workspaces.writeFile. Cette requête API unique remplace les étapes manuelles de création d'un fichier SQLX et de définition de la structure et des dépendances de la table.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Charge utile JSON (write_table.json) :

    {
  "path": "definitions/quickstart-table.sqlx",
  "contents": "TABLE_DEFINITION"
}

    Commande curl :

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d @write_table.json \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Remplacez les éléments suivants :

    • LOCATION : région Google Cloud de votre dépôt, par exemple europe-west4.
    • PROJECT_ID : identifiant unique du projetGoogle Cloud dans lequel se trouve votre dépôt Dataform.
    • REPOSITORY_ID : identifiant unique de votre dépôt Dataform, par exemple quickstart-repository.
    • TABLE_DEFINITION : contenu du fichier SQLX sous forme de chaîne encodée en base64.
    • WORKSPACE_ID : identifiant unique de votre espace de travail de développement Dataform, par exemple feature-branch-1.

Exécuter le workflow dans BigQuery

Pour exécuter le workflow, sélectionnez l'une des options suivantes :

Console

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. Cliquez sur quickstart-repository, puis sur quickstart-workspace.

  3. Cliquez sur Démarrer l'exécution.

  4. Cliquez sur Toutes les actions.

  5. Cliquez sur Démarrer l'exécution.

  6. Dans la boîte de dialogue qui s'ouvre, cliquez sur Autoriser pour permettre à BigQuery Pipelines d'accéder à votre compte Google.

    Dataform utilise les paramètres du dépôt par défaut pour créer le contenu de votre workflow dans un ensemble de données BigQuery nommé dataform.

Vous avez créé un workflow Dataform et l'avez exécuté dans BigQuery.

API

Pour exécuter votre workflow dans BigQuery, compilez vos fichiers SQLX en SQL standard, puis déclenchez un appel.

  1. Pour créer un résultat de compilation basé sur votre espace de travail, utilisez la méthode projects.locations.repositories.compilationResults.create.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

    Commande curl :

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"

    Remplacez les éléments suivants :

    • LOCATION : région Google Cloud de votre dépôt, par exemple europe-west4.
    • PROJECT_ID : identifiant unique du projetGoogle Cloud dans lequel se trouve votre dépôt Dataform.
    • REPOSITORY_ID : identifiant unique de votre dépôt Dataform, par exemple quickstart-repository.
    • WORKSPACE_ID : identifiant unique de votre espace de travail de développement Dataform, par exemple feature-branch-1.

  2. Dans la réponse, notez l'ID du résultat de la compilation au format /compilationResults/COMPILATION_ID.

  3. Pour déclencher l'appel d'un workflow, utilisez la méthode projects.locations.repositories.workflowInvocations.create. Indiquez l'ID du résultat de compilation que vous avez créé.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

    Commande curl :

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"

    Remplacez les éléments suivants :

    • COMPILATION_ID : identifiant unique du résultat de votre compilation.
    • LOCATION : région Google Cloud de votre dépôt, par exemple europe-west4.
    • PROJECT_ID : ID unique du projet Google Cloud dans lequel se trouve le dépôt Dataform.
    • REPOSITORY_ID : identifiant unique de votre dépôt Dataform, par exemple quickstart-repository.

Vous avez créé un workflow Dataform et l'avez exécuté dans BigQuery.

Afficher les journaux d'exécution dans Dataform

Pour afficher les journaux d'exécution, sélectionnez l'une des options suivantes :

Console

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. Cliquez sur quickstart-repository, puis sur quickstart-workspace.

  3. Cliquez sur Journaux d'exécution de workflow.

  4. Pour afficher les détails de l'exécution, cliquez sur la dernière exécution.

API

  1. Pour afficher l'historique de vos exécutions, utilisez la méthode projects.locations.repositories.workflowInvocations.list.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations
    • Paramètre de requête : pour vous assurer que les exécutions les plus récentes s'affichent en haut des résultats, utilisez ?orderBy=create_time desc.

    Commande curl :

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations?orderBy=create_time%20desc"

    Remplacez les éléments suivants :

    • LOCATION : région Google Cloud de votre dépôt, par exemple europe-west4.
    • PROJECT_ID : ID unique du projet Google Cloud dans lequel se trouve le dépôt Dataform.
    • REPOSITORY_ID : identifiant unique de votre dépôt Dataform, par exemple quickstart-repository.

  2. Pour afficher les journaux et l'état détaillés d'une exécution spécifique, utilisez la méthode projects.locations.repositories.workflowInvocations.query.

    Exécutez la requête API avec les informations suivantes :

    • Point de terminaison : GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query

    Commande curl :

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query"

    Remplacez les éléments suivants :

    • LOCATION : région Google Cloud de votre dépôt, par exemple europe-west4.
    • PROJECT_ID : ID unique du projet Google Cloud dans lequel se trouve le dépôt Dataform.
    • REPOSITORY_ID : identifiant unique de votre dépôt Dataform, par exemple quickstart-repository.
    • WORKFLOW_INVOCATION_ID : identifiant unique d'une exécution de workflow spécifique. Vous pouvez obtenir cet identifiant à partir des résultats d'une requête workflowInvocations.list ou du champ name d'une réponse workflowInvocations.create.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , procédez comme suit :

Supprimer l'ensemble de données créé dans BigQuery

Pour éviter que des frais ne vous soient facturés pour les éléments BigQuery, supprimez l'ensemble de données dataform.

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le panneau Explorateur, développez votre projet et sélectionnez dataform.

  3. Cliquez sur le menu Actions, puis sélectionnez Supprimer.

  4. Dans la boîte de dialogue Supprimer l'ensemble de données, saisissez delete dans le champ, puis cliquez sur Supprimer.

Supprimer l'espace de travail de développement Dataform

La création d'un espace de travail de développement Dataform n'entraîne aucuns frais. Toutefois, pour le supprimer, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. Cliquez sur quickstart-repository.

  3. Dans l'onglet Espaces de travail de développement, cliquez sur le menu  Plus de quickstart-workspace, puis sélectionnez Supprimer.

  4. Pour confirmer l'opération, cliquez sur Supprimer.

Supprimer le dépôt Dataform

La création d'un dépôt Dataform n'entraîne aucuns frais. Toutefois, pour le supprimer, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

    Accéder à Dataform

  2. À côté de quickstart-repository, cliquez sur le menu Plus, puis sélectionnez Supprimer.

  3. Dans la fenêtre Supprimer le dépôt, saisissez le nom du dépôt pour confirmer la suppression.

  4. Pour confirmer l'opération, cliquez sur Supprimer.

Étapes suivantes