Créer un espace de travail de développement

Ce document vous aide à effectuer les opérations suivantes :

Présentation des espaces de travail de développement

Dans Dataform, vous interagissez avec le code de votre workflow dans un espace de travail de développement, qui est votre propre copie modifiable d'un dépôt. Dans un espace de travail, vous pouvez créer, modifier ou supprimer le contenu du dépôt sans gêner les autres utilisateurs qui travaillent sur le même dépôt. Vous pouvez ensuite valider vos modifications et les déployer sur le dépôt.

Vous pouvez développer votre workflow avec Dataform Core ou JavaScript. Dataform compile votre code en requêtes SQL en temps réel.

Dans un espace de travail de développement, vous pouvez effectuer les tâches suivantes :

Composants d'un espace de travail de développement

Un espace de travail de développement Dataform se compose des onglets décrits dans les sections suivantes.

Onglet Code

Vous pouvez utiliser l'environnement de développement de l'onglet Code pour explorer des fichiers, développer des requêtes, contrôler les versions de vos modifications et déclencher l'exécution dans BigQuery. L'onglet contient les composants suivants qui vous permettent de développer des workflows :

  • Volet Fichiers : affiche la structure de fichiers de votre espace de travail et enregistre automatiquement vos modifications dans la structure de fichiers. Les fichiers sélectionnés s'ouvrent dans les onglets du volet de développement. Dans le champ Saisir pour rechercher, vous pouvez rechercher des fichiers ou des répertoires dans votre espace de travail par leur chemin d'accès.
  • Volet Contrôle des versions : affiche l'état du contrôle des versions de votre espace de travail et les options de contrôle des versions.
  • Volet Développement : affiche les fichiers ouverts dans des onglets. Enregistre automatiquement vos modifications dans les fichiers modifiés.
  • Bouton Exécuter : exécute un aperçu de la requête SQL compilée.
  • Bouton Format : met en forme votre code Dataform Core ou JavaScript.
  • État de la compilation : affiche l'état de compilation du code dans votre espace de travail.
  • Volet Métadonnées : affiche les métadonnées du fichier modifié.
  • Volet Requêtes compilées : compile les requêtes du fichier modifié en SQL. Si la compilation de la requête échoue, le volet affiche les erreurs de compilation. Si la compilation de la requête réussit, le volet affiche les requêtes compilées et les valide à l'aide d'exécutions à blanc par rapport à BigQuery. Si la validation de la requête échoue, le volet affiche les erreurs de validation. Si la validation de la requête réussit, le volet affiche le nombre d'octets que l'exécution des requêtes dans BigQuery utiliserait.
  • Menu Démarrer l'exécution : affiche les options permettant de déclencher l'exécution de l'ensemble du workflow dans votre espace de travail ou des éléments sélectionnés.

Onglet du graphique compilé

Dans l'onglet Graphique compilé, vous pouvez voir le workflow compilé défini dans votre espace de travail sous forme de graphe orienté acyclique (DAG) interactif. Le graphique affiche toutes les actions de votre workflow et les relations entre elles. Si votre workflow contient des erreurs de compilation, l'onglet affiche un message d'erreur au lieu du graphique.

Vous pouvez effectuer un zoom avant ou arrière et utiliser la navigation par glisser-déposer dans le graphique.

Vous pouvez filtrer le graphique par les propriétés suivantes :

  • Nom
  • Tag
  • Type
    • Assertion
    • Déclaration
    • Table incrémentale
    • Vue matérialisée
    • Opérations
    • Table
    • Inconnu
    • Afficher

Vous pouvez sélectionner plusieurs filtres à la fois. Dataform les applique avec la condition OR.

Vous pouvez cliquer sur une action dans le graphique pour afficher ses détails dans les volets suivants :

  • Volet Métadonnées : affiche le nom complet, le type, les dépendances et les éléments dépendants de l'action sélectionnée.
  • Volet Requête : affiche la requête SQL compilée de l'action sélectionnée.

Onglet Exécutions

Cet onglet affiche les journaux de toutes les exécutions déclenchées dans l'espace de travail. Vous pouvez également afficher les actions et leurs détails pour une exécution sélectionnée. Pour en savoir plus, consultez la section Surveiller les journaux d'exécution.

Contrôle des versions dans un espace de travail

Dans un espace de travail, vous interagissez avec le dépôt via le contrôle des versions basé sur Git. Les modifications que vous apportez aux fichiers de votre espace de travail commencent par être des modifications locales non validées que vous pouvez valider, puis transférer vers votre dépôt afin qu'elles soient disponibles pour tous les utilisateurs du dépôt.

Si votre dépôt est connecté à un fournisseur Git distant, vous transférez les modifications de votre espace de travail vers votre branche de développement principale. Vous sélectionnez la branche principale lorsque vous connectez votre dépôt au fournisseur Git distant. Dans un dépôt Dataform non connecté, vous transférez les modifications vers la branche par défaut.

Vous pouvez également extraire toutes les modifications du dépôt Dataform ou du dépôt distant et les fusionner avec les modifications locales dans votre espace de travail de développement. Pour en savoir plus sur le contrôle des versions dans Dataform, consultez la section Contrôler les versions de votre code.

Avant de commencer

Si ce n'est pas déjà fait, créez un dépôt Dataform.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer, initialiser et supprimer un espace de travail de développement, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Dataform (roles/dataform.editor) sur les espaces de travail. Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un espace de travail de développement Dataform

Lorsque vous créez un espace de travail de développement dans un nouveau dépôt pour la première fois, Dataform vous invite à initialiser l'espace de travail de développement avec un ensemble de fichiers de configuration requis pour que Dataform fonctionne.

Un espace de travail de développement initialisé contient les répertoires et fichiers suivants :

  • definitions/: répertoire pour les définitions d'éléments, dans Dataform Core ou JavaScript.

  • includes/: répertoire vide pour les scripts et les variables que vous pouvez réutiliser dans le dépôt.

  • workflow_settings.yaml : fichier de configuration Dataform par défaut contenant l'ID du projet et le schéma BigQuery dans lequel publier les éléments. Google Cloud Vous pouvez modifier les paramètres par défaut pour les personnaliser en fonction de vos besoins, mais la personnalisation n'est pas obligatoire pour commencer à utiliser Dataform.

  • package.json: fichier de configuration des dépendances Dataform par défaut avec la dernière version de @dataform/core. Vous pouvez utiliser ce fichier pour importer des packages.

  • definitions/sample.sqlx : exemple de fichier SQLX pour vous aider à démarrer.

Pour créer un espace de travail de développement Dataform, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez le dépôt dans lequel vous souhaitez créer l'espace de travail de développement.

  3. Sur la page de votre dépôt, cliquez sur Créer un espace de travail de développement.

  4. Dans la fenêtre Créer un espace de travail de développement, procédez comme suit :

    1. Dans le champ ID de l'espace de travail, saisissez un ID unique pour l'espace de travail de développement.

      Les ID ne peuvent contenir que des chiffres, des lettres, des traits d'union et des traits de soulignement.

    2. Cliquez sur Créer.

Initialiser l'espace de travail dans un dépôt Dataform

Pour initialiser un espace de travail de développement Dataform, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez le dépôt dans lequel vous souhaitez initialiser l'espace de travail vide.

  3. Dans l'onglet Espaces de travail de développement, cliquez sur le nom de l'espace de travail vide que vous souhaitez initialiser.

  4. Sur la page de l'espace de travail de développement, cliquez sur Initialiser l'espace de travail.

Supprimer un espace de travail Dataform

La création d'espaces de travail de développement Dataform n'entraîne aucuns frais. Toutefois, si vous souhaitez supprimer un espace de travail de développement, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez le dépôt contenant l'espace de travail que vous souhaitez supprimer.

  3. Pour éviter de supprimer les modifications non validées, validez et transférez les modifications vers votre dépôt Git.

  4. Dans l'onglet Espaces de travail de développement, sélectionnez l'espace de travail de développement que vous souhaitez supprimer, puis cliquez sur Supprimer les espaces de travail sélectionnés.

    Vous pouvez supprimer plusieurs espaces de travail à la fois.

  5. Pour confirmer l'opération, cliquez sur Supprimer.

Étape suivante