Présentation des workflows

Ce document vous aide à comprendre l'architecture et l'exécution des workflows dans Dataform.

Vous pouvez utiliser Dataform pour développer, tester et contrôler les versions des workflows que vous pouvez exécuter dans BigQuery afin de transformer des données à des fins d'analyse. Les workflows Dataform alimentent les pipelines BigQuery, les préparations de données, les notebooks et les requêtes enregistrées.

Vous pouvez développer des workflows avec Dataform Core, à l'aide de fichiers SQLX et, éventuellement, de fichiers JavaScript, ou avec JavaScript.

Un workflow peut être constitué des objets suivants :

Déclarations de sources de données
Déclarations de sources de données BigQuery qui vous permettent de référencer ces sources de données dans les définitions de tables Dataform et les opérations SQL.
Tables
Tables que vous créez dans Dataform en fonction des sources de données déclarées ou d'autres tables de votre workflow. Dataform est compatible avec les types de tables suivants : table, table incrémentielle, vue et vue matérialisée.
Assertions
Requêtes de test de qualité des données que vous pouvez utiliser pour valider les données de table. Dataform exécute des assertions chaque fois qu'il met à jour votre workflow. Il vous alerte en cas d'échec.
Opérations SQL personnalisées
Instructions SQL que Dataform exécute dans BigQuery telles quelles, sans modification.
Inclut
Fichiers JavaScript contenant des définitions de variables et de fonctions que vous pouvez réutiliser dans votre workflow.

Développement avec le Data Engineering Agent

Le Data Engineering Agent vous aide à créer et à gérer des workflows SQL en générant du code et des configurations à partir d'invites en langage naturel. Au-delà de la logique SQL , l'agent remplit de manière proactive les configurations de votre table avec des métadonnées Knowledge Catalog (bêta), telles que des descriptions de champs, des présentations de tables et des aspects génériques comme des informations sur le système et le type. Ainsi, vos actifs de données sont détectables dès leur création.

Pour en savoir plus, consultez Utiliser le Data Engineering Agent pour créer et modifier des pipelines de données.

Visualisation d'un workflow

Vous pouvez visualiser votre workflow sous la forme d'un graphe orienté acyclique (DAG). Le DAG affiche tous les objets du workflow définis dans votre espace de travail, ainsi que les relations entre eux. Vous pouvez faire un zoom avant ou arrière et utiliser la navigation par glisser-déposer dans le DAG. Si votre workflow comporte des erreurs de compilation, Dataform affiche un message d'erreur au lieu du DAG.

Pour afficher le DAG de votre workflow, cliquez sur Compiled graph (Graphique compilé) dans votre espace de travail.

Exécution d'un workflow

Vous devez associer un compte de service personnalisé à un dépôt Dataform pour l'exécution du workflow. Toutes les autres opérations de dépôt sont toujours effectuées par l'agent de service Dataform par défaut.

Dans votre espace de travail de développement, vous pouvez déclencher manuellement l'exécution de l'intégralité de votre workflow, d'une sélection d'actions ou d'une sélection de tags.

Vous pouvez planifier des exécutions avec des configurations de release Dataform et de workflow. Commencez par créer une configuration de release pour créer des résultats de compilation de votre dépôt. Ensuite, créez une configuration de workflow, sélectionnez une configuration de release, sélectionnez les actions de workflow que vous souhaitez exécuter et définissez la planification d'exécution.

Vous pouvez également planifier des exécutions avec Managed Service pour Apache Airflow, ou avec Workflows et Cloud Scheduler.

Lors de l'exécution, Dataform exécute des requêtes SQL dans BigQuery, en suivant l'ordre des dépendances des objets dans votre workflow. Après l'exécution, vous pouvez utiliser les tables et les vues que vous avez définies à toutes vos fins d'analyse dans BigQuery.

Options de configuration d'exécution

Pour exécuter un groupe spécifique d'actions de votre workflow, vous pouvez ajouter des tags d'exécution Dataform aux fichiers que vous sélectionnez. Vous pouvez ensuite n'exécuter que les fichiers avec un tag sélectionné lorsque vous déclenchez manuellement une exécution.

Par défaut, Dataform exécute votre workflow avec les paramètres d'exécution définis dans le fichier workflow_settings.yaml.

Grâce aux remplacements de compilation d'espace de travail, vous pouvez transformer les espaces de travail en environnements d'exécution isolés. Cela signifie que lorsque vous déclenchez manuellement l'exécution dans un espace de travail, Dataform exécute la sortie dans un emplacement isolé de BigQuery.

Pour créer et exécuter un seul résultat de compilation avec des remplacements de compilation , vous pouvez transmettre des requêtes avec l'API Dataform.

Avec les configurations de release, vous pouvez configurer des remplacements de compilation pour l'ensemble de votre dépôt, ainsi que la fréquence de création des résultats de compilation avec les paramètres appliqués.

Pour en savoir plus sur les façons de configurer la compilation et le cycle de vie du code dans Dataform, consultez Introduction au cycle de vie du code dans Dataform.

Étape suivante