Étapes post-déploiement

Cette page vous guide à travers les étapes post-déploiement de Cortex Framework pour exécuter vos pipelines de données et vérifier les résultats.

Après le déploiement, tous les modèles et configurations de transformation sont compilés et déployés dans votre dépôt Dataform cible. Toutefois, pour matérialiser les tables et les vues dans BigQuery, vous devez d'abord exécuter les actions du pipeline Dataform.

Exécuter les transformations dans Dataform

En exécutant le pipeline, vous lancez la logique permettant de transformer les données brutes en couches de base de données et de produits de données pertinentes, prêtes à être utilisées immédiatement par l'entreprise.

Vous pouvez exécuter des actions manuellement dans la Google Cloud console pour effectuer des vérifications ou configurer des programmations récurrentes pour la production.

Exécution manuelle pour la validation

Pour exécuter une validation manuelle de l'ensemble du pipeline dans votre espace de travail Dataform, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la pageDataform.
  2. Assurez-vous d'avoir sélectionné le projet concerné dans le menu déroulant. Google Cloud
  3. Cliquez sur le nom du dépôt créé lors du déploiement (par exemple, cortex).
  4. Cliquez sur le nom de l'espace de travail (par exemple, cortex).
  5. Cliquez sur Démarrer l'exécution.
  6. Cliquez sur Actions à exécuter.
  7. Sélectionnez Toutes les actions. Vous pouvez également choisir des sous-ensembles clés de transformations en sélectionnant des tags ou des actions spécifiques.
  8. Cliquez sur Démarrer l'exécution.

Vérifier le bon déroulement de l'exécution

Pour surveiller la progression et vérifier si le pipeline s'est terminé correctement, procédez comme suit :

  1. Cliquez sur l'onglet Exécutions pour afficher l'historique des exécutions.
  2. Vérifiez que l'état est Terminé.
  3. Cliquez sur le lien d'exécution pour inspecter les détails d'actions spécifiques, les erreurs de compilation ou les durées d'exécution.

Examiner les composants de données dans BigQuery

Une fois votre pipeline Dataform exécuté, vérifiez les ensembles de données générés et examinez les tables matérialisées dans BigQuery.

  1. Dans la Google Cloud console, accédez à BigQuery.
  2. Recherchez les ensembles de données cibles configurés dans votre fichier config.yaml (par exemple, l'ensemble de données identifié par datasetId dans l'entrée data.targets référencée par le dataTargetId du module). Par exemple, dans les configurations de modèle, il peut s'agir des éléments suivants :
    • Couche de base de données : recherchez l'ensemble de données correspondant à l'ID cible de votre base (configuré par défaut sur cortex7_sap_data_foundation).
    • Couche de produits de données : recherchez l'ensemble de données correspondant à l'ID cible de votre produit (configuré par défaut sur cortex7_data_products).
  3. Affichez un aperçu des tables et exécutez des exemples de requêtes pour vérifier qu'elles sont remplies avec les enregistrements attendus.

Étapes suivantes

Maintenant que vos systèmes de données sont opérationnels, vous pouvez découvrir comment :

  • Enregistrer vos produits de données dans Knowledge Catalog: consultez la documentation sur l'intégration de Knowledge Catalog] (/cortex/docs/knowledge-catalog) pour automatiser le processus d'enregistrement.
  • Étendre votre modèle de données : consultez le guide sur l'extensibilité pour personnaliser les schémas ou instancier de nouveaux modules.
  • Créer ou personnaliser des produits de données : consultez la documentation sur les compétences d'agent pour la création de produits de données pour commencer.